面试题 · Agent
搜索「Embedding」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
当AI Agent需要处理超长历史记忆（如数千轮对话或跨天任务上下文）时，受限于大模型的上下文窗口长度和推理效率，应如何设计高效、可扩展的记忆管理机制？请结合实际场景，系统阐述记忆的分层存储、摘要生成、检索策略、更新与刷新机制，并说明各组件的协同方式与权衡考量。
工作记忆(Working Memory) → 短期记忆(Short-term) → 长期记忆(Long-term)
(当前对话窗口) (小时-天级) (永久存储)
20-100轮 摘要+关键事件 向量库+结构化存储1. 工作记忆（热数据）
2. 短期记忆（温数据）
学习内容与项目面试，在同一条路上。
[(timestamp, summary, entities, importance_score)]3. 长期记忆（冷数据）
| 场景 | 策略 | 实现 |
|---|---|---|
| 即时上下文 | 工作记忆直接读取 | 最近N轮 |
| 近期相关 | 短期记忆语义匹配 | 摘要向量Top-K |
| 远期细节 | 长期记忆多路召回 | 向量相似度 + 时间衰减 + 关键词过滤 |
关键技巧：检索时拼接[当前query + 近期摘要]作为查询，提升相关性
导航/出行Agent的典型场景：
成本权衡：摘要用7B模型，主推理用70B；向量检索用HNSW索引，召回 latency <50ms
建议从RAG和Agent架构基础入手，理解向量检索、摘要模型和分层记忆设计模式，结合论文与开源项目（如MemGPT）实践核心流程。
场景切入
假设你在做一个电商客服Agent，用户从上周就开始咨询退货，中间断断续续聊了十几轮，今天又来说订单的事。Agent怎么记住之前的退货进度和用户说过的理由？上下文窗口肯定塞不下，你怎么设计记忆机制？
层层追问
Agent处理长对话时你一般怎么管历史？……如果对话持续了上千轮，上下文窗口放不下怎么办？……那你怎么保证不丢关键信息，同时还能快速找到相关的历史？
直球架构
给AI Agent设计一个支持超长历史（比如数千轮对话）的记忆管理系统，要分层存储、有摘要生成和检索策略。你怎么分几层？各层用什么存储？检索时怎么混合召回？更新和过期怎么处理？
这道题其实问的是，当对话历史长到几千轮甚至跨天的时候，怎么让[[Agent]]既记得住又反应快。核心矛盾就是大模型窗口有限，推理成本也高，所以不能一股脑全塞进去。我的思路是用**分层记忆加[[混合检索]]**来解耦合。
先说记忆分层。我分成三层：工作记忆、短期记忆和长期记忆。工作记忆就是最近几十轮对话，直接塞进prompt，保证即时连贯性。但满了就得下沉，触发条件可以是token数超阈值或者轮数到上限。下沉到短期记忆，这里我会做两件事：一是增量摘要，每K轮用轻量模型总结发生了什么和用户意图变化；二是提取关键事件，比如决策点、用户确认、任务状态变更。存储格式是带时间戳、摘要、实体和重要性分数。长期记忆就存到[[向量库]]里，对话片段做[[embedding]]，加上元数据比如时间、主题、情绪。另外用户画像、偏好这些结构化数据我会丢到SQL或图数据库里。
检索策略是混合召回。工作记忆直接读最近N轮；短期记忆做语义匹配，把摘要向量化取Top-K；长期记忆多路召回，结合向量相似度、时间衰减和关键词过滤。这里有个技巧：检索时把当前query和近期摘要拼接起来作为查询向量，能显著提升相关性。
更新和刷新机制分几种情况。被动压缩就是工作记忆满时，最旧的内容生成摘要下沉。主动摘要在检测到任务完成或话题切换时立即做，生成章节摘要。短期记忆我设TTL比如7天，但高重要性事件比如用户投诉会标记永久保留。冲突解决很简单，新摘要和旧记忆冲突时，保留时间戳最新的，或者触发澄清对话让用户确认。
举个例子，导航Agent。用户周一规划周末路线，周三继续问，短期记忆里要保留‘规划中’这个状态。长期记忆重点存家、公司、常去地点的POI关联。但实时交通状况不存长期记忆，只存‘用户偏好避开高速’这类规则。
落地风险我得特别提一下。首先是成本权衡，摘要用7B模型，主推理用70B，向量检索用[[HNSW]]索引，召回延迟要控制在50毫秒以内。如果不满足这个延迟，用户会感觉卡顿。另一个坑是短期记忆TTL设太短，高重要性事件丢了，所以上线前我会重点检查重要性打分逻辑。
另外我还想提一个延伸点：当记忆里包含图片、语音等[[多模态]]信息时，怎么统一管理？比如用户发了一张截图问‘这个路况怎么样’，单纯文本摘要会丢信息。我的想法是给多模态内容也生成文本描述存到短期记忆里，但这样会引入[[Hallucination]]风险，描述不准反而误导Agent。这个平衡挺难拿捏的。
所以整体上，我更倾向把记忆管理看作一个分层过滤加动态权衡的系统，而不是一个静态的存储方案。核心就是根据场景选对策略，并且随时监控延迟和召回质量做调整。