搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「上下文窗口」找到 113 条内容
按专题浏览 →匹配口述回答:这道题问的是大规模长期记忆怎么设计存储架构,本质上是在问:当历史数据多到放不进上下文窗口时,你怎么在存储成本和检索效率之间找到平衡。我的思路是分层,但不是简单按冷热分,而是按记忆的用途分三层。 先说工作记忆,也就是最近几轮对话,我直接放 Redis 里,不压缩,原始文本存着,保证上下文连贯。这块访问延迟必须毫秒级,因为用户等着回复。再一个是情节记忆,就是历史会话片段,我放 [[Vector Database]] 里,比如 Milvus 或 Pinecone。这里有个边界划分:…
匹配口述回答:… 最后说一句,工具集成不是一次性的,它跟LLM的能力是共生的。LLM能力越强,工具粒度可以越细,但反过来,工具设计也要考虑LLM的上下文窗口和推理深度。比如复杂任务,你可能需要让Agent先规划再执行,这又涉及到[[ReAct]]或者[[Chain-of-Thought]]的模式选择。这块其实值得深入。 一句话定位:工具集成本质是给Agent装手 接口标准化与参数校验的工程落地 调用调度和错误处理的实际权衡 真实业务场景:电商订单查询 结尾给出可延伸点:工具粒度与LLM能力的…
…来。所以上线前会先跑一轮数据清洗,并且持续监控召回率,低于阈值就触发告警。 一句话定位:长期记忆的本质是解决Agent的持续学习与上下文窗口限制 Embedding设计:语义+时间+重要性+实体的多维度编码 检索策略:混合排序,粗排+精排+重排,时效性衰减 噪声过滤:闲聊过滤、去重、记忆反思、置信度阈值 落地取舍与风险:存储成本、实时性、个性化,以及常见失败场景 约4分钟 时效性衰减与重要性分数的联合调整,以及用户手动固定长期记忆的必要性 面试官可能会追问:如何处理时效性和重…
学习内容与项目面试,在同一条路上。