匹配正文：…对象和条件；缺点是容量有限，窗口外的信息会自然消失。窗口大小不应只用“几轮”定义。一次回复可能只有几十字，也可能包含长表格或大量引用。更稳妥的做法是同时受消息数、Token 预算和消息重要度约束：优先保留最近用户输入、尚未完成的任务状态和会影响当前回答的确认项，再删除无关寒暄或可从知识库重新获取的内容。短期数据通常需要 TTL，也就是到期自动失效。在实际设计中，TTL 不能照搬一个固定数字，要根据产品是否需要恢复会话、用户是否登录、数据敏感性和合规要求决定。用户点击“新对…

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…要绑定真实信息增益和任务合同，并用对抗样本检查是否被刷。 “续跑”为什么不能只是把残缺文本再喂给模型？残缺文本可能在 JSON、引用或句子中间停止，模型不知道哪些内容真实执行过。安全续跑需要结构化 checkpoint：原问题、当前计划、已确认主张、证据 ID、未决问题、工具调用与环境返回、预算和终止原因。恢复时先验证工具结果仍可用，动态来源要保留时间信息。不能把过期 observation 当成当前事实。还要保证幂等。上一调用可能已经成功，但响应在网络层丢失；直接重…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

匹配正文：…性关注回答是否真正解决用户问题，而不是说了一堆正确但偏题的话。Faithfulness 关注答案中的事实能否由本轮检索证据支持。引用评估还要看引用的原文是否真的支持对应陈述，以及用户能否回到正确位置。 RAG 各层指标与问题定位矩阵检索指标回答“证据找得怎样”，生成指标回答“模型怎样使用证据”，二者不能混成一个总分。举个诊断思路。 Recall@K 下降时，可以检查解析、Chunk、Query、过滤和召回。Recall 正常而 MRR 下降，融合与重排更值得优先检查。正…

#RAG#评测与上线#RAG 评测集

面试题·Agent

Text2SQL 生成的 SQL 敢直接执行吗？安全校验与执行边界怎么设计

匹配正文：…生成和用户可见说明。模型可以根据“未知列”重新生成，但遇到权限拒绝不能换写法继续探测。第三层：表、列、函数与关系校验 AST 中引用的每张表和列都必须存在于当前 Schema 版本，并位于为当前查询选出的允许子图。模型不能临时访问未提供的表。列要解析别名和作用域，避免同名字段混淆。SELECT * 通常应拒绝或展开为明确允许列，防止 Schema 新增敏感字段后被自动带出。函数也要白名单。普通聚合与日期函数可以按业务开放，执行系统命令、读文件、访问网络、休眠或资源消耗异…

#Agent#工具调用与安全#Text2SQL SQL 安全

面试题·Agent

Agent 能执行 Python 代码，怎样设计 Code Interpreter 沙箱才不会伤到宿主机

匹配正文：…safe_globals 演示原理。这适合学习执行流程，不是生产安全边界。Python 是动态语言，危险能力可能通过对象反射、已有引用、依赖库、文件描述符或解释器漏洞间接获得。只把 open 和 os 从全局变量删掉，不能证明代码无法碰到宿主资源。因此本题只能按可验证的工程设计回答：把不可信代码放进独立、短生命周期的执行环境，默认无网络、无宿主文件、无密钥、低权限，并限制 CPU、内存、进程、磁盘、输出和时间。是否使用子进程、容器或 microVM，要根据威胁模型和隔离强度…

#Agent#工具调用与安全#Agent 代码解释器沙箱

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…检索阶段慢，先看索引还是先扩容？检索优化里常见的 ANN 索引、分区、过滤、批量查询和并发连接，解决的问题并不相同。 ANN 索引用近似搜索换取速度。HNSW、IVF 等索引都有搜索宽度和构建参数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询快了但 Recall@K 下降，首字改善可能换来错误答案。过滤是在搜索前缩小有效范围。如果问题只允许查询某个知识库、某些文档或当前有效版本，先过滤再搜索既是权…

#RAG#评测与上线#RAG 首字响应

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…可能凭预训练记忆猜中答案，也可能只看搜索摘要，碰巧没有犯错。换一个日期、对象或来源，捷径就会失效。反过来，一条轨迹工具选择合理、引用完整，也可能因为网页更新、计算错误或遗漏子问题，最终报告仍然不合格。 Deep Research 是开放任务，又是多步骤过程。只看最终文本，会把“蒙对”当能力；只看步骤，又可能忽略交付结果。相关评估材料明确把质量拆成结果与过程两个层面，并要求准确、引用、报告质量和效率共同观察。所以面试官真正想问的是：结果质量和过程质量分别评什么，怎样把答…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

Agent 线上答错一次，怎样用 Trace 和 Replay 定位到底哪一步坏了

匹配正文：…，模型没有使用；也可能模型选对工具，但参数里时间范围错了；还可能工具响应正确，State 合并把新结果覆盖；或者最终答案没错，只是引用指向了旧工件。若没有全链路 Trace，团队只能靠猜和复跑。可观测性要用同一个 trace_id 串起任务中的模型调用、工具调用、状态版本、工件、错误、人工操作和最终输出，并保留足够版本信息支持受控回放。把所有内容无差别写进日志既做不到这一点，还会扩大敏感内容、原始推理和高风险副作用的泄露面。先给出 30 秒回答 Agent 可观测我会分指…

#Agent#多智能体与评估#Agent Trace 回放

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…索结果不是最终答案。系统还要判断证据是否充分，控制上下文数量，保留来源，再把问题与证据交给模型。模型生成后通过流式响应返回答案和引用。在线链路的每一步都应该在同一个 Trace 下留下输入与输出。出现错答时，能够看到原 Query、改写 Query、权限过滤、候选原文、各类分数、最终上下文、模型版本和引用映射。数据应该分别放在哪里？不同数据有不同访问方式，不适合全部塞进向量库。关系数据库适合保存用户、租户、知识库、文档元数据、版本、任务状态和权限关系。这些数据需要明…

#RAG#评测与上线#RAG 系统设计

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…一标准答案，人工逐篇审核又慢又贵，因此很多团队使用 LLM-as-a-Judge。给 Judge 一份 rubric，它可以评价引用、覆盖、结构、幻觉和过程，并输出结构化分数。问题在于，Judge 自己也是模型。它可能偏爱更长的答案、某个展示位置和与自己风格相近的文本。更危险的是，当 Judge 分数被用于训练 reward，Agent 会逐渐学习“怎样让这个裁判满意”，而不一定真的更准确。这就是 Goodhart 风险：指标一旦成为优化目标，就可能失去原本代表的质量…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…ent 评估比普通问答难，因为任务往往没有唯一标准答案，而且结果来自多步执行。最终结论正确，可能只是偶然猜中；过程看起来合理，最终引用也可能错；质量提高一点，却多调用许多次模型和工具，也未必值得上线。只看最终答案，会漏掉错误工具、无效循环、越权尝试和不稳定恢复。只看轨迹，又可能奖励一条形式漂亮却没有完成用户目标的路径。只看成本，则会鼓励 Agent 少做必要验证、过早结束。因此评估至少分三层：任务结果是否满足用户目标，执行轨迹是否用正确方式推进并安全恢复，资源与成本是否在…

#Agent#多智能体与评估#Agent 评估体系

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：…持；Agent可以调用OCR、检测器或搜索，RAG可以补外部知识，却都不能自动修复输入中未被识别的对象。工具返回还可能冲突或被错误引用，需要显示区域、帧和文本证据，并在不足时拒答。跨模态冲突是另一类风险。图像、字幕和用户文字不一致时，模型可能偏向更强的文本先验。需要专门构造冲突样本，测模型是否指出差异，而不是强行融合。医学、身份和内容审核等高风险场景还要做权限控制、隐私处理和人工确认。系统侧也有成本约束。分辨率、帧数和视觉token增加会抬高prefill与显存，并不保证…

#模态对齐#数据构建#推理一致性

面试题·模型训练· 美团

训练数据清洗：规则 vs LLM

匹配正文：…规范化与去重，再用规则或轻量分类器过滤明显样本，把不确定语义案例交给LLM，最后对高风险删除进行人工复核。各层都应保留原因码和原文引用，支持回滚。规则先删掉多少数据完全由当前语料决定，不设固定比例。 LLM清洗还要防提示注入、内容泄露和输出不稳定。如果文本包含指令，模型可能偏离分类任务；外部API还涉及数据许可与隐私。使用结构化输出、隔离prompt、版本固定和抽样审计，并让模型输出证据片段，可以提高可追踪性，但仍不能替代人工gold。最终要做小规模训练消融：原始数据、规则…

#数据清洗#数据工程#训练数据构建

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：提升类似ChatGPT模型的准确性，先要把准确性拆开。事实回答要看引用和事实一致，数学与代码要看最终结果和执行验证，指令任务要看约束遵循，产品还要同时考虑帮助性与安全。一个方法在某一维提升，不代表其他维度同步改善。数据侧应处理重复、污染、标签错误和目标领域覆盖，并保留独立评测。SFT让模型学习任务格式与示范行为，但示范若带错事实，模型也会复制。继续预训练可补领域分布，却可能带来遗忘。每次数据变更都要在目标、通用与安全集合上做回归。偏好优化主要学习回答之间的相对偏好，可以改…

#数据质量#训练策略#推理优化

面试题·模型训练· 字节

Prompt vs Seq2Seq，怎么转？

匹配正文：…模型处理多schema，却会出现漏字段、重复与非法结构。GPT-3的“有时达到竞争力”是数据集级结果，不是所有任务的保证。UIE应引用Lu等人的ACL 2022工作，公开材料显示其为中科院软件所与百度合作，不应随意归给单一团队，更不能改写成另一机构。还要区分“少样本上下文学习”和“少样本微调”。前者把示例放进prompt，不更新参数，推理成本随示例长度增加；后者会更新模型或适配器，需要训练但可把行为固化。标注效率也不能只看样本数，还要算模板设计、schema定义、输出清洗和…

#Prompt工程#统一生成建模#判别式转生成式

面试题·多模态· 小红书

多模态大模型有哪些技术挑战?

匹配正文：…觉证据。让模型输出CoT可能帮助某些任务，也可能生成听起来合理但未被图像支持的解释，不能强制模态一致。更稳妥的做法是要求定位区域、引用帧或OCR证据，在证据不足和模态冲突时允许拒答，并用外部工具核验可验证部分。多模态幻觉是否比纯文本更严重，没有脱离模型和基准的统一答案。视觉问答会新增对象不存在、属性错误和关系错误等失败类型，但文本模型也有知识与引用幻觉。可以用POPE等专门基准和真实业务样本分桶，分别报告对象、属性、计数、空间、OCR和时序错误。泛化方面，训练中常见对象并…

#多模态对齐#跨模态表示学习#数据工程

面试题·项目与经历· 美团

客服办公导购 Agent 选型

匹配正文：…退款、改地址、账户和投诉处理则涉及权限、政策与合规，必须分级。技术成熟度来自任务可约束，而不是模型已经不会出错。知识回答可以要求引用当前政策，工具调用可以用schema校验、幂等键和权限白名单，低置信或冲突请求转人工。多轮状态、知识版本、提示注入和工具失败仍会造成错误，尤其不能让模型根据未校准的自报置信直接执行高风险动作。需求侧要看行业和流程。高重复咨询、知识更新频繁、人工峰谷明显的团队可能更有价值；低咨询量或每单都需专家判断的业务未必适合。不能引用没有行业、年份和口径的…

#Agent#商业落地#技术成熟度

面试题·模型训练· 美团

合成数据怎么系统构建?

匹配正文：…型、prompt和过滤版本，防止同一模板无限扩张。质量控制应按可验证性分层。代码运行测试，数学重算结果，检索型答案检查权威资料和引用，结构化任务用schema与业务规则，主观写作用盲标gold和成对人评。多个模型给出相同答案只能作为弱信号，因为它们可能共享训练数据、知识盲点和表达捷径。困惑度可以反映文本在某个语言模型下的可预测程度，却不是通用质量分数。低困惑度可能只是模板重复，高困惑度也可能来自专业术语。它可以用于异常筛选，但不能代替事实、相关性与任务正确性。强模型打分同…

#数据合成#Self-Instruct#指令微调

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配正文：…edding 负样本不足。定位时要按查询类型和文档类型切片，先查知识覆盖率、切分与元数据，再分别测候选召回、重排排序、上下文组装、引用支持和最终答案。召回层至少看 Recall@k 或命中率，排序层看 MRR、NDCG 或人工偏好，生成层看答案正确性、证据支持率和拒答行为。方案必须对应证据。若文档根本没有答案，应补知识而非训练 embedding；若候选集中有答案但排序靠后，再检查查询改写、向量模型、负样本和重排；若证据正确但答案错误，则处理提示、上下文冲突、生成模型或校验…

#问题定位#工程实践#跨团队协作

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配正文：…打分，扩展性好，但存在位置、长度、自偏好、提示和版本偏差，需要与人工校准。任务指标：accuracy、F1、检索 recall、引用正确率、任务成功率按具体任务定义。人工评测应给出 correctness、relevance、faithfulness、completeness、style、safety 等可操作 rubric，随机化样本与答案顺序，培训评审者，报告一致性和置信区间。自动工具可以检测一部分安全问题，例如毒性或越狱分类器、静态规则与红队基准；它们不是完全不能检…

#BLEU#ROUGE#BERTScore

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和约束解码影响随机性与格式，不保证事实正确。Contrastive Decoding 比较 expert 与较弱 amateur 模型的 token 分数，抑制两者都容易给出的退化候选；它不是简单重复惩罚，也不是事实保证。后处理与评测：按断言…

#幻觉检测#内容安全#RLHF

面试题·项目与经历· 美团

Coding/GUI/Search 商业化先后

匹配正文：…、审查和真实运行。把代码对错说成完全明确，会低估测试缺口和规格歧义。 Search已有成熟检索基础设施，难点在来源时效、证据冲突、引用支持和开放域事实核验；GUI Agent能复用现有界面，却受页面变化、权限、副作用和长链错误累积影响。二者并非还没有商业场景，谁更适合取决于任务是否可验证、操作是否可逆和人工是否在环。 Coding的用户需求强，也不意味着固定效率提升。不同研究对任务、参与者和指标的定义不同，真实团队还要计算审查、返工、安全扫描和上下文准备。模型生成更多代码，如…

#Agent落地#代码生成#GUI自动化

面试题·评估· 字节

判别式转生成式哪种方法更优?

匹配正文：…生成跨度、关系和解释。模型规模、预训练方式、tokenizer、标签语义和多任务迁移都会改变结果，不能用固定数据量区间决定路线。引用研究时必须写清模型、数据和指标。例如T5把多种NLP任务统一成text-to-text，FLAN研究指令微调的跨任务泛化，UIE探索统一信息抽取。它们证明相关设计在各自实验中有效，但不能拼成GLUE、SuperGLUE或业务场景上的无条件胜负排序。我会为目标任务建立同一切分和预算，比较判别基线、prompt基线和微调生成方案。指标除了准确率或…

#判别式转生成式#Prompt工程#指令微调

面试题·项目与经历· 京东

面试反问怎么问才加分?

匹配正文：…，团队怎样收集失败样本并决定下一轮优先级？这比直接问是否使用某个向量库更有信息。若对方说召回问题多，再追问文档版本、权限、评测集和引用支持率；不会预设所有RAG都必须先做Entity Linking。第二类问题可以聚焦技术决策：在准确率、延迟、成本和安全冲突时，团队最近做过什么取舍，关键方案如何通过离线与线上验证？回答能够反映团队是否有真实基线、回滚机制和评测文化。规则、检索、微调或Agent都可能是答案，不需要先断言纯RAG必然失败。第三类问题关注岗位边界：这个岗位入职…

#面试技巧#职业规划#团队沟通