匹配正文：… 比较结果不仅要看平均分，还要看每类能力的配对变化。某些题格式修好，另一些题答案退化，平均数可能掩盖真实问题。 10 个用例之后，评测集应该怎样扩展？首次 10 个通用用例适合做冒烟测试。下一步要按目标能力建立评测矩阵，继续增加相似常识题无法定位策略缺口。直接完成类检查模型是否知道何时不调用工具。精确计算类检查 calculator 与参数。时效事实类检查 Search 与日期范围。原文细节类检查 Visit、来源定位与引用。多步研究类检查计划、状态变化、证据覆盖…

#Deep Research#数据构造与训练#Deep Research SFT

面试题·Agent

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

匹配正文：…含义接近的内容。例如用户问“回答别太啰嗦”，可以找到“偏好简洁表达”。但相关性至少还包含实体、任务阶段和条件是否一致。 “RAG 评测集怎么构建”和“Agent 评测集怎么构建”语义接近，项目对象不同。某条记忆说“发布前先人工确认”，如果只适用于外部公众号发布，就不该自动约束本地草稿预览。文本相似度看不见这些作用域。更稳的相关性可以由多种信号组成：向量语义、关键词或实体匹配、项目和阶段匹配、记忆类型匹配、条件满足程度、与当前计划步骤的关联。结构化条件可以先过滤或作为强特征，…

#Agent#记忆与存储#Agent 记忆检索排序

面试题·RAG

资料里没有答案时，RAG 怎么避免强行生成？

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

匹配正文：…回前半段，模型就可能给出相反结论。这不是简单的低分问题，而是证据不完整。系统可以根据前后 Chunk ID 扩展上下文，也可以在评测集中把完整证据标成多个必要片段。只命中其中一段时，不应算作可以回答。这四类失败分别指向范围、版本、Query 和 Chunk。把它们全归为“阈值太低”，只会让排查越来越乱。为什么一个综合分仍然不够？有些系统会把向量分数、关键词覆盖、Rerank 分数和模型判断合成一个“可回答分”。这样做方便执行统一决策，但综合分本身不能代替证据分析。第…

#RAG#生成与对话#RAG 无答案检测

面试题·Agent

Agent 记忆数据怎么存？关系库、向量库、对象存储与 Schema 怎样设计

匹配正文：…密复制到更多索引副本。 Embedding 模型升级要保存版本。新旧向量空间不可直接假定兼容。迁移可以新建索引或双版本构建，用固定评测集比较，再逐步切换。没有实际测试时不能声称“无损迁移”。对象存储解决什么问题一次研究任务可能生成搜索结果快照、网页正文、报告草稿、数据文件和 Trace。把这些大内容直接放进每个 Checkpoint，会导致状态膨胀和重复复制。对象层保存原始或派生工件，关系表只保存对象 ID、URI、内容哈希、版本、媒体类型、大小、创建者、权限和保留状态…

#Agent#记忆与存储#Agent 记忆存储设计

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配正文：…系，答案改写后错引查回答版本。否则所有问题都会混成一句“模型引用不准”，最终只能反复调整 Prompt。怎么证明引用真的可靠？评测集不能只标参考答案，还要标每个事实要点对应的正确证据。至少准备五类样本。第一类，单句由单段原文直接支持。第二类，一句话需要两段或两份文档共同支持。第三类，候选主题相关但不支持结论，用来测试错引。第四类，答案包含数字、否定、时间和适用范围，用来测试细粒度一致性。第五类，文档版本更新和重新切分，用来测试引用稳定性。评测时分别统计引用覆…

#RAG#生成与对话#RAG 引用溯源

面试题·RAG

多轮 RAG 如何理解“这个怎么申请”？

匹配正文：…清是否在真正歧义处触发。这样才能决定改写器适合哪些问题，而不是默认所有多轮请求都必须经过同一条路径。怎么验证多轮改写真的有用？评测集至少包含四类对话。第一类是明确代词追问。检查改写是否补对实体。第二类是不带代词的连续追问。检查系统能否识别语义延续。第三类是明确换题。检查旧历史是否被正确隔离。第四类是多个候选实体。检查系统是否会澄清，而不是猜测。每条样本要标注原始对话、理想独立 Query、正确证据和期望动作。只比较改写句子像不像不够，还要看正确证据是否进入前 K…

#RAG#生成与对话#多轮 RAG

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…设计？先选择 SFT 后已经能稳定执行的窄任务集，避免候选全部格式失败。冻结工具协议、环境快照、最大预算、reward 版本和评测集。为每个问题采样一组候选，统计全同分组、环境失败、截断和有效差异。人工抽查高低 reward 轨迹，确认排序符合证据与任务质量。训练只做小步更新，持续监控 KL、格式、工具选择、答案证据和 SFT 回归。若 reward 上升但真实评测不变，优先查 reward hacking 与测试泄漏；若格式崩坏，查负样本与更新幅度；若有效组太少…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…提供给改写器”。两篇文章不应混成同一个问题。怎么评测记忆系统，而不是只演示一次“它记住了” 一段看似连贯的演示不能证明系统可靠。评测集要构造连续对话和跨会话任务，并为每一步标注“应该使用哪些记忆、哪些记忆必须忽略”。至少覆盖下面几组场景。近期指代用户刚刚确认一个对象，下一轮用“它、这个、那项”追问。检查短期窗口是否保留正确对象，同时避免把更早的同名对象带入。回到旧话题用户切换话题后又回到先前任务。检查系统能否找回相关历史，而不是永远只看最近几轮。此场景适合验证摘要或…

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…意 token 处被切断。降级需要向用户说明范围。例如只交付已经核验的部分和未完成项，不把部分结果包装成完整研究。预算策略要与评测集一起版本化。放宽预算后任务完成改善，不能全部归因于模型策略。本文不提供材料未验证的固定步数、时长或 token 上限。怎样避免“降低截断率”成为坏目标？截断率是系统指标，不是最终质量。模型提前回答也能让截断率下降。应该同时观察正常完成率、证据覆盖、答案准确与完整、平均有效步骤、提前结束、工具重复和用户取消。把截断按原因拆分。长度、…

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…排除。召回阶段追求“正确表列在候选里”，但候选不能无限扩大。可以先按数据域和权限硬过滤，再语义召回和重排。阈值与候选数量需要根据评测集校准，不应在没有数据时给固定数字。找到表还不够，还要补齐 Join 路径用户问题常跨越事实表和维表。单独召回到订单、客户和地区表，不代表模型知道怎样连接。系统可以维护 Schema Graph：节点是表，边记录外键、候选连接键、基数关系、有效条件和方向。召回到目标表后，在图中寻找允许的最短或最可信连接路径，并补齐中间桥接表。连接信息要…

#Agent#工具调用与安全#Text2SQL Schema 选择

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…ANN 索引用近似搜索换取速度。HNSW、IVF 等索引都有搜索宽度和构建参数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询快了但 Recall@K 下降，首字改善可能换来错误答案。过滤是在搜索前缩小有效范围。如果问题只允许查询某个知识库、某些文档或当前有效版本，先过滤再搜索既是权限要求，也可能减少候选范围。过滤条件应直接进入查询，让未授权和已失效内容不参与候选排序，而不是搜完全库后再二次删除。 B…

#RAG#评测与上线#RAG 首字响应

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…eComp 和 HLE 等基准覆盖不同难度与能力。公共基准便于横向比较，但未必代表自己的工具、权限和业务任务。还需要私有或内部评测集，覆盖真实问题类型、来源限制、异常和风险边界。固定集适合回归，动态挑战集用于防止长期过拟合。问题族、共享证据和改写应放在同一切分，避免训练测试泄漏。公开基准名称来自材料，正文不声称现有项目已经取得任何分数。过程指标为什么也会被刷？奖励引用数量，模型会堆无关来源。奖励步骤数，模型会拆成更多小动作。奖励少调用，模型会提前停止。奖励…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…错答，则进入生成和引用回归集。可上线 RAG 的监控与反馈闭环线上 Trace 负责定位，bad case 回归负责防止复发，评测集再验证下一次改动是否真的有效。这才叫闭环。监控不是只画一张资源仪表盘，而是让线上错误能够回到可执行测试。怎么验收一个“可上线”版本？功能验收覆盖文档上传、解析、版本发布、检索、拒答、引用和多轮问答。故障验收主动注入解析失败、部分写入、检索超时、Rerank 超时、模型限流和客户端断线，检查任务状态、降级行为和资源释放。权限验收准备不…

#RAG#评测与上线#RAG 系统设计

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…没有真实证据。这些行为都会让指标上升，但用户任务不一定变好。一旦评估分数进入训练、提示优化和发布决策，开发团队也可能无意中围绕评测集调参，形成 benchmark overfitting。 Goodhart 并不要求放弃指标，它提醒团队任何可见指标都会被适应，因此必须保留未被直接优化的外部证据。怎样识别模型正在刷 Judge？观察分数与硬事实指标是否背离。 Judge 总分上升，但主张证据、引用准确和人工通过不变，值得警惕。分析输出长度、引用数量、固定短语和 rub…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…ation 使用、失败恢复、停止条件和权限，不依赖隐藏思维文本；成本层记录模型 Token、调用次数、工具与执行资源、端到端时间。评测集覆盖正常、歧义、工具失败、冲突、权限和长任务，用规则、LLM Judge 与人工抽检组合评估。安全与关键事实设硬门禁，质量和成本看分层指标及 Pareto 权衡。每次版本固定配置、多次运行、按场景切片，并把 Badcase 回流到数据和系统修复。最重要的是让评估指出具体薄弱环节；一个好看的总分如果不能定位问题，就没有多少改进价值。 Agen…

#Agent#多智能体与评估#Agent 评估体系

面试题·项目与经历· 商汤科技

项目局限性与改进方向

匹配正文：…带来更多噪声，但并不存在“召回和幻觉天然此消彼长”的定律。top-k、重排、上下文组织、模型能力和任务分布共同决定结果，必须用同一评测集做曲线。不得补写候选人的召回率、优化周期和涨点。一个有说服力的局限，来自可复现失败、根因证据和明确的风险边界。

#项目复盘#技术债务#系统优化

面试题·项目与经历· 京东

面试反问怎么问才加分?

匹配正文：…数据更新，团队怎样收集失败样本并决定下一轮优先级？这比直接问是否使用某个向量库更有信息。若对方说召回问题多，再追问文档版本、权限、评测集和引用支持率；不会预设所有RAG都必须先做Entity Linking。第二类问题可以聚焦技术决策：在准确率、延迟、成本和安全冲突时，团队最近做过什么取舍，关键方案如何通过离线与线上验证？回答能够反映团队是否有真实基线、回滚机制和评测文化。规则、检索、微调或Agent都可能是答案，不需要先断言纯RAG必然失败。第三类问题关注岗位边界：这个…

#面试技巧#职业规划#团队沟通

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配正文：…改变经验分布。同一文档或模板反复出现，相当于在损失中获得更高权重，模型更容易记住这些序列，也会浪费训练预算。近重复还可能跨越训练与评测集合，制造虚高指标。但这并不意味着只要有重复数据，模型就一定在解码时进入循环；是否循环还受到上下文、模型容量、训练阶段和生成策略影响。从训练侧看，我会检查精确与近重复率、模板集中度、长文本截断、EOS标注和样本拼接。错误的EOS处理或大量未自然结束的样本，会让模型学不到何时停止；小数据上过度训练也可能放大模板记忆。MLE本身是在拟合条件分布，…

#监督微调#复读机问题#训练数据

面试题·模型训练· 得物

全参数 vs 参数高效微调怎么选?

匹配正文：…重、优化器、激活和通信缓冲的dtype与分片方式，再用框架峰值显存校准。对全参、LoRA和QLoRA固定数据、token、训练步和评测集，扫学习率、rank、target modules与量化配置。质量侧看目标任务、通用能力和安全回归；系统侧看训练吞吐、峰值显存、checkpoint大小、加载和多租户成本。若PEFT满足质量门槛且需要多任务适配，它通常更经济；不能只凭参数比例下结论。还要分清checkpoint大小与训练峰值显存。LoRA文件可能只有几十或几百MB，但前向仍…

#全参数微调#LoRA#Prompt Tuning

面试题·模型训练· 字节

CPT数据清洗与时间序列一致性

匹配正文：…成数据卡，列出各来源token占比、时间分布、语言、去重率、过滤原因和许可状态。对保留与删除样本人工抽检，测过滤器精确率和召回；对评测集做精确、模糊、语义及代码片段匹配，并检查答案和解析页面。训练侧用不同混合、去重和时间采样方案做小规模ablation，比较领域困惑度、通用能力、记忆探针与目标任务。阈值由这些证据确定，不能把某个采样或过滤比例写成固定标准。若CPT目标是学习随时间演化的领域，还可保留时间字段做分桶评测，观察旧知识保持与新知识获取，而不是把所有时间差异压成一个…

#CPT#数据工程#数据清洗

面试题·Agent· 小红书

LLM 输出格式不规范怎么修?

匹配正文：…端权限、状态和幂等校验；高影响动作另加用户确认。批量任务：失败项进入隔离队列，可重放且不阻塞整批；人工修订保留来源。用固定版本评测集报告解析通过率、schema通过率、语义正确率、拒绝/人工率、P95/P99延迟和单任务成本。模型或提示版本变化后重新评测，不能只以“能被 JSON.parse 读取”判定成功。

#小红书#Agent#LLM 输出格式规范

面试题·Agent· 同花顺

Agent 开发技术栈怎么选?

匹配正文：…否】；若是，训练数据来自【合法来源】，基线【】，真实结果【】。线上约束【】，失败时【】。证据自检检查仓库依赖、配置、训练日志、评测集版本、工具 schema、trace、压测报告和回滚记录是否支持回答。不能把调用 API 说成训练模型，也不能把团队维护的平台说成个人实现。追问入口准备解释框架锁定风险、为何没有选择其他编排方式、工具增多后的路由、训练数据泄漏、超时预算、幂等、权限和成本控制。

#同花顺#Agent#Agent 技术栈

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配正文：…配置，并单独检查表格、代码、跨页和多跳问题。结论：分块没有“语义切分一定最准”或“滑窗一定召回最高”的统一排序，可靠结论来自同一评测集上的对照实验。图解 Chunking 策略怎么选?图解

#百度#文档处理#Chunking 策略

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：…符数切分，带重叠窗口通用场景，实现简单固定长度与重叠窗口都只作为候选配置，具体大小由文档结构、Embedding输入限制和同一评测集上的证据完整率、召回与成本共同决定递归分块先按段落/句子边界，再递归细分结构清晰的文档优先保证语义边界完整语义分块用Embedding相似度检测主题变化长文档、多主题混合计算成本高，可用聚类或BERTopic辅助关键考量：块太小→上下文丢失；块太大→检索精度下降、Embedding稀释。实践中常组合使用，如先按标题分章节，再…

#字节#文档处理#RAG 数据处理流程