面试题 · 评估
搜索「融合」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
RAG 的召回策略应怎样比较？Recall@K、Hit@K、MRR、nDCG 和 Precision@K 分别回答什么问题？
任何检索指标都依赖 query、语料版本和相关性标注。RAG 中应标注能支持答案的原始证据范围，并说明多份证据是否都必需、是否分等级、无答案查询怎样处理。若直接把旧 chunk ID 当真值，改切分后指标会失去可比性。
| 指标 | 回答的问题 | 边界 |
|---|---|---|
| Hit@K | 前 K 中是否至少有一份相关证据 | 不区分命中一份还是找全多份 |
| Recall@K | 前 K 找回了全部相关证据的多少 | 需要知道相关集合；多证据任务更有意义 |
按学习路线查看教程、项目和面试题。
| Precision@K | 前 K 中相关结果占多少 | 受 K 与标注完整度影响 |
| MRR | 第一份相关结果出现得多早 | 只关心第一个命中 |
| nDCG@K | 按相关等级和位置衡量排序 | 需要可靠的分级标签 |
有些实现把“前 K 至少命中一个”也叫 Recall@K，报告时必须写公式，避免把 Hit@K 和集合召回混用。Macro 平均、micro 平均和按查询切片的结果也可能不同。
对同一固定排序，扩大前缀时 Recall 不会下降；但重新运行近似检索、修改过滤或融合参数后，结果未必是嵌套前缀。K 没有通用的 5–20。应画候选深度与 Hit/Recall、nDCG、延迟、重排成本、上下文证据保留和答案质量的曲线。
检索阶段的 K 也不等于最终放进模型的片段数。去重、权限过滤、重排和 token 截断都可能把正确证据移除，因此要分别记录候选前、融合后、重排后和上下文后的覆盖。
分别计算每一路的命中集合、重复率和独有贡献，再对去重并集和最终融合结果计算指标。只有命中事件独立时，1 - ∏(1 - r_i) 才能描述组合概率；实际关键词与向量结果常相关，不能直接相乘。
消融要固定语料、查询、权限、候选预算和融合配置。RRF 或分数加权有自己的参数，加入一路后候选预算变化也可能造成表面增益。
延迟阈值由 SLO、硬件、过滤和负载决定，不能预设向量检索 50 ms、重排 100 ms。报告 P50/P95/P99、吞吐、超时和成本，并按权限、语言、时间、文档类型和无答案查询切片。
检索指标是链路证据，不是最终业务结论。还要验证正确证据进入上下文后，模型是否逐主张使用、引用是否正确、冲突是否呈现、无答案时是否拒答。即使端到端答案正确，也不能用模型“猜对”掩盖越权、过时或错误引用。
策略选择应满足一组门槛，而不是强行选一个唯一指标：候选覆盖、头部排序、权限正确、尾延迟和最终证据支持共同决定能否上线。
场景切入
假设你在做电商客服的RAG系统，用户问“订单怎么还没到”，系统要去召回相关文档。你平时会用什么指标来评估召回策略好不好？比如召回结果不够全，你怎么判断是策略的问题？
层层追问
召回策略怎么选，一般看哪些指标？……那Recall@k具体在RAG里起什么作用？……如果k从5调到20，Recall上去了，但LLM回答质量反而下降，你觉得可能的原因是什么？
直球架构
评估RAG召回策略时，离线指标你一般重点看哪几个？其中Recall@k为什么特别关键？在决定k值的时候，除了Recall曲线，还要考虑哪些因素？
检索指标先从相关性标注开始。要固定 query、语料版本和能支持答案的原始证据，并说明是否需要多份证据。前 K 至少命中一份是 Hit@K；Recall@K 是找回全部相关集合的比例；MRR 看第一份相关结果位置；nDCG 还考虑分级相关性和排序。报告时必须写公式。
K 没有五到二十的通用范围。我会画候选深度与 Hit、Recall、nDCG、延迟、重排成本和最终答案质量的曲线。检索 K 不等于进模型的片段数，因为去重、权限、重排和截断可能再次丢证据，所以各阶段都要记录覆盖。
多路检索分别看命中集合、重复和独有贡献，再计算去重并集与最终融合。除非命中事件独立，否则不能用一减漏召回概率乘积。消融要固定候选预算和权限。
最后检查逐主张证据支持、引用、冲突和无答案拒答。端到端答对也不能掩盖越权或错误引用。策略上线由候选覆盖、头部排序、权限、P95/P99 和证据支持共同决定。