面试题 · 评估
搜索「融合」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
在检索增强生成（RAG）系统中，评估和选择不同召回方法时，主要依赖哪些关键指标（例如Recall@k）？这些指标如何影响整体系统性能？
基础指标
排序质量指标
| 指标侧重 |
|---|
按学习路线查看教程、项目和面试题。
| 系统影响 |
|---|
| Recall@k高 | 保证相关信息被召回，降低"幻觉"风险，但可能引入噪声 |
| MRR高 | 正确答案排在前面，减轻LLM筛选负担，提升生成效率 |
| NDCG高 | 高质量文档优先，直接提升生成质量 |
建议系统学习该知识点
场景切入
我看你做过知识库问答。假设用户问了一个产品问题，你召回了几段文档，但答案在第三段才出现，你觉得这个召回结果算不算好？你会用什么指标来量化这个‘好’？
层层追问
RAG系统里召回结果怎么评估？……你一般用什么指标？……那如果正确答案排在很后面，只靠Recall够不够？……你觉得MRR和Recall分别侧重什么？
直球架构
评估RAG召回阶段，你选哪些关键指标？比如Recall@k、MRR、NDCG，它们分别影响系统什么性能？你怎么根据业务场景取舍？
这道题问的是[[RAG]]里怎么评估召回方法，本质上是在问：你选的检索策略到底能不能把正确答案送到生成器面前，并且以多高的效率送过去。对，不是单纯比谁分数高，而是要跟后面的生成环节联动着看。
核心指标我主要看三个。先看 Recall@k，这是底线指标，比如Recall@5或者Recall@10，它决定你漏没漏掉关键信息。如果Recall不够，生成器拿到的上下文里压根没有正确答案，那后面[[Rerank]]也好、LLM推理也好，全是白费。所以任何RAG系统上线，我最先盯的就是Recall，这是保底的。
然后看 MRR，它关心的是第一个正确答案出现在第几位。你想想，如果正确答案排在第十位，前面全是噪声，LLM得从十段不相关文本里硬找，不仅慢而且容易产生[[Hallucination]]。所以MRR高，意味着系统能快速把最相关的东西顶到前面，减轻生成器的筛选负担。
另外还要看 NDCG，它比MRR更细，它考虑相关度分级和位置折扣。打个比方，有些场景下文档不止一个相关，有的特别关键，有的只是沾边，NDCG能区分谁更重要，适合那种多篇文档贡献不同、需要权衡排序的场景。
具体到业务，差别很大。举个例子，客服退款场景，用户问“我昨天买的订单为什么还没退款”，这时候正确答案可能就一句话，而且用户等不了太长时间，所以我会更看重 MRR，希望第一段就命中。反过来，如果是研报分析场景，分析师要写行业报告，需要尽可能全地搜集信息，哪怕翻到二十位才发现一篇有用的也行，这时候 Recall@20 就是核心指标，漏了信息比排得靠后更致命。
落地时有个常见坑：Recall高但Precision低，也就是召回了一堆不相关的。这时候如果直接喂给LLM，上下文塞满噪声，生成质量反而下降。所以我一般会搭配一个强力的 Rerank 环节，或者用压缩策略把不相关的滤掉。另外，如果用了多路召回，比如[[Hybrid Search]]同时跑了向量检索和[[BM25]]，我会分别评估每条路的Recall，再测融合后的Recall，单独一路差可能拖累整体。
这里有个延伸点：其实指标选完了，真正上线前我还会做一轮query回放，拿一批真实用户问题回测，对比新旧策略的Recall和MRR变化，如果新方案Recall涨了但MRR掉了，我得掂量一下是否值得，因为MRR掉意味着用户等得久，业务上可能更敏感。
所以总结一下，我更倾向把 Recall@k 看作是系统质量的底线，先保证不漏，然后用Rerank和精排去提MRR和NDCG。不同业务场景下权重不一样，但上线前一定要做query回放校验，否则指标好看但真实体验可能翻车。