完整题目
在检索增强生成（RAG）系统中，评估和选择不同召回方法时，主要依赖哪些关键指标（例如Recall@k）？这些指标如何影响整体系统性能？
本文目录
核心召回指标
基础指标
- Recall@k：前k个结果中包含正确答案的比例，最常用。RAG中通常关注Recall@5/10/20
- Precision@k：前k个结果的精确率，适用于答案明确的场景
- F1@k：Recall和Precision的调和平均
排序质量指标
- MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置"
- NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景
- MAP（Mean Average Precision）：PR曲线下面积，适合多查询平均评估
指标如何影响系统性能
| 指标侧重 | 系统影响 |
|---|---|
| Recall@k高 | 保证相关信息被召回，降低"幻觉"风险，但可能引入噪声 |
| MRR高 | 正确答案排在前面，减轻LLM筛选负担，提升生成效率 |
| NDCG高 | 高质量文档优先，直接提升生成质量 |
实际评估要点
- 与生成环节联动：高Recall但低Precision时，需增强重排序或压缩上下文
- 多路召回评估：分别评估向量检索、关键词检索、图谱检索，再测融合后的Recall
- 业务定制：客服场景重MRR（要快准），研报场景重Recall@20（要全）
学习建议
建议系统学习该知识点
换一种问法，检查是否真正理解
场景切入
我看你做过知识库问答。假设用户问了一个产品问题，你召回了几段文档，但答案在第三段才出现，你觉得这个召回结果算不算好？你会用什么指标来量化这个‘好’？
层层追问
RAG系统里召回结果怎么评估？……你一般用什么指标？……那如果正确答案排在很后面，只靠Recall够不够？……你觉得MRR和Recall分别侧重什么？
直球架构
评估RAG召回阶段，你选哪些关键指标？比如Recall@k、MRR、NDCG，它们分别影响系统什么性能？你怎么根据业务场景取舍？
练习口述回答 · 约4分钟
- 一句话定位：本质是衡量检索能否把正确答案送到生成器面前
- 核心指标：Recall@k是底线，MRR看排位，NDCG看质量
- 业务场景：客服退款场景下MRR优先，研报场景下Recall@20优先
- 落地风险：高Recall低Precision需要重排兜底，多路召回要单独评估再融合
- 工程师取舍：我倾向保Recall兜底，用Rerank提精排，上线前做query回放
这道题问的是[[RAG]]里怎么评估召回方法，本质上是在问：你选的检索策略到底能不能把正确答案送到生成器面前，并且以多高的效率送过去。对，不是单纯比谁分数高，而是要跟后面的生成环节联动着看。
核心指标我主要看三个。先看 Recall@k，这是底线指标，比如Recall@5或者Recall@10，它决定你漏没漏掉关键信息。如果Recall不够，生成器拿到的上下文里压根没有正确答案，那后面[[Rerank]]也好、LLM推理也好，全是白费。所以任何RAG系统上线，我最先盯的就是Recall，这是保底的。
然后看 MRR，它关心的是第一个正确答案出现在第几位。你想想，如果正确答案排在第十位，前面全是噪声，LLM得从十段不相关文本里硬找，不仅慢而且容易产生[[Hallucination]]。所以MRR高，意味着系统能快速把最相关的东西顶到前面，减轻生成器的筛选负担。
另外还要看 NDCG，它比MRR更细，它考虑相关度分级和位置折扣。打个比方，有些场景下文档不止一个相关，有的特别关键，有的只是沾边，NDCG能区分谁更重要，适合那种多篇文档贡献不同、需要权衡排序的场景。
具体到业务，差别很大。举个例子，客服退款场景，用户问“我昨天买的订单为什么还没退款”，这时候正确答案可能就一句话，而且用户等不了太长时间，所以我会更看重 MRR，希望第一段就命中。反过来，如果是研报分析场景，分析师要写行业报告，需要尽可能全地搜集信息，哪怕翻到二十位才发现一篇有用的也行，这时候 Recall@20 就是核心指标，漏了信息比排得靠后更致命。
落地时有个常见坑：Recall高但Precision低，也就是召回了一堆不相关的。这时候如果直接喂给LLM，上下文塞满噪声，生成质量反而下降。所以我一般会搭配一个强力的 Rerank 环节，或者用压缩策略把不相关的滤掉。另外，如果用了多路召回，比如[[Hybrid Search]]同时跑了向量检索和[[BM25]]，我会分别评估每条路的Recall，再测融合后的Recall，单独一路差可能拖累整体。
这里有个延伸点：其实指标选完了，真正上线前我还会做一轮query回放，拿一批真实用户问题回测，对比新旧策略的Recall和MRR变化，如果新方案Recall涨了但MRR掉了，我得掂量一下是否值得，因为MRR掉意味着用户等得久，业务上可能更敏感。