匹配正文：…否分等级、无答案查询怎样处理。若直接把旧 chunk ID 当真值，改切分后指标会失去可比性。常用指标指标回答的问题边界 Hit@K 前 K 中是否至少有一份相关证据不区分命中一份还是找全多份 Recall@K 前 K 找回了全部相关证据的多少需要知道相关集合；多证据任务更有意义 Precision@K 前 K 中相关结果占多少受 K 与标注完整度影响 MRR 第一份相关结果出现得多早只关心第一个命中 nDCG@K 按相关等级和位置衡量排序需要可靠的分级标签…

#RAG#检索评测#Recall@K

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：…度及相关性标注覆盖。 MRR（平均倒数排名）：对每个query取第一个相关结果排名的倒数，再求均值；没有命中记0，并说明截断K。 Hit@K：Top-K至少命中一个相关结果的query比例。一个query只有一份相关文档时，它才与Recall@K在该口径下重合。 NDCG：考虑相关度分级的精细排序指标评估方式：需要人工标注query对应的黄金文档集，或用合成数据自动验证。二、生成质量评估传统NLP指标（参考意义有限） BLEU、ROUGE：n-gram重叠，对RAG不太…

#淘天#评估与监控#RAG 线上效果评估

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…型或 Prompt 变化后重新校准。追问六：如果只能选一个检索指标，你选什么？先看任务。单证据事实问答可以优先看 MRR 或 Hit@K，多证据问题优先看 Recall@K，候选要直接交给生成模型时还要重视 Precision 与冗余。真正的工程评测通常不会只保留一个指标。最后完整说一遍如果面试官让你用 60 到 90 秒完整回答，可以这样组织： RAG 是一条证据流，所以我不会用一个准确率评价整条链路。检索层先看 Recall@K，判断必要证据有没有进入前 K 条；…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#评测与上线#RAG 评估指标

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…立指标体系检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Faithfulness：生成内容是否被检索文档支持（可用NLI模型判断） Answer Relevance：答案与问题的相关性交叉验证：当检索指标高但Faithfulness低 → 生成模块问题三、注意力权重分析（…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：RAG评估的三层架构 1. 检索评估（Retrieval Evaluation） MRR/Hit@K：衡量排序质量，适合粗排阶段快速验证 Recall@K：关注相关性召回，K通常取5或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相似度，对同义改写更鲁棒 3. 端到端评估（End-to-End） RAGAS（主流框…

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 哔哩哔哩

粗排冷启动指标与路径

匹配正文：…数需要概率意义目标保留Recall@K：预先定义相关目标/精排oracle Top-M集合，计算其中有多少被粗排Top-K保留；Hit@K则只看每请求是否至少保留一个目标，不能混用。 RT（响应时间）：按实际端到端预算设P99与QPS门槛；10ms不是粗排的通用硬性标准。线上指标目标覆盖需用独立黄金集或精排oracle候选作分母；“最终曝光里来自粗排的比例”只是来源占比，若所有精排候选都经过该粗排，它恒为100%，无法发现漏掉的好物品。端到端CTR/CVR变化，粗排通…

#哔哩哔哩#评估与监控#向量检索

面试题·检索· 小鹏

RAG文本分段策略与重叠机制

匹配正文：…层索引：短chunk用于精排，长chunk用于生成动态调整：根据query长度和文档类型自适应chunk size 效果验证：用Hit@K和答案完整性做离线评估，结合用户反馈迭代实际落地中，我倾向于结构感知+适度重叠的组合，在Markdown文档上按标题层级分段，把 chunk size 与重叠窗口作为候选变量，用同一评测集比较效果与成本后再定。

#小鹏#文本分块优化#RAG 文本分段