匹配正文：…已经排在前面，生成模型却漏掉了限制条件。只看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、Precision@K、MRR、答案正确性和 Faithfulness，分别在评估 RAG 哪一层？如果几个指标互相矛盾，你会怎样定位问题？如果只把几个英文缩写逐个翻译出来，回答还停留在知识点层面。面试官真正想听的是，你能不能沿着证据流解释每个指标，看懂指标组合背后的故障，并设计一套不会被自动裁判误导的评测方法。先画清楚：一个…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 字节

召回策略怎么选? Recall@k 怎么看?

匹配正文：核心评估指标体系一、离线检索指标（选策略阶段）指标含义 RAG场景意义 Recall@k 前k个命中的相关文档数 / 全部黄金相关文档数检查证据覆盖；至少命中一份应另报Hit@k MRR (Mean Reciprocal Rank) 首个相关文档排名的倒数均值关注"多快能找到" NDCG@k 考虑位置加权的排序质量头部结果的相关性优先级 Precision@k 前k个结果中相关文档占比过滤噪声能力 Recall@k的特殊性：RAG与推荐系统不同——推荐可"猜对"…

#抖音#评估与监控#RAG 召回策略评估

面试题·评估· 字节

RAG 召回评估指标对比

匹配正文：核心召回指标基础指标 Recall@k：前k个结果中包含正确答案的比例，最常用。RAG中通常关注Recall@5/10/20 Precision@k：前k个结果的精确率，适用于答案明确的场景 F1@k：Recall和Precision的调和平均排序质量指标 MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置" NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景 MAP（Mean Averag…

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#抖音#Recall@k#RAG 召回评估

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：一、定量评估指标基础指标 Recall@K：关键文档是否被召回，RAG场景优先关注（漏召回=无法生成） Precision@K：召回结果中相关文档占比，控制噪声干扰LLM F1-Score：平衡场景使用排序质量指标 MRR（平均倒数排名）：关注首个相关文档位置，适合单文档即可回答的场景 NDCG@K：考虑文档相关性分级，适合需要综合多文档生成的复杂Query MAP（平均精度均值）：评估整体排序质量多路召回特有指标覆盖率（Coverage）：Query被至少一路召回的…

#美团#评估与监控#多路召回评估

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：RAG评估的核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型…

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：一、系统性评估框架 RAG评估必须分层进行，避免"黑盒优化"： 1. 检索层（Retrieval） Recall@K：正确答案是否在Top-K中（核心指标） MRR/NDCG：排序质量精确率：检索片段的相关性比例 2. 生成层（Generation）事实性：答案是否忠实于检索内容（可用NLI模型自动判）完整性：是否覆盖问题要点流畅性：语言自然度（可用 perplexity 或人工打分） 3. 端到端（End-to-End） Answer Correctness：答案正…

#字节#评估与监控#RAG 评估

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配正文：…心思想：相邻句子语义相关，随机采样作为负样本优点：零成本获取训练数据，通用性强；缺点：特定领域可能不如有监督模型检索能力评估指标含义适用场景 Recall@K Top-K中命中正样本的比例关注召回完整性，RAG首选 MRR 首个正样本排名的倒数均值关注排序首位准确性 NDCG 考虑相关度等级的加权排序多等级相关性场景 RAG场景关键：优先看Recall@K（如Recall@5/10），因为生成阶段能处理少量噪声，但漏召回无法弥补。学习建议建议系统学习该知…

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 哔哩哔哩

粗排冷启动指标与路径

匹配正文：粗排评估指标粗排的核心矛盾是效率与精度的平衡，评估要分两层：离线指标 AUC/GAUC：AUC看整体区分度，GAUC按用户分组平均，消除用户间差异，更适合推荐场景 LogLoss：校准概率质量，粗排输出给精排的分数需要概率意义目标保留Recall@K：预先定义相关目标/精排oracle Top-M集合，计算其中有多少被粗排Top-K保留；Hit@K则只看每请求是否至少保留一个目标，不能混用。 RT（响应时间）：按实际端到端预算设P99与QPS门槛；10ms不是粗排的通用…

#哔哩哔哩#评估与监控#向量检索

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：答案要点区分检索评估与生成评估两个层面说明端到端指标（如RAGAS、ARES）与组件级指标的区别强调事实性/幻觉检测的重要性提及业务场景下的实用指标（如延迟、成本）体现对评测方法局限性的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配正文：答案要点区分检索评估和生成评估两个层面列举3-5个核心指标（如Recall@K、BLEU、Faithfulness等）说明端到端评估与组件级评估的区别提及实际挑战如标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成…

#安克科技#评估与监控#Agent

面试题·RAG· 百度

RAG 项目指标化复盘

匹配正文：…自【合法来源】，规模和版本【】。我负责【本人模块】，基线【】。失败切片【】由【日志/标注/回放】发现，采用【真实改动】，结果【真实指标和口径】，代价【】，仍失败【】，回退【】。证据自检准备语料版本、评测集构造、防泄漏、Recall@K/MRR/NDCG、答案支持率、P95/P99、QPS、成本、消融表和失败样本。不能把召回提升直接等同于答案正确，也不能把同期业务增长直接归因于 RAG。追问入口可继续追问表格/OCR、精确标识符、权限过滤、RRF 参数、重排贡献、引用校…

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配标题与标签：RAG向量数据库选型关键指标 RAG 系统中评估性能、索引类型与集成度的关键维度评估京东评估与监控向量数据库选型 RAG 向量数据库向量数据库性能评估京东

#京东#评估与监控#向量数据库选型

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配正文：…义改写、跨语言、长语义理解专有名词、短查询、实时性要求高典型短板冷启动、罕见实体、计算开销语义鸿沟、词形变化敏感关键评估指标质量指标 Recall@k：前k个结果命中的相关文档数 / 已标注相关文档总数；前k中的相关占比是Precision@k。两者分别衡量覆盖和噪声。 MRR（Mean Reciprocal Rank）：首个相关文档排名的倒数均值，反映排序质量 NDCG@k：考虑位置衰减的加权得分，适合有明确相关性等级的场景效率指标 P99延迟：向量检索需关注…

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

求职指南·RAG

RAG 评测集与 bad case项目模拟面试

匹配正文：…tradeoff。配套学习：评测数据集怎么选?、大模型任务表现差怎么排查？。 4. tradeoff · tradeoff 哪些指标自动计算，哪些必须人工或模型评审？为什么不只用一个端到端正确率？考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。至少两个候选方案、真实约束与放弃原因质量、时延、开发和维护成本下一步：metrics。配套学习：自动 vs 人工评价怎么选?、大模型应用怎么保障可靠性?。 5. metrics · metrics Recall@k…

#模拟面试#简历项目#连续追问

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…评估集,就是一批事先标好标准答案或证据位置的题。有了它,你的每次优化才能从"我觉得变好了"变成"在同一数据、标注规则和配置下,某项指标发生了可复查的变化"。为什么要评估集:把感觉变成数字没有评估集,你没法回答"好多少",也没法判断两个方案哪个更好:优化就成了玄学。概念 2:Recall@k 和 MRR,衡量检索的两把尺 Recall@k(召回率):正确的那个 chunk,有没有出现在前 k 个检索结果里。看的是"该找的找到没有"。 MRR(平均倒数排名):正确的 chu…

#RAG#检索#项目实战

面试题·评估· 字节

RAG 评测优化闭环

匹配正文：一、三层评估体系设计 1. 检索模块评估 Recall@K：答案相关文档是否在TopK中 MRR/NDCG：排序质量，关注相关文档的位置精确率指标：标题匹配率、实体命中率（针对结构化知识）多跳召回率：复杂问题需跨文档推理时的召回能力 2. 生成模块评估事实性：答案与检索内容的一致性（用NLI模型或人工抽检）完整性：是否覆盖问题所有要点（可拆解子问题逐一验证）幻觉率：生成内容超出检索片段的比例流畅度：PPL、人工可读性评分 3. 端到端评估 RAGAS指标：fait…

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…置、截断。黄金组仍错误：先确认黄金证据充分、prompt和输入格式正确，再查生成与证据使用；不能仅凭该实验断言是幻觉。二、独立指标体系检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Faithfulness：生成内容是否被检索文档支持（可用NLI模型判断） Answer R…

#百度#评估与监控#RAG 错误定位

面试题·评估· 百度

RAG 错误根源怎么定位?

匹配正文：…度或输出解析需要排查。结果时好时坏，应重复运行并控制随机性，不能用一次生成下结论。 3. 检索与生成消融检索侧：检查黄金证据 Recall@K、MRR/NDCG、chunk 完整性、过滤条件和重排前后位置。生成侧：在相同黄金证据上比较原 prompt、简化 prompt、抽取式基线和不同模型，检查答案 claim 是否被证据支持。交互侧：逐步增加候选、调整顺序并去除重复或冲突文档，判断是否存在 lost-in-the-middle、噪声干扰或上下文截断。 4. 归因矩…

#百度#评估与监控#RAG 错误定位

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…现状成熟度：有相对成熟的离线评估体系，但缺乏统一标准；在线评估与业务强绑定，RAG场景下还需结合生成质量做端到端评估。离线评估指标指标含义优点缺点 Recall@K 相关文档在TopK中的占比直观、计算简单不关注排序位置，K值敏感 MRR (平均倒数排名) 第一个相关文档排名的倒数均值关注排序质量只关心首个结果，忽略后续 NDCG@K 考虑位置折扣的累积增益细粒度反映排序质量需要相关性分级标注，成本高 Hit Rate 查询是否命中相关文档极简，适合…

#美团#评估与监控#召回评估指标

面试题·评估· 字节

RAG 自动与人工评估

匹配口述回答：…到端评估。我先说自动评估，再说人工评估，最后聊一下落地怎么取舍。先说检索评估。这一步主要是看检索回来的片段质量怎么样。我最常用的指标是Recall@K，K一般取5或者10，它关心的是正确答案有没有被召回。如果业务场景对排序有要求，比如搜索结果要展示前几条，我会加上MRR来评估第一条正确结果的位置。不过说实话，检索评估只是中间环节，最终还是要看生成效果。生成评估这边，如果任务有标准答案，比如FAQ场景，可以用BLEU或ROUGE做n-gram匹配。但我更推荐BERTScor…

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 百度

MRR vs NDCG vs Precision 怎么选?

匹配正文：…排名记0，因此范围[0,1]。报告是否在K处截断。关键特性：只关心第一个正确答案的位置，后面即使有100个相关文档也不加分。三指标对比与适用场景指标核心关注点适用场景 MRR 首个正确答案的排名单答案场景：QA系统、客服机器人、事实性查询 NDCG 多结果的相关性累积+位置加权多答案场景：需要LLM综合多文档生成的复杂查询 Precision@K 前K个结果中相关的比例查准场景：衡量返回结果噪声，不保证黄金相关集覆盖 RAG系统中的选择逻辑 MRR：适合"找唯…

#百度#MRR 计算方法#NDCG 与 Precision 区别

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配正文：答案要点检索质量指标：Recall@K、MRR、NDCG、命中率生成质量指标：忠实性、答案相关性、上下文相关性端到端评估方法：RAGAS、ARES、人工评估指标选择需结合业务场景，没有银弹一、检索质量评估核心指标 Recall@K：Top-K命中的相关文档数 / 黄金相关文档总数，关注覆盖；Top-K中相关占比是Precision@K。 MRR（平均倒数排名）：逐query取首个相关文档排名倒数，再求均值；未命中记0，并说明截断K。 NDCG：考虑位置加权的排序质…

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒…

#小鹏#评估与监控#RAG 失败场景诊断