匹配正文：…看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、Precision@K、MRR、答案正确性和 Faithfulness，分别在评估 RAG 哪一层？如果几个指标互相矛盾，你会怎样定位问题？如果只把几个英文缩写逐个翻译出来，回答还停留在知识点层面。面试官真正想听的是，你能不能沿着证据流解释每个指标，看懂指标组合背后的故障，并设计一套不会被自动裁判误导的评测方法。先画清楚：一个 RAG 回答经过了哪些可评估节点堆更多…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 百度

MRR vs NDCG vs Precision 怎么选?

匹配正文：答案要点 MRR的定义和计算公式 MRR只关注第一个相关结果的位置特性 NDCG考虑多结果相关性累积和位置衰减 Precision关注查准率，Recall关注查全率；固定Top-K内的Precision不区分内部顺序三者适用场景的差异（单答案vs多答案vs查全） MRR 核心概念 MRR（Mean Reciprocal Rank）衡量检索系统把第一个相关结果排在第几位的平均表现。计算公式： MRR = (1/|Q|) * Σ(1/rank_i) 对每个查询，找到第一个相…

#百度#MRR 计算方法#NDCG 与 Precision 区别

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：MRR 的定义平均倒数排名（Mean Reciprocal Rank）定义为： \text{MRR}=\frac{1}{|Q|}\sum_{i=1}^{|Q|}\frac{1}{\text{rank}_i} 其中 rank_i 是查询 i 的第一个相关结果所在排名；若评测截断范围内没有相关结果，该查询记为 0。排第 1、2、3 位时，倒数排名分别为 1、0.5 和约 0.33。在 RAG 中的意义 MRR 对首个有效证据能否尽早出现很敏感，适合评估只向生成器提供较少候选的…

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#评估与监控#MRR 定义

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：📊 学习时长:55-70 分钟 🎯 完成后能力:能用 30 行代码算出检索的 Recall@k 和 MRR,讲清评估五维度、测试集怎么构建、检索段/生成段分别怎么评,以及上线后怎么把首字响应压下来 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用一段零依赖代码,亲手把"检索好不好"算成 Recall@k 和 MRR 两个数字 ✓ 看懂评估为什么是优化的前提:没有评估集,调参全凭感觉 ✓ 掌握评估五维度(召回准…

#RAG#检索#项目实战

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配正文：…ll@k：前k个结果命中的相关文档数 / 已标注相关文档总数；前k中的相关占比是Precision@k。两者分别衡量覆盖和噪声。 MRR（Mean Reciprocal Rank）：首个相关文档排名的倒数均值，反映排序质量 NDCG@k：考虑位置衰减的加权得分，适合有明确相关性等级的场景效率指标 P99延迟：向量检索需关注HNSW索引构建与查询耗时 QPS/内存：BGE-M3需embedding服务和向量存储，BM25轻量权重考量与决策框架业务场景驱动（以抖音为例）： …

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…。离线评估指标指标含义优点缺点 Recall@K 相关文档在TopK中的占比直观、计算简单不关注排序位置，K值敏感 MRR (平均倒数排名) 第一个相关文档排名的倒数均值关注排序质量只关心首个结果，忽略后续 NDCG@K 考虑位置折扣的累积增益细粒度反映排序质量需要相关性分级标注，成本高 Hit Rate 查询是否命中相关文档极简，适合快速验证太粗糙，无排序信息核心痛点：离线指标基于"相关性标注"，但标注标准难统一（语义相关vs字面相关），且与最终…

#美团#评估与监控#召回评估指标

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均…

#淘天#评估与监控#RAG 线上效果评估

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…写与指代消解 Cross-Encoder Rerank 精排 RAG 幻觉归因与四类治理 RAG 评估指标(Recall@K / MRR / LLM-as-Judge) 检索权限前置过滤与上线回归第一部分 · 先证明你理解完整链路先把这部分当成模拟面试。不要背示例项目，先在纸上写下自己的资料类型、请求链路和负责范围。面试官：请用两分钟讲清楚你的 RAG 系统。一个合格回答至少要交代四件事：资料怎样解析和切分，问题怎样进入检索，候选怎样融合与重排，最终答案怎样引用原文或…

#RAG#项目深挖#教学复原

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…G检索质量提升5法、RAG 为什么需要 Rerank?。 5. metrics · metrics 召回改善用 Recall@k、MRR、NDCG 还是最终答案指标？各自基线、样本和置信区间是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、MRR、NDCG 与端到端答案指标的公式和切片同索引、同 query 集和同候选预算下的单路召回基线冻结 query 集、相关性标注、置信区间和实验版本 BM25、向量、RRF 与重排各自贡献的去除…

#模拟面试#简历项目#连续追问

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…等、较大 overlap 作为候选范围,固定同一批文档、切分器、评估集、top_k 和检索/重排配置,同时记录 Recall@K、MRR、重复率、上下文 token、索引体积与延迟,再选择满足质量门槛且代价可接受的配置。不同语料与 chunk 大小可能得到不同结果,不能预设某个固定数值就是拐点。 overlap 参数要在同一评估集上比较候选范围招式 5:chunk 元数据白话:每个 chunk 除了正文,还贴几个"标签"。为什么需要:标签是真正拉开差距的地方。做法:带…

#RAG#检索#项目实战

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…重排或 Query 改写 BM25 和向量检索怎么融合? RRF 的 k 怎么解释? 晚些做评估集和错误分类 Recall@k、MRR、答案正确率怎么量化? 发布前加引用溯源、拒答、权限过滤没依据时怎么拒答? 不同用户能不能看到同一份文档? RAG 很适合后端转型,因为它一半是数据管线和服务系统,一半是模型行为。站内的RAG 智能问答系统就是按这个链路设计的:从文档处理到检索、重排、记忆、引用、评估一步步补齐。如果你简历里只有“基于 LangChain 搭建知识库问答…

#求职#职业转型

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：… 下游还要看检索指标。 Recall@K 关注标注证据有没有进入前 K 条，Precision@K 关注返回内容里有多少真正相关，MRR 关注第一条正确证据排在哪里，冗余率关注前几条是否反复返回相邻重复片段。这些检索指标不能替代解析指标。如果一个问题答错，Recall@K 下降只告诉我们证据没被找回。继续查看解析关键区和 Chunk，才能知道它是在入库前消失，还是在检索时落后。同样，解析指标也不能替代检索测试。页面结构看起来完好，却可能因为标题、表头或位置没有进入可检索…

#RAG#解析与入库#RAG 文档解析评估

项目实战·RAG

第 6 章:重排(Rerank)与检索优化

匹配正文：…der 精排可以联合读取 query 与候选,尝试把更能回答问题的证据排到前面。是否真的改善,仍要在同一评估集上测 Recall、MRR 和生成忠实度。一句话:召回决定候选里有没有,排序决定正确证据排得是否靠前。这一章,我们就先用 20 行代码把"排序为什么会错"亲手复现一遍。 3 个核心概念(先白话,再术语) 概念 1:什么是"重排 / 精排"? 第 5 章的混合检索能把几十上百条"可能相关"的候选捞回来,但它们的顺序不一定对。重排(Rerank,也叫精排)就是再加一道…

#RAG#检索#项目实战

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…程改模型权重 vs 只改输入,两条改行为的路径能判断一个需求该先试提示还是该上微调模型微调题库评估指标 Recall / MRR / 忠实度等衡量系统好坏的量能说出各指标衡量哪一环、少了它面试会露评估 "懂到什么程度"的可操作标准是什么结论先行:判断你懂没懂一个概念,就问两句话——能不能用一句话讲清它是什么,能不能说出它影响哪个工程决策。两句都能过,才算懂到应用开发要的程度。拿温度举例。"温度控制输出随机性"这是第一层,只是定义。第二层是:做信息抽取、分类、S…

#求职#职业转型

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…布""采样温度是什么意思""期望大概是加权平均"的直觉。不用推贝叶斯公式评估指标含义必须懂精确率、召回率、Recall@k、MRR、忠实度(faithfulness)各自衡量什么、什么时候看哪个,能读懂评估报告。不用背公式推导梯度的直觉必须懂知道梯度是"往哪个方向调参数能让误差变小"的指南针,理解学习率大了会震荡。不用手推链式法则反向传播逐步推导不用死磕知道它是"把误差从后往前分摊回每层参数"即可,不必逐层手推注意力公式手推不用死磕知道注意力是"每个词…

#求职#职业转型

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…高度相似的重叠块都命中同一证据，不能算找回了三份有效信息。因此评估时应按证据或原文区间去重，而不是只按 chunk ID 计数。 MRR 或 nDCG：正确证据排在什么位置 MRR 关注第一个相关结果出现得早不早。nDCG 适合存在多条不同相关度证据时，观察整体排序。这些指标常用于比较召回和排序方案；在切分实验里，它们能帮助判断参数变化是否只把相关块“塞进了候选尾部”，还是让它真正靠前。证据完整性：召回的块能不能独立支撑回答传统检索指标只能判断相关，不一定判断完整。一个…

#RAG#切分与索引#Chunk Size

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…覆盖，也可能带来更多噪声。若找全程度上升、准确程度却下降，后面的上下文会塞进一批主题相近却无用的内容。第一条正确原文排在第几位（MRR）。同样都在前 10 条找回，排第 1 与排第 10 对后续截断和生成的影响不同。需要多条证据时，还可以结合 MAP 观察多个相关结果的整体排序。返回内容是否反复讲同一件事（冗余率）。连续切分的相邻段落可能高度相似，表面上前几条都相关，实际只提供了一份信息。可以记录证据包含的关键信息点，或检查近重复段落。评测表除了总分，还可以保留每个问题…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…掩盖某类查询的退化，分层结果才能指导最终选择。指标同时看召回、排序、重复和成本 Recall@K 判断正确证据是否进入有限候选。MRR 关注第一条相关结果的位置。nDCG 适合评估多条不同相关度证据的整体排序。Precision@K 能观察头部候选中的相关比例。此外还应记录融合后重复率、每路贡献比例、候选数量和融合耗时。如果后面接 Cross-Encoder，还应固定精排输入数量，比较融合是否给精排提供了更好的候选，而不是让精排替其中一方掩盖问题。 def compare…

#RAG#检索与重排#RRF

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…存在、第一条正确证据排在哪里、前 K 条的相关性与冗余。召回层看 Recall@N，确认正确证据有没有资格进入精排。排序层看 MRR、NDCG 或 Precision@K，确认正确证据是否更靠前。工程层记录候选数量、批量大小、模型版本、输入截断、推理耗时、队列等待和资源峰值。还要按问题类型拆结果。专业术语、否定、时效条件、短 Query 和多证据问题可能表现不同。平均分上升，不代表最重要的失败类型都被修好。 Rerank 价值验收清单先确认候选覆盖，再比较排序变化…

#RAG#检索与重排#RAG Rerank

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…召回候选里本来就有正确证据。对于候选缺失的问题，应归入召回失败，不应拿来评价重排模型。在固定候选集上，可以看正确证据的首个排名、MRR、NDCG，或直接看它是否进入最终交给生成模型的前几条。若问题需要多段证据，还要看相关证据是否一起保留下来，不能只把其中一段排到第一就算完成。同时记录输入截断。Rerank 通常把 Query 与候选拼在一起读取，候选过长时会发生截断。评测日志至少应保存原始长度、实际输入长度和截断方向，否则“模型把正确证据排低了”可能只是正确段落根本没有进…

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…在演示层面。这就是面试里经常被追问的一道题： RAG 评测集应该怎么构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证据位置，怎么评估检索？最终答案错了，怎么知道该修检索还是生成？参数一直对着同一批题调，会不会把系统调到过拟合？一条评测样本到底要保存什么？最小结构不是“问题加答案”，而…

#RAG#评测与上线#RAG 评测集

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…掉了检索时间下降，正确证据却不再进入候选，最终答案开始出错。每次调整索引与搜索参数，都要在同一评测集上回归 Recall@K、MRR 和最终答案，不允许只过性能门槛。第三种，Rerank 候选不断扩大团队担心漏召回，把候选从一批增加到更大一批，Rerank 耗时持续增长，正确证据覆盖却几乎不变。应同时观察候选规模、Recall 曲线和重排耗时，找到收益开始变小的位置。第四种，缓存没有版本和租户速度看起来非常快，却返回旧答案或其他知识库的结果。先停用风险缓存，再…

#RAG#评测与上线#RAG 首字响应

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…与在线 TTFT，观察稳定并发、突发流量和冷启动，不使用没有压测依据的容量承诺。质量验收运行固定评测集，比较 Recall@K、MRR、无答案控制和引用正确性，并按问题类型查看失败。恢复验收检查任务中断后能否从正确阶段继续，新版本失败时旧版本是否仍然服务，重试是否重复写入。所有验收都要绑定代码、模型、知识库和 Schema 版本。没有版本，结果以后无法复现。系统设计追问怎么接：先说职责和退路这组问题不是考基础设施名词，而是检查每类数据由谁负责、一次失败会停在哪，以及…

#RAG#评测与上线#RAG 系统设计

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配正文：…率、切分与元数据，再分别测候选召回、重排排序、上下文组装、引用支持和最终答案。召回层至少看 Recall@k 或命中率，排序层看 MRR、NDCG 或人工偏好，生成层看答案正确性、证据支持率和拒答行为。方案必须对应证据。若文档根本没有答案，应补知识而非训练 embedding；若候选集中有答案但排序靠后，再检查查询改写、向量模型、负样本和重排；若证据正确但答案错误，则处理提示、上下文冲突、生成模型或校验。落地过程还要说明负责人、灰度范围、回滚条件与复测结果。所有数字都应能由…

#问题定位#工程实践#跨团队协作