匹配正文：MRR 的定义平均倒数排名（Mean Reciprocal Rank）定义为： \text{MRR}=\frac{1}{|Q|}\sum_{i=1}^{|Q|}\frac{1}{\text{rank}_i} 其中 rank_i 是查询 i 的第一个相关结果所在排名；若评测截断范围内没有相关结果，该查询记为 0。排第 1、2、3 位时，倒数排名分别为 1、0.5 和约 0.33。在 RAG 中的意义 MRR 对首个有效证据能否尽早出现很敏感，适合评估只向生成器提供较少候选的…

#百度#评估与监控#MRR 定义

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：… 下降，Recall 却提高了。哪个更好，要看任务需要一条证据还是多条证据，以及后续重排能否处理增加的候选。为什么“相关”必须先定义清楚？同主题不等于能支持答案。例如问题询问例外条件，只有通用规则的段落只能算主题相关。标注时应把“主题相关”和“答案证据”分开，多证据题还要标明每段支持哪个要点，并按原文区间去重，避免多个相邻 Chunk 把 Precision 和 Recall 一起抬高。 MRR：第一条正确证据排得够不够靠前 MRR 的全称是 Mean Reciproca…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 百度

MRR vs NDCG vs Precision 怎么选?

匹配正文：答案要点 MRR的定义和计算公式 MRR只关注第一个相关结果的位置特性 NDCG考虑多结果相关性累积和位置衰减 Precision关注查准率，Recall关注查全率；固定Top-K内的Precision不区分内部顺序三者适用场景的差异（单答案vs多答案vs查全） MRR 核心概念 MRR（Mean Reciprocal Rank）衡量检索系统把第一个相关结果排在第几位的平均表现。计算公式： MRR = (1/|Q|) * Σ(1/rank_i) 对每个查询，找到第一个相…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#MRR 计算方法#NDCG 与 Precision 区别

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…,覆盖 5 个角度) 【评估维度与方法】评估 RAG / Agent 系统通常用哪些指标和方法?请说明评估的维度。中等 → 【MRR 指标】 RAG 里 MRR(平均倒数排名)怎么定义?它在评估时有什么特殊意义? 基础 → 【评估数据集设计】如何设计和构建高质量评估数据集?数据采集、标注流程、负样本怎么处理? 中等 → 【检索段评价体系】衡量召回阶段质量有哪些成熟的离线与在线评估指标? 较难 → 【高并发延迟优化】高并发场景下,如何从架构/算法/工程角度优化召回段和…

#RAG#检索#项目实战

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…写与指代消解 Cross-Encoder Rerank 精排 RAG 幻觉归因与四类治理 RAG 评估指标(Recall@K / MRR / LLM-as-Judge) 检索权限前置过滤与上线回归第一部分 · 先证明你理解完整链路先把这部分当成模拟面试。不要背示例项目，先在纸上写下自己的资料类型、请求链路和负责范围。面试官：请用两分钟讲清楚你的 RAG 系统。一个合格回答至少要交代四件事：资料怎样解析和切分，问题怎样进入检索，候选怎样融合与重排，最终答案怎样引用原文或…

#RAG#项目深挖#教学复原

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…G检索质量提升5法、RAG 为什么需要 Rerank?。 5. metrics · metrics 召回改善用 Recall@k、MRR、NDCG 还是最终答案指标？各自基线、样本和置信区间是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、MRR、NDCG 与端到端答案指标的公式和切片同索引、同 query 集和同候选预算下的单路召回基线冻结 query 集、相关性标注、置信区间和实验版本 BM25、向量、RRF 与重排各自贡献的去除…

#模拟面试#简历项目#连续追问

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：… 下游还要看检索指标。 Recall@K 关注标注证据有没有进入前 K 条，Precision@K 关注返回内容里有多少真正相关，MRR 关注第一条正确证据排在哪里，冗余率关注前几条是否反复返回相邻重复片段。这些检索指标不能替代解析指标。如果一个问题答错，Recall@K 下降只告诉我们证据没被找回。继续查看解析关键区和 Chunk，才能知道它是在入库前消失，还是在检索时落后。同样，解析指标也不能替代检索测试。页面结构看起来完好，却可能因为标题、表头或位置没有进入可检索…

#RAG#解析与入库#RAG 文档解析评估

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…程改模型权重 vs 只改输入,两条改行为的路径能判断一个需求该先试提示还是该上微调模型微调题库评估指标 Recall / MRR / 忠实度等衡量系统好坏的量能说出各指标衡量哪一环、少了它面试会露评估 "懂到什么程度"的可操作标准是什么结论先行:判断你懂没懂一个概念,就问两句话——能不能用一句话讲清它是什么,能不能说出它影响哪个工程决策。两句都能过,才算懂到应用开发要的程度。拿温度举例。"温度控制输出随机性"这是第一层,只是定义。第二层是:做信息抽取、分类、S…

#求职#职业转型

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…下差异也会让参数结论完全不同。第一，文档结构不同。一问一答式 FAQ 本身就是短而完整的语义单元。制度、合同和技术手册则可能把定义、条件、例外和步骤分散在多个自然段。平均长度相同，并不代表证据跨度相同。第二，Embedding 模型的输入限制和训练方式不同。如果块长超过当前 Embedding 模型实际接收的长度，超出部分可能被截断；是否截断、从哪里截断，要以所用模型的文档和实测结果为准。即使没有截断，长块里混入多个主题，也可能让向量表达变得不够聚焦。不能只看数据库保…

#RAG#切分与索引#Chunk Size

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…个字。前一个问题需要系统理解“推销”和“销售”意思接近，后一个问题则希望原词命中时，标题能直接排到前面。这道题考的不是两个名词的定义，而是能否把“为什么要混合、怎样混合、怎样验证”连成一条完整答案。下面就按面试官的追问顺序拆开。如果第一次接触 RAG，可以把它理解成“先从资料中找到相关原文，再把原文交给大模型回答”。Chunk 就是一段被切分出来的原文，后文直接称为“原文段落”。 2 分钟完整作答如果面试官没有打断，可以这样回答： RAG 同时使用 BM25 和向量检索…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…x 对当前候选里的极值敏感。只要出现一个异常高分，其余结果会被压在很窄的区间。若一条检索路只有一两个结果，最大值与最小值相同，还要定义特殊处理。Z-score 相对关注分布，但候选少、分布偏斜或模型升级后统计特征改变时，校准也可能失稳。更稳妥的工程做法，是在固定版本的评测集上观察每路分数分布，保存校准方法和版本，并在索引或模型更新后重新检查，而不是每次查询临时归一化完就认为分数已经“公平”。前提二：权重必须有依据如果验证集显示精确查询更依赖 BM25，口语化和同义表达更…

#RAG#检索与重排#RRF

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…模型搬到另一个模型，并不代表相同相关性。更稳妥的是先用名次指标比较，再在固定模型和数据上选择过滤阈值。相同分数或非常接近时，还要定义稳定的次级排序规则，例如沿用粗召回名次或固定 Chunk ID。否则同一 Query 翻页时，候选顺序可能因为非稳定排序发生跳动。输入模板、截断、阈值和稳定排序都属于 Rerank 配置。只记录模型名称，不足以复现一次排序结果。什么时候值得做领域微调？微调不是解决 Rerank 延迟的办法。只有通用模型在一类专业术语、否定或内部缩写问题上…

#RAG#检索与重排#RAG Rerank

项目实战·RAG

附录:把这个 RAG 项目写进简历 & 面试应答

匹配正文：…量化指标怎么来:跑评估集得真数别凭空编:整数、小数、漂亮或不漂亮的数字都可能真实,也都可能虚构。可信度不由数字格式决定,而由指标定义、基线与对照、样本来源和规模、标注规则、运行配置及日志共同决定; 用第 10 章的方法量出来:根据业务风险和覆盖范围确定评估集规模,固定同一评估集和运行配置,让候选方案各跑一遍,记录 Recall/MRR、失败样本与原始结果。能把这些证据拿出来复查,效果主张才有说服力。业内行话:不要让小数位替证据背书。准备简历时,应当先定义指标与评估集,保留…

#RAG#检索#项目实战

面试题·评估· 京东

NDCG 怎么计算?

匹配正文：定义采用指数增益时： DCG@k = sum_{i=1..k} (2^{rel_i}-1) / log2(i+1) IDCG@k是在同一候选集合中将相关性标签按降序排列后得到的最大DCG。 NDCG@k = DCG@k / IDCG@k 它衡量带分级相关性和位置折扣的排序质量，不是Top-K命中率。若IDCG@k=0，应在指标规范中明确该查询是跳过还是记为0。可复算示例实际相关性为[3,2,3,0,1]： DCG@5 = 7 + 3/log2(3) + 7/log2(4…

#排序评估指标#信息检索#推荐系统

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配正文：…开比较，应明确滑窗是固定窗口加固定步长，而“语义块加重叠”是在结构切分后补邻接上下文。对系统的影响小块通常噪声更少，但可能缺少定义、指代或跨句证据；大块上下文更完整，但相关信息占比可能下降。重叠可能提高边界证据的召回，也可能让多个近重复块占满 Top-K。摘要类、多跳类查询往往需要更完整或分层的上下文；精确事实查询可能更偏好较小且自包含的块，但都不是固定规则。评测方法在同一文档集和查询集上比较多组 chunk size、结构切分方式和 overlap。检索侧看证据…

#百度#文档处理#Chunking 策略

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：…回=无法生成） Precision@K：召回结果中相关文档占比，控制噪声干扰LLM F1-Score：平衡场景使用排序质量指标 MRR（平均倒数排名）：关注首个相关文档位置，适合单文档即可回答的场景 NDCG@K：考虑文档相关性分级，适合需要综合多文档生成的复杂Query MAP（平均精度均值）：评估整体排序质量多路召回特有指标覆盖率（Coverage）：Query被至少一路召回的比例互补性（Complementarity）：各路召回结果的重叠度，理想状态是低重叠高互…

#美团#评估与监控#多路召回评估

面试题·评估· 字节

RAG 文档检索选型

匹配正文：…成本。建立 bad case 分类，区分切块、召回、融合、重排和权限过滤问题。 3. 评测闭环离线至少观察 Recall@K、MRR 或 NDCG，并按查询类型切片；线上还要看引用正确性、无答案识别、延迟和成本。指标定义、标注口径、样本量及数据泄漏检查必须与结果一起说明。项目事实填空如果需要结合本人项目，只填写可核验事实：语料主要是【真实文档类型】；基线方案是【真实基线】；主要失败查询是【真实 bad case】；选择【真实检索或融合方案】的约束是【真实原因】；离线和…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配口述回答：…；上线前必须构建领域测试集，分维度打标；线上监控则靠用户反馈和埋点。检索覆盖、排序、答案支持、事实正确和完整性一起看，再按任务风险定义上线门槛；Recall是质量覆盖指标，不是运行效率指标。这就是我对RAG评估的理解，核心是分层看、抓底线、用工具但不盲信。 RAG评估本质是两段式质量博弈检索层：区分Recall@K覆盖率、Hit@K与MRR排序生成层：忠实于上下文与事实正确、完整性分别检查端到端RAGAS框架：用LLM当裁判，但前提是裁判靠谱落地取舍：没有银弹，我更…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：…评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成内容是否忠实于检索文档（可用NLI模型自动判断） Answer Relevance：答案与问题的相关性（可用BERTScore或人工打分） Hallucination Rate：虚构信息比例，可用…

#安克科技#Agent#Agent 评估体系

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：核心原则 Reranker 要学习的是当前业务对“相关”的定义，训练候选必须接近线上召回器实际产生的分布。正负比例、难负样本占比和一致性阈值都需要按任务与损失函数调优，不存在通用的 1:3、30% 或 Kappa 0.6 门槛。 1. 先定义标签明确直接支持答案、部分支持、仅主题相关和不相关的边界，并规定时效性、权限、来源质量和冲突证据如何标注。多证据问题可以使用分级相关性或列表式标签；若最终训练采用二分类，再说明如何映射。用双人标注、仲裁和抽样复审估计一致性；目标值应…

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：检索层先建立可复现基线：固定语料、标注 query、相关性定义和 Recall@K/MRR/NDCG。检查知识覆盖、解析、分块、元数据与权限，再比较查询改写、稀疏/稠密/混合召回。只有正确文档已经进入候选集时，Cross-Encoder 等重排器才可能改善高位排序；否则应先修召回。 Embedding 微调、难负样本和索引参数必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不…

#AIlab#检索器优化#RAG 优化

面试题·RAG· OPPO

多信号评分函数原理与陷阱

匹配正文：设计步骤定义目标与约束：明确相关性、点击、转化、停留、多样性或时效性，并区分预测目标与展示约束。构造信号：文本或向量相关度、质量、流行度、新鲜度、用户偏好和上下文等；检查缺失值、时间穿越和在线可用性。统一尺度：BM25、余弦、概率和计数不能直接相加。可使用分位数、z-score、Platt 或 isotonic 校准，也可在学习排序模型中共同学习。学习组合：数据少且需要解释时可用带约束线性或逻辑模型；有排序标签时可用 RankNet 或 LambdaMART；深度模型…

#OPPO#多信号排序#评分函数设计

面试题·检索· 美团

BM25公式参数含义与TF-IDF对比

匹配正文：…N-n+0.5)/(n+0.5))，也有 log(1+(N-n+0.5)/(n+0.5)) 等非负变体。回答时应说明所用检索引擎的定义，不能把一种实现当成唯一公式。相比基础 TF-IDF BM25 的词频项会饱和，同一词继续出现时边际增益下降；长度归一化由 b 显式控制，而不是对所有长文档固定扣分；基础 TF-IDF 常用线性词频，但 TF-IDF 也有对数 TF、向量归一化等变体，不能笼统说它完全不处理长度。 k1、b 的默认值只是起点。分词、字段权重、停用词、IDF…

#美团#BM25#BM25 算法原理

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配口述回答：…滤条件是否误删，候选集是否召回正确片段，重排是否把正确片段提前，生成是否忠于证据。候选层看 Recall@k 或命中率，排序层看 MRR、NDCG 或人工成对判断，生成层看答案正确性、证据支持率和应拒答样本。只有当正确文档存在、候选召回仍持续失败，并且更换向量模型或加入难负样本在固定测试集上稳定改善，才有证据讨论 embedding 训练。【完整展开】定位时先冻结一批代表性坏样本与对照样本，记录原始查询、过滤条件、召回列表、分数、重排结果、送入模型的上下文和最终回答。按查…

#问题定位#工程实践#跨团队协作