匹配正文：…已经排在前面，生成模型却漏掉了限制条件。只看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、Precision@K、MRR、答案正确性和 Faithfulness，分别在评估 RAG 哪一层？如果几个指标互相矛盾，你会怎样定位问题？如果只把几个英文缩写逐个翻译出来，回答还停留在知识点层面。面试官真正想听的是，你能不能沿着证据流解释每个指标，看懂指标组合背后的故障，并设计一套不会被自动裁判误导的评测方法。先画清楚：一个…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 字节

召回策略怎么选? Recall@k 怎么看?

匹配正文：核心评估指标体系一、离线检索指标（选策略阶段）指标含义 RAG场景意义 Recall@k 前k个命中的相关文档数 / 全部黄金相关文档数检查证据覆盖；至少命中一份应另报Hit@k MRR (Mean Reciprocal Rank) 首个相关文档排名的倒数均值关注"多快能找到" NDCG@k 考虑位置加权的排序质量头部结果的相关性优先级 Precision@k 前k个结果中相关文档占比过滤噪声能力 Recall@k的特殊性：RAG与推荐系统不同——推荐可"猜对"…

#抖音#评估与监控#RAG 召回策略评估

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：📊 学习时长:55-70 分钟 🎯 完成后能力:能用 30 行代码算出检索的 Recall@k 和 MRR,讲清评估五维度、测试集怎么构建、检索段/生成段分别怎么评,以及上线后怎么把首字响应压下来 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用一段零依赖代码,亲手把"检索好不好"算成 Recall@k 和 MRR 两个数字 ✓ 看懂评估为什么是优化的前提:没有评估集,调参全凭感觉 ✓ 掌握评估五维度(召回准…

第 1 / 7 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#检索#项目实战

面试题·评估· 字节

RAG 召回评估指标对比

匹配正文：核心召回指标基础指标 Recall@k：前k个结果中包含正确答案的比例，最常用。RAG中通常关注Recall@5/10/20 Precision@k：前k个结果的精确率，适用于答案明确的场景 F1@k：Recall和Precision的调和平均排序质量指标 MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置" NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景 MAP（Mean Averag…

#抖音#Recall@k#RAG 召回评估

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配正文：…长语义理解专有名词、短查询、实时性要求高典型短板冷启动、罕见实体、计算开销语义鸿沟、词形变化敏感关键评估指标质量指标 Recall@k：前k个结果命中的相关文档数 / 已标注相关文档总数；前k中的相关占比是Precision@k。两者分别衡量覆盖和噪声。 MRR（Mean Reciprocal Rank）：首个相关文档排名的倒数均值，反映排序质量 NDCG@k：考虑位置衰减的加权得分，适合有明确相关性等级的场景效率指标 P99延迟：向量检索需关注HNSW索引构建…

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均…

#淘天#评估与监控#RAG 线上效果评估

项目实战·RAG

RAG 智能问答系统

匹配正文：…分怎样验证项目效果检索质量起点或对照：无固定评测集验证目标：固定题集 + 标注证据当前状态：结果待实测检查方式：记录 Recall@K、命中证据位置与失败 query 方案贡献起点或对照：只看最终答案验证目标：逐模块做消融当前状态：贡献待验证检查方式：分别关闭改写、混合检索、重排与引用约束工程代价起点或对照：只看平均延迟验证目标：延迟 + 成本 + 稳定性当前状态：结果待压测检查方式：记录 P50/P95、吞吐、单次成本与降级表现把自己实际完成…

#项目实战#RAG 智能问答系统

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…轮对话 Query 改写与指代消解 Cross-Encoder Rerank 精排 RAG 幻觉归因与四类治理 RAG 评估指标(Recall@K / MRR / LLM-as-Judge) 检索权限前置过滤与上线回归第一部分 · 先证明你理解完整链路先把这部分当成模拟面试。不要背示例项目，先在纸上写下自己的资料类型、请求链路和负责范围。面试官：请用两分钟讲清楚你的 RAG 系统。一个合格回答至少要交代四件事：资料怎样解析和切分，问题怎样进入检索，候选怎样融合与重排，…

#RAG#项目深挖#教学复原

求职指南·RAG

企业知识库 RAG 架构项目模拟面试

匹配正文：…是哪一个指标？基线、评测集、样本量、统计窗口和单变量实验分别是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、答案正确率等指标的公式、分母与统计窗口冻结评测集、模型和检索配置下的旧方案结果评测集来源、规模、业务切片和版本记录召回、重排与生成模块的单变量或去除实验需要追加追问时：metric_undefined → metrics-proof；baseline_missing → metrics-proof；evaluation_s…

#模拟面试#简历项目#连续追问

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…。配套学习：RAG检索质量提升5法、RAG 为什么需要 Rerank?。 5. metrics · metrics 召回改善用 Recall@k、MRR、NDCG 还是最终答案指标？各自基线、样本和置信区间是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、MRR、NDCG 与端到端答案指标的公式和切片同索引、同 query 集和同候选预算下的单路召回基线冻结 query 集、相关性标注、置信区间和实验版本 BM25、向量、RRF 与…

#模拟面试#简历项目#连续追问

求职指南·RAG

RAG 评测集与 bad case项目模拟面试

匹配正文：…metrics。配套学习：自动 vs 人工评价怎么选?、大模型应用怎么保障可靠性?。 5. metrics · metrics Recall@k、排序、faithfulness、答案正确性、拒答和业务指标各怎么定义？基线与样本量是多少？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。检索、忠实度、答案正确性、拒答与业务指标的判定规则冻结数据版本和评测器版本下的基线报告样本来源、分层、去重、标注分歧和泄漏检查需要追加追问时：metric_undefined…

#模拟面试#简历项目#连续追问

项目实战·RAG

第 2 章:RAG 整体架构

匹配正文：…统需要做全链路埋点:记录每步的输入输出(解析提取了什么、召回了哪些片段、模型最终答了什么),出问题才能定位到具体环节。检索段可用 Recall@k 等指标检查正确证据是否进入候选集;指标异常时,先顺着埋点排查切分、检索和 Query 理解,不要直接把问题归因于模型。 🏆 Part 3 · 验收串题｜ ~10% 学到这一步,做几道题验证一下,知道自己学到位没。关联面试题(5 道,覆盖 5 个角度) 【整体架构与流程】解释 RAG 的整体架构与完整工作流程。中等 → 【…

#RAG#检索#项目实战

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…。把 0、较小、中等、较大 overlap 作为候选范围,固定同一批文档、切分器、评估集、top_k 和检索/重排配置,同时记录 Recall@K、MRR、重复率、上下文 token、索引体积与延迟,再选择满足质量门槛且代价可接受的配置。不同语料与 chunk 大小可能得到不同结果,不能预设某个固定数值就是拐点。 overlap 参数要在同一评估集上比较候选范围招式 5:chunk 元数据白话:每个 chunk 除了正文,还贴几个"标签"。为什么需要:标签是真正拉开差距…

#RAG#检索#项目实战

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…下午加混合检索、重排或 Query 改写 BM25 和向量检索怎么融合? RRF 的 k 怎么解释? 晚些做评估集和错误分类 Recall@k、MRR、答案正确率怎么量化? 发布前加引用溯源、拒答、权限过滤没依据时怎么拒答? 不同用户能不能看到同一份文档? RAG 很适合后端转型,因为它一半是数据管线和服务系统,一半是模型行为。站内的RAG 智能问答系统就是按这个链路设计的:从文档处理到检索、重排、记忆、引用、评估一步步补齐。如果你简历里只有“基于 LangChai…

#求职#职业转型

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…以检查返回内容是否带有正确文件、页码、区域和标题路径。引用落在错误页，即使答案文字一样，也不能算完全正确。下游还要看检索指标。 Recall@K 关注标注证据有没有进入前 K 条，Precision@K 关注返回内容里有多少真正相关，MRR 关注第一条正确证据排在哪里，冗余率关注前几条是否反复返回相邻重复片段。这些检索指标不能替代解析指标。如果一个问题答错，Recall@K 下降只告诉我们证据没被找回。继续查看解析关键区和 Chunk，才能知道它是在入库前消失，还是在检…

#RAG#解析与入库#RAG 文档解析评估

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…"模型输出是概率分布""采样温度是什么意思""期望大概是加权平均"的直觉。不用推贝叶斯公式评估指标含义必须懂精确率、召回率、Recall@k、MRR、忠实度(faithfulness)各自衡量什么、什么时候看哪个,能读懂评估报告。不用背公式推导梯度的直觉必须懂知道梯度是"往哪个方向调参数能让误差变小"的指南针,理解学习率大了会震荡。不用手推链式法则反向传播逐步推导不用死磕知道它是"把误差从后往前分摊回每层参数"即可,不必逐层手推注意力公式手推不用死磕知…

#求职#职业转型

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…出来固定模型、Top K、Rerank 与 Prompt，只比较切分配置带来的真实变化。指标怎么选，才不会只优化一个漂亮数字 Recall@K：正确证据有没有进入候选集如果标准证据完全没进前 K，后面的重排和生成通常无从补救。Recall@K 适合观察切分后“该找的内容能不能找到”。但它也可能被重复结果欺骗。三个高度相似的重叠块都命中同一证据，不能算找回了三份有效信息。因此评估时应按证据或原文区间去重，而不是只按 chunk ID 计数。 MRR 或 nDCG：正确证…

#RAG#切分与索引#Chunk Size

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…同一份长文档，却未必找到了能支持答案的 Chunk。对需要多段信息才能回答的问题，可以分别记录每条证据包含的关键信息点。这样计算 Recall@K 时，才能发现系统只找回了其中一半。测试集还需要人工校验。自动生成问题可以扩大初稿，但参考答案是否能由证据推出、证据位置是否准确、问题之间是否只是换了几个词，都需要检查。若测试集本身把错误段落标成正确证据，检索器越贴合这个标注，离用户需要的结果反而越远。在同一份数据、同一份证据标注和同一个 K 值下，依次运行：只使用 BM25…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：… 领域外、知识库中没有答案的问题。总体平均分会掩盖某类查询的退化，分层结果才能指导最终选择。指标同时看召回、排序、重复和成本 Recall@K 判断正确证据是否进入有限候选。MRR 关注第一条相关结果的位置。nDCG 适合评估多条不同相关度证据的整体排序。Precision@K 能观察头部候选中的相关比例。此外还应记录融合后重复率、每路贡献比例、候选数量和融合耗时。如果后面接 Cross-Encoder，还应固定精排输入数量，比较融合是否给精排提供了更好的候选，而不是让…

#RAG#检索与重排#RRF

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…一知识库与检索配置下比较四组：原 Query、重写、扩写、HyDE。需要时再增加原 Query 与处理结果并行的组合。检索层看 Recall@K 和第一条正确证据名次，确认正确资料是否被带回。意图层检查实体、否定、时间和范围是否保持。召回更多内容，却把“不支持”改成“支持”，不能算提升。工程层记录额外调用、候选数量、近重复、处理耗时与版本。无答案样本还要检查错误处理是否让系统更容易强行回答。路由本身也要单独评估。某条重写方法在指代问题上有效，不代表路由器能准确识别…

#RAG#检索与重排#RAG Query 重写

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…测试集调参数，测试集就会逐渐变成开发集，得到的分数不能代表新问题上的表现。 Embedding 不能只看一个 Recall 数字 Recall@K 是 Embedding 选型的核心指标之一：人工标注的正确证据中，有多少出现在前 K 个候选里。但它不是唯一指标。首先要同时看不同 K 值。某个模型可能在较大的 K 下能找回证据，但在较小的 K 下排序很差，这意味着后续需要更大的候选集，Rerank 成本也会随之增加。反过来，如果 K 很小就能稳定覆盖正确证据，整条链路会更轻。…

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…很难复核，容易停留在演示层面。这就是面试里经常被追问的一道题： RAG 评测集应该怎么构建？为什么只准备问题和参考答案仍然不够？Recall@K、MRR 和 Faithfulness 又分别在评估哪一层？只回答“让大模型生成一批 QA，再算准确率”，通常会暴露更多问题：自动生成的问题是不是只会复述原文？没有正确证据位置，怎么评估检索？最终答案错了，怎么知道该修检索还是生成？参数一直对着同一批题调，会不会把系统调到过拟合？一条评测样本到底要保存什么？最小结构不是…

#RAG#评测与上线#RAG 评测集

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询快了但 Recall@K 下降，首字改善可能换来错误答案。过滤是在搜索前缩小有效范围。如果问题只允许查询某个知识库、某些文档或当前有效版本，先过滤再搜索既是权限要求，也可能减少候选范围。过滤条件应直接进入查询，让未授权和已失效内容不参与候选排序，而不是搜完全库后再二次删除。 BM25 和向量检索可以并行执行。串行写法会先等完一路再跑另一路，并行则等待较…

#RAG#评测与上线#RAG 首字响应

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…别测试离线任务吞吐与在线 TTFT，观察稳定并发、突发流量和冷启动，不使用没有压测依据的容量承诺。质量验收运行固定评测集，比较 Recall@K、MRR、无答案控制和引用正确性，并按问题类型查看失败。恢复验收检查任务中断后能否从正确阶段继续，新版本失败时旧版本是否仍然服务，重试是否重复写入。所有验收都要绑定代码、模型、知识库和 Schema 版本。没有版本，结果以后无法复现。系统设计追问怎么接：先说职责和退路这组问题不是考基础设施名词，而是检查每类数据由谁负责、一次…

#RAG#评测与上线#RAG 系统设计