匹配正文：答案要点明确区分检索问题与生成问题的诊断思路掌握检索侧的核心评估指标（Recall@K、MRR、NDCG）掌握生成侧的核心评估指标（Faithfulness、Answer Relevance、Context Precision）能够设计消融实验或黄金文档实验验证假设提出端到端追踪与人工分析的具体方法核心诊断思路：模块解耦 + 端到端追踪第一步：判断是否为检索问题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：答案要点区分检索失败与生成失败的诊断方法关键指标设计（召回率、相关性、忠实度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：答案要点区分RAG和Agent的不同评估维度（检索质量vs工具调用/规划能力）覆盖客观指标（准确率、召回率）和主观指标（有用性、无害性）提及自动化评估与人工评估的结合指出实际落地中的挑战（评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#安克科技#Agent#Agent 评估体系

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：…使用第一个相关结果的位置，不衡量后续相关证据是否齐全，也不能直接代表生成答案是否正确或忠实。多阶段检索应分别记录初召回和重排后的指标，并以最终送入模型的候选顺序作为端到端诊断依据。配套指标与阈值 MRR 应与 Recall@K、NDCG、证据覆盖率、Faithfulness、引用准确率和答案正确率结合。对于需要多个证据片段的问题，Recall@K 与 NDCG 往往比单独的 MRR 更能说明信息是否完整。 MRR 没有跨数据集通用的 0.7、0.8 或 0.85 合格线。…

#百度#评估与监控#MRR 定义

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配正文：…配性向量维度与存储成本的权衡检索速度与推理延迟多语言支持与跨语言检索能力微调扩展性与模型生态核心选型维度 1. 语义质量指标 MTEB榜单排名：参考检索、重排序、聚类等任务的综合表现领域适配性：通用模型（如BGE、E5）vs 领域微调模型（如GTE-medical）上下文长度：支持512/2048/8k tokens，长文档需截断或分层处理 2. 工程性能指标向量维度：常见768/1024，维度↑精度微增但存储和计算成本线性↑ 推理速度：batch处理吞吐量（…

#百度#评估与监控#向量检索

项目实战·RAG

RAG 智能问答系统

匹配正文：公开教学项目：从文档解析、检索重排到引用与评测这是公开化教学案例。文中的场景与指标用于理解项目实现；简历应填写自己实际完成的工作与测量结果。从文档解析、检索重排到引用与评测的公开教学项目配套代码与运行环境配套代码：rag-from-zero。先区分零依赖演练和完整模型链路：前者用玩具/模拟组件检查逻辑，后者还需要本地模型、首次权重下载、有效LLM凭据与网络。通过冒烟测试不等于真实Embedding、重排和LLM生成已经跑通。建议为这版配套代码使用 Python 3.…

#项目实战#RAG 智能问答系统

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…合多轮对话 Query 改写与指代消解 Cross-Encoder Rerank 精排 RAG 幻觉归因与四类治理 RAG 评估指标(Recall@K / MRR / LLM-as-Judge) 检索权限前置过滤与上线回归第一部分 · 先证明你理解完整链路先把这部分当成模拟面试。不要背示例项目，先在纸上写下自己的资料类型、请求链路和负责范围。面试官：请用两分钟讲清楚你的 RAG 系统。一个合格回答至少要交代四件事：资料怎样解析和切分，问题怎样进入检索，候选怎样融合与…

#RAG#项目深挖#教学复原

求职指南·RAG

企业知识库 RAG 架构项目模拟面试

匹配正文：… RAG 完整架构、Agent 中 RAG 瓶颈怎么破?。 5. metrics · metrics 你所说的效果改善具体是哪一个指标？基线、评测集、样本量、统计窗口和单变量实验分别是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、答案正确率等指标的公式、分母与统计窗口冻结评测集、模型和检索配置下的旧方案结果评测集来源、规模、业务切片和版本记录召回、重排与生成模块的单变量或去除实验需要追加追问时：metric_undefined …

#模拟面试#简历项目#连续追问

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：…。配套学习：RAG检索质量提升5法、RAG 为什么需要 Rerank?。 5. metrics · metrics 召回改善用 Recall@k、MRR、NDCG 还是最终答案指标？各自基线、样本和置信区间是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。 Recall@k、MRR、NDCG 与端到端答案指标的公式和切片同索引、同 query 集和同候选预算下的单路召回基线冻结 query 集、相关性标注、置信区间和实验版本 BM25、向量、RRF 与…

#模拟面试#简历项目#连续追问

项目实战·RAG

第 2 章:RAG 整体架构

匹配正文：…统需要做全链路埋点:记录每步的输入输出(解析提取了什么、召回了哪些片段、模型最终答了什么),出问题才能定位到具体环节。检索段可用 Recall@k 等指标检查正确证据是否进入候选集;指标异常时,先顺着埋点排查切分、检索和 Query 理解,不要直接把问题归因于模型。 🏆 Part 3 · 验收串题｜ ~10% 学到这一步,做几道题验证一下,知道自己学到位没。关联面试题(5 道,覆盖 5 个角度) 【整体架构与流程】解释 RAG 的整体架构与完整工作流程。中等 → 【…

#RAG#检索#项目实战

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…以总题数,就是召回率。具体数值由你的评估集和检索结果计算,不要沿用教程示例作为项目结果。召回率是评估 RAG 检索好不好最重要的指标,本章会反复出现这个词。召回率:100 道题里,正确 chunk 被找回了多少概念 3:什么是 "top-k" 检索? top-k:每次检索返回最相似的 K 个 chunk。比如 top-3,就是返回相似度最高的 3 个块。为什么不只返回 1 个?因为"最相似"不一定就是"正确答案",多取几个让模型综合判断,更稳; 为什么不返回 100 …

#RAG#检索#项目实战

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…下午加混合检索、重排或 Query 改写 BM25 和向量检索怎么融合? RRF 的 k 怎么解释? 晚些做评估集和错误分类 Recall@k、MRR、答案正确率怎么量化? 发布前加引用溯源、拒答、权限过滤没依据时怎么拒答? 不同用户能不能看到同一份文档? RAG 很适合后端转型,因为它一半是数据管线和服务系统,一半是模型行为。站内的RAG 智能问答系统就是按这个链路设计的:从文档处理到检索、重排、记忆、引用、评估一步步补齐。如果你简历里只有“基于 LangChai…

#求职#职业转型

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…追溯层可以检查返回内容是否带有正确文件、页码、区域和标题路径。引用落在错误页，即使答案文字一样，也不能算完全正确。下游还要看检索指标。 Recall@K 关注标注证据有没有进入前 K 条，Precision@K 关注返回内容里有多少真正相关，MRR 关注第一条正确证据排在哪里，冗余率关注前几条是否反复返回相邻重复片段。这些检索指标不能替代解析指标。如果一个问题答错，Recall@K 下降只告诉我们证据没被找回。继续查看解析关键区和 Chunk，才能知道它是在入库前消失，…

#RAG#解析与入库#RAG 文档解析评估

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…高维点积概率与期望必须懂理解"模型输出是概率分布""采样温度是什么意思""期望大概是加权平均"的直觉。不用推贝叶斯公式评估指标含义必须懂精确率、召回率、Recall@k、MRR、忠实度(faithfulness)各自衡量什么、什么时候看哪个,能读懂评估报告。不用背公式推导梯度的直觉必须懂知道梯度是"往哪个方向调参数能让误差变小"的指南针,理解学习率大了会震荡。不用手推链式法则反向传播逐步推导不用死磕知道它是"把误差从后往前分摊回每层参数"即可,不必逐层…

#求职#职业转型

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…很难定位。 Chunk 参数应该这样测出来固定模型、Top K、Rerank 与 Prompt，只比较切分配置带来的真实变化。指标怎么选，才不会只优化一个漂亮数字 Recall@K：正确证据有没有进入候选集如果标准证据完全没进前 K，后面的重排和生成通常无从补救。Recall@K 适合观察切分后“该找的内容能不能找到”。但它也可能被重复结果欺骗。三个高度相似的重叠块都命中同一证据，不能算找回了三份有效信息。因此评估时应按证据或原文区间去重，而不是只按 chunk ID…

#RAG#切分与索引#Chunk Size

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…再做 Rerank。用同一批证据问题对比四组检索配置图 4：四组配置共享同一批 Query 和证据标注，只改变检索与排序方式。指标先留空，跑完自己的数据再填写，避免用示例数字代替项目结果。对比时可以先看四项指标。前 K 条有没有找全正确原文（Recall@K）。它适合判断混合检索有没有补回单路漏掉的片段。一个问题需要两条证据时，只找回一条，覆盖仍然不完整。前 K 条里有多少内容直接相关（Precision@K）。扩大候选通常容易提高覆盖，也可能带来更多噪声。若找全程…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…件；多约束或需要多份证据的问题；领域外、知识库中没有答案的问题。总体平均分会掩盖某类查询的退化，分层结果才能指导最终选择。指标同时看召回、排序、重复和成本 Recall@K 判断正确证据是否进入有限候选。MRR 关注第一条相关结果的位置。nDCG 适合评估多条不同相关度证据的整体排序。Precision@K 能观察头部候选中的相关比例。此外还应记录融合后重复率、每路贡献比例、候选数量和融合耗时。如果后面接 Cross-Encoder，还应固定精排输入数量，比较融合是…

#RAG#检索与重排#RRF

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…定不得无依据改变；扩写可以新增同义表达，却不能覆盖原 Query；HyDE 文本永远不能成为最终引用。硬性不变量先拦截方向性错误，Recall@K 等排序指标再衡量收益，两者不能相互抵消。评测还要保留无处理基线和成本账。每个分组记录额外模型调用、处理耗时、多路候选数与去重后数量，才能判断新增召回是否值得。某种方法若只在很少一类问题上有效，就应缩小触发范围，而不是让所有请求承担延迟。线上发现坏样本时，先根据日志重放原 Query、历史选择、路由结果和各路候选，再修改规则。若…

#RAG#检索与重排#RAG Query 重写

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…测试集调参数，测试集就会逐渐变成开发集，得到的分数不能代表新问题上的表现。 Embedding 不能只看一个 Recall 数字 Recall@K 是 Embedding 选型的核心指标之一：人工标注的正确证据中，有多少出现在前 K 个候选里。但它不是唯一指标。首先要同时看不同 K 值。某个模型可能在较大的 K 下能找回证据，但在较小的 K 下排序很差，这意味着后续需要更大的候选集，Rerank 成本也会随之增加。反过来，如果 K 很小就能稳定覆盖正确证据，整条链路会更轻。…

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…而被评为错误。因此，参考答案中的每个事实要点都应能回到证据。不能回到原文的内容，要删除、改成可选说明，或者补充确实存在的证据。 Recall@K、MRR 和 Faithfulness 分别看什么？ RAG 是一条链路，指标也要分层。检索层首先看 Recall@K。它回答的是：人工标注的正确证据中，有多少进入了前 K 条。一个问题需要两段证据，系统只找回一段，覆盖就不完整。 Precision@K 看另一个方向：前 K 条里有多少内容真的相关。把候选数量不断放大，Reca…

#RAG#评测与上线#RAG 评测集

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…、候选和模型版本。然后准备多种负载：单请求、稳定并发、突发流量、冷启动、缓存命中和缓存未命中。不同场景使用同一套统计口径。性能指标至少包括各阶段耗时、TTFT、总耗时、P95、P99、吞吐、超时和错误率。质量指标至少包括 Recall@K、MRR、无答案错误和最终答案的证据一致性。每次只改变一个主要因素，比如索引参数、候选数量、缓存层或模型版本。记录改动前后的性能和质量，不用一个模糊的“明显变快”替代数据。 RAG 性能优化的联合验收清单性能、质量、稳定性和数据边界…

#RAG#评测与上线#RAG 首字响应

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…和可降级。两条链路可以共享文档 ID、知识库 ID、Chunk Schema 和模型配置，却应该有独立的任务队列、资源配额和监控指标。离线入库应该怎样拆？一条清楚的入库链路可以分成九步。第一步，上传校验。检查身份、知识库权限、文件类型、大小和重复提交。第二步，保存原文件。先把原始内容写入稳定存储，再创建文档记录和处理任务。第三步，格式路由。PDF、Word、PPT、纯文本和扫描页进入各自解析器。第四步，结构解析。提取文本、表格、图片、标题、页码和位置。第五步，…

#RAG#评测与上线#RAG 系统设计

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配正文：… 这类经历题应以候选人的真实材料填写：背景写【真实业务与目标】，困难写【可复现现象】，职责写【本人实际负责范围】，结果写【有记录的指标及统计口径】。如果没有对应经历，应明确说没有直接做过，再给出会采用的排查方案，不能借用公司名、期限或收益。以 RAG 质量问题为例，Top3 检索结果差只能说明端到端链路出现了坏样本，不能直接证明 embedding 负样本不足。定位时要按查询类型和文档类型切片，先查知识覆盖率、切分与元数据，再分别测候选召回、重排排序、上下文组装、引用支持和…

#问题定位#工程实践#跨团队协作

面试题·评估· 京东

NDCG 怎么计算?

匹配口述回答：…，和给定公式并不一致。搜索中，NDCG适合评估多级人工相关性；推荐中可以把不同强度的反馈映射为gain，但映射规则要固定。它不是Recall@K，后者更关心相关项目有没有被召回。一个系统可能召回很差却把少数已召回结果排得很好，也可能召回足够但头部顺序不佳，所以常把Recall、NDCG、MRR和线上指标一起看。落地时还要固定标签尺度、gain公式、折扣函数、候选集合和截断k，并检查标注一致性。不同团队若一个使用线性gain、另一个使用指数gain，数字不能直接比较。对无点…

#排序评估指标#信息检索#推荐系统