匹配正文：答案要点明确区分检索问题与生成问题的诊断思路掌握检索侧的核心评估指标（Recall@K、MRR、NDCG）掌握生成侧的核心评估指标（Faithfulness、Answer Relevance、Context Precision）能够设计消融实验或黄金文档实验验证假设提出端到端追踪与人工分析的具体方法核心诊断思路：模块解耦 + 端到端追踪第一步：判断是否为检索问题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：检查原始query与改写后query的检索效果差异向量相似度分布：观察query与top1结果的相似度分数，过低（如<0.6）说明语义空间对齐有问题判定标准：Recall@…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：答案要点能够系统性地拆解RAG链路，提出可量化的诊断方法掌握检索模块的独立评估指标（Recall@K、MRR等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#上下文压缩#生成调优#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配正文：…标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成内容是否忠实于检索文档（可用NLI模型判断） Answer Relevance：答案与问题的相关性 Context Precision：使用的上下文是否精准支撑答案 3. …

#安克科技#评估与监控#Agent

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：…评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成内容是否忠实于检索文档（可用NLI模型自动判断） Answer Relevance：答案与问题的相关性（可用BERTScore或人工打分） Hallucination Rate：虚构信息比例，可用…

#安克科技#Agent#Agent 评估体系

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：…。线上日志应保留采样策略、召回器版本和曝光位置，便于重放。 4. 训练与闭环比较点式、对式或列表式损失，并在固定召回候选上评估 MRR、NDCG、Recall@K、校准、延迟及最终答案质量。上线后回流高分误召回、低分漏召回和用户纠错，定期重新挖掘难负样本。结论：高价值数据来自真实候选分布和经过复核的边界样本，样本比例只是超参数，必须通过离线与端到端评测确定。图解 Reranker 训练数据怎么构造?图解

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· 美团

向量检索怎么保准又保真?

匹配正文：…"→"重庆火锅/老北京涮肉"）查询理解：识别地理位置、价格区间等约束条件，做前置过滤 5. 评估与迭代离线：Recall@K、MRR、NDCG指标监控在线：AB实验看点击率、转化率、满意度 Badcase分析：建立标注平台，持续回流数据优化模型

#美团#向量检索准确性#向量检索相关性

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：检索层先建立可复现基线：固定语料、标注 query、相关性定义和 Recall@K/MRR/NDCG。检查知识覆盖、解析、分块、元数据与权限，再比较查询改写、稀疏/稠密/混合召回。只有正确文档已经进入候选集时，Cross-Encoder 等重排器才可能改善高位排序；否则应先修召回。 Embedding 微调、难负样本和索引参数必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配正文：…，影响相似度计算方式（cosine vs dot）快速验证方法用业务真实Query-Document对，计算Top-K召回率和MRR，比榜单指标更可靠。

#字节#向量检索#RAG Embedding 选型

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…拒绝" Citation生成：要求模型标注信息来源，提升可信度五、效果评估：闭环迭代层级指标方法检索 Recall@K、MRR 人工标注或合成评测集生成忠实度、答案相关性 LLM-as-Judge（GPT-4/Claude）端到端用户满意度、任务完成率 A/B测试、人工评估持续优化：Bad case分析驱动，定期更新知识库，监控数据漂移

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…MLingua去除冗余，保留核心证据句引用生成：强制要求标注来源，避免幻觉四、评估与迭代自动化指标检索：Recall@K、MRR；生成：RAGAS（忠实度、答案相关性）领域专家闭环抽样人工审核：医疗需执业医师标注答案准确性 bad case归因：检索失败（未召回）vs 生成失败（理解偏差）数据飞轮用户反馈（👍/👎）→ 难例挖掘 → 微调Embedding/精排模型 → A/B验证

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

Embedding 模型选型考虑哪些因素?

匹配正文：…T、M3E、BGE等）的优劣对比理解维度、上下文长度、多语言能力的权衡知道领域适配方法（微调、对比学习）能说出性能评估指标（MRR、Recall@K、NDCG）选型核心维度 1. 业务场景匹配语义检索（RAG）：选Sentence-BERT、BGE、M3E等专为句子相似度优化的模型聚类/分类：通用BERT即可，甚至可以用更小模型代码/多模态：需专用模型（如CodeBERT、CLIP） 2. 关键性能指标因素权衡要点维度 768/1024维效果好，但存储和检…

#百度#向量检索#Embedding 模型选型

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配正文：…型微调友好度：是否开源、训练代码完整度、社区生态活跃度 4. 实际验证方法用业务真实query-doc对计算Recall@K和MRR 观察bad case：语义相近但字面不同、一词多义等情况的处理效果选型建议：先MTEB初筛，再用业务数据精评，最后做成本-精度trade-off决策。

#百度#评估与监控#向量检索

面试题·RAG· OPPO

多信号评分函数原理与陷阱

匹配正文：…，但权重必须用标注、点击日志或实验估计。若日志由旧排序产生，应处理位置和选择偏差，避免把曝光机会误当相关性。离线使用 NDCG、MRR、Recall、校准误差和分桶指标，同时测 P95 延迟与稳定性；线上用受控实验观察业务指标、长尾和护栏。评分函数要支持版本化、特征监控和回滚。最有效的函数不是最复杂的，而是在目标、偏差、约束和服务成本之间可验证地取得更好结果。图解多信号评分函数原理与陷阱图解

#OPPO#多信号排序#评分函数设计

面试题·RAG· OPPO

排序模型初始权重怎么设?

匹配正文：…冲突引入位置偏置消除、或设计融合规则（如时效性衰减函数）权重漂移线上加滑动平均平滑，避免短期波动快速验证离线用NDCG/MRR评估，线上小流量A/B测试实际工程中，OPPO这类场景通常人工设定快速上线 → 积累数据后转模型学习。学习建议建议系统学习该知识点

#OPPO#排序初始权重#排序模型权重设定

面试题·RAG· 百度

RAG 项目指标化复盘

匹配正文：…实改动】，结果【真实指标和口径】，代价【】，仍失败【】，回退【】。证据自检准备语料版本、评测集构造、防泄漏、Recall@K/MRR/NDCG、答案支持率、P95/P99、QPS、成本、消融表和失败样本。不能把召回提升直接等同于答案正确，也不能把同期业务增长直接归因于 RAG。追问入口可继续追问表格/OCR、精确标识符、权限过滤、RRF 参数、重排贡献、引用校验、增量索引、缓存隔离和多租户扩展。

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配正文：… 输出附带引用片段高亮、置信度分数人机协同低置信度案例自动转人工审核，形成数据飞轮五、评测闭环检索评测：Recall@K、MRR、领域特定指标（如法律：法条命中率）生成评测：RAGAS（faithfulness, answer_relevance）+ 专家人工评估线上监控：用户反馈收集、拒答率追踪、时效性告警

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…+关键词BM25）、多粒度索引（文档/段落/句子）、Embedding微调（领域适配）召回策略：多路召回（向量+关键词+图谱）、MRR多轮迭代召回重排序环节优化精排模型：Cross-Encoder（精度高但慢）、ColBERT（延迟交互，效率平衡）多阶段漏斗：向量召回Top100 → BM25粗排 → Cross-Encoder精排Top10 动态重排：结合用户反馈的在线学习排序上下文融合优化上下文压缩：LLMLingua选择性压缩、重排序后截断关键片段多文档处…

#字节#RAG迭代优化#RAG 优化

面试题·检索· 字节

RAG 系统怎么持续迭代?

匹配正文：…校验领域微调：用高质量RAG数据对基座模型SFT，提升利用检索信息的能力四、评估与迭代闭环离线评估检索：Recall@K、MRR 端到端：Answer Correctness（用GPT-4判题）、Faithfulness（幻觉检测）在线评估用户满意度、点击率、人工标注bad case回流关键：建立可量化的业务指标（如客服场景的问题解决率）五、工程架构要点模块化设计：检索、重排、生成独立服务，便于A/B实验缓存策略：高频query结果缓存，降低延迟和成本失…

#字节#RAG评估闭环#RAG 系统优化

面试题·检索· 淘天

Naive RAG vs Advanced RAG 区别?

匹配正文：…RRF、重排和权限过滤。每次只增加一个主要模块，不能直接宣称准确率会达到某个数字。评测与选型分别测知识覆盖、Recall@K、MRR/NDCG、答案正确性、引用支持率、拒答、P95/P99 和成本。简单文档问答若基线已满足要求，不必升级；只有明确 bad case 和消融证据支持时才增加 Advanced 或 Agentic 组件。

#淘天#重排与优化#Naive RAG

面试题·检索· 百度

RAG 工作流程与关键技术组件

匹配正文：…杂问题需多次检索，引入ReAct/ToT等Agent架构实际落地中，检索质量决定RAG上限，建议先做检索评测（Recall@K、MRR）再优化生成。

#百度#RAG技术架构#RAG 工作流程

面试题·检索· 美团

RAG 检索器与知识库怎么搭?

匹配正文：…负责【】。基线检索和生成链路【】，主要错误【】。实际选用【检索/融合/重排方案】，参数由【真实实验】确定。真实 Recall@K/MRR/NDCG【】，答案支持率【】，P95/P99【】，样本与硬件【】，副作用【】。证据自检所有阈值和指标应说明数据集、标注、硬件、并发与统计窗口。必须分开测候选召回、排序质量、上下文利用和最终回答；不能用单一“准确率”概括整条 RAG。追问入口准备解释为什么选择当前融合、RRF 常数或权重怎样确定、Top-K 和延迟如何权衡、重排消融、…

#美团#知识库构建#RAG 检索器设计

面试题·检索· 美团

RAG 系统核心组件怎么搭?

匹配正文：…务端校验引用是否真实支持对应 claim；资料不足、冲突或越权时拒答或继续检索。四、评测与运行检索侧：证据 Recall@K、MRR/NDCG、重复率、过滤正确性。生成侧：答案正确性、Faithfulness、引用准确率、拒答质量。工程侧：索引新鲜度、吞吐、P50/P95/P99 延迟、成本和失败率。延迟目标必须依据产品 SLO、硬件和模型确定，不能把“向量检索低于 50ms、整体 P99 低于 500ms”作为所有 RAG 系统的通用标准。结论：RAG 的技术实…

#美团#RAG工程实现#RAG 系统实现

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配正文：…序（Rerank）是性价比最高的优化，Cross-Encoder比Bi-Encoder准但慢常见陷阱只测Top-1命中率，忽略MRR和召回率向量维度高≠效果好，768/1024够用，关注训练数据质量二、上下文处理窗口管理检索结果去重：MMR算法或语义去重避免重复段落相关性过滤：设阈值剔除低分chunk，宁可少也不要噪声动态窗口：根据问题复杂度调整检索数量（简单问题3-5条，复杂问题10条+）结构化组织【来源1】xxx.txt 内容：... 【来源2】yyy…

#美团#RAG常见陷阱#RAG 系统陷阱