匹配正文：… 体现对评测方法局限性的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、生成质量指标（决定体验）事实一致性（Faithfulness）：答案是否忠实于检索到的文档，最关键，直接对应幻觉问题答案相关性（Answer Relevance）：是否…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

RG 系统效果差怎么排查?

匹配正文：答案要点建立分层诊断框架，区分检索侧、生成侧、协同侧三类问题掌握定量指标（Recall@K、上下文相关性、忠实度）与定性分析（bad case分析）结合的方法理解检索-生成耦合效应（如检索冗余、信息冲突）具备实际可落地的排查工具链和实验设计能力核心排查框架：分层隔离诊断把RAG系统拆成三个独立可测的环节，逐个验证：一、定位检索模块问题关键指标 Recall@K：正确答案是否在Top-K检索结果中 MRR/NDCG：相关片段的排序质量诊断方法人工标注100个…

#检索归因#生成归因#RG 系统故障排查

面试题·评估

RAG 效果差怎么排查？

匹配正文：答案要点明确区分检索问题与生成问题的诊断思路掌握检索侧的核心评估指标（Recall@K、MRR、NDCG）掌握生成侧的核心评估指标（Faithfulness、Answer Relevance、Context Precision）能够设计消融实验或黄金文档实验验证假设提出端到端追踪与人工分析的具体方法核心诊断思路：模块解耦 + 端到端追踪第一步：判断是否为检索问题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：检查原始query与改写后query的检索效果差异向量相似度分布：观察query与top1结果的相似…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：答案要点能够系统性地拆解RAG链路，提出可量化的诊断方法掌握检索模块的独立评估指标（Recall@K、MRR等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档…

#上下文压缩#生成调优#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配正文：答案要点区分检索评估和生成评估两个层面列举3-5个核心指标（如Recall@K、BLEU、Faithfulness等）说明端到端评估与组件级评估的区别提及实际挑战如标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成…

#安克科技#评估与监控#Agent

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：… 提及自动化评估与人工评估的结合指出实际落地中的挑战（评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成内容是否忠实于检索文档（可用NLI模型自动判断） Answer Relevance：答案与问题的相关性（可用BERTScore或人工打分） …

#安克科技#Agent#Agent 评估体系

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配正文：…或忠实。多阶段检索应分别记录初召回和重排后的指标，并以最终送入模型的候选顺序作为端到端诊断依据。配套指标与阈值 MRR 应与 Recall@K、NDCG、证据覆盖率、Faithfulness、引用准确率和答案正确率结合。对于需要多个证据片段的问题，Recall@K 与 NDCG 往往比单独的 MRR 更能说明信息是否完整。 MRR 没有跨数据集通用的 0.7、0.8 或 0.85 合格线。可接受阈值必须基于同一标注集、候选深度、相关性定义、历史基线和业务错误成本确定，并报…

#百度#评估与监控#MRR 定义

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：…样策略、召回器版本和曝光位置，便于重放。 4. 训练与闭环比较点式、对式或列表式损失，并在固定召回候选上评估 MRR、NDCG、Recall@K、校准、延迟及最终答案质量。上线后回流高分误召回、低分漏召回和用户纠错，定期重新挖掘难负样本。结论：高价值数据来自真实候选分布和经过复核的边界样本，样本比例只是超参数，必须通过离线与端到端评测确定。图解 Reranker 训练数据怎么构造?图解

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· 美团

向量检索怎么保准又保真?

匹配正文：…、补全意图（"火锅"→"重庆火锅/老北京涮肉"）查询理解：识别地理位置、价格区间等约束条件，做前置过滤 5. 评估与迭代离线：Recall@K、MRR、NDCG指标监控在线：AB实验看点击率、转化率、满意度 Badcase分析：建立标注平台，持续回流数据优化模型

#美团#向量检索准确性#向量检索相关性

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：检索层先建立可复现基线：固定语料、标注 query、相关性定义和 Recall@K/MRR/NDCG。检查知识覆盖、解析、分块、元数据与权限，再比较查询改写、稀疏/稠密/混合召回。只有正确文档已经进入候选集时，Cross-Encoder 等重排器才可能改善高位排序；否则应先修召回。 Embedding 微调、难负样本和索引参数必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…求，强制"不知道就拒绝" Citation生成：要求模型标注信息来源，提升可信度五、效果评估：闭环迭代层级指标方法检索 Recall@K、MRR 人工标注或合成评测集生成忠实度、答案相关性 LLM-as-Judge（GPT-4/Claude）端到端用户满意度、任务完成率 A/B测试、人工评估持续优化：Bad case分析驱动，定期更新知识库，监控数据漂移

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：… 上下文压缩：LLMLingua去除冗余，保留核心证据句引用生成：强制要求标注来源，避免幻觉四、评估与迭代自动化指标检索：Recall@K、MRR；生成：RAGAS（忠实度、答案相关性）领域专家闭环抽样人工审核：医疗需执业医师标注答案准确性 bad case归因：检索失败（未召回）vs 生成失败（理解偏差）数据飞轮用户反馈（👍/👎）→ 难例挖掘 → 微调Embedding/精排模型 → A/B验证

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

Embedding 模型选型考虑哪些因素?

匹配正文：…E、BGE等）的优劣对比理解维度、上下文长度、多语言能力的权衡知道领域适配方法（微调、对比学习）能说出性能评估指标（MRR、Recall@K、NDCG）选型核心维度 1. 业务场景匹配语义检索（RAG）：选Sentence-BERT、BGE、M3E等专为句子相似度优化的模型聚类/分类：通用BERT即可，甚至可以用更小模型代码/多模态：需专用模型（如CodeBERT、CLIP） 2. 关键性能指标因素权衡要点维度 768/1024维效果好，但存储和检索成本高…

#百度#向量检索#Embedding 模型选型

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配正文：…语言场景可选专用模型微调友好度：是否开源、训练代码完整度、社区生态活跃度 4. 实际验证方法用业务真实query-doc对计算Recall@K和MRR 观察bad case：语义相近但字面不同、一词多义等情况的处理效果选型建议：先MTEB初筛，再用业务数据精评，最后做成本-精度trade-off决策。

#百度#评估与监控#向量检索

面试题·知识图谱· 字节

GraphRAG 原理与构建方法

匹配正文：…检索也能通过多查询、迭代检索或层次索引处理复杂问题，因此不能把它限定为“单点事实”。 4. 评测分别评估实体/关系准确率、证据 Recall@K、路径或社区命中、答案正确性、Faithfulness、构建成本和更新延迟，并与向量 RAG 及混合方案做同集对照。结论：GraphRAG 是对证据组织和检索方式的扩展，是否优于向量检索取决于查询类型、图质量和端到端评测。图解 GraphRAG 原理与构建方法图解

#字节#GraphRAG 实现原理#知识图谱构建

面试题·知识图谱· 字节

RAG 技术原理和实现流程

匹配正文：…处理复杂多跳推理 Self-RAG：模型自主判断是否需要检索，避免过度检索实际落地时，检索质量决定RAG上限，建议先做检索评测（Recall@K）再优化生成。

#字节#检索生成流程#RAG 技术原理

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：…度区域或时间片对齐；OCR/ASR 错误和域偏移；有限上下文内的证据去重与排序；版权、隐私、提示注入和访问控制。评估要拆分各模态 Recall@K、跨模态重排、答案忠实度、引用定位、尾延迟和成本。财报图表问答、设备图片诊断、视频定位和商品图文客服都是适用场景，但模型与索引选择必须由目标数据基准决定。图解 Multi-modal RAG 原理与挑战图解

#阿里#多模态#多模态 RAG

面试题·RAG· 蚂蚁

增量式向量索引怎么更新?

匹配正文：…量规模、删除比例、延迟或召回退化达到业务设定的触发条件时，在后台构建 Shadow 索引。构建完成后，用固定查询集和标注证据比较 Recall@K、NDCG、延迟、新数据可见性、删除泄漏率和结果差异；通过门禁后原子切换版本指针，失败则保留旧版本并回滚。触发条件必须由数据规模和 SLA 实测确定，不能固定写成 5% 或 10%。 4. 分布式一致性每个文档、embedding 和索引版本都要可追踪；消费者需要幂等、可重放和顺序控制。查询应绑定一个稳定索引版本，避免在 Base…

#蚂蚁#增量式向量索引#向量索引更新

面试题·RAG· 百度

RAG 项目指标化复盘

匹配正文：…放】发现，采用【真实改动】，结果【真实指标和口径】，代价【】，仍失败【】，回退【】。证据自检准备语料版本、评测集构造、防泄漏、Recall@K/MRR/NDCG、答案支持率、P95/P99、QPS、成本、消融表和失败样本。不能把召回提升直接等同于答案正确，也不能把同期业务增长直接归因于 RAG。追问入口可继续追问表格/OCR、精确标识符、权限过滤、RRF 参数、重排贡献、引用校验、增量索引、缓存隔离和多租户扩展。

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配正文：…链接回标可解释性输出附带引用片段高亮、置信度分数人机协同低置信度案例自动转人工审核，形成数据飞轮五、评测闭环检索评测：Recall@K、MRR、领域特定指标（如法律：法条命中率）生成评测：RAGAS（faithfulness, answer_relevance）+ 专家人工评估线上监控：用户反馈收集、拒答率追踪、时效性告警

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

RAG Retriever 工作流程详解

匹配正文：…内存占用、建索引时间分层量化、增量索引 Rerank 二次编码开销轻量模型、截断候选集关键权衡：召回率vs延迟，通常离线评测Recall@K，线上关注P99延迟。实际系统中常做"快路径"（纯向量）+ "慢路径"（+重排）分级处理。学习建议建议先掌握向量检索基础，理解嵌入模型和相似度计算原理，再结合RAG架构学习Retriever的工作流程，通过动手实践加深理解。

#字节#重排与优化#RAG Retriever 工作流程

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配正文：…ID，法律场景需输出"依据《XX法》第X条" 后处理校验：领域规则引擎过滤（如药物禁忌冲突检测）五、端到端优化评估体系：检索用Recall@K，生成用答案相关性和事实准确性（医疗用人工医生标注）迭代闭环：错误案例回流，持续微调Embedding和Reranker 学习建议建议先掌握RAG基础流程，再结合垂直领域特点学习文档分块、向量检索、重排序模型和提示工程，多参考医疗/法律类RAG实战案例。

#字节#重排与优化#RAG 链路优化

面试题·检索· 哔哩哔哩

精排精度高，为何不跳过召回粗排？

匹配正文：…gN)。系统边界与验证召回负责控制计算量并保证相关文档进入候选集；精排只能重排已召回内容，无法补回漏掉的证据。工程上应分别测 Recall@K、排序指标、端到端回答质量、P50/P95/P99 延迟、吞吐和成本，再调候选规模与 batch。若要估算全量精排成本，应使用目标硬件上实测的每批吞吐和并发数据，不能用脱离环境的固定毫秒数代替 profile。图解精排精度高，为何不跳过召回粗排？图解

#哔哩哔哩#两阶段排序#召回粗排精排