匹配口述回答：…]]或者LangSmith跑全链路trace，看每一步的输入输出。但说实话，自动化指标只能筛出明显的问题，真正决定效果上限的是人工bad case分析。我会按检索失败、理解失败、整合失败三类建个分类体系，每个case拆开看。这里我多说一句：很多人一上来就调Embedding模型或者换大模型，其实更常见的问题是分块策略太粗糙。比如固定512字符切分，很容易把一句完整逻辑切散。我倾向于先做语义分块，用[[Parent Document]]结构保留上下文，这样召回时既能拿到高精度…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估集构建

匹配正文：…场景需人工校验，控制幻觉比例公开benchmark适配跨模型可比检查license，避免数据污染关键：覆盖多轮对话、边界case（如无答案、需澄清）、跨领域query。标注流程 RAG标注：检索相关性：人工标注doc与query的相关性等级（0-3分）答案准确性：对比标准答案，标注幻觉、遗漏、矛盾 Agent标注：轨迹标注：记录正确工具调用序列作为gold path 状态检查：关键步骤的中间状态是否正确效率优化：先用规则/模型预标注，人工抽检+修正，迭代提…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#安克科技#评估与监控#Agent/RAG 评估集构建

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配口述回答：…覆盖率和拒答分开，否则一个流畅答案很容易掩盖检索或引用错误。必要时再加规则、验证器或人工确认，但这些也要单独做消融。系统层要让 bad case 可回放。一次请求至少记录原 query、改写结果、各路候选、融合与重排分数、最终上下文、模型版本和回答。实验在同一语料与标注集上逐步加入组件，同时记录 Recall@K、MRR 或 NDCG、答案质量、P95/P99、QPS、token 和成本，并按 query、文档类型及权限场景切片。上线用影子流量或小流量灰度，语料、索引、re…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配口述回答：…端看用户满意度。忠实度可以用[[RAGAS]]框架里的Faithfulness指标自动评估，但人工抽检还是少不了。上线后我会建一个Bad case库，每周分析一次，看是检索漏了还是模型读错了，再针对性优化。比如发现很多case是分块不合理导致的，就回头调分块策略。另外，当知识库频繁更新时，比如电商每天上架新商品，传统RAG的索引重建成本很高。我倾向用增量更新加双缓冲索引，但一致性校验是个坑，比如旧索引里删了某条数据，新索引还没建好，查询时就会返回过时结果。这块我还在探索更稳…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配口述回答：…]和答案相关性，检索侧看 Recall@K 和 MRR。但更关键的是领域专家抽审，比如医疗场景找执业医师打分，看答案有没有误导。 bad case 归因要区分是检索失败还是生成失败：如果召回没相关文档，那问题在检索；如果召回有但模型答错，那是生成问题。最后，我会特别关注数据飞轮。用户反馈比如点赞点踩，收集起来做难例挖掘，然后微调 [[Embedding]] 或 Rerank 模型，再 A/B 验证。但这里有个前提：反馈量要足够大，小流量场景容易噪声淹没信号。所以整体上，我…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配正文：…度：是否开源、训练代码完整度、社区生态活跃度 4. 实际验证方法用业务真实query-doc对计算Recall@K和MRR 观察bad case：语义相近但字面不同、一词多义等情况的处理效果选型建议：先MTEB初筛，再用业务数据精评，最后做成本-精度trade-off决策。

#百度#评估与监控#向量检索

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配口述回答：… 说到评估，我除了用MS MARCO、Natural Questions这些开源数据集，一定会构建自己的业务评测集，覆盖真实场景的bad case。比如在金融风控场景，我会专门构造一些“相似但不相关”的案例来测试模型的抗噪声能力。最后，我更倾向把整个流程看成一套组合拳，而不是单一技术。数据构建是地基，检索优化是骨架，后处理是精装修。如果只能选一个，我会优先把数据切分和难负样本做好，因为这是最根本的。一句话定位：RAG检索不准的本质是信息源和匹配逻辑不匹配数据构建：语义切…

#字节#RAG 检索噪声#RAG 数据构建

面试题·知识图谱· 字节

医疗法律 RAG 合规追溯

匹配口述回答：…线前我会特别关注知识库的版本管理和权威性标注，比如给每条数据打上“来源等级”和“有效期”，检索时按需过滤。最后，落地后我会建一个bad case闭环。线上收集错误案例，归因到是检索漏召、排序错位还是生成[[幻觉]]，然后针对性补数据或调策略。另外，当用户问“我该用什么药”这种涉及诊断的问题时，我倾向在系统层面设置边界：直接拒答，或者输出前置风险提示，并触发人工复核。这个边界怎么划、怎么落地，其实挺值得细聊的。所以整体上，我更愿意把垂直领域RAG看成一套“知识结构化+多路…

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯

面试题·RAG· 百度

RAG 索引构建管线

匹配正文：…时间、类别等标签，减少无效向量比对四、增量与更新机制支持增量写入，避免全量重建；热点数据缓存，冷数据归档实际落地建议：先通过Bad Case分析定位是"召不回"还是"召不准"，再针对性优化——召回不足扩分块、调模型；准确率低加重排序、加过滤。学习建议建议系统学习该知识点

#百度#RAG索引优化#RAG 索引构建管线

面试题·RAG· 百度

RAG 项目指标化复盘

匹配正文：…选型取舍：稀疏/稠密/混合检索、RRF/加权融合、是否重排及参数依据。因果证据：固定评测集上的基线、单变量消融、延迟与成本变化、bad case 和上线边界。事实填空项目服务【真实场景】，语料来自【合法来源】，规模和版本【】。我负责【本人模块】，基线【】。失败切片【】由【日志/标注/回放】发现，采用【真实改动】，结果【真实指标和口径】，代价【】，仍失败【】，回退【】。证据自检准备语料版本、评测集构造、防泄漏、Recall@K/MRR/NDCG、答案支持率、P95/P…

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 小红书

RAG检索不准的失败场景与优化

匹配正文：…询扩展检索召回但排序低查看正确答案的原始排序位次重排序优化、特征工程检索正确但生成错分析上下文窗口、指令遵循提示工程、RAG-specific微调实际优化需结合具体bad case分析，避免盲目堆技术。学习建议深入理解RAG架构，掌握检索与生成模块的协同机制，学习常见失败模式及优化策略。

#小红书#美团#重排与优化

面试题·检索· 字节

RAG 系统怎么持续迭代?

匹配正文：…：检索结果去重、摘要提取，避免超长context稀释注意力引用生成：强制模型输出引用标记，便于溯源和事实校验领域微调：用高质量RAG数据对基座模型SFT，提升利用检索信息的能力四、评估与迭代闭环离线评估检索：Recall@K、MRR 端到端：Answer Correctness（用GPT-4判题）、Faithfulness（幻觉检测）在线评估用户满意度、点击率、人工标注bad case回流关键：建立可量化的业务指标（如客服场景的问题解决率）五、工程架构要点 …

#字节#RAG评估闭环#RAG 系统优化

面试题·检索· 淘天

Naive RAG vs Advanced RAG 区别?

匹配正文：…l@K、MRR/NDCG、答案正确性、引用支持率、拒答、P95/P99 和成本。简单文档问答若基线已满足要求，不必升级；只有明确 bad case 和消融证据支持时才增加 Advanced 或 Agentic 组件。

#淘天#重排与优化#Naive RAG

面试题·检索· 360

RAG 召回准确性：三大失败场景

匹配正文：… 时间戳过滤，新文档加权五、快速验证方法构建黄金测试集：100-500条人工标注的(query, 相关doc)对错误分析：按bad case类型（漏召回、误召回、排序错）分类优化

#360#召回质量评估#RAG 召回优化

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配口述回答：…度要求高且能接受几百毫秒延迟，那Cross-Encoder重排值得上。通用场景我倾向先上混合检索加轻量重排，再按需叠加。前提是得有bad case回流机制，持续收集线上失败的query，定期分析并迭代模型或规则。说到迭代，其实这里还有一个延伸点：当检索质量一直上不去时，我会考虑是不是chunk策略出了问题。比如固定切分容易把关键信息切散，导致召回失败，这时候可能要改用语义切分或parent document策略，让子chunk和[[父文档]]关联。所以整体上，我更倾向把检…

#字节#检索故障诊断#检索质量优化

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配追问：场景切入假设你在做电商客服RAG，用户问“这款手机支持5G吗”，系统回了一段包含过时参数的上下文，结果答错了。你拿到这个bad case后会怎么一步步查问题？层层追问 RAG系统上线后用户反馈答案不准，你一般怎么排查？……如果确定是上下文信息本身错了呢？……那你手头有哪些数据能帮你定位是知识库脏了、检索没召回到对的、还是模型没用好？直球架构请你设计一套RAG上下文准确性问题的诊断和修复方案。诊断层面要区分检索和生成两类根因，数据层面要列出你需要的开发集、对抗集、线上回…

#字节#RAG 上下文不准确#RAG 诊断

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配口述回答：…会打折扣。常见失败场景就是预处理没做好，导致检索结果一堆垃圾，用户直接弃用。上线后我会特别关注Recall@K和延迟的监控，定期做bad case分析。定位：RAG知识库搭建本质是质量与延迟的平衡预处理：格式解析与元数据，扫描件OCR的坑分块：固定长度与语义切分的适用边界，重叠窗口向量化与索引：Embedding选型、HNSW与IVF-PQ的取舍检索优化：混合检索与重排序，落地风险约4分钟知识库频繁更新时，如何平衡索引实时性与检索质量，特别是删除和修改操作的处理…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 蔚来

RAG分块策略：粒度、重叠与写入

匹配口述回答：…零重叠、短窗口和较长窗口，用同一批真实问题回放，观察Recall@K、证据完整率、最终答案正确性、延迟与索引体积。只有答案跨边界的bad case明显改善，而且冗余成本可以接受，才保留重叠。写入流程上，原始文档先清洗和结构化解析，提取标题、表格、代码块与页码；然后执行候选[[分块]]并生成来源、父级标题、原文位置和版本等元数据；再调用[[Embedding]]模型编码，批量写入[[向量数据库]]。batch size 需要根据文本长度、向量维度、显存、接口限流和失败重试能力…

#蔚来#文档处理#RAG文本分块

面试题·评估· 美团

RAG 仍会幻觉的原因

匹配口述回答：…量双路召回，再配合[[重排]]提高精度。同时，如果场景对时效性要求高，比如客服政策经常变，我会搭配微调，让模型记住高频更新的知识，RAG负责低频冷门知识。另外生成后验证也很重要，用事实核查模型或者人工抽检，形成完整防线。总的来说，我更倾向把RAG定位成幻觉的缓解手段而不是根治方案。上线前我会重点监控召回率和精确率，上线后持续分析bad case，看是检索问题还是生成问题。本质是开卷考试 vs 闭卷考试三个关键机制：事实锚定、上下文约束、来源追溯业务例子：客服退款政策 …

#美团#检索证据质量#RAG 仍会幻觉的原因

面试题·评估· 美团

RAG 解决了哪些问题?

匹配口述回答：…浪费token，还会稀释注意力。我会先对检索结果做摘要，把关键信息提取出来，再拼到prompt里。这里有个坑，就是检索质量决定了RAG的天花板。如果文档切分不合理，比如把一整个合同切成一段，或者query和文档的表述差异很大，比如用户问“怎么退款”但文档里写的是“退货流程”，那检索出来的东西模型根本用不上。所以上线前我会特别关注两件事：一是用一批真实query回放，看召回率和准确率；二是做bad case分析，看看是不是切分粒度或者[[embedding]]模型选得不对。 …

#美团#混合检索#RAG 技术

面试题·检索· 小鹏

RAG检索优化：向量检索与重排序

匹配口述回答：…才走全链路。这个在线上能省不少算力，但实现起来要小心，因为判断query难易本身就不容易，搞错了反而降低体验。所以整体上，我会把RAG检索看成一套组合拳，没有银弹。核心是理解业务场景的精度和延迟要求，然后选最合适的方案组合，上线前一定要用业务数据验证，特别关注bad case，因为往往就是那1%的case决定了用户对系统的信任度。本质是精度与效率的平衡向量检索层的优化与工程取舍重排序是最后一公里查询扩展解决语义鸿沟混合检索兜底与风险约4分钟自适应检索，根据qu…

#小鹏#检索阶段优化#RAG 检索优化

学习路线·学习路线

大模型应用开发学习路线

匹配正文：…t 和 Deep Research 都跑了一遍，但每一条都没有评测、失败和技术取舍。正确做法是选一条主线，沿完整工程链路向下做。 RAG 主线：适合知识库、检索与企业问答按“解析与入库 → 切分与索引 → 检索与重排 → 生成与对话 → 评测与上线”推进。系统学习：RAG 智能问答系统项目验收：25 道 RAG 项目面试题必须留下的证据：资料样本、解析质量检查、评测集构造、基线、对照实验、bad case、引用与权限边界不要把“用了向量库”当项目亮点。面试官更关心的…

#学习路线#RAG#Agent

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…_case_missing → failure-proof。下一步：production。配套学习：扫描PDF怎么解析内容?、RAG 中表格图片怎么处理?。 8. failure · failure-proof 请选择一个可脱敏坏页，对照原页、OCR 框、版面块、表格结构和最终切分逐层回放；没有坏页记录就按假设场景回答。考察重点：要求用可回放材料证明失败复盘；若只有假设分析，必须与真实事故或 bad case 明确区分。可复现的输入、链路证据和错误输出根因验证与修复…

#模拟面试#简历项目#连续追问