匹配正文：… / ARES：自动化评估检索→生成的全链路 LangSmith / Phoenix：可视化trace，查看每步输入输出人工抽样分析：建立bad case分类体系（检索失败/理解失败/整合失败）关键原则不要同时优化两端。先固定一端验证另一端，避免变量混杂。通常优先保证检索质量（Recall），再优化生成忠实度。

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

匹配正文：…答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：检查原始query与改写后query的检索效果差异向量相似度分布：观察query与top1结果的相似度分数，过低（如<0.6）说明语义空间对齐有问题判定标准：Recall@K < 70% 或人工判断检索结果明显偏离，则问题在检索侧。第二层：判断生成…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…CG，对比Top-K检索结果与人工标注的相关文档快速验证：用固定的人工精选文档替换检索结果，若生成质量显著提升 → 检索是瓶颈 Bad Case分析：抽样失败案例，检查检索结果是否包含答案所需信息 2. 生成模块独立评估上下文充分性测试：将正确答案所在文档强制放入上下文，观察生成是否改善生成质量维度拆解：忠实性（Hallucination检测）：答案是否被上下文支持相关性：是否回答用户问题而非泛泛而谈完整性：是否覆盖上下文中的关键信息二、检索准确但生成差的优化策…

← 上一页第 2 / 2 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#上下文压缩#生成调优#RAG 效果诊断

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：…输出可增加规则、NLI/验证器或人工确认。系统层记录 query 改写、召回列表、重排分数、最终上下文、模型版本和回答，保证 bad case 可回放。监控 P95/P99、QPS、缓存命中、索引新鲜度、token 与单请求成本。用灰度、版本化索引和回滚控制更新风险。假设实验在同一测试集上依次比较：基础向量召回、加入 BM25、加入融合、加入重排、改变上下文组织。每步同时记录质量、延迟和成本，并按 query 类型和文档类型切片。结果用真实实验填写，不能预设某个企…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…答案相关性 LLM-as-Judge（GPT-4/Claude）端到端用户满意度、任务完成率 A/B测试、人工评估持续优化：Bad case分析驱动，定期更新知识库，监控数据漂移

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·Prompt

什么是 Prompt 工程?

匹配正文：…输出示例（few-shot，少样本提示），模型会模仿示例的格式和风格，往往比纯文字描述规则更有效有没有引导推理：让模型"一步一步分析"（思维链，CoT），复杂问题的正确率通常显著提升角色和语境："你是一位资深律师"会把模型的用词和严谨程度带向对应语料的风格实践中的基本套路一个结构良好的 prompt 通常包含：角色设定 + 任务描述 + 背景材料 + 示例 + 输出格式要求。写完先用小批量样本测试，按 bad case 迭代改写——像调试代码一样调试 prompt。 …

#入门#基础概念#Prompt工程

面试题·Prompt· 科大讯飞

Prompt 设计原则有哪些?

匹配正文：回答边界这类题既考查 Prompt 机制，也会核验候选人是否真的做过迭代。先讲可复用原则，再用本人可核验的 bad case、版本记录和评测结果补充；不能把下面的教学框架直接说成个人经历。核心设计框架可以从任务、上下文、约束、输出契约四层分析：【任务】目标、输入和成功条件是什么【上下文】只提供完成任务所需的事实与工具结果【约束】权限、拒答、引用和不确定性边界【输出契约】Schema、字段含义及校验失败后的处理关键优化顺序先建立固定评测集和 bad case …

#科大讯飞#阿里#Prompt工程

面试题·Prompt· 字节

Coding Agent 表现差怎么排查?

匹配正文：…，每轮重申动态检索：根据当前修改目标实时检索相关代码，而非一次性加载系统性改进思路建议构建诊断-归因-干预的闭环：先通过日志分析bad case分布，识别主导因素，再针对性优化。避免同时改动多个变量导致效果不可归因。

#字节#百度#Agent

面试题·Prompt· 阿里

Prompt 性能上限评估指标

匹配正文：答案要点定量指标：准确率、F1、BLEU/ROUGE、任务完成率、延迟与成本定性指标：人工评估、Bad Case分析、边界测试稳定性指标：多次采样一致性、对抗样本鲁棒性收敛判断：连续多轮优化增益<5%或出现指标震荡工程实践：A/B测试、影子流量、分层实验核心判断逻辑 Prompt优化存在边际递减效应，当连续多轮迭代带来的增益<5%或出现指标震荡（调优后反而下降），可认为接近当前上限。定量指标维度具体指标判断标准任务性能准确率、F1、EM、任务完成率对…

#阿里#Prompt工程#评估与监控

面试题·RAG· 百度

RAG 索引构建管线

匹配正文：…时间、类别等标签，减少无效向量比对四、增量与更新机制支持增量写入，避免全量重建；热点数据缓存，冷数据归档实际落地建议：先通过Bad Case分析定位是"召不回"还是"召不准"，再针对性优化——召回不足扩分块、调模型；准确率低加重排序、加过滤。学习建议建议系统学习该知识点

#百度#RAG索引优化#RAG 索引构建管线

面试题·检索· 小红书

RAG检索不准的失败场景与优化

匹配正文：…是否在候选池扩大召回、混合检索、查询扩展检索召回但排序低查看正确答案的原始排序位次重排序优化、特征工程检索正确但生成错分析上下文窗口、指令遵循提示工程、RAG-specific微调实际优化需结合具体bad case分析，避免盲目堆技术。学习建议深入理解RAG架构，掌握检索与生成模块的协同机制，学习常见失败模式及优化策略。

#小红书#美团#重排与优化

面试题·检索· 360

RAG 召回准确性：三大失败场景

匹配正文：… 时效性时间戳过滤，新文档加权五、快速验证方法构建黄金测试集：100-500条人工标注的(query, 相关doc)对错误分析：按bad case类型（漏召回、误召回、排序错）分类优化

#360#召回质量评估#RAG 召回优化

面试题·文档处理· 小鹏

RAG 分块长度与重叠如何取舍?

匹配正文：…持查询集、答案标注和其他检索配置不变，逐组比较Recall@K、证据完整率、最终答案正确性、P95延迟、索引体积与重复召回率。根据bad case定位问题：证据被切断再调整边界或上下文补回；噪声过多则缩小候选单元或加强重排。没有实测结果时，只能陈述候选方案和验证方法。

#小鹏#RAG 文档分段#检索增强生成分段策略

面试题·多模态· 美团

弱多模态+强文本模型怎么协同?

匹配正文：…径。 4. 评测分别评估感知准确率、OCR/定位质量、观察覆盖率、答案正确性、视觉忠实度、拒答质量、延迟和成本；同时保留端到端 bad case，区分感知错、信息传递丢失和文本推理错。图解弱多模态+强文本模型怎么协同?图解

#美团#多模态#Agent

面试题·检索· 字节

RAG 系统怎么持续迭代?

匹配口述回答：…够，在线业务指标才是最终验证。比如在客服场景，问题解决率、用户满意度、人工介入率，这些能直接反映 RAG 有没有帮到用户。我会把 bad case 回流，分析是检索没找到、重排排错了，还是生成错了，然后针对性优化。这里有个延伸点：很多人会问要不要把 RAG 和纯微调结合起来。我的看法是，RAG 适合知识频繁更新的场景，微调适合固定知识库但需要深层语义理解的场景。如果两者一起上，要特别注意冲突，微调可能让模型过度依赖参数知识，忽略检索回来的信息。所以我会用 [[Self-RA…

#字节#RAG评估闭环#RAG 系统优化

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配口述回答：…度要求高且能接受几百毫秒延迟，那Cross-Encoder重排值得上。通用场景我倾向先上混合检索加轻量重排，再按需叠加。前提是得有bad case回流机制，持续收集线上失败的query，定期分析并迭代模型或规则。说到迭代，其实这里还有一个延伸点：当检索质量一直上不去时，我会考虑是不是chunk策略出了问题。比如固定切分容易把关键信息切散，导致召回失败，这时候可能要改用语义切分或parent document策略，让子chunk和[[父文档]]关联。所以整体上，我更倾向把检…

#字节#检索故障诊断#检索质量优化

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配口述回答：…后，我会用三类数据集来定位和迭代。先说开发验证集，覆盖高频场景，人工标注黄金答案，用来日常调优。接着说对抗测试集，故意构造一些边界case，比如多跳推理、易混淆的query，用来压测系统的鲁棒性。再补充线上回流数据，也就是用户点踩或者没采纳的case，自动入库定期分析。数据质量控制我贯穿全链路。采集阶段，源文档要优先权威来源，设时效性阈值，比如只保留两年内的。处理阶段，[[切片]]按语义边界切，比如按标题和内容关联来分，chunk长度控制在256到512 tokens。还要…

#字节#RAG 上下文不准确#RAG 诊断

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配口述回答：…会打折扣。常见失败场景就是预处理没做好，导致检索结果一堆垃圾，用户直接弃用。上线后我会特别关注Recall@K和延迟的监控，定期做bad case分析。定位：RAG知识库搭建本质是质量与延迟的平衡预处理：格式解析与元数据，扫描件OCR的坑分块：固定长度与语义切分的适用边界，重叠窗口向量化与索引：Embedding选型、HNSW与IVF-PQ的取舍检索优化：混合检索与重排序，落地风险约4分钟知识库频繁更新时，如何平衡索引实时性与检索质量，特别是删除和修改操作的处理…

#美团#RAG 知识库搭建#文档预处理

面试题·评估· 美团

RAG 仍会幻觉的原因

匹配口述回答：…工抽检，形成完整防线。总的来说，我更倾向把RAG定位成幻觉的缓解手段而不是根治方案。上线前我会重点监控召回率和精确率，上线后持续分析bad case，看是检索问题还是生成问题。本质是开卷考试 vs 闭卷考试三个关键机制：事实锚定、上下文约束、来源追溯业务例子：客服退款政策边界：检索失败、文档冲突、推理错误、截断落地取舍：RAG+微调+验证约4分钟 RAG落地时检索质量是关键，需要混合检索和重排，同时搭配微调处理高频更新知识。面试官可能会追问混合检索的具体实现、…

#美团#检索证据质量#RAG 仍会幻觉的原因