匹配正文：…已经读完(或跟着做完)本书第 1~10 章,这附录是教你"怎么把学到的写出来、说出来" ✅ 一份你自己的简历(哪怕只有一行"做过 RAG"也行,我们来把它改厚) ✅ 模板见 code-snippets/resume-template.md,边读边往里填先看一个常见问题(这是本章的"为什么") "参与开发了一个基于 RAG 的智能问答系统。" 这句话看不出求职者具体负责什么,也无法判断是否真正做过。面试官继续问"检索怎么做的""幻觉怎么评估的",如果回答里没有代码、实验、日志…

#RAG#检索#项目实战

面试题·模型架构· 商汤科技

幻觉一致性延迟诊断

匹配正文：…。Self-Consistency需要随机采样多条推理路径并聚合答案，不能在temperature=0后再声称做有效多样化采样。幻觉先区分知识缺失、检索失败、证据误读和生成越界。频繁更新的外部知识优先放入RAG或受控数据源，并要求引用与验证。ROME是对模型权重进行定向低秩更新的知识编辑方法，不是编辑单个神经元；知识频繁变化时也不宜用持续权重编辑替代可追溯检索。延迟先profile prefill、decode、检索、工具和网络阶段，再考虑KV缓存、批处理、量化、蒸馏、s…

#幻觉问题#输出一致性#推理延迟

面试题·Agent· 淘天

传统 RAG 有哪些痛点?

匹配正文：…文档"——语义相近（充电、协议），但完全无法回答iPhone配件问题。导致模型生成错误购买建议，引发客诉。关键影响：准确率下降、幻觉风险上升。 2. 上下文冗余（Context Redundancy）问题本质：检索块之间存在大量重复信息，有效信号被噪声淹没。电商案例：商品详情页RAG中，多个Chunk重复包含"7天无理由退换"标准话术，而真正关键的"电池容量参数"仅出现一次。LLM注意力被分散，回答抓不住重点。关键影响：Token浪费、推理成本上升、关键信息遗漏。 3…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#淘天#Agent#RAG 痛点

面试题·评估· 美团

Agent 训练 vs RAG 怎么选?

匹配正文：…具准确率）→ 集成测试（多轮任务成功率）在线评估：A/B桶对照，关注长尾case的badcase率安全护栏：敏感操作人工确认、幻觉检测模型并行运行

#美团#Agent#Agent 训练流程

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配正文：答案要点 RAG(检索增强生成)= 给大模型外挂一个可实时更新的知识库:先检索、再基于检索材料生成核心流程:文档解析 → 分块(Chunk)→ 向量化(Embedding)→ 入向量库;查询时检索 → 重排 → 拼入 prompt 生成优势:知识可实时更新、答案可溯源、幻觉显著降低、不需要重训模型局限:效果强依赖检索质量(切分不当/纯向量检索对 ID 类文本失效),链路长、延迟与成本上升与微调的边界:微调学「格式与风格」,RAG 注「事实与时效」,生产中常两者结合工…

#美团#评估与监控#RAG 工作原理

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：RAG评估的核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型…

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 字节

RAG 评测优化闭环

匹配追问：…'我的订单到哪了'，系统从知识库检索物流规则生成回答。你怎么知道这次回答对不对？如果用户说'你答错了'，你打算怎么改？层层追问 RAG系统上线后，你怎么判断它好不好？……比如用户问了一个问题，你怎么知道检索到的文档够不够？……那生成的内容是不是都来自文档？如果没有，算不算幻觉？……你打算从哪些维度去评估，又怎么一步步改进？直球架构设计一套完整的RAG系统评估体系，包括检索模块、生成模块和端到端的指标，再给出至少三种迭代优化策略，覆盖检索、生成和协同改进。

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：…户问题表述模糊、专业术语对齐差检索精确率低稠密检索模型微调（领域适配）、元数据过滤、上下文压缩领域知识密集、噪声文档多生成幻觉/利用不足引用强制（要求标注来源）、检索内容前置、Self-RAG（生成时判断是否需要检索）对事实性要求高的场景长上下文处理差分层检索（摘要→细节）、递归检索、信息去重合并需要多文档推理的复杂问题三、迭代实践建议先诊断后优化：用错误案例分析定位是检索失败还是生成失败建立回归测试集：覆盖高频Query和边界Case A/B验证：离…

#字节#评估与监控#RAG 评估

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：核心思路：隔离变量 + 对照实验 RAG错误的根因定位本质是解耦检索与生成的影响，通过控制输入变量观察输出变化。一、黄金文档替换实验（Gold Document Swap）原理：用已知正确的文档强制替换检索结果，消除检索噪声实验组检索输入预期结果实际结论原系统真实检索Top-K - 基线黄金组人工标注的相关文档正确输出若仍错误→生成模块问题随机组随机不相关文档错误输出若仍正确→生成过度依赖先验关键判定：黄金组正确 + 原系统错误：提示原检索…

#百度#评估与监控#RAG 错误定位

面试题·评估· 科大讯飞

RAG 解决了 LLM 哪些局限?

匹配正文：…Query从知识库中召回相关文档片段生成阶段：将检索结果作为上下文，让LLM生成最终回答解决的LLM核心局限局限具体表现 RAG解法知识静态模型参数固化，无法感知训练后事件动态检索最新知识库幻觉问题编造不存在的事实基于检索到的真实文档生成更新困难全量重训成本极高只需更新知识库，零模型改动可解释性差黑盒输出，难以溯源引用来源透明，可追溯验证为什么知识密集型任务需要RAG 准确性要求高：法律、医疗、金融等领域容错极低，必须基于权威文档知识时效性…

#科大讯飞#阿里#RAG 架构

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配追问：…表格，想让你自动找出其中跟违约责任相关的条款，并给出法律依据。你会怎么设计整个RAG链路来处理这种复杂文档？层层追问专业领域的RAG系统，你觉得最关键的是什么？……文档怎么切块才不丢上下文？……检索策略上，光靠向量够吗？……生成时怎么保证不瞎编、还引用来源？直球架构设计一个医疗领域的RAG系统，从文档处理、索引构建、检索策略到生成优化和评估，完整链路你怎么搭？重点说说多模态解析、双轨索引、多路召回加精排、以及防止幻觉的生成约束。

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 字节

RAG 召回评估指标对比

匹配正文：核心召回指标基础指标 Recall@k：前k个结果中包含正确答案的比例，最常用。RAG中通常关注Recall@5/10/20 Precision@k：前k个结果的精确率，适用于答案明确的场景 F1@k：Recall和Precision的调和平均排序质量指标 MRR（Mean Reciprocal Rank）：正确答案排名的倒数均值，关注"第一个正确答案出现的位置" NDCG@k：考虑相关度分级和位置折扣，适合有多个相关文档且重要性不同的场景 MAP（Mean Averag…

#抖音#Recall@k#RAG 召回评估

面试题·评估· 字节

RAG 三大瓶颈与迭代策略

匹配口述回答：这道题问的是[[RAG]]的性能瓶颈和优化，其实本质上是在问，你怎么理解RAG系统中检索、生成、效率这三环的协同关系，而不是让我列一堆技术点。我一般会从三个维度去拆解：检索精度、生成质量和系统效率，但真正落地时，这三者经常是互相牵制的，你得有取舍。先说检索精度。最直接的瓶颈是向量语义匹配不准，尤其当query里带专有名词或者缩写时，纯向量检索很容易跑偏。我的做法是上[[混合检索]]，把[[BM25]]关键词召回和向量召回结合起来，用RRF融合排序。比如客服场景里用户问“满2…

#字节#评估与监控#RAG 性能瓶颈

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…过速" 三、生成模型层（领域适配）基座选择：专业领域优先选已预训练模型（如Huatuo、LawGPT），或通用模型+领域SFT 检索增强生成：检索结果作为上下文注入Prompt 引用溯源：强制模型输出参考来源编号，支持可解释性安全机制：添加拒答策略（超纲问题、无可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标方法检索质量 Recall@K、MRR 人工标注黄金文档集生成质量事实准确性（FactScore）、幻觉率领…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配追问：…你从文档里检索出几条相关条目，再让大模型生成回答。你怎么评估这个系统到底好不好？从检索和生成两方面说说你会看哪些指标。层层追问 RAG系统上线后，怎么判断它表现怎么样？……光看用户反馈够吗？……那检索部分有没有什么指标可以量化？……生成部分呢，答案是不是准确、有没有幻觉，这些怎么评估？直球架构评估一个RAG系统，从检索质量和生成质量两个维度，你分别会用哪些指标？具体怎么计算或获取这些指标？有没有一些现成的评估框架可以用？

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：答案要点检索阶段：召回率低、相关性不足、向量语义鸿沟生成阶段：上下文利用不足、幻觉与知识冲突、长文本建模困难系统层面：延迟高、成本高、冷启动问题改进方案需具体对应上述问题一、检索阶段的缺陷 1. 召回质量不稳定向量检索存在"语义鸿沟"：query与文档的embedding空间不对齐，导致字面相关但语义检索失败稀疏场景（专业术语、ID、代码）dense retrieval效果差改进：混合检索（BM25 + 向量）、query改写/扩展、重排序（Cross-enc…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配正文：… 明确三类数据集（开发集、对抗测试集、线上回流数据）数据质量控制需覆盖采集、清洗、标注、持续监控全链路区分"检索不准"与"生成幻觉"两类根因给出可落地的迭代闭环机制诊断流程：三层定位法第一层：判断问题来源检索问题：召回文档不相关或排序靠后生成问题：检索准确但模型未正确利用（幻觉/忽略上下文）数据问题：知识库本身存在过时、矛盾或错误信息第二层：快速复现用固定query在开发集复现，确认是系统性问题还是case级问题对比BM25、向量检索、混合检索的结果差异…

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…RR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒数排名）：正确答案排名的倒数均值，反映排序质量 NDCG：考虑文档相关性分级…

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 美团

RAG 解决了哪些问题?

匹配正文：答案要点清晰阐述RAG的核心原理（检索+生成两阶段流程）说明至少2个具体解决的问题（如幻觉、时效性、领域知识）结合实际项目描述效果提升（量化指标更佳）体现对RAG局限性的认知（如检索质量依赖、上下文长度限制） RAG核心原理 RAG = 检索（Retrieval）+ 生成（Generation），本质是给大模型外挂一个可动态更新的知识库：离线阶段：文档切分 → Embedding模型编码 → 存入向量数据库在线阶段：用户Query向量化 → Top-K相似度检索 …

#美团#混合检索#RAG 技术

面试题·评估· OPPO

意图识别在 RAG 中怎么用?

匹配正文：…策略选择（向量检索/关键词检索/混合检索）通过查询改写和扩展提升召回率识别多跳/复杂意图以触发Agent能力过滤无关查询降低幻觉风险为生成阶段提供结构化上下文指导意图识别的核心作用意图识别是RAG系统的"路由中枢"，解决**"用户到底想要什么"**的问题，直接决定后续检索和生成策略。一、提升检索准确性场景意图识别的作用检索方式选择事实类→关键词/稀疏检索；语义类→向量检索；模糊需求→混合检索查询改写识别省略实体（如"这个产品的价格"→补全具体产品名）…

#OPPO#RAG 意图识别#RAG

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：答案要点区分检索评估与生成评估两个层面说明端到端指标（如RAGAS、ARES）与组件级指标的区别强调事实性/幻觉检测的重要性提及业务场景下的实用指标（如延迟、成本）体现对评测方法局限性的认知 RAG评估要分两个层面来看：检索端和生成端，再加上端到端的整体评估。一、检索质量指标（决定上限） Recall@K / MRR：核心看相关文档有没有被召回，RAG的瓶颈往往在检索 NDCG：考虑排序质量，排在前面的文档相关性权重更高精确率：避免引入过多噪声文档干扰生成二、…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

RAG 效果差怎么排查？

匹配口述回答：这道题其实问的是，[[RAG]]系统效果不好时，怎么快速定位到底是检索没找到对的文档，还是模型看了文档但没好好用。我的思路很简单：把两个模块解耦，先固定一个测另一个，别上来就两边一起调。具体第一步，我会做黄金文档实验。把标准答案依赖的那部分文档，直接塞进生成模块的上下文，如果生成质量一下子好了，那问题基本就锁在检索侧。如果生成质量还是不行，那就说明生成模块或者prompt设计本身有问题。这个实验非常便宜，不需要任何额外标注，跑几轮就能下判断。假设实验指向检索侧，我会先看召…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…成失败的诊断方法关键指标设计（召回率、相关性、忠实度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 百度

RAG 架构怎么工作?

匹配正文：答案要点清晰描述RAG的两阶段架构（检索+生成）说明向量检索的核心机制（embedding、相似度计算）解释RAG缓解幻觉的原理列举至少2个优势（知识时效性、可溯源性等）提及至少2个局限（检索质量依赖、上下文长度限制等） RAG基本架构 RAG = 检索（Retrieval） + 生成（Generation），核心思想是"外挂知识库"：用户Query → 向量化 → 向量检索 → Top-K文档 → 拼接Prompt → LLM生成工作流程拆解 1. 索引阶段（…

#百度#评估与监控#RAG 架构