匹配追问：…相关文档。实际跑起来，你发现有时候检索到的内容跟问题不太沾边，甚至模型自己瞎编答案，你觉得这背后可能是什么问题？层层追问你用过RAG吧？感觉怎么样？……那有没有遇到过检索结果不靠谱的情况？……再进一步，如果检索到的内容里有些跟模型自己的知识冲突了，模型会怎么处理？你觉得这个流程整体上有什么硬伤？直球架构分析一下RAG在实际应用中的主要缺陷，从检索、生成和系统三个层面分别说，比如召回率低、上下文丢失、延迟高等，然后针对每个问题给出对应的改进方案。

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配口述回答：…确答案虽然召回了但排在很后面，生成模型可能压根没用到它，那就需要优化排序。再就是生成层。传统NLP指标像BLEU、ROUGE，在RAG里参考意义有限，因为答案可以措辞不同但意思对。我更关注[[Faithfulness]]，也就是忠实度，说白了就是生成内容有没有被检索文档支持。它与Answer Correctness关注不同问题：忠实于错误资料仍可能不符合现实事实，不能给二者排通用名次。宁可答得少，不能瞎编。比如企业SOP合规场景，员工问“报销流程”，模型如果编一个不存在的审…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估

RAG 效果差怎么排查？

匹配口述回答：这道题其实问的是，[[RAG]]系统效果不好时，怎么快速定位到底是检索没找到对的文档，还是模型看了文档但没好好用。我的思路很简单：把两个模块解耦，先固定一个测另一个，别上来就两边一起调。具体第一步，我会做黄金文档实验。把标准答案依赖的那部分文档，直接塞进生成模块的上下文，如果生成质量一下子好了，那问题基本就锁在检索侧。如果生成质量还是不行，那就说明生成模块或者prompt设计本身有问题。这个实验非常便宜，不需要任何额外标注，跑几轮就能下判断。假设实验指向检索侧，我会先看召…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配口述回答：…本，没有一套万能指标能覆盖所有场景。我会把评估分成两个层面来讲：检索层和生成层，因为它们的关注点完全不一样。先说检索层。在 [[RAG]] 系统里，检索是第一步，核心指标是 Recall@K 和 MRR。Recall@K 看的是前 K 个结果里有没有正确答案，MRR 则更看重正确答案排得靠不靠前。举个例子，一个客服退款系统，用户问“我订单超时了，怎么退款”，如果检索没召回退款流程文档，后面生成再强也没用。所以检索层我通常会同时用关键词和向量两种方式，也就是 [[Hybrid…

#安克科技#评估与监控#Agent

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配追问：场景切入假设你做一个企业知识库问答的RAG系统，用户问“报销流程”，系统先召回一堆文档，然后只取第一个送给大模型。这时候第一个结果准不准很关键吧？那你怎么评价这个“准不准”呢？层层追问检索出来的文档你一般怎么评估排序质量？……那只看第一个位置够不够？……如果我想知道第一个文档是否相关，但又不关心后面，有什么指标专门衡量这个？直球架构说说MRR在RAG里的定义和意义。就是那个平均倒数排名，怎么算的？为什么它对RAG特别重要？还有它有什么局限？

#百度#评估与监控#MRR 定义

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配口述回答：…那就适合用SFT去固化这种风格，因为风格是长期稳定的。具体到场景，我重点说两个。第一个是金融政策解读，比如央行突然发了一个新规，RAG能立刻把新规文档索引进去，用户问“房贷利率怎么调”，模型检索后给出带原文引用的回答。第二个是企业内部SOP与合规文档查询，不同部门、不同版本的文件堆在一起，员工问“报销流程”，RAG能精准定位到最新版SOP，并且告诉你是第几章第几条。但这里有个坑，RAG的效果上限取决于检索质量。如果知识库里的文档切分太粗糙，或者[[Embedding]]模…

#美团#模型微调#RAG vs SFT

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配口述回答：…实场景的bad case。比如在金融风控场景，我会专门构造一些“相似但不相关”的案例来测试模型的抗噪声能力。最后，我更倾向把整个流程看成一套组合拳，而不是单一技术。数据构建是地基，检索优化是骨架，后处理是精装修。如果只能选一个，我会优先把数据切分和难负样本做好，因为这是最根本的。一句话定位：RAG检索不准的本质是信息源和匹配逻辑不匹配数据构建：语义切分和负样本构造检索优化：混合检索和查询改写后处理：重排序和置信度过滤评估与落地：标准数据集+自建业务集约4分钟评…

#字节#RAG 检索噪声#RAG 数据构建

面试题·知识图谱· 腾讯

GraphRAG适用场景 vs 传统RAG 有哪些?

匹配口述回答：…们各自有最适合的领地。真正落地的时候，我往往会看数据本身有没有天然的图结构，以及查询是不是涉及多跳关系。如果只是搜个产品描述，传统RAG就够了；但如果问题是'某药物通过哪些靶点影响某疾病'，那向量检索很难跨文档把因果链串起来，这时候GraphRAG就自然得多。具体说一下。我最先想到的场景是复杂多跳问答。比如在企业合规场景里，一条SOP说'退款超过1000元需要主管审批'，另一条说'主管审批后还需法务复核'，用户问'我退款1500元，流程该怎么走'。传统RAG可能分别召回两条…

#腾讯#知识图谱#GraphRAG vs RAG

面试题·知识图谱· 字节

RAG+KG Agent 动态更新机制

匹配追问：场景切入假设你做一个电商客服Agent，商品价格和库存经常变动，用户问“这个还有货吗？多少钱？”你怎么保证RAG检索到的信息和最新知识图谱是一致的？具体会怎么设计更新流程？层层追问 RAG+知识图谱的Agent系统里，知识图谱数据源变了怎么同步？……那实时性怎么保证？……如果更新过程中又有查询请求，怎么保证用户看到的数据不出现前后矛盾？直球架构请把RAG与知识图谱结合的Agent系统中知识图谱动态更新的完整流程讲一下，重点说实时性、一致性和准确性分别怎么保障，每一步用…

#字节#Agent#知识图谱动态更新

面试题·知识图谱· 美团

GraphRAG创新点 vs 传统RAG 是什么?

匹配口述回答：…展开到具体子图，最后回到原始文本。它还能做多跳推理，比如A投资了B，B收购了C，问A和C的关系，图遍历直接就能把路径显式走通，传统RAG几乎做不到。举个例子，企业里经常有合规文档，比如几十页的SOP，里面各种政策条款。传统RAG查“退货退款流程”很准，因为答案就在那一两段里。但如果你问“客户投诉后，涉及库存调整和财务扣款，这两步之间有什么前置条件？”，答案分散在库存管理和财务两个不同章节，传统RAG很容易漏。GraphRAG就能通过实体关系找到“客户投诉”和“库存调整”以及…

#美团#GraphRAG#传统 RAG 对比

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配口述回答：这道题其实是在问一个很实际的问题：当你的输入既有图片又有文字时，怎么让[[RAG]]系统真正理解它们之间的关系，而不是简单把图片转成文字再走老路。我先说一个核心判断，[[多模态]]RAG的本质不是把图片塞进文本RAG，而是解决跨模态对齐和检索的问题。早期做法，很多人管它叫伪多模态，流程就是图片进来先做 [[OCR]] 或者生成 caption，把图像信息转成文本，然后走传统文本 RAG。这个方案好处是快，现成的文本检索管线直接复用，但问题也很明显，信息损耗严重，比如一张图表…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 淘天

多模态 RAG 实现方案

匹配口述回答：…题本质上是问，当用户输入不只有文字，还带着图片、表格、PDF时，怎么把这些[[多模态]]信息检索出来并交给模型生成答案。多模态[[RAG]]不是简单把文本RAG换皮，它要解决的是跨模态的对齐和融合。我先说说主流框架。现在用得多的，一个是LlamaIndex，一个是LangChain。LlamaIndex原生就支持图像、PDF和表格解析，它的MultiModalVectorStoreIndex可以直接把图片和文本的向量存到同一个索引里，开箱即用，适合快速验证。LangChai…

#淘天#多模态#多模态 RAG 实现方案

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配口述回答：这道题其实是在问，当大模型需要引用的不只是文字，还有图片、视频、音频这些信息时，[[检索增强生成]]要怎么做。传统RAG只处理文本，但真实世界的信息是[[多模态]]的。所以多模态RAG的核心就是让模型能“看见”并引用这些非文本数据。先说边界。多模态RAG不是万能的。如果业务场景里用户只问纯文本问题，比如“退货流程是什么”，那传统文本RAG就够了。但一旦涉及到“这个商品长什么样”、“帮我找一张和这个类似的图”，或者“这个CT影像对应什么诊断”，就必须上多模态。落地时往往不是二…

#阿里#多模态#Multi-modal RAG

面试题·Prompt· 百度

RAG 改写与 Prompt 链路

匹配口述回答：这道题问的是[[RAG]]系统里两个关键环节：一是怎么把用户的问题改得更适合检索，二是拿到文档后怎么组织提示词让模型好好回答。说白了，query改写的本质是弥合用户表达和文档表达之间的语义鸿沟，而提示词构建的核心是教会模型怎么用文档、怎么处理不确定性。先说query改写。常见策略其实分几类，但真正落地你会发现很少只用一种，往往是组合着来。比如查询扩展，最简单的是用LLM生成同义词或近义词，把“退款流程”扩展成“退货退款步骤”“取消订单退钱”之类的，这样能提升召回。更高级一点…

#百度#小鹏#美团

面试题·Prompt· 商汤科技

RAG Prompt 模板设计陷阱

匹配口述回答：这道题我觉得本质是在问：[[RAG]]系统里，你怎么通过prompt设计让大模型真正「用」你给的资料，而不是「编」答案。说白了，就是怎么让模型在检索增强的框架下，做到既精准又可信。我一般会从三个层面来拆。先看结构分层。我会把prompt分成三块：系统指令、检索上下文、用户查询。系统指令定规矩，比如「只用参考文档，不准用预训练知识，信息不足就说不知道」；检索上下文就是top-k片段，每条带上编号、来源、相关性分数；用户查询就是原始问题。这样模型能清楚知道哪些是事实，哪些是问题…

#商汤科技#Prompt工程#Prompt 模板设计

面试题·RAG· 百度

RAG 索引构建管线

匹配正文：RAG索引环节的优化核心在于**"怎么存"和"怎么找"**两个维度，常见策略如下：一、分块策略优化动态分块：按语义边界（句子、段落）而非固定长度切分，避免切断关键信息重叠窗口：把零重叠、短窗口与较长窗口作为候选，用同一评测集验证是否减少边界证据丢失多粒度索引：同时存储句子级（精）和段落级（全），检索时按需召回二、Embedding层优化模型选型：垂域数据用BGE、M3E等开源模型，必要时Domain-Specific微调多向量表示：ColBERT的late in…

#百度#RAG索引优化#RAG 索引构建管线

面试题·RAG· 字节

医疗法律RAG架构怎么搭？

匹配追问：…设我们要给医院做一个智能问诊助手，医生问“这个药对肾病患者安全吗”，系统要检索最新的指南和药品说明。你大概会怎么设计它的检索和生成流程？层层追问做专业领域问答，怎么保证回答可靠？……那如果用户问的问题在知识库里没完全匹配的呢？……你觉得检索和生成怎么配合，才能既准确又避免幻觉？直球架构设计一个面向法律或医疗领域的RAG智能助手，从整体架构、检索模块、生成模块到知识更新机制，你会怎么设计？说清楚每个模块的关键点。

#字节#专业领域RAG#RAG 系统设计

面试题·RAG· 小红书

RAG 检索噪声怎么处理?

匹配口述回答：这道题问的是，当[[RAG]]系统召回了一堆乱七八糟的东西，怎么保证生成质量不掉。说白了就是两条防线，一条是检索阶段把输入搞干净，另一条是生成阶段让模型自己学会抗干扰。先说检索阶段怎么净化。核心思路不是把召回量做上去，而是把质量提上来。最直接的方法是加一层 [[重排]]，用 [[Cross-Encoder]] 把召回的候选文档逐对打分，过滤掉那些低相关的。这招效果很稳，但计算成本高，一般只对 top 几十的候选做，不会全量做。还有一种做法是上下文压缩，用个小模型或者 LLM…

#小红书#检索噪声过滤#RAG 噪声处理

面试题·RAG· 百度

RAG 项目指标化复盘

匹配追问：…01怎么解决”，系统得从一堆PDF手册里找答案。你能讲讲你是怎么把这种多源文档整合起来，让检索又快又准的吗？层层追问你之前做过RAG项目吧？先聊聊整体流程……数据是怎么处理的？……检索部分呢，向量加关键词召回有做吗？……那效果怎么样，有没有遇到特别难搞的问题，比如表格或者版本冲突？直球架构请详细讲一个你主导的RAG项目，从数据层、检索层到生成层，你的具体贡献是什么？遇到过哪些技术挑战，比如表格解析或结果冲突，怎么解决的？最好有量化指标。

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配追问：场景切入假设我们要做个医疗问诊助手，用户问‘这个药怎么吃’，RAG需要从病历和指南里找信息。但是病历格式乱、术语多，你怎么设计整个流程，从数据处理到检索再到生成，才能保证答案准确又安全？层层追问 RAG系统你肯定熟悉，那如果场景换成法律咨询……数据是法条和案例，检索时怎么确保召回准确？……生成时怎么避免胡编乱造、必须引用原文？你从预处理到生成给我讲一遍架构。直球架构设计一个面向专业领域如医疗或法律的RAG系统，包括数据预处理、检索器设计、生成器优化三个核心环节。你直接…

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 小红书

RAG检索不准的失败场景与优化

匹配口述回答：这道题问的是检索结果不对目标答案的原因和优化方向，其实本质是问检索和生成之间的对齐问题。我们做[[RAG]]时经常会遇到：明明数据库里有正确答案，但检索模块就是没把它捞上来，或者捞上来了但排序太低，导致生成器没看到。那原因可以从数据、检索、查询三个层面拆，优化也对应着来。先说数据层面。很多人上来就调模型，但我会先检查文档质量和[[Chunk]]策略。举个例子，客服退款场景下，用户问‘退款多久到账’，文档里可能写的是‘退款处理时效为1-3个工作日’，但如果你把这句话和‘退款条…

#小红书#美团#重排与优化

面试题·检索· 字节

RAG 为何还要重排?

匹配口述回答：…回阶段为了速度和召回率，牺牲了精度，所以需要精排来兜底。你可以把召回看成海选，重排是决赛，它俩解决的问题不一样。具体说一下。[[RAG]] 系统里，初步检索通常用 [[Embedding]] 加 [[ANN]]，比如 [[Faiss]] 里的 [[HNSW]] 或者 [[IVF]]。这些方法追求的是快，几毫秒从百万级库里捞 Top-K，但用的是 [[Bi-Encoder]]，查询和文档各自独立编码，最后算个余弦相似度。这么做的问题是，它只能捕捉粗粒度的语义相关，比如用户问“…

#字节#重排与优化#RAG 重排

面试题·检索· 字节

RAG 重排序怎么选?

匹配口述回答：这道题其实是在问，[[RAG]] 系统里向量检索拿到候选块之后，我们还能不能进一步做点什么，让最终送给大模型的内容更准、更相关。我的回答是，[[重排]]这一步非常有必要，但具体怎么做，取决于你对精度和成本的容忍度。先说为什么需要重排。向量检索用的是 [[Bi-Encoder]]，query 和 doc 分别编码，算一个余弦相似度。这个分数有个问题，就是跨查询不可比，同一个分数在不同 query 下意义可能完全不一样。而且它本质是粗粒度匹配，丢失了 query 和 doc 之…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 重排收益与成本

匹配口述回答：这道题其实问的是[[RAG]]系统里检索精度和效率怎么平衡的问题。如果只靠向量检索，也就是用[[Bi-Encoder]]把查询和文档各自编码成向量，再用余弦相似度去匹配，这样做的好处是快，能一次性从百万级文档里捞回几百个候选，但坏处是匹配很粗，它本质上是把语义压缩成一个固定向量，很多细粒度的交互信息就丢了。比如用户问“怎么退换货”，向量检索可能把“换货流程”和“退货政策”都捞上来，但实际答案只需要其中一篇，另一篇就是干扰。所以说，第一阶段是保召回、牺牲精度的，它适合做“粗筛”…

#字节#重排与优化#RAG 重排收益与成本