匹配口述回答：…，生成质量反而下降。所以我一般会搭配一个强力的 Rerank 环节，或者用压缩策略把不相关的滤掉。另外，如果用了多路召回，比如[[Hybrid Search]]同时跑了向量检索和[[BM25]]，我会分别评估每条路的Recall，再测融合后的Recall，单独一路差可能拖累整体。这里有个延伸点：其实指标选完了，真正上线前我还会做一轮query回放，拿一批真实用户问题回测，对比新旧策略的Recall和MRR变化，如果新方案Recall涨了但MRR掉了，我得掂量一下是否值得，因…

#抖音#Recall@k#RAG 召回评估

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配口述回答：…先用Contriever快速验证，等数据积累够了再切到DPR。真正上线时，我几乎一定会把向量检索和关键词检索结合起来，也就是 [[Hybrid Search]]，因为向量擅长语义匹配，但精确匹配比如订单号、政策条款号，还是[[BM25]]更靠谱。怎么评估编码模型的检索能力？RAG场景下，我最看重的是 Recall@K，比如Recall@5。为什么？因为生成阶段能容忍一些噪声，你给大模型十段文档，哪怕其中两三段不相关，它也能挑出有用的信息。但如果你漏掉了关键文档，大模型就真不…

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配口述回答：…了 RAG 的上限。如果你用简单的向量检索，召回率可能很高但精度差，混进一堆噪声，模型反而更容易被带偏。所以我会在检索阶段做 [[Hybrid Search]]，把关键词和向量结合起来，再加上 [[Rerank]] 把最相关的文档排到前面。而且上线后我会特别关注一个失败场景：当检索结果为空时，模型会退化成纯生成，那幻觉率会飙升。我的做法是加一个拒答逻辑，如果最高分文档的相关度低于某个阈值，直接回复“没有找到相关信息”，而不是让模型硬猜。再说解码策略，这是成本最低、见效最快的…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配口述回答：…]分别对应成不知道与知道但乱说两类。先说 RAG，它的核心思路是开卷考试。模型生成前，我先从外部知识库检索相关文档，比如用 [[Hybrid Search]] 把关键词和向量检索结合起来，然后把文档拼到 prompt 里，告诉模型“你就按这些材料回答”。这样给模型提供了可追溯证据，但提示不是硬约束，模型仍可能误读资料或编造。这在客服场景特别典型，比如用户问退款政策，我检索到最新的满减规则文档，模型应基于文档回答，仍需检查退款比例与引用是否受证据支持。但 RAG 有个前提：检…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 字节

BGE-M3 vs BM25 怎么选?

匹配口述回答：…检索场景时，怎么判断用向量还是用关键词，以及怎么量化评估。我的核心观点是：没有绝对的好坏，只有场景的匹配度，真正落地时往往是 [[Hybrid Search]] 混合着上。先说本质区别。[[BM25]] 是精确词项匹配，你搜什么词，文档里必须有，适合专有名词、短查询、实时性要求高的场景，比如搜订单号、错误码。BGE-M3的dense模式做语义相似度匹配，模型还支持sparse和multi-vector模式，能处理同义改写、跨语言、口语化表达，比如用户说“怎么退款”，文档里写…

#抖音#BGE-M3 vs BM25#RAG 检索方案评估

面试题·评估· 字节

RAG 二次生成怎么减少幻觉?

匹配口述回答：…约束的前提是检索质量本身要过关。如果检索回来的内容就是错的或者不相关，你约束得再严也没用。所以我会先确保检索链路靠谱，比如用 [[Hybrid Search]] 把关键词和向量结合起来，再配合 [[Rerank]] 把最相关的片段顶上去。另外，温度调整也得小心，如果检索匹配度高的部分温度设太低，生成内容可能过于死板，像在念原文，用户体验不好。所以我的整体思路是：把提示工程、约束生成、生成后验证三层叠起来，同时持续监控检索召回率和[[忠实度]]指标。比起花里胡哨的提示词，我更…

#抖音#约束生成#RAG 幻觉

面试题·评估· 快手

LangChain 链式调用原理

匹配口述回答：…回不完整。前提是文档质量要够好，如果文档本身逻辑混乱，再好的检索也救不了。上线后我会监控用户反馈，如果发现回答不准确，可能得加[[Hybrid Search]]或者做[[Rerank]]。一句话定位：面向LLM的编程框架核心抽象：模型接口、检索、链、Agent、内存、回调链式调用：Runnable协议和LCEL Agent执行循环与模块化价值落地风险与取舍约4分钟 LangChain适合快速原型和复杂编排，但生产环境建议自己封装一层薄抽象，避免过度抽象和黑盒风险。 …

#快手#评估与监控#Agent

面试题·评估

RAG 检索语义相似但无关怎么解?

匹配口述回答：…是LLM本身不能太差，否则生成的假设回答会带偏。再一个，检索侧。我很少只依赖向量检索，因为纯语义匹配容易飘。实际落地我通常走[[Hybrid Search]]，把[[BM25]]的关键词匹配和向量检索结合起来，BM25能兜住精确匹配的场景，比如订单号、错误码。然后最关键的一步是[[重排]]，用[[Cross-Encoder]]模型把召回的top-K候选做一次精细打分，因为它能看query和doc的交互，比双编码器更准。另外，我会在训练Rerank模型时做负样本硬挖掘，专门把…

#Embedding#Rerank#RAG 检索相关性

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配口述回答：…”反而排后面。特别是专业术语、订单号、错误码这种稀疏场景，[[Dense Retrieval]] 效果很差。我的改进思路是上 [[Hybrid Search]]，把 [[BM25]] 关键词检索和向量检索结合起来，先粗筛再精排，比如用 [[Cross-Encoder]] 做 [[重排]]，把真正相关的文档提上来。这里有个前提：重排模型一定要针对你的业务数据微调过，否则效果反而变差。另一个检索问题是上下文切分粒度。固定按字数切分，太细了丢失全局语义，比如一个退款政策被切到两段…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配口述回答：…际落地时，数据层的问题往往是最快见效的。比如清洗掉脏数据、补充缺失知识，可能一天就提升5个点。检索层调优要平衡效果和延迟，比如[[Hybrid Search]]把关键词和向量结合起来，但会增加复杂度。生成层最难，prompt工程能约束引用格式，但真要解决幻觉，可能需要做[[Self-RAG]]让模型自己反思，或者做RAG-specific微调，但成本高。所以我的解决优先级是：先数据层，再检索层，最后生成层。如果数据层做好了，很多问题自然就消失了。不过这里有个延伸点，就是对…

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 美团

RAG 解决了哪些问题?

匹配口述回答：…向量检索。比如用户问“订单号12345的状态”，向量检索可能匹配到语义相似的句子，但关键词检索精确匹配订单号更靠谱。所以我会用[[Hybrid Search]]，向量加[[BM25]]，两条路一起走，再合并结果。接着说[[重排序]]，检索回来的top-100里，真正相关的可能只有前几个，我会用[[Cross-Encoder]]做一次精排，把最相关的提到前面。再补充上下文压缩，检索回来的段落可能很长，直接塞给模型会浪费token，还会稀释注意力。我会先对检索结果做摘要，把关键信…

#美团#混合检索#RAG 技术

面试题·评估· 淘天

RAG 核心指标优先级

匹配口述回答：…到业务场景，比方说电商客服处理退款纠纷，用户的订单号和退款原因五花八门，纯向量检索可能因为拼写差异漏掉关键记录。这时候我会用 [[Hybrid Search]]，把关键词和向量两条路结合起来，先用[[BM25]]兜底高频实体，再靠向量语义召回，这样Recall才能拉上去。再说生成端，核心指标是 [[Faithfulness]]，也就是答案是不是忠实于检索到的文档。这是RAG的生命线，直接对应[[幻觉]]问题。你不能模型自己脑补出一段看起来流畅但文档里根本没有的话。举个例子，…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配口述回答：…订单超时了，怎么退款”，如果检索没召回退款流程文档，后面生成再强也没用。所以检索层我通常会同时用关键词和向量两种方式，也就是 [[Hybrid Search]]，因为光靠语义可能漏掉精确匹配的订单号或错误码。这里有个前提：K 值不能设太大，否则延迟会暴涨。如果系统要求 200 毫秒内响应，K 设到 10 可能就超了，得在召回率和延迟之间找平衡。再讲生成层。这一步评估的核心是 [[Faithfulness]]，也就是生成内容有没有忠实于检索到的文档。很多系统召回做得好，但生成…

#安克科技#评估与监控#Agent

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配口述回答：…候，幻觉反而比不用RAG更严重，因为模型会强行把检索来的无关信息也编进去。所以落地时我特别关注两件事，一个是检索质量，比如用 [[Hybrid Search]] 把关键词和向量两条路结合起来，再一个是对检索结果做置信度过滤，分太低的直接丢掉。第二梯队是微调。微调适合的场景和RAG不一样，RAG管事实，微调更多管风格和逻辑。比如你要模型在不确定时说“我不确定”，或者让它的推理链更忠实于上下文，那微调就更直接。具体做法分两种，一种是用高质量QA对做 [[SFT]]，叫它学会拒绝…

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配口述回答：…如“我上次买的那个耳机坏了咋办”，但知识库里全是“售后政策2024版”这种正式标题，检索召回率很低。我的做法是，上线前一定要做[[Hybrid Search]]，把[[BM25]]关键词检索和向量检索结合起来，再配合[[Rerank]]，把最相关的片段顶到前面。另外说一个我特别关注的点：当知识库频繁更新时，[[Vector Database]]的增量索引和一致性怎么保证？比如客服知识库每天有几百条修改，你不能每次重建索引，但增量插入又可能让检索精度下降。我倾向于用双索引策略…

#美团#模型微调#RAG vs SFT

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配口述回答：…敏感。比如用户问“订单号 12345 退款失败”，向量检索可能只匹配到“退款失败”的语义，丢了订单号这个精确信息。所以我会用 [[Hybrid Search]]，把向量的语义匹配和 [[BM25]] 的关键词匹配结合起来，用 RRF 融合排序，召回率能明显提升。第三步是生成，把检索到的片段和问题一起喂给 LLM。但检索回来的片段不一定全有用，噪声多了反而会干扰模型。所以我一定会加一层 [[Rerank]]，用 [[Cross-Encoder]] 精排一下，只留最相关的 3 …

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 百度

RAG 端到端工作流程

匹配口述回答：…下文，又控制单块长度。另外，纯向量检索对关键词不敏感，比如搜“退款政策”可能因为语义偏差召不回“退货流程”，所以生产上我倾向 [[Hybrid Search]]，把向量检索和 [[BM25]] 关键词检索结合起来，再通过 [[Rerank]] 模型做最终排序。工作流程分两步走。离线准备阶段，文档切分、向量化、入库，这部分可以离线跑。在线查询时，用户问题先向量化，到向量库做[[近似最近邻]]搜索，取 Top-K 块，然后把这些块和原始问题拼成一个 Prompt，喂给大模型生成…

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配口述回答：…题同样转成向量，用 [[ANN]] 算法召回Top-K。但光靠向量不够，比如“退款”和“退货”语义相近但业务不同，所以我会加 [[Hybrid Search]]：向量检索加 [[BM25]] 关键词检索，两路结果合并后再用 [[Cross-Encoder]] [[重排序]]。这一步能显著提升召回相关性，尤其当知识库有大量相似文档时。生成阶段，把检索到的文本和问题拼成Prompt，让LLM基于证据回答。Prompt结构很关键：先给检索内容，再给问题，明确要求模型引用来源。这里…

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 百度

文本嵌入模型怎么选?

匹配口述回答：…万能的。如果你的query里包含精确订单号或错误码，向量[[embedding]]会丢失精度，这时候需要跟关键词检索结合，比如[[Hybrid Search]]，用[[BM25]]兜底。我见过不少项目上线后召回率低，一查全是向量模型对短代码不敏感。所以前提是，你得先判断数据里有没有结构化片段。举个例子，一个退货申请页面，用户输入“订单号12345为什么退款失败”，我期望召回两条政策：“退款失败可能原因”和“订单状态异常处理”。如果只用向量，可能只召回语义接近的第一条，漏了第…

#百度#文本嵌入模型#Embedding 模型对比

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配口述回答：…，还得注意跨语言的检索能力，比如用户用中文查，英文文档能不能召回。最后说落地。真正上线时，我很少只用向量检索。更常见的做法是[[Hybrid Search]]，把向量和[[BM25]]结合起来。因为向量模型对字面匹配、专有名词比如订单号、错误码这些，效果很差，但BM25很擅长。所以我会同时建向量索引和倒排索引，检索时把两路结果融合，再用Rerank模型排序。这个方案能覆盖更多case，但代价是多维护一套索引和增加延迟。还有一个点值得注意：模型微调。很多开源模型比如BGE、…

#百度#评估与监控#向量检索

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配口述回答：…的条款很容易被割裂。再补充推理能力弱，多跳推理、数值比较这些，RAG天生不擅长。所以优化方向其实很明确。先说检索层，我倾向用[[Hybrid Search]]，把向量检索的语义能力和[[BM25]]的关键词精准度结合起来，再加一层[[重排]]，用[[Cross-Encoder]]精排，而不是只靠余弦相似度粗排。这样专业术语和同义词的匹配能好很多。查询层也很重要，做查询改写，把复杂问题拆成子查询，比如「去年Q3和Q4的营收对比」拆成两个独立查询再聚合。生成层可以做上下文压缩，…

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调· 字节

RAG 检索与生成流程详解

匹配口述回答：…比如搜一个产品型号“A100-Plus”，向量可能把它跟“A100”混淆，但[[BM25]]能精确命中。所以落地时，我倾向于用[[Hybrid Search]]，把向量和关键词两种结果合并，再重排，这样召回率和精度都高。技术架构其实不复杂，就是一条链：Query进来，经过检索、重排、融合，最后生成。关键组件是Embedding模型、向量数据库、重排模型和LLM。但我想强调的是，重排这一步不是可选项，而是必选项。因为原始检索结果里噪声很多，不重排直接给大模型，它会被无关信息带…

#字节#检索生成流程#RAG 实现

面试题·模型微调· 百度

怎么提升对话模型事实一致性?

匹配口述回答：…我倾向预检索加缓存，减少实时检索延迟。但时效性强的，比如实时政策，那就得上实时RAG加搜索引擎API。具体到检索环节，我一般用[[Hybrid Search]]，向量相似度加[[BM25]]关键字，再结合知识图谱路径。检索完一定要做[[重排]]，用[[Cross-Encoder]]把噪声文档过滤掉。生成的时候，强制模型标注引用来源，这样出了问题能溯源。不过这里有个常见的失败场景：如果文档切分没做好，检索到的片段可能不完整，导致模型断章取义。所以我会特别关注[[Chunk]]…

#百度#模型微调#评估与监控

面试题·模型微调· 商汤科技

RAG 基本工作流程是什么?

匹配口述回答：…积。但这里有个坑：纯向量检索对关键词不敏感，比如搜订单号或者错误码，向量相似度往往不如 [[BM25]]。所以实际落地我会用 [[Hybrid Search]]，向量和关键词两条路同时走，结果再融合。举个例子，电商客服场景，用户问“我上次买的手机怎么还没到”，向量检索能理解“手机”和“物流”的语义，但如果用户说“订单号 12345 怎么退款”，关键词匹配更准。所以混合检索是标配。检索完，生成前还有一步：把搜到的文本和原始查询拼成一个 Prompt，扔给大模型。这里有个关键：…

#商汤科技#RAG 工作流#RAG 工作流程