匹配口述回答：这道题其实是在问，大模型产生[[幻觉]]，我们到底从哪下手。检索增强提供证据，偏好训练调整行为；幻觉成因可能重叠，不能把[[RAG]]和[[RLHF]]分别对应成不知道与知道但乱说两类。先说 RAG，它的核心思路是开卷考试。模型生成前，我先从外部知识库检索相关文档，比如用 [[Hybrid Search]] 把关键词和向量检索结合起来，然后把文档拼到 prompt 里，告诉模型“你就按这些材料回答”。这样给模型提供了可追溯证据，但提示不是硬约束，模型仍可能误读资料或编造。这…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配口述回答：这道题问的是现代[[RAG]]到底比传统流水线强在哪，本质是看检索和生成的关系从单向变成双向互动了。传统做法是检索完把结果拼进prompt，生成器就直接用了，三个模块各自优化，检的只管检，写的只管写。但现代RAG会把检索嵌进生成过程里，让生成器反过来指导检索，比如生成到一半发现缺信息，再主动去查一次。这不是简单拼接，而是有更深层的融合。具体说一下，传统RAG适合那些问题比较固定、知识库也不太变动的场景，比如内部知识库问答，查什么文档基本一眼就能判断。但真实业务里，问题复杂度…

#淘天#评估与监控#RAG架构改进

面试题·评估· 字节

RAG 文档检索选型

匹配口述回答：…如先固定切块和召回候选，只比较有无重排；再固定重排，比较稠密、稀疏和混合召回。若同时修改 Embedding、chunk 大小和 Prompt，即使最终指标上升，也无法证明贡献来自哪里。还应保留效果变差的 query，说明方案的适用边界，而不是只展示平均分。如果面试官要求结合项目，不要照搬一个现成故事。回答者需要补齐自己的文档类型、查询分布、原始基线、主要 bad case、方案取舍、评测方法和工程代价。没有做过消融或没有线上指标时直接说明，再给出下一步验证方案。这样既能讲…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#混合检索#RAG 文档检索选型

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配口述回答：这道题问的是[[RAG]]评估，但我觉得它真正在问的是：你怎么在检索和生成这两段之间做质量博弈，并且落地时不被指标骗了。我会把评估拆成两个层面，先检索层，再生成层，最后看端到端，但每个层面都有坑。先说检索层。Recall@K衡量Top-K覆盖了多少已标注相关文档，分母是相关文档总数；Hit@K衡量至少命中一个相关结果的query比例，不能混为一谈。但这里有个常见误区：很多人上来就追Recall@K到95%以上，其实没必要。比如客服退款场景，用户问“退款到哪了”，若黄金集中…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 淘天

RAG 核心指标优先级

匹配口述回答：…足点一定是：有没有真的约束住，约束得够不够好。我习惯把评估拆成两个层面：检索和生成，再加一个端到端的整体效果。先说检索，它决定了RAG的天花板。你召回的东西不对，后面模型再强也白搭。我最关注的是 Recall@K，就是相关文档有没有被捞回来。很多系统上线后效果不好，一查，问题出在召回率只有百分之六七十，那后面再怎么调prompt都补不回来。具体到业务场景，比方说电商客服处理退款纠纷，用户的订单号和退款原因五花八门，纯向量检索可能因为拼写差异漏掉关键记录。这时候我会用 [[H…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配口述回答：… 不适合、query 改写不准，或者 reranker 没把真正有用的文档顶上来。这个时候我会先看 TopK 列表，而不是直接改 prompt。 MRR定义：所有查询倒数排名的平均值 RAG首位相关性决定生成质量需配合Recall@K使用实际阈值与注意点约4分钟 MRR 更像检索排序指标，不等于端到端答案质量。如何把 MRR、Recall@K、NDCG、Faithfulness 组合成一套 RAG 评估体系。

#百度#评估与监控#MRR 定义

面试题·模型微调· 美团

RAG 解决了哪些核心问题?

匹配口述回答：…信息检索出来，让模型基于企业自己的知识回答。第三是降低[[幻觉]]和提升可审计性。纯生成时，模型很容易把听起来合理的内容编出来；RAG 至少能把回答约束在检索到的资料上，并且可以要求它引用来源。这样一旦用户质疑“你凭什么这么说”，系统能回到具体文档片段，而不是只相信模型的一句话。当然，这个前提是检索结果本身靠谱，prompt 里也要约束模型不能脱离资料发挥。举个客服场景：用户问“退款什么时候到账”。如果只靠模型参数，它可能给一个通用答案；RAG 会先查订单状态、支付渠道规…

#美团#知识增强#RAG 核心问题

面试题·RAG

什么是 RAG？一句话讲清检索增强生成

匹配追问：概念辨析有人说 RAG 不就是把资料复制粘贴进提示词吗？你觉得这个理解对不对？RAG 和直接把整份文档塞进上下文，区别在哪里？场景切入假设公司要做一个内部规章制度问答机器人，员工问“产假有多少天”，直接用通用大模型回答会有什么风险？RAG 具体能怎么帮上忙？

#入门#基础概念#什么是RAG

面试题·知识图谱· 字节

医疗法律 RAG 合规追溯

匹配口述回答：这道题其实问的是，当[[RAG]]落到医疗、法律这种高价值、高风险的垂直领域时，到底要怎么搭一条能真正跑通的链路。核心已经不是通用RAG那套“文档切一切、向量存一存、召回来拼Prompt”了，而是怎么把领域知识的结构化、查询的复杂意图、还有最终答案的可靠性串起来。我先说知识处理这块，这是最花功夫的。通用RAG里往往一刀切[[Chunk]]，但垂直领域不行。我的做法是把数据分成三层来对待：结构化数据，比如药品库、法条，直接做成[[Knowledge Graph]]，存实体和关…

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯

面试题·Prompt· 科大讯飞

Prompt 设计原则有哪些?

匹配口述回答：…e、修改记录、评测方法和副作用。没有做过线上 A/B 测试或没有可核验指标时直接说明，不能把教学示例包装成亲历方案。题目本质是问Prompt工程在真实项目中的系统化落地四层结构作为基础模板动态上下文管理与少样本设计思维链触发与迭代优化工程化实践与风险意识约4分钟 RAG引入后需要做Faithfulness校验，确保模型输出与检索文档一致。面试官可能会追问Faithfulness校验的具体实现方法，比如如何判断一致性、是否用额外模型打分、或者如何处理检索噪声。

#科大讯飞#阿里#Prompt工程

面试题·Prompt· 阿里

Agent Prompt优化评估指标

匹配口述回答：…验证集。其实还有一个更棘手的问题：当Prompt优化和模型微调同时进行时，怎么区分各自的贡献？比如用了[[SFT]]之后，同样的Prompt效果变了，那到底是Prompt好还是模型好？这个我一般会固定模型版本先做Prompt实验，再反过来固定Prompt做微调实验，但实际业务里两者经常迭代，很难完全隔离。所以整体上，我更倾向把Prompt优化看成一种低成本、高频迭代的手段，但它的上限受限于模型能力。如果遇到效果瓶颈，我会考虑结合[[Self-RAG]]或者[[Chain-…

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 阿里

Agent推理链路Prompt优化评估指标

匹配口述回答：…批量处理，成功率就是第一位的。不过这里有一个更微妙的问题：当Agent的推理链路特别长的时候，比如需要连续调用五六个工具，这时候Prompt优化可能遇到瓶颈，你修好了第一个节点的错误，但下一个节点又坏了，这就是所谓的局部优化和全局效果的矛盾。我自己的经验是，这时候可能要考虑用[[Self-RAG]]或者[[Reflexion]]让Agent自己反思纠错，而不是死磕Prompt。所以整体上，我的取舍是：优先用端到端任务成功率作为北极星指标，把Token消耗和延迟作为约束条件…

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 字节

电商Prompt设计陷阱

匹配口述回答：…误导。我倾向于把示例也做成动态检索，根据当前query取最相关的示例，效果比固定示例好不少。最后说下边界。有人问为什么不用 [[RAG]] 或微调？我的看法是：RAG适合知识密集但不需要模型理解的任务，比如政策问答；微调适合风格固定、输出格式统一的任务，比如评论摘要。但电商场景复杂，往往是混合的。比如商品推荐，既需要实时库存（RAG），又需要个性化风格（微调），我会先用微调让模型学会推荐逻辑，再注入实时数据做 RAG。说白了，没有银弹，落地时我会优先用prompt工程，成本…

#字节#Prompt工程#电商 Prompt 设计

面试题·Prompt· 字节

Agent 系统架构与 Prompt 设计原则

匹配口述回答：…那样太危险，一旦[[Hallucination]]，它可能乱调用工具造成破坏。所以规划层只输出意图和参数，执行层做安全校验。再说Prompt设计。我会用结构化模板，固定角色定义、任务目标，动态塞工具描述和[[Few-shot]]示例。工具描述用[[Function Calling]]的Schema格式，每个工具写明description、parameters、required。输出强制JSON格式，预留thought字段暴露推理过程，这样出了问题能回溯。一个常见的坑是工具…

#字节#Agent#Agent 系统设计

面试题·RAG· 百度

RAG 项目指标化复盘

匹配口述回答：…】，解释它是知识缺失、过滤、召回、排序还是生成问题，以及对应的拒答、降级或回滚。语料、embedding、索引、reranker、Prompt 和模型都版本化，多租户权限和缓存隔离单独验证。这样面试官追问任何一层，都能回到真实 trace 和实验。 RAG本质是让大模型先查后答，不是硬记数据层：多源解析和表格保留检索层：混合召回加重排，型号编码单独倒排生成层：置信度阈值防幻觉，版本冲突处理落地前提和风险约90秒即使检索准，模型仍可能忽略部分上下文，需要更精细的段落…

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配口述回答：…[Hallucination]]，需要额外做 [[Faithfulness]] 校验。这块如果面试官感兴趣，我可以展开讲讲怎么设计prompt和校验机制。所以我的结论是：重排是RAG从“找得到”进化到“找得准”的关键组件，但不是银弹。我更倾向于把重排看作一个精度调节旋钮，根据业务对准确率和延迟的要求，灵活调整候选集大小、模型轻量程度和级联层数。比如对金融风控场景，我宁可多花50毫秒也要保证精度；对实时聊天机器人，可能就用一个轻量模型快速过一遍。本质是两阶段权衡精度与效率 …

#字节#重排与优化#RAG Re-ranking

面试题·检索· 淘天

Naive RAG vs Advanced RAG 区别?

匹配口述回答：…于建立基线，也容易排查，但遇到精确实体、短 query、冲突文档、权限过滤或多步问题时，单路向量召回往往不够。 Advanced RAG 是在明确 bad case 上增加处理。检索前可以做改写、扩展、分解或路由；检索中加入 BM25 与向量混合、元数据过滤和重排；生成前再做去重、压缩、冲突处理和引用组织。这里没有哪个模块默认该上。比如正确文档没进候选，先修覆盖和召回；候选已有答案但位置低，再考虑融合或重排；上下文正确而回答仍错，才检查 Prompt、生成模型或验证器。 Mo…

#淘天#重排与优化#Naive RAG

面试题·检索· 字节

RAG 系统实现：组件与流程

匹配口述回答：…回来之后，我会加一道 [[重排]]，用一个 [[Cross-Encoder]] 模型重新算一遍相关性，把最相关的3到5条挑出来拼到prompt里，最后丢给LLM生成答案。说到优化，我比较常用的是上下文压缩。检索回来的片段里可能有噪声，直接拼进去会干扰模型。我会先用一个小模型过滤一遍，只保留确实相关的句子。还有一个方向是 [[Self-RAG]]，让模型自己判断要不要检索，如果知识库里没有就直接说不知道，避免 [[Hallucination]]。举个例子，企业SOP合规场景…

#字节#RAG系统实现#RAG 实现

面试题·检索· 美团

RAG 检索器与知识库怎么搭?

匹配追问：………如果只有几万条业务文档，又要实时检索，你会怎么搭这个系统？……那检索到的东西怎么喂给模型，才能让它准确引用？直球架构聊一下RAG的技术细节。你从检索器选型、知识库分层、到生成模型集成，整个链路怎么设计的？比如双路召回、混合排序、Prompt组装这些，具体怎么落地？

#美团#知识库构建#RAG 检索器设计

面试题·检索· 美团

RAG 系统核心组件怎么搭?

匹配追问：…F 和网页，然后问‘今年的Q2财报里研发费用占比多少？’——你从文档处理到最终给出答案，中间每一步具体是怎么串起来的？层层追问 RAG 系统里你怎么处理文档的？……分块一般注意什么？……那检索的时候，光用向量够吗？……怎么把检索结果喂给生成模型，上下文太长怎么办？直球架构请详细说一下 RAG 系统的技术实现，从文档预处理、检索器的多路召回和重排序，到生成器怎么集成检索结果，包括 Prompt 设计和上下文压缩，完整的 pipeline 怎么搭？

#美团#RAG工程实现#RAG 系统实现

面试题·检索· OPPO

Context vs Prompt Engineering 区别?

匹配追问：…问“我的订单什么时候到”，系统得先去查订单系统拿到物流信息。这时候你既要决定“怎么问”模型，又要决定“给什么”模型。那这两件事——提示工程和上下文工程——你觉得是一回事吗？层层追问你做RAG的时候，一般怎么构造给模型的输入？……是先写提示词模板，还是先处理检索回来的文档？……如果检索结果质量差，提示词写得再好也没用，那这两者到底谁更重要，它们怎么配合？直球架构请解释一下上下文工程和提示工程在大模型应用中的区别和联系。它们各自的目标、方法、应用场景是什么？上下文工程具体…

#OPPO#Prompt工程#Context Engineering

面试题·检索· 百度

RAG 三阶段原理与失败场景

匹配追问：…比如靠外挂知识库？……那具体怎么把知识库和生成过程结合起来呢？从用户提问到最终回答，你详细说说每一步怎么做？直球架构请详细描述RAG的完整工作流程，重点讲清楚检索、增强、生成三个阶段分别怎么实现，包括文档处理、向量化、检索策略、Prompt组装这些环节。

#百度#RAG三阶段#RAG 工作流程

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配正文：五大技术范式对比范式核心原理适用场景优缺点典型案例提示工程通过指令设计激活模型能力通用问答、格式转换零成本、易迭代；受模型能力上限约束客服话术生成上下文学习(ICL) 示例驱动，无需参数更新小样本分类、风格迁移灵活快速；受上下文长度限制工单分类、情感分析微调(SFT/PEFT) 领域数据适配模型参数垂直领域、稳定需求效果深度定制；数据/算力成本高滴滴司机调度策略模型 RAG 检索+生成，外挂知识库知识密集型、需可解释解决幻觉、实时更新；…

#滴滴#模型微调#Agent

面试题·模型微调

生成质量差怎么调优?

匹配标题与标签：生成质量差怎么调优? RAG 系统中生成模块的调优策略,涵盖 Prompt 与模型微调模型微调 RAG 生成质量指令遵循生成模块调优 Prompt 优化模型微调

#RAG 生成质量#指令遵循#生成模块调优