匹配口述回答：…一个 [[Rerank]] 步骤，把最精准的排到前面，然后把这些片段和用户问题拼在一起，作为上下文送给大模型生成答案。这里有个坑：prompt设计必须明确告诉模型引用来源，否则它还是会自己编，也就是 [[Hallucination]]。接下来是时效性问题。说白了，知识库里的信息是静态的，但现实世界在变。比如电商平台的满减政策，昨天还是满200减50，今天改成满300减80了，如果知识库没更新，用户问“今天有什么优惠”，模型可能会给出过时的答案。我的应对策略不是单一方案，而…

#字节#时间衰减检索#RAG 工作流程

面试题·检索· 快手

LLM怎么融入推荐系统？特征提取与召回

匹配正文：…切入）重排序阶段：用LLM做精排后的多样性重排（MMR+语义去重）推荐理由生成：非排序本身，但提升CTR和用户体验直接打分：Prompt预测点击概率——仅适合冷启动或长尾，全量不经济关键挑战计算成本 vs 实时性解法：LLM特征离线预计算 + 在线轻量模型；蒸馏小模型替代在线LLM ID空间与语义空间错位传统推荐强依赖ID共现，LLM擅长语义；需设计ID-语义对齐的联合训练评估困境 LLM引入后，离线AUC可能涨但线上GMV跌（语义相关≠转化相关），需强化因果…

#快手#LLM推荐系统#LLM 推荐系统

面试题·检索· 快手

LLM怎么融入推荐系统？序列建模与排序

…丢失、文本描述质量依赖、embedding空间对齐 2. 序列建模：长行为序列处理方案做法问题直接输入将N条行为拼成超长prompt 上下文窗口限制、推理成本爆炸摘要压缩 LLM先压缩历史为兴趣标签信息损失、压缩策略设计分层架构传统模型做短期，LLM做长期兴趣多源信息融合复杂快手场景：视频消费序列极长（数百上千），需结合SIM-style采样 + LLM语义理解 3. 召回/排序：生成式 vs 判别式生成式召回（如TIGER、P5）： LLM直接生成候…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#快手#LLM推荐架构#LLM 推荐系统

面试题·检索· 百度

检索失败时 RAG 怎么兜底?

匹配口述回答：…。如果改写还不行，那就得靠多路召回兜底了。我会把向量检索和[[BM25]]关键词检索结合起来，再叠加[[知识图谱]]。举个例子，电商客服场景，用户问「满200减30和满300减50能叠加吗」，向量检索可能因为术语不匹配没找到，但BM25能通过「满减」「叠加」这些关键词命中，知识图谱也能给出规则关系。一路不行其他路补上，这是最稳健的架构。再一个就是降维检索，把相似度阈值调低，先扩大召回范围，让[[重排]]模型去过滤。但这个有前提，就是你的重排模型得够强，不然噪音太多反而影响…

#百度#小鹏#美团

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配追问：…ad case集中在长尾分布，你会怎么处理数据采样策略如果确定是模型容量不足，你会选择继续scale up还是做MoE改造如何设计一个自动化的bad case挖掘和归因系统场景切入假设你在做电商客服大模型，发现它对“退换货政策”这类问题答得不错，但一遇到“订单状态合并”这种多实体推理任务就频繁出错，你会怎么系统性地排查和优化？层层追问大模型在特定任务上表现不好，你一般从哪里开始查？……数据分布可能有问题，然后呢？……训练层面还有什么可以调的？……架构上有没有瓶颈？…

#模型调试#bad case分析#数据质量

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配口述回答：…之间的权衡，没有跨模型通用范围。它需要结合实际KL、任务奖励、语言质量、拒答和安全评测调节。KL突然上升可能来自学习率、奖励尺度、prompt分布或实现错误，不能只用一个阈值触发同步reference，更不能把自动同步写成标准RLHF机制。在新的训练迭代中，团队可以选择把经过完整验收的新策略作为下一轮SFT或RLHF的起点，并重新冻结一个reference。也可以因为模型架构、tokenizer或目标分布变化而重新定义baseline。但这是版本级决策，要重新建立对照、评测…

#RLHF#Reference Model#PPO

面试题·模型架构· 商汤科技

幻觉一致性延迟诊断

匹配追问：如果幻觉问题在RAG场景下依然严重，你会如何优化检索和生成的协同机制输出不一致在API高并发场景下如何设计缓存策略推理延迟优化中，Prefill和Decode阶段的瓶颈分别是什么场景切入假设你在做一个电商客服助手，用户问‘昨天下单的什么时候发货’，模型答了‘已发货’，但实际上订单还在备货中。这种不一致怎么修？你从采样策略到模型训练层面会怎么处理？层层追问大模型上线后你一般怎么排查问题？……如果发现回答经常前后矛盾或者胡编乱造，你会从哪些方向去找原因？……那具体到训…

#幻觉问题#输出一致性#推理延迟

面试题·Agent· 百度

Agent 核心模块怎么协同?

匹配口述回答：…ing]]生成结构化参数来调用外部API，比如搜索、计算、数据库查询。工具需要注册成Schema让模型知道怎么用。实际场景中，比如电商客服处理退款，Agent会调用订单查询API获取状态，再调用退款规则引擎判断是否符合条件，最后调用执行接口完成操作。这里有个关键：工具返回的结果不一定是可靠的，所以必须有反馈闭环。执行反馈就是闭环优化的核心。工具返回的结果作为观察注入上下文，模型根据观察判断是否继续、重试或者换方案。如果调用失败，模型应该能自我修正，比如换个参数重试或者换一个…

#百度#Agent#Agent 工作原理

面试题·Agent· 百度

Tool Use 实现方法有哪些?

匹配追问：…个电商客服agent，用户问“帮我查一下上周的订单”，然后又说“退款吧”。这时候你需要让模型调用查订单和退款两个工具，通常你会怎么设计这个流程？层层追问模型怎么知道该调用哪个工具？……如果模型输出格式不对，比如参数写错了，你怎么办？……那如果模型连续调用失败，你会考虑换一种实现方式吗？比如微调一个专用模型？直球架构请列举当前大模型实现工具调用的主流方法，包括实现机制、适用场景和优缺点，比如原生Function Calling、ReAct Prompt、微调方案等，你倾…

#百度#Agent#Tool Use 实现方法

面试题·Agent· 淘天

Agent 开发框架对比

匹配口述回答：…公司，有PM、架构师、工程师这些角色，多个Agent协作按照SOP走。这个框架特别适合做复杂软件生成，比如你给一个需求，它自动产出设计文档、代码、测试用例。但适用边界很窄，只适合结构化任务，而且前提是你的业务能拆成标准流程，否则Agent之间消息一多，协调成本就上去了。举个例子，一个电商后台的满减政策生成，规则是确定的，可以用MetaGPT让一个Agent写规则，另一个Agent验证边界情况，效果很好。但如果需求本身模糊，比如'做个好用的用户中心'，那它就容易陷入无休止的讨论…

#淘天#Agent#Agent 开发框架对比

面试题·Agent· 商汤科技

Tool Calling 失败处理

匹配口述回答：… Schema 加采样约束，比如 outlines 库，在生成时就限制输出格式。另外错误处理也很关键，工具调用可能超时或失败，我会设计 fallback 逻辑，要么重试一次，要么告诉用户暂时查不到。还有一个常见场景是并行调用，模型一次想查天气和股价，我会在 prompt 里明确支持同时输出多个 tool call。讲个真实业务场景。比如电商客服系统，用户问“帮我查一下订单 12345 的物流状态，顺便看看这个商品现在有没有优惠”。模型需要同时调订单查询和价格查询两个工具。如…

#商汤科技#Agent#Tool Calling 失败处理

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配正文：…练截止后新知识问题局限：成本高，且模型仍可能"过度泛化" 2. RAG（检索增强生成）做法：外挂知识库，将检索到的相关文档拼入Prompt 效果：对事实性幻觉效果显著，可追溯来源关键：检索质量决定上限，需解决检索失败和内容冲突美团实践：结合实时业务数据（如商户信息）做领域RAG 3. 解码策略优化方法核心思想适用场景 Contrastive Decoding 对比大/小模型输出，惩罚低置信token 开放生成 CAD（Context-Aware Decoding…

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配追问：场景切入假设你在做电商客服RAG，用户问“这款手机支持5G吗”，系统回了一段包含过时参数的上下文，结果答错了。你拿到这个bad case后会怎么一步步查问题？层层追问 RAG系统上线后用户反馈答案不准，你一般怎么排查？……如果确定是上下文信息本身错了呢？……那你手头有哪些数据能帮你定位是知识库脏了、检索没召回到对的、还是模型没用好？直球架构请你设计一套RAG上下文准确性问题的诊断和修复方案。诊断层面要区分检索和生成两类根因，数据层面要列出你需要的开发集、对抗集、线上回…

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配追问：场景切入假设我们做电商客服RAG，用户问‘这个充电宝支持快充吗？’，系统可能会从商品文档检索，也可能从对话历史里找，你怎么评估这个检索和生成的整体效果？层层追问 RAG上线后，你怎么知道它好不好？……检索和生成是不是分开看？……那有没有一些自动化的指标能同时评估两者？直球架构评估一个RAG系统的效果，你从哪几个维度设计指标？检索层和生成层分别用什么指标？端到端评估你会怎么做？

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 百度

RAG 架构怎么工作?

匹配追问：场景切入假设你在做电商客服机器人,用户问‘iPhone 15有啥优惠’,你直接让大模型答,它可能瞎编。如果用RAG,你会怎么设计,让回答既准确又能溯源到商品文档? 层层追问大模型做知识问答容易胡说八道,你怎么解决?……如果外挂一个知识库呢?……那具体怎么把用户问题转成检索,再把搜到的内容和问题拼起来给模型?整个流程怎么串? 直球架构聊一下RAG的架构和工作流程,从索引、检索到生成怎么配合?它为什么能缓解幻觉?实际落地中,你会碰到哪些瓶颈,比如检索不准或上下文不够用?

#百度#评估与监控#RAG 架构

面试题·评估· 字节

大模型 Agent 优缺点怎么分析?

匹配口述回答：…，但能不能在边界条件下稳定跑，才是真功夫。应用场景方面，智能客服和运维是落地最成熟的，因为流程明确、工具标准化，容错空间大。比如电商退款场景，用户说“我买的东西降价了，退差价”，Agent能自动查订单、查当前价格、算差价、发起退款，一气呵成。数据分析助手也不错，Code Interpreter 加可视化工具链已经很成熟了。但高决策场景比如医疗诊断、金融风控，目前只能做辅助，容错太低，必须人机协同。我的判断是，不是所有场景都适合全自动Agent，真正落地往往是Agent加人工…

#字节#Agent#大模型 Agent 优缺点

面试题·模型微调· 百度

RAG 端到端工作流程

匹配口述回答：…定风格或复杂推理模式，比如把公司内部术语的表达方式固化下来；而 RAG 适合高频更新、需要引用外部事实的场景，比如客服的退款政策、电商的满减规则。真正落地往往是 RAG 加微调一起上，RAG 负责事实，微调负责表达。不过 RAG 也有前提和风险。知识库本身的质量决定天花板，如果文档本身有错、过期、或者切分不合理，检索结果就会带偏模型。另外，检索延迟和精度要平衡，Top-K 取太多会让 Prompt 过长，影响模型推理速度和效果。上线我会特别关注 [[RAGAS]] 评估指标…

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配追问：场景切入假设你要给电商客服做一个智能问答系统，需要实时查询商品库存和退换货政策，但大模型对内部数据一无所知。你会怎么设计，才能让模型准确回答“这款手机还有货吗”这种问题？层层追问大模型回答有时会胡说八道，你怎么保证它能基于真实知识来回答？……如果知识是动态更新的呢？……那你怎么把外部知识塞进去，又不重新训练模型？直球架构讲一下检索增强生成（RAG）从索引到检索再到生成的全流程技术实现，包括文档分块、向量化、相似度搜索和提示组装这些关键环节。

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 商汤科技

RAG 基本工作流程是什么?

匹配追问：…一个智能客服，用户问“我的订单什么时候发货”，你直接让大模型回答容易胡扯。如果先查一下知识库里的物流规则再生成答案，这个流程你怎么设计？层层追问你一般怎么解决大模型知识过时的问题？……用外部知识库是吧，那具体怎么把外部知识和模型结合起来？……从用户提问到最终答案，中间经历了哪些步骤？直球架构请描述RAG的完整工作流程，包括离线和在线阶段，以及每个阶段的关键组件。比如文档怎么处理、检索怎么实现、生成时怎么拼接Prompt。

#商汤科技#RAG 工作流#RAG 工作流程

面试题·知识图谱· 字节

RAG 技术原理和实现流程

匹配口述回答：…外部知识库去补它的短板。[[RAG]] 和微调是两条不同的路，微调适合让模型学特定风格或固定知识，但你要它回答实时变化的政策，比如电商平台的满减规则，微调一次成本高还跟不上更新，这时候 RAG 就派上用场了。实际落地中，我经常是 RAG 加微调一起上，微调解决回答的语气和格式，RAG 提供最新的事实，两者互补。具体说一下 RAG 的实现流程，核心就是离线建库、在线检索、增强生成三个阶段。离线建库这块，第一步是文档解析和切分，把 PDF、网页这些拆成文本块，chunk 大小我…

#字节#检索生成流程#RAG 技术原理

面试题·RAG· 字节

RAG 怎么提升生成准确性?

匹配口述回答：…留上下文。第二步是检索，用户的问题也转成向量，去库里做相似度搜索，拿回Top-K个片段。第三步是生成，把检索到的片段和原始问题拼成prompt喂给LLM，让它基于这些证据回答。这里最关键的其实是检索质量，它决定了生成的上限。如果检索回来的东西不相关，LLM再强也白搭。所以落地时我会特别关注两点：一是 [[Hybrid Search]]，把向量检索和 [[BM25]] 关键词检索结合起来，因为向量擅长语义匹配但可能漏掉精确词，关键词正好互补；二是 [[重排]]，初检索召回几百…

#字节#外部知识检索#RAG 原理

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配口述回答：…生[[Hallucination]]，需要额外做 [[Faithfulness]] 校验。这块如果面试官感兴趣，我可以展开讲讲怎么设计prompt和校验机制。所以我的结论是：重排是RAG从“找得到”进化到“找得准”的关键组件，但不是银弹。我更倾向于把重排看作一个精度调节旋钮，根据业务对准确率和延迟的要求，灵活调整候选集大小、模型轻量程度和级联层数。比如对金融风控场景，我宁可多花50毫秒也要保证精度；对实时聊天机器人，可能就用一个轻量模型快速过一遍。本质是两阶段权衡精度与效…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 原理与核心架构

匹配口述回答：…G]] 的三大优势。事实准确性提升，本质是给生成加了事实锚点，答案可溯源。动态更新方面，知识库和模型解耦，新文档入库就能生效，比如电商大促时满减政策变了，只需要更新知识库，不用重新训练模型。[[幻觉]]缓解方面，检索到的上下文约束了生成空间，但这里有个前提：检索质量本身得过关，如果检索失败，模型还是会幻觉。所以上线时我会特别关注检索的置信度，分数太低就触发拒答。举一个具体的业务场景：智能客服处理退款。用户问“我的订单为什么还没退款”，系统先检索知识库里的退款流程、当前订单状…

#字节#重排与优化#RAG 原理与核心架构

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…相关性加权融合、构建结构化上下文（表格/树状）长上下文利用：Lost in Middle问题缓解，关键信息放首尾生成环节优化 Prompt工程：明确引用格式要求、 few-shot示例引导结构化输出生成增强：Self-RAG（生成时自检索验证）、RAG-Fusion（多查询结果融合生成）后处理验证：答案与检索片段的事实一致性校验、置信度打分过滤系统级迭代离线评估：构建领域评测集，端到端答案准确率 vs 检索命中率联动分析在线监控：检索空结果率、生成幻觉率、用户反…

#字节#RAG迭代优化#RAG 优化