匹配正文：…考虑帮助性与安全。一个方法在某一维提升，不代表其他维度同步改善。数据侧应处理重复、污染、标签错误和目标领域覆盖，并保留独立评测。SFT让模型学习任务格式与示范行为，但示范若带错事实，模型也会复制。继续预训练可补领域分布，却可能带来遗忘。每次数据变更都要在目标、通用与安全集合上做回归。偏好优化主要学习回答之间的相对偏好，可以改善帮助性、风格或拒答边界，但偏好标注若没有核验事实，不能自动提高事实准确率。RLHF和DPO的数据闭环不同，也没有无条件胜负。需要同时报告偏好胜率、事…

#数据质量#训练策略#推理优化

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability估计相关项，但具体形式要…

#RLHF#Reference Model#PPO

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配口述回答：…据、偏好、强化学习，也可以从权重组合入手，必须同时测正确率和token效率。另一篇是InstructGPT。流程先用标注者示范做监督微调，再收集多个模型回答的偏好排序训练奖励模型，最后用PPO优化策略并控制相对参考策略的偏离。这里不能说传统RLHF只优化答案正确性。标注偏好通常覆盖是否有帮助、是否真实、是否安全以及是否符合用户意图，奖励模型学习的是这套标注分布。它的局限也很明确：奖励模型可能被利用，标注者偏好不等于客观事实，策略还可能在分布外失效。还会讲DeepSeek-…

← 上一页第 4 / 4 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#论文阅读#技术追踪#学术敏感度

面试题·评估· 百度

面试高频论文怎么选?

匹配口述回答：…齐。【90秒主答】 Llama 2 的价值在于它不仅给出基础模型，也较系统地公开 Llama 2-Chat 的后训练。论文描述了监督微调、奖励模型、rejection sampling 和 PPO 的组合，以及帮助性和安全性的人工评测。阅读时要注意各阶段和不同大小模型的适用细节，不能把一个版本的流程简化成所有模型完全相同。 Llama 3 Herd 报告覆盖 8B、70B 和 405B 等模型的训练与评测，并介绍多语言、代码、推理、工具、安全和长上下文。其后训练章节应按原文…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·RAG

什么是 RAG？一句话讲清检索增强生成

匹配口述回答：…再生成针对这个用户的回答。政策改了，改文档就生效，出了问题也能追溯到具体片段，合规审核容易很多。这里有个很重要的边界。RAG 和微调不是二选一，而是解决不同问题。RAG 适合知识注入和事实更新，微调适合改变模型的行为风格或任务格式。比如让模型学会客服话术，可以用 [[SFT]]；但让模型知道今天最新的退款政策，就应该用 RAG，因为微调一次成本高，而且改完可能遗忘旧知识。真正落地时，常常是 RAG 加微调一起上。不过 RAG 也不是万能。前提是知识库质量要过关，检索要准，…

#入门#基础概念#什么是RAG

面试题·知识图谱· 字节

医疗法律 RAG 合规追溯

匹配口述回答：…各一段。这样检索时命中率更高。再一个，领域[[Embedding]]不能直接用通用模型。我会拿PubMed或者裁判文书继续做[[SFT]]，或者构造对比学习数据，让“心肌梗死”和“MI”映射到相近向量。这是个大前提，如果直接拿通用Embedding去搜，专有名词匹配会非常差。说回检索策略。我倾向于多路召回加精排，而不是单靠向量。具体来说，我会开三路：第一路是稠密向量，用微调后的Embedding配合[[Faiss]]做[[ANN]]，解决语义相似但字面不同的问题；第二路是…

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯

面试题·知识图谱· 海尔

训练/推理/外部知识怎么选?

匹配口述回答：…我不知道”。这个在客服场景特别有用，比如用户问“这个订单为什么还没发货”，模型如果没检索到具体信息，直接编一个理由就出事了。 [[SFT]] 阶段，我会构造带引用来源的指令数据，答案必须说“根据文档第几段”，同时加入“拒绝回答”样本：超出知识范围的问题，模型要坦诚说“我不确定”。RLHF 阶段，奖励模型不能只优化流畅度，要加事实性维度，对编造内容扣分。这里有个前提：事实性标注成本很高，否则奖励模型本身会学歪。推理侧优化是性价比最高的。先说解码策略，约束解码强制关键事实来自输…

#海尔#外部知识集成#大模型幻觉

面试题·Prompt· 百度

Agent系统架构怎么选？

匹配口述回答：…子任务，生成依赖图，检查有没有循环依赖。执行中如果超时或异常，触发重规划，最多回溯三次。执行后成功或失败的样本入库，后面可以做[[SFT]]微调。最后是异常处理。我特别关注三点：一是[[Hallucination]]检测，工具返回的结果和LLM生成的答案做一致性校验，用NLI模型打分，分数低就重试或降级。二是权限控制，工具打标签，read/write/dangerous，敏感操作要用户二次确认。三是熔断机制，单个工具失败率超过30%自动降级，切到备用方案。其实还有一个方向…

#百度#评估与监控#Agent

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：…AG的核心范式跃迁在于知识存储位置的转移：传统LLM：知识固化于参数（parametric memory）→ 更新成本极高（全量SFT/RLHF） RAG范式：知识外置为非参数化存储（non-parametric memory）→ 实时更新、无限扩展这对淘天等电商场景尤为关键：千万级SKU信息、分钟级价格变动、个性化用户画像，靠参数记忆不可行，RAG实现了"模型能力稳定 + 知识动态鲜活"的工程平衡。学习建议建议先掌握传统检索与生成的分离流程，再学习RAG的端到端架构…

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·RAG· 字节

RAG 怎么提升生成质量?

匹配口述回答：…款政策，RAG查文档就行，不用重新训练。其次，领域适配成本低，企业把内部SOP、产品手册、合同条款一放，模型就能用私有知识回答，比微调便宜很多。还有可解释性，答案能追溯到具体文档片段，用户质疑时能说'这是根据某条政策第几款来的'。这里有个边界划分问题。RAG和 [[SFT]] 不是二选一，而是各管一摊。RAG更适合解决事实更新和知识注入，比如今天改了个满减规则，明天生效，改文档就行；SFT更适合改变模型的行为风格和任务格式，比如让模型学会客服话术的礼貌语气。真正落地常常是R…

#字节#大模型幻觉#RAG 原理

面试题·RAG· 字节

医疗法律RAG架构怎么搭？

匹配口述回答：…提：基座模型本身得有一定领域理解能力，如果模型完全不理解法律逻辑，光靠 Prompt 约束是不够的。这时候我可能会考虑做一点 [[SFT]] 微调，但那是另一回事。知识更新是落地最头疼的部分。我把它分成四种场景：增量新增、修改、失效、全量重建。新增最简单，新文档直接[[向量化]]入库。修改我把它拆成「旧版软删除+新版新增」，不原地动索引，否则图索引的局部性会被破坏，召回质量下降。失效也是软删除，打一个失效时间戳，检索时过滤掉。全量重建一般季度做一次，比如 Embedding…

#字节#专业领域RAG#RAG 系统设计

面试题·RAG· 美团

外挂数据库怎么提升大模型准确性?

匹配口述回答：这道题问的是线上数据变化快怎么让大模型跟上，其实本质就是问动态[[RAG]]的落地。你不能指望模型自己学，因为[[SFT]]跟不上分钟级的变化，真正能打的方案是外挂一个实时更新的知识库，让模型每次回答都去查最新的数据。先说边界。很多人一上来就想着微调，但微调适合的是知识体系稳定的场景，比如内部合规文档三个月不变一次。而像外卖配送这种业务，商户状态、运力、价格分分钟在变，用微调等于刻舟求剑。这时候RAG才是正解。但是静态RAG也不行，固定切分、全量重建索引跟不上节奏。所以真正…

#美团#外挂数据库增强#外挂数据库

面试题·RAG· 淘天

偏好数据如何收集与建模?

匹配口述回答：…好做回退，不至于完全盲猜。这三层通过一个注意力融合网络合并，再去做回复生成或商品推荐。训练优化是重头戏。我分三步走。第一步是[[监督微调]]，用高质量客服对话数据，给模型注入基础对话能力，同时加入一个<用户画像>的特殊token，让模型学会看人下菜碟。第二步构造同一用户画像和对话上下文下的可靠偏好对。第三步比较训练路径：[[DPO]]直接优化策略与reference下的偏好概率差，不要求单独训练显式奖励模型；若用[[PPO]]式RLHF，才另建奖励模型、在线采样与价值估计流…

#淘天#用户偏好建模#偏好感知对话系统

面试题·RAG· 百度

RAG 技术原理与核心组件详解

匹配正文：…→ 后处理（溯源/拒答）核心优势维度说明时效性知识库实时更新，无需重新训练可解释性答案可溯源到具体文档成本比全量SFT低几个数量级领域适配快速接入私有/专业文档关键挑战检索精度：语义Gap导致"找不准"，需迭代优化Embedding和切分策略上下文窗口：多文档拼接易超长度，需压缩或筛选关键片段多跳推理：复杂问题需跨文档关联，简单RAG难以处理（需GraphRAG）噪声干扰：检索到相关但误导性的内容，导致生成错误实际落地中，RAG的瓶颈往往在检…

#百度#RAG核心组件#RAG 技术原理

面试题·RAG

RAG 检索准但回答差怎么调?

匹配口述回答：…要求引用来源。还可以加个兜底策略：如果模型不确定，就拒绝回答，别硬编。第三步是模型层面。如果条件允许，用[[RAG]]场景的[[SFT]]数据微调一下模型，让它学会怎么利用检索结果。调低temperature到0.1-0.3，减少随机性。模型本身也尽量选上下文窗口大的，比如128k的，这样能塞更多文档。第四步是系统架构升级。比如用[[Self-RAG]]让模型自己判断检索结果是否足够，不够就再检索。或者用[[Corrective RAG]]，发现检索质量差时主动纠正。但这…

#上下文组织#生成质量调优#RAG 生成质量差

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配口述回答：…词匹配“退款”就够了，语义向量反而可能召回无关的“退货”，所以我会优先BM25，向量做补充。前提是你的向量模型得用领域语料做过[[SFT]]或对比学习微调，否则通用模型在专业领域效果差很多。检索策略这块，我倾向于多路召回加精排。召回层同时走向量Top-K、BM25 Top-K和图邻居扩展，合并去重。然后[[重排]]用[[Cross-Encoder]]精排，但光靠模型不够，我会加入手工特征，比如法律场景引用频率和时效性，医疗场景权威等级。这里有个坑：重排模型如果不做领域微调…

#字节#重排与优化#RAG 链路优化

面试题·检索· 美团

Embedding 模型结构选型

匹配口述回答：…语言支持或者大规模弱监督预训练。我的经验是真正落地常常混合用：比如用 BGE 做通用向量，再针对业务数据用 SimCSE 无[[监督微调]]一下。再讲维度。常见的有 256、384、768、1024，再高到 2048 也有。维度越高，语义容量越大，检索精度理论上会更好，但代价也大：索引体积暴涨，搜索延迟变高，训练也更难收敛。768 是 BERT-base 的标准输出，大多数场景够用了，生态兼容性最好。384 适合对延迟和内存特别敏感的场景，比如移动端或者边缘设备。1024…

#美团#向量检索#Embedding 模型结构选型

面试题·评估· 安克科技

评估集防泄漏与复现

匹配口述回答：…。但真正落地时，两者常常是混合的，比如一个客服系统既有知识库检索又有工具调用，那评估就得两套一起上。另外，很多人会纠结RAG和[[SFT]]怎么选，我的判断是，如果知识频繁更新，RAG更合适，因为微调跟不上变化；如果知识相对稳定、对推理深度要求高，微调更合适。评估数据集也要对应调整。具体到构建步骤，我重点讲几个核心点。先说标注策略。我一般做三层：先让领域专家按标注指南做初标，建立标准；然后交叉验证，至少两个人标同一批数据，算Cohen's Kappa一致性指标，低于0.6…

#安克科技#评估与监控#Agent

面试题·Prompt· 阿里

Agent Prompt优化评估指标

匹配口述回答：…检，不能只看指标。还有就是避免在训练集上评测，那会过拟合，必须用独立的验证集。其实还有一个更棘手的问题：当Prompt优化和模型微调同时进行时，怎么区分各自的贡献？比如用了[[SFT]]之后，同样的Prompt效果变了，那到底是Prompt好还是模型好？这个我一般会固定模型版本先做Prompt实验，再反过来固定Prompt做微调实验，但实际业务里两者经常迭代，很难完全隔离。所以整体上，我更倾向把Prompt优化看成一种低成本、高频迭代的手段，但它的上限受限于模型能力。如果…

#阿里云#Prompt工程#评估与监控