匹配正文：Reward Model 学习相对偏好，PPO 和 DPO 使用方式不同数据通常由同一 prompt 下的多个候选回答与偏好关系构成。标注者依据帮助性、正确性、安全等指南做排序或成对选择，形成 chosen、rejected；应保留平局、分歧、标注者与版本信息。Reward Model 常在语言模型主干上加标量头，对完整 prompt-response 输出一个 sequence score，并使用 Bradley-Terry 风格成对 logistic loss，使 ch…

#奖励模型#RLHF#偏好学习

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：奖励设计先分清四类信号 ORM（Outcome Reward Model）：对完整输出或终局结果评分。 PRM（Process Reward Model）：对中间步骤给出过程监督。 Value model：估计给定状态后未来累计回报的期望。搜索：MCTS 等方法使用策略、价值或环境模型选择分支；搜索本身不会自动把稀疏奖励变成稠密奖励。关键设计维度可验证性：能用单元测试、规则或环境结果验证时，优先使用可验证奖励；主观质量再用人工偏好模型补充。稀疏与延迟：终局奖励可配合 …

#RLHF#Reward Model#奖励设计

面经·项目面试

Agentic RL 项目，Reward 到底怎么设计？面试官会怎么问？

匹配正文：…旁白：他问这个，是在算你的标注成本讲不讲得通。第二层 · 取舍与替代方案问：为什么不用一个大模型当 judge，或者训一个 reward model？答：两个方案我都评估过。 LLM judge 的噪声我们实测过，同一轨迹两次分能差 0.2；可注入，回复里塞一句话就能抬分；出问题也不知道错在哪。 Reward model 要成对偏好标注，而我们的结果本身可验证，退没退款台账里有，没必要绕一圈去学。最后我只在沟通这一项用 LLM，权重 0.05，而且规则前置，承诺和…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agentic RL#Verifier#Reward

面试题·RLHF与对齐· 美团

模拟器与 World Model 的偏差和迁移

匹配正文：Environment-based training 不等于学习 world model 广义的环境式训练是让策略通过动作与环境交互，获得 observation、状态变化和 reward。环境可以是真实系统、规则或人工编写的模拟器、沙箱、用户模型，也可以是学习得到的 world model。Model-free RL 可直接在真实或模拟环境中学习策略而不显式学习动力学；model-based RL 才会学习或使用状态转移与奖励模型进行规划、数据生成或策略训练。优势是能训练…

#环境模拟训练#世界模型#Model-based RL

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：RLHF里要先区分三个模型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

匹配正文：…版本，再描述组件和外部环境循环以 2026 年 7 月可见的 TRL 官方 PPOTrainer 文档为例，其构造参数明确分出 model、ref_model、reward_model、value_model、train_dataset 和 PPOConfig。model 是待更新 policy；ref_model 用于计算相对参考策略的 KL，传入 None 时文档说明可创建策略副本；reward_model 对完成的响应或轨迹给奖励；value_model 预测状态价值…

#TRL#PPO#Agent

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…一起比较。高于组内基准的轨迹得到正优势，低于基准的轨迹得到负优势，再用这个相对信号更新策略。它没有凭空消除“基准”，而是用组内 reward 统计替代额外学习的价值网络。这个直觉很简单，真正落地却有许多边界：同组是否可比，reward 是否可信，全对或全错怎么办，截断轨迹能否算低分，组内优势又怎样传到长轨迹中的每个动作。所以面试官真正想问的是： GRPO 的组内相对优势怎样计算，它和 PPO 的价值网络差在哪里，为什么 reward 方差过小就没有学习信号，又如何避免奖…

#Deep Research#数据构造与训练#Deep Research GRPO

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…O 那段是加分项，时间不够可以不展开。训练框架用的是 verl。启动的时候优势估计选 grpo，critic 关掉，框架自带的 reward model 也关掉，分数由项目自己的 Verifier 返回。这几个开关能说出来，面试官就知道你真跑过。放到项目里可以这样答：我们训的是售后操作 Agent，一条轨迹要调好几次工具，最后由 Verifier 给整条轨迹打一个分。我用的是 GRPO，配置里 critic 是关掉的，优势用组内估计。选它是因为我们的 reward 本…

#Agentic RL#GRPO#PPO

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…制谁。这个「比平均好多少」就叫优势(advantage)。它最妙的地方:不需要像 PPO 那样单独训一个价值网络(value model)去估计基准,直接用这组答案的平均分当基准。减少critic的参数、状态和计算开销；总显存仍依policy/reference/reward、rollout、激活、分片和实现，不能固定说省一半。下面这段零依赖代码,演示 GRPO 怎么算优势。新建 grpo_advantage_demo.py: # 零依赖,直接 python grpo_…

#Agent#Deep Research#项目实战

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配正文：…盖和表述多样性限制。 reference-free：perplexity、质量/安全分类器、groundedness 检查或某些 reward model 可不依赖标准答案，但依赖模型假设、训练域和校准。 execution-based：代码单元测试、SQL 执行、工具或规则验证直接检查可执行结果，信号清晰但覆盖受测试用例限制。 model-as-judge：按 rubric 让评审模型比较或打分，扩展性好，但存在位置、长度、自偏好、提示和版本偏差，需要与人工校准。任务指标…

#BLEU#ROUGE#BERTScore

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…与安全性。DPO 直接用 chosen/rejected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和约束解码影响随机性与格式，不保证事实正确。Contrastive Decoding 比较 expert 与较弱 amat…

#幻觉检测#内容安全#RLHF

面试题·评估· 百度

面试高频论文怎么选?

匹配正文：…n and Fine-Tuned Chat Models，2023：公开预训练模型与 Llama 2-Chat，详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。 The Llama 3 Herd of Models，2024：覆盖 Llama 3 的预训练、后训练、长上下文、多语言、代码、工具和安全。其后训练配方与 Llama 2 不应混写。 Mistral 7B，2023：公开 GQA 与 sliding-w…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…程奖励（每步是否正确推进） 5. 训练框架选择冷启动：SFT on 高质量轨迹 → 建立基础格式能力强化阶段： PPO：需训练reward model，适合数据充足、追求稳定性的场景 DPO：免RM训练，直接用偏好对（chosen vs rejected），适合快速迭代实际：先用DPO快速验证，再换PPO精细优化 6. 评估体系自动指标：工具调用准确率、任务成功率、幻觉率人工评估：有用性、安全性、流畅度（Likert 5分）在线评估：A/B测试看真实用户留存和任务…

#美团#Agent#Agent 训练链路

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配正文：…：客服问答、企业知识库、实时信息查询 RLHF：用偏好反馈教会"该怎么说" 机制：经典PPO式RLHF常为SFT → 偏好数据训练Reward Model → PPO；DPO是直接训练偏好对的另一条路径，不要求另训显式Reward Model。优势：内化人类价值观、减少有害输出、提升指令遵循局限：反馈与奖励可能有偏、被过度优化；偏好改善不等于事实正确，也不保证识别所有知识边界。典型场景：对话安全性、风格对齐、复杂推理规范化本质区别 RAG是开卷考试——给参考资料，能答…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…商场景需覆盖售前咨询、售后、比价等细分场景二、模型架构三阶段RLHF流程 SFT：用高质量对话数据监督微调，建立基础对话能力 Reward Model：输入(prompt, response)输出标量分数，常用架构在最后一层加回归头损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·模型微调· 同花顺

Agent 规划能力怎么训练?

匹配正文：…Thought → Action → Observation的显式推理链 2. RL阶段：优化规划策略结果奖励（Outcome Reward）：任务最终是否成功，适合PPO训练过程奖励（Process Reward）：每步规划的合理性，需训练PRM（Process Reward Model） DPO直接偏好优化：对比"好规划"与"坏规划"的轨迹对，训练更高效 3. 测试时扩展（Inference-time Scaling） Tree of Thoughts：维护多个候选规…

#同花顺#Agent#Agent 规划能力

面试题·RAG· 快手

人工干预怎么控制 LLM 生成?

匹配正文：…服场景运营人员一键打断、话术注入离线标注内容审核标注平台+主动学习筛选高价值样本 RLHF训练长期对齐收集偏好数据训练Reward Model 关键权衡准确性vs合规性：过度规则化导致"复读机"问题，需保留模型推理能力延迟成本：多层审核影响RT，关键路径上尽量用轻量规则反馈时效：实时干预依赖运营体系，离线反馈用于模型迭代快手场景的特殊性：短视频/直播的实时性要求极高，输入层拦截+生成层轻量控制是核心，输出层更多用于事后追责与模型优化。学习建议建议系统学…

#快手#人工反馈控制#人工干预 LLM 生成

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配口述回答：…bjective 更新策略。很多 RLHF 实现还会增加相对参考模型的 KL 惩罚。逻辑上常见 policy、reference、reward 和 value 四种角色，但它们可以共享骨干或用不同部署方式，不能说 PPO 永远是四个完全独立模型，也不能保证“复杂但非常稳定”。它会对奖励尺度、价值估计、KL 和 rollout 分布敏感。 DPO 使用固定的偏好对：同一个 prompt 下有 chosen 和 rejected。它不训练独立奖励模型，不需要 value mode…

#RLHF#PPO#DPO

面试题·模型微调

什么是微调(SFT)?和预训练有什么区别?

匹配正文：…整理的"输入指令 → 期望回答"成对样本继续做监督训练,让模型学会按人类期望的方式回答问题。一个只经过预训练的基座模型(base model)本质是"续写机器":你问它"中国的首都是哪里?",它可能续写出"这是一道常见的地理题……"而不是直接回答——它只学过预测下一个词,没学过"该扮演助手"。SFT 补上的正是这一课。预训练 vs SFT:分工与数据形态预训练 SFT 目标学语言规律和世界知识学会听指令、按格式回答数据无标注原始文本(网页/书籍/代码) 标注好的指…

#入门#基础概念#SFT 微调

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配追问：如果loss曲线出现断崖式下跌后持续平稳，可能是什么原因？如何判断是过拟合还是欠拟合？在RLHF阶段，reward model的loss和PPO的loss曲线应该如何解读？训练大模型时，你通常如何设置early stopping的监控指标？场景切入假设你在训练一个客服大模型，跑到一半看loss曲线像过山车一样上下乱跳，你第一反应是啥？会怎么调？层层追问训练大模型的时候你一般看哪些曲线？……比如loss一直降不下去，或者grad norm突然飙到几百，你一般怎么排查…

#训练监控#学习率调度#梯度裁剪