匹配正文：上一篇结尾说这篇讲"为什么不是 PPO"。动笔之前，我先去翻了训练营一直在更新的那份面试真题库。半年的题，一共 6545 道。点名 GRPO 的有 127 道，百度、美团、快手、字节问得最多。这 127 道里，有 78 道在问同一件事：拿 GRPO 和 PPO 或者 DPO 比。剩下的问法也很集中，损失函数和优势怎么算的 47 道，KL 约束 11 道，全对全错和训练崩溃 9 道。有些题一道里问了两样。你简历上要是有这么一行，这些题基本都会落到你头上：售后操作智能体…

#Agentic RL#GRPO#PPO

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：…需要单独价值模型/critic”不等于 reward-free。三种方法的核心差别方法数据与反馈更新方式主要组件与边界 PPO 当前/近当前策略 rollout，经规则、环境或 RM 得到奖励用价值函数估计优势，采用 clipped surrogate；RLHF 常另加 reference-policy KL 逻辑上有 policy、reference、reward、value 等角色，但不要求四个独立骨干 DPO 固定的 (prompt, chosen, rej…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：核心区别：反馈信号和训练闭环不同 PPO（经典 RLHF 路线）训练时通常涉及策略模型、冻结参考模型、奖励模型和价值函数/critic；具体实现可以共享部分骨干，但不能简单概括成固定的“三模型” 策略在线采样回答，奖励模型给分，价值函数估计优势，PPO 用裁剪目标更新策略，并通过 KL 约束控制它偏离参考模型的幅度能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#DPO#PPO#RLHF

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配正文：核心判断 PPO和GRPO都属于带策略比率约束的在线或近在线策略优化。PPO通常训练策略和价值函数，用 GAE 或回报减价值基线估计优势，再通过裁剪限制单次更新。GRPO最早在 DeepSeekMath 提出，它对同一提示采样一组回答，用组内奖励的相对结果构造优势，省去独立价值模型，因而更适合可批量采样且奖励能区分答案的大模型推理任务。机制与边界 PPO目标一般包含裁剪后的 surrogate loss，还可加入价值损失、熵奖励与对参考策略的 KL 控制。价值函数尝试预测期…

#PPO#GRPO#RLHF

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…不应扩展成所有模型、奖励与任务都必然更优。与 SFT 比较，SFT 对示范 token 做交叉熵，不经过环境奖励和策略比率；与 PPO 比较，PPO 通常使用 value/advantage 和裁剪目标，具体语言模型实现还可含 reference KL；与 GRPO 比较，GSPO 的核心不是“有组”而是序列级 importance sampling 与裁剪。落地要锁定论文或实现版本，检查 rollout 策略、序列长度归一化、组大小、奖励尺度、clip 范围、熵和 off…

#GSPO#策略优化#离线强化学习

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：三者的核心分界方法数据/反馈是否在线采样 critic 主要目标 PPO 轨迹与标量奖励，可来自环境、规则或奖励模型通常是通常需要价值函数 clipped policy gradient，可另加对参考策略的KL控制 GRPO 同一问题的一组在线样本与奖励是不需要独立critic 用组内相对奖励构造优势，再做受约束策略更新 DPO 离线chosen/rejected偏好对否不需要提高chosen相对rejected的参考校正对数概率差 PPO和GRPO不是只…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：核心判断 PPO、GRPO和DPO都能用于语言模型后训练，但数据闭环不同。PPO用当前策略采样，再依据奖励与价值估计更新；GRPO同样依赖在线或近在线采样，却用同一提示下的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量…

#RLHF#PPO#DPO

项目实战·强化学习

RL 强化学习图解

匹配正文：PPO / DPO / GRPO 概念图解 + 损失函数 + 训练练习 + 事实自检本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。 PPO / DPO / GRPO 不止背概念——从损失推导到待验证训练练习强化学习对齐是大模型训练岗的核心考点。面试官最烦的是「只会背 PPO/DPO 是什么」；他想要的是你能讲清损失函数怎么来、训练怎么跑、三者怎么选。这部分计划分别拆解 PPO、DPO、GRPO：概念图解、损失推导、…

#项目实战#RL 强化学习图解

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配标题与标签：…计关键因素? RLHF 中奖励稀疏性、信号延迟与多目标平衡怎么处理 RLHF与对齐 RLHF Reward Model 奖励设计 PPO 人类偏好对齐 2026真题 RLHF Reward 设计奖励稀疏性多目标奖励平衡人类偏好建模强化学习与RLHF 美团

#RLHF#Reward Model#奖励设计

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability估计相关项，但具体形式要看算法。reference若在同一次优化中不断追随policy，比较基准也随之移动，KL约束的含义就会改变。 beta控制奖励收益与偏离…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

匹配正文：…需保存每个 action、observation、有效 token mask、旧策略 logprob、reward 和终止原因。 PPO 更新通常把 reward 当作环境提供的标量，不要求 reward 对 policy 参数可微，也不应让梯度穿过搜索引擎。若单独训练 reward model，它可用自身损失更新，但在线 PPO 阶段通常冻结并只提供分数。工具奖励优先使用可执行正确性、引用支持、格式和成本约束，模型评审只是有偏信号之一，并通过独立评测检查 reward ha…

#TRL#PPO#Agent

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：…f-policy 与偏好优化要分开比较 On-policy 方法用当前或近当前策略生成的数据估计更新，策略变化后旧数据会逐渐失配。PPO 并非每条样本只更新一次：原论文的裁剪代理目标允许对同一批 rollout 做多个 epoch 的 minibatch 更新，但批次不能无限复用。PPO 的 clip 限制重要性比率变化；在 RLHF 中还常额外加入相对参考模型的 KL 惩罚或控制器，但 KL 不是所有 PPO 定义中自动存在的固定组件。 Off-policy 方法允许行为策…

#PPO#on-policy#off-policy

面试题·RLHF与对齐· 网易

SFT、偏好优化与 RL 怎么衔接?

匹配正文：核心判断经典后训练更常见的基线是先用示范做 SFT，再收集偏好训练奖励模型或直接做偏好优化，随后用 PPO 等方法更新策略。InstructGPT明确展示了 SFT、奖励模型、PPO 的顺序，并在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。机制与边界 SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习…

#SFT#RLHF#语言退化

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…作执行，支持ReAct或Toolformer范式奖励机制需组合结果奖励、过程奖励和格式惩罚，解决稀疏奖励问题训练框架选择需权衡PPO的稳定性与DPO的简洁性评估需建立自动指标+人工评估+在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验关…

#美团#Agent#Agent 训练链路

面经·项目面试

Agentic RL 项目，Reward 到底怎么设计？面试官会怎么问？

匹配正文：…• ［如果有：转人工率监控 / 缺证据护栏命中率 43% → 5%，二选一，别都写］第一行和第三行分开讲，下篇先讲"为什么不是 PPO"，沙盒读写分离再往后放。 Verifier 这一行：简历写法 + 60 秒稿 + 三层追问这是训练营每周模拟面试里的一场。如果你简历上也有类似的一行，被追问过什么，可以在评论区说一句，下篇我挑几条来答。

#Agentic RL#Verifier#Reward

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…t 偏置」、SFT学习示范中的任务行为与输出格式、GRPO 在实战反馈里优化策略 ✓ 理解 GRPO 的核心直觉:为什么它能去掉 PPO 里那个笨重的「价值网络」,用「组内相对优势」替代(配可跑小实验) ✓ 理解长轨迹奖励风险:不区分截断原因直接惩罚,可能引入噪声并破坏训练稳定性 ✓ 建立对奖励设计、动态采样的判断,以及能在面试里讲清「多阶段训练为什么这么排」本章按三段式组织: 段落给谁看内容占比 🚀 Part 1 · 主线实战零基础,想先看懂为什么分三阶段 +…

#Agent#Deep Research#项目实战

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…办，截断轨迹能否算低分，组内优势又怎样传到长轨迹中的每个动作。所以面试官真正想问的是： GRPO 的组内相对优势怎样计算，它和 PPO 的价值网络差在哪里，为什么 reward 方差过小就没有学习信号，又如何避免奖励作弊、截断误罚和把教学公式说成现有生产效果？先用一个教学例子理解“相对” 假设同一个研究问题采样四条轨迹，教学 reward 分别是 0.9、0.6、0.2 和 0。组内均值是 0.425。第一条和第二条高于均值，得到正向优势；第三条和第四条低于均值，得到负…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配正文：…督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 PPO 更不稳定。图解 SFT vs 预训练:核心区别在哪?图解

#监督微调#预训练对比#复读机问题

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡和FP8混合精度训练。训练时FP8的格式、缩放、累积和通信方案不能直接等价为部署时权重量化；推理还需分别验证权重、激活、KV缓存精度、kernel支持和质量。面试回答应说清论文问题、方法、证据、…

#论文阅读#技术追踪#学术敏感度

面试题·RLHF与对齐· 美团

Environment-based 训练怎么用?

匹配正文：…强调更新数据来自当前或接近当前的策略；online强调训练过程中还能取得新环境数据。一个系统可以批量采样后做 on-policy PPO，也可以在线收集后写入 replay 做 off-policy 更新。相反，固定数据上的 offline RL 不向环境追加样本。即使训练连接真实服务，部署时的流量、工具版本、用户反应和策略自身都会变化，所以分布一致不可能靠“在线”二字保证。安全关键任务还需要动作约束、影子模式、审批和回滚。工程验证实施前明确环境版本、数据新鲜度、策略滞后…

#环境交互训练#在线学习#模拟器训练

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配正文：Reward Model 学习相对偏好，PPO 和 DPO 使用方式不同数据通常由同一 prompt 下的多个候选回答与偏好关系构成。标注者依据帮助性、正确性、安全等指南做排序或成对选择，形成 chosen、rejected；应保留平局、分歧、标注者与版本信息。Reward Model 常在语言模型主干上加标量头，对完整 prompt-response 输出一个 sequence score，并使用 Bradley-Terry 风格成对 logistic loss，使 ch…

#奖励模型#RLHF#偏好学习

面试题·模型训练· 字节

KL散度本质与非对称性怎么用?

匹配正文：…束新策略不要偏离旧策略或参考策略。方向、是在 token 还是 sequence 层计算、采用精确 KL 还是采样估计，都由具体 PPO/RLHF 实现决定，不能只写一个固定公式。 JS 散度是对称且有界的替代之一，但是否更适合仍取决于优化目标和可估计性。图解 KL散度本质与非对称性怎么用?图解

#KL散度#信息论#变分推断

面试题·评估· 百度

面试高频论文怎么选?

匹配正文：…公开预训练模型与 Llama 2-Chat，详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。 The Llama 3 Herd of Models，2024：覆盖 Llama 3 的预训练、后训练、长上下文、多语言、代码、工具和安全。其后训练配方与 Llama 2 不应混写。 Mistral 7B，2023：公开 GQA 与 sliding-window attention 的设计和评测。 Mixtral of…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·Agent· 美团

多轮 Agent RL 难在哪?

匹配正文：…3. 用户反馈的在线利用问题：真实用户反馈成本高、延迟大、有偏。方案：离线+在线混合：DPO/RLHF离线训练 + 少量在线PPO微调反馈蒸馏：训练奖励模型拟合用户偏好，减少在线交互次数 A/B测试框架：小流量实验，对比不同策略的长期用户留存而非即时奖励 4. 训练稳定性问题：多轮场景下策略更新容易发散，或遗忘基础能力。方案： KL散度约束：限制新策略与SFT模型的偏离程度经验回放（Experience Replay）：混合历史优质对话与新样本定期回滚机制：监…

#美团#Agent 强化学习#多轮对话 RL