匹配正文：核心区别：反馈信号和训练闭环不同 PPO（经典 RLHF 路线）训练时通常涉及策略模型、冻结参考模型、奖励模型和价值函数/critic；具体实现可以共享部分骨干，但不能简单概括成固定的“三模型” 策略在线采样回答，奖励模型给分，价值函数估计优势，PPO 用裁剪目标更新策略，并通过 KL 约束控制它偏离参考模型的幅度能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练…

#DPO#PPO#RLHF

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配题目：请解释PPO、GRPO和DPO这三种策略优化方法的基本原理，并比较它们在强化学习与大模型对齐训练中的异同与适用场景。

#RLHF#PPO#DPO

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：…需要单独价值模型/critic”不等于 reward-free。三种方法的核心差别方法数据与反馈更新方式主要组件与边界 PPO 当前/近当前策略 rollout，经规则、环境或 RM 得到奖励用价值函数估计优势，采用 clipped surrogate；RLHF 常另加 reference-policy KL 逻辑上有 policy、reference、reward、value 等角色，但不要求四个独立骨干 DPO 固定的 (prompt, chosen, rej…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：核心判断 PPO、GRPO和DPO都能用于语言模型后训练，但数据闭环不同。PPO用当前策略采样，再依据奖励与价值估计更新；GRPO同样依赖在线或近在线采样，却用同一提示下的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量…

#RLHF#PPO#DPO

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…要解耦推理规划与动作执行，支持ReAct或Toolformer范式奖励机制需组合结果奖励、过程奖励和格式惩罚，解决稀疏奖励问题训练框架选择需权衡PPO的稳定性与DPO的简洁性评估需建立自动指标+人工评估+在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则…

#美团#Agent#Agent 训练链路

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：上一篇结尾说这篇讲"为什么不是 PPO"。动笔之前，我先去翻了训练营一直在更新的那份面试真题库。半年的题，一共 6545 道。点名 GRPO 的有 127 道，百度、美团、快手、字节问得最多。这 127 道里，有 78 道在问同一件事：拿 GRPO 和 PPO 或者 DPO 比。剩下的问法也很集中，损失函数和优势怎么算的 47 道，KL 约束 11 道，全对全错和训练崩溃 9 道。有些题一道里问了两样。你简历上要是有这么一行，这些题基本都会落到你头上：售后操作智能体…

#Agentic RL#GRPO#PPO

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…、奖励尺度、prompt分布或实现错误，不能只用一个阈值触发同步reference，更不能把自动同步写成标准RLHF机制。在新的训练迭代中，团队可以选择把经过完整验收的新策略作为下一轮SFT或RLHF的起点，并重新冻结一个reference。也可以因为模型架构、tokenizer或目标分布变化而重新定义baseline。但这是版本级决策，要重新建立对照、评测回归和可追溯配置，不是在一个run中无条件更新。 DPO同样常使用固定reference策略来构造相对偏好目标，它不需…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：…、稳定性和更新频率不能脱离算法、奖励与实现给绝对排名。LLM 的生成 rollout 很贵，但奖励模型分布外误差、长序列比率方差和训练系统复杂度也影响选择。 DPO 不应简单叫作 PPO 的普通 off-policy 变体。它在离线偏好对上，用策略与 reference policy 的对数概率差和 beta 构造分类式目标，不需要显式训练奖励模型或在线从当前策略采样。DPO 论文报告其稳定且实现简单，不能笼统断言比 PPO 不稳定。当前对齐实践同时存在离线 SFT/DPO …

#PPO#on-policy#off-policy

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配正文：…拒答失衡和模板泄漏。所谓“复读机”需要区分训练样本记忆、解码重复、数据重复和提示模板问题，再分别处理去重、数据多样性、正则、混合预训练数据、学习率与解码。 SFT 适合有高质量目标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过程监督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 PP…

#监督微调#预训练对比#复读机问题

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配正文：…模型、跨数据的绝对质量单位。 Elo 用比赛结果估计参与者相对 rating，可用于模型竞技场汇总相对胜负，但不是绝对分，也不是 PPO 每一步的即时奖励。在典型 RLHF 中，RM 对完整回复给终局奖励，策略训练还会按 token 加相对 reference policy 的 KL 惩罚，并由 value/advantage 将 return 用于各生成位置。过程奖励是另一类信号，需额外的步骤标注或验证。 DPO 不显式训练独立 RM 或运行 PPO，但它并非没有参考策略与…

#奖励模型#RLHF#偏好学习

面试题·Agent· 美团

Agent 强化学习怎么训练?

匹配正文：… + 当前工具返回 + 任务进度标记用滑动窗口或摘要模型压缩历史，避免上下文爆炸显式维护已完成/待完成/失败的任务状态 3. 训练策略选择方法适用场景关键点 DPO 偏好数据充足、快速迭代直接用偏好对，无需显式RM PPO 需要精细控制、复杂奖励注意KL散度约束，防止模式崩溃 Online DPO/RLAIF 真实用户反馈建立实时反馈收集管道 4. Agent专项技巧工具调用验证：将工具执行结果作为环境反馈，形成真实奖励拒绝采样：对同一任务采样多条轨迹，用…

#美团#Agent#Agent 强化学习

面试题·评估· 美团

Agent 训练 vs RAG 怎么选?

匹配正文：…强化，参数校验用代码硬约束四、两阶段学习策略阶段1：模仿学习（冷启动）来源：人工标注轨迹、规则引擎历史日志、GPT-4蒸馏训练：SFT + 思维链监督，重点学习工具选择时机和参数填充数据配比：成功轨迹70% + 失败恢复案例30% 阶段2：在线强化学习奖励模型：结果奖励（任务完成）+ 过程奖励（格式合规、不重复调用）算法选择：PPO初期稳定，DPO后期高效迭代关键技巧：引入"拒绝采样"过滤低质量轨迹，减少探索成本五、评估机制离线评估：单元测试（单工具准确率…

#美团#Agent#Agent 训练流程

面试题·模型微调· 同花顺

Agent 规划能力怎么训练?

匹配正文：…式）阐述SFT阶段的数据构建策略（高质量轨迹数据、人工标注vs合成数据）说明RL阶段的优化方法（结果奖励vs过程奖励、PPO/DPO的应用）提及测试时扩展方法（Tree of Thoughts、MCTS等）强调评估体系的重要性（成功率、步骤合理性、效率指标）规划能力的分层理解 Agent的规划能力可分为三个层次：单步规划：根据当前状态选择下一步动作（工具调用）短程多步规划：3-10步的任务分解与执行长程复杂规划：开放式问题求解，需动态调整策略核心训练技术路线…

#同花顺#Agent#Agent 规划能力

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配追问：…答，逐 token importance ratio 波动较大。你会怎样用 GSPO 的序列级比率与裁剪组织更新，并验证它是否改善训练稳定性？层层追问 GSPO 的全称是什么？……同一 prompt 的成组回答如何形成相对优势？……序列级 importance ratio 怎么计算和裁剪？……它与 GRPO 的逐 token 更新、PPO 的 critic 以及 SFT 的交叉熵目标有何边界？直球技术说明 Group Sequence Policy Optimizati…

#GSPO#策略优化#离线强化学习

项目实战·强化学习

RL 强化学习图解

匹配正文：PPO / DPO / GRPO 概念图解 + 损失函数 + 训练练习 + 事实自检本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。 PPO / DPO / GRPO 不止背概念——从损失推导到待验证训练练习强化学习对齐是大模型训练岗的核心考点。面试官最烦的是「只会背 PPO/DPO 是什么」；他想要的是你能讲清损失函数怎么来、训练怎么跑、三者怎么选。这部分计划分别拆解 PPO、DPO、GRPO：概念图解、损失推导、…

#项目实战#RL 强化学习图解

面试题·RLHF与对齐· 网易

SFT、偏好优化与 RL 怎么衔接?

匹配正文：…在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。机制与边界 SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习再比较多个候选，优化帮助性、安全性或任务成功率。PPO类方法可利用当前策略新采样的回答，但也可能过度优化奖励代理并偏离参考分布。DPO等离线偏好方法不需要训练时 rollout，仍受数据覆盖影响。…

#SFT#RLHF#语言退化

面试题·Agent· 美团

多轮 Agent RL 难在哪?

匹配正文：…先用专家轨迹做行为克隆，再用RL微调 3. 用户反馈的在线利用问题：真实用户反馈成本高、延迟大、有偏。方案：离线+在线混合：DPO/RLHF离线训练 + 少量在线PPO微调反馈蒸馏：训练奖励模型拟合用户偏好，减少在线交互次数 A/B测试框架：小流量实验，对比不同策略的长期用户留存而非即时奖励 4. 训练稳定性问题：多轮场景下策略更新容易发散，或遗忘基础能力。方案： KL散度约束：限制新策略与SFT模型的偏离程度经验回放（Experience Replay）：混合…

#美团#Agent 强化学习#多轮对话 RL

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配正文：…齐能提升种草转化率隐式反馈显式化将停留时长、滑动速度等连续信号编码为生成条件解决当前序列建模只依赖点击ID的稀疏问题 2. 训练策略：推荐专用的RL优化 Reward设计：组合即时反馈（点击）+ 长期价值（关注/复访）+ 多样性约束，避免单一CTR导向偏好优化选型：DPO用同一用户/上下文下的chosen/rejected偏好对训练，不必另训显式奖励模型；PPO使用在线/近在线采样与奖励。点击/未点击有曝光、位置和选择偏差，不能直接当作无偏偏好。两者应在固定数据与业务…

#小红书#Agent#生成式推荐系统

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：不同用户群体/场景维护独立低秩矩阵三、评估体系维度指标方法偏好对齐胜率（Win Rate） GPT-4/人工盲评对话质量流畅度、多样性 perplexity、distinct-n 安全性有…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·RAG· 淘天

偏好数据如何收集与建模?

匹配正文：…、风格标签）→ 存向量库动态偏好：当前会话意图漂移检测（用KL散度监控话题转移）群体先验：相似用户簇的偏好作为冷启动回退三、训练优化流程阶段目标方法 SFT 基础对话能力高质量客服对话数据，加入<用户画像>特殊token 偏好数据对齐用户目标同一用户画像/对话上下文下比较回复A/B，治理曝光偏差与反馈噪声优化选型比较质量与成本 DPO直接用偏好对训练，不另训显式RM；若选PPO式RLHF，再训练奖励模型并处理在线采样、价值估计与KL约束电商特化技巧： …

#淘天#用户偏好建模#偏好感知对话系统

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…long2short不是单一蒸馏流程，论文列出model merging、shortest rejection sampling、DPO和long2short RL等多种路径。启发是把“答案正确”和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡…

#论文阅读#技术追踪#学术敏感度

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配追问：GSPO与DPO（Direct Preference Optimization）在优化目标上的本质区别是什么 GSPO如何处理分布外（OOD）动作的探索问题在实际大模型训练中，GSPO的离线数据质量如何影响最终策略性能场景切入假设一个 MoE 策略在可验证奖励任务中对每个 prompt 采样多条响应，训练时 token 级比率波动明显。你会怎样引入 GSPO，并用哪些指标判断序列级裁剪是否改善稳定性？层层追问 GSPO 的 Group Sequence 指什么？……组…

#策略优化#离线强化学习#监督学习结合RL

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配正文：…关文档 → 组织上下文 → 生成并检查证据支持；提示不是硬解码约束。优势：可追溯资料并更新知识库；简单实现可复用现有模型而不重新训练，检索器/生成器也可以按任务训练。局限：检索质量决定上限、无法纠正模型内在偏见、上下文长度受限典型场景：客服问答、企业知识库、实时信息查询 RLHF：用偏好反馈教会"该怎么说" 机制：经典PPO式RLHF常为SFT → 偏好数据训练Reward Model → PPO；DPO是直接训练偏好对的另一条路径，不要求另训显式Reward Mode…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理