页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「偏好优化」找到 23 条内容
按专题浏览 →匹配正文：核心判断 经典后训练更常见的基线是先用示范做 SFT，再收集偏好训练奖励模型或直接做偏好优化，随后用 PPO 等方法更新策略。InstructGPT明确展示了 SFT、奖励模型、PPO 的顺序，并在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。 机制与边界 SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习…
匹配标题与标签：… vs GRPO 怎么选? 三种RLHF优化算法核心思想、适用场景及对齐区别 RLHF与对齐 RLHF PPO DPO GRPO 偏好优化 大模型对齐 2026真题 PPO DPO GRPO 区别 RLHF 算法选型 大模型对齐优化 强化学习与RLHF 京东
匹配正文：…KL 约束控制它偏离参考模型的幅度 能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化） 使用成对偏好数据 chosen/rejected，训练一个策略模型，并读取冻结参考模型的对数概率；不需要单独训练奖励模型，也不需要价值函数和在线 rollout 通过 Bradley-Terry 偏好模型与 KL 正则化 RL 目标的重参数化，把偏好学习写成一个二元分类形式的损失 工程链路更接近监督微调，但它对神经网络参数的优化仍然是非…
学习内容与项目面试，在同一条路上。