SFT、偏好优化与 RL 怎么衔接?

核心判断

经典后训练更常见的基线是先用示范做 SFT，再收集偏好训练奖励模型或直接做偏好优化，随后用 PPO 等方法更新策略。InstructGPT明确展示了 SFT、奖励模型、PPO 的顺序，并在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。

机制与边界

SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习再比较多个候选，优化帮助性、安全性或任务成功率。PPO类方法可利用当前策略新采样的回答，但也可能过度优化奖励代理并偏离参考分布。DPO等离线偏好方法不需要训练时 rollout，仍受数据覆盖影响。真实工程可以重采样回答、补偏好标签、重训奖励模型，再更新策略；这是一种迭代数据闭环，不应简化成每轮都执行 SFT、RL、SFT 的固定配方。

能力回退的处理也有多种。InstructGPT的 PPO-ptx把预训练语言建模梯度混入 PPO 目标，这是 replay 或多目标正则的一种，不是再做一遍 SFT。也可以使用 KL 约束、保留通用指令数据混合训练、设置能力回归集或冻结部分参数。再次 SFT 可能修复明确收集到的失败模式，也可能覆盖偏好优化出的行为，甚至引入新的遗忘，所以必须有配对消融。Llama 2 展示的是 SFT 后进行 RLHF 的流程和多轮数据迭代，不能据此宣称周期性交替是所有团队的标准。

工程验证

落地以一个稳定 SFT checkpoint 为锚，保留通用能力、安全和目标业务三套评测。每轮记录新增数据来源、标注策略、奖励模型版本、参考策略和采样分布。比较只更新奖励、继续偏好优化、混入语言建模目标、加入旧数据 replay、再次 SFT 等方案，统一看任务胜率、KL、拒答、事实性、通用能力和成本。若再次 SFT 只让训练损失下降却损害偏好胜率，就不应保留；若 RL reward 上升但独立评测下降，应回到奖励和数据，而不是机械开启下一轮。

每轮是否继续还要看标签边际价值。若新增偏好只是重复已有简单样本，重训奖励模型的收益可能很小；更应围绕高分歧、失败和安全边界采样，并保留旧分布防止遗忘。

图解