页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「on-policy」找到 6 条内容
按专题浏览 →匹配正文：On-policy、off-policy 与偏好优化要分开比较 On-policy 方法用当前或近当前策略生成的数据估计更新，策略变化后旧数据会逐渐失配。PPO 并非每条样本只更新一次：原论文的裁剪代理目标允许对同一批 rollout 做多个 epoch 的 minibatch 更新，但批次不能无限复用。PPO 的 clip 限制重要性比率变化；在 RLHF 中还常额外加入相对参考模型的 KL 惩罚或控制器，但 KL 不是所有 PPO 定义中自动存在的固定组件。 Off-po…
匹配正文：…率也不一样。有没有路每 50 步看一次，有没有信号每 100 步，算得对不对每一步都看。 这道题后面经常跟一个追问：GRPO 是 on-policy 还是 off-policy？华为、字节、美团都问过。 它是 on-policy 的，数据得是当前策略采出来的。 上面那个 12 分钟的例子说明，长任务里这一条很容易被悄悄打破，采样用的参数和训练用的参数已经对不上了。能把这个例子讲出来，比答一句 on-policy 有用。 训练不涨时先问哪几个问题 六、reward 一直在涨，怎…
匹配正文：…路更接近监督微调，但它对神经网络参数的优化仍然是非凸的，不能说“DPO 损失是凸的” 四维度对比 维度 PPO DPO 算法原理 on-policy 采样后按奖励和优势更新策略 在固定偏好对上提高 chosen 相对 rejected 的隐式奖励差 实现复杂度 高：rollout、奖励模型、价值函数、KL 和多模型显存都要管理 较低：无需奖励模型与在线采样，但仍要维护参考模型或其缓存概率 训练稳定性 对奖励尺度、KL、优势估计和采样分布敏感 通常更容易训练，但仍受 beta、…
学习内容与项目面试，在同一条路上。