页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「off-policy」找到 6 条内容
按专题浏览 →匹配正文：On-policy、off-policy 与偏好优化要分开比较 On-policy 方法用当前或近当前策略生成的数据估计更新，策略变化后旧数据会逐渐失配。PPO 并非每条样本只更新一次：原论文的裁剪代理目标允许对同一批 rollout 做多个 epoch 的 minibatch 更新，但批次不能无限复用。PPO 的 clip 限制重要性比率变化；在 RLHF 中还常额外加入相对参考模型的 KL 惩罚或控制器，但 KL 不是所有 PPO 定义中自动存在的固定组件。 Off-po…
匹配正文：…0 步看一次，有没有信号每 100 步，算得对不对每一步都看。 这道题后面经常跟一个追问：GRPO 是 on-policy 还是 off-policy？华为、字节、美团都问过。 它是 on-policy 的，数据得是当前策略采出来的。 上面那个 12 分钟的例子说明，长任务里这一条很容易被悄悄打破，采样用的参数和训练用的参数已经对不上了。能把这个例子讲出来，比答一句 on-policy 有用。 训练不涨时先问哪几个问题 六、reward 一直在涨，怎么知道模型没在作弊？ 在 …
匹配正文：…归因到早期动作。可把决策分层、引入时间扩展动作，并在确有可靠标签时增加过程反馈。HIRO让高层策略提出显式目标，低层策略执行并用 off-policy correction 处理低层变化；Option 本身包含启动集合、内部策略和终止条件，执行期间仍由内部策略逐步选择原子动作。 机制与边界 分层强化学习把长任务拆成不同时间尺度。HIRO中的高层输出目标，低层根据当前状态和目标产生动作。因为低层策略在训练中不断变化，旧轨迹对高层看到的“动作效果”会漂移，所以论文设计了离策略修正…
学习内容与项目面试，在同一条路上。