页面加载中…
搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「策略梯度」找到 3 条内容
按专题浏览 →匹配标题与标签:…与在线 rollout,并区分 DPO 离线偏好优化 RLHF与对齐 PPO on-policy off-policy RLHF 策略梯度 样本效率 2026真题 on-policy vs off-policy PPO on-policy DPO 离线偏好优化 大模型对齐方法 强化学习与RLHF 网易
匹配正文:…还有一个常用技巧叫动态采样(dynamic sampling):若组内总reward完全相同,这个示例的标准化优势为0,奖励驱动的策略梯度项没有区分信号;KL等其它项仍可能非零。“全对/全错”只有在二元同奖等条件下才等价于同reward,多项格式/过程奖励可能仍有差异。DAPO的动态采样会过采样并过滤指定同奖组,以维持有效样本;它增加采样工作,最终训练时间要实测。Tongyi公开方案则明确没有采用动态采样,不能把它视为所有GRPO的必需步骤。 动态采样候选技巧:过滤指定同总r…
匹配正文:核心判断 有效奖励函数要把业务目标转成可测信号,同时把安全和合法性从单一分数里拆出来。奖励可以稀疏,也可以不可微,因为策略梯度只需要采样到的标量回报;关键是它是否与最终目标一致、能否提供足够学习信号、是否容易被钻空子。硬约束更适合动作掩码、安全屏障或约束强化学习,不能把负无穷奖励当成默认实现。 机制与边界 设计时先定义成功、成本、风险和时间范围,再决定回报是终局奖励、过程奖励还是两者结合。稀疏终局奖励最接近任务目标,却可能导致探索困难;稠密 shaping 能加速学习,但代理…
学习内容与项目面试,在同一条路上。