页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「GSPO」找到 3 条内容
按专题浏览 →匹配正文：GSPO 是 Group Sequence Policy Optimization GSPO 不是 Generalized Supervised Policy Optimization，也不是离线监督微调方法。Qwen 团队论文将其定义为 Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。 关键变化是把 importanc…
匹配正文：先说准全称与定位 GSPO 的全称是 Group Sequence Policy Optimization。有些旧资料会误写为 Generalized Supervised Policy Optimization，但两者不能混用。GSPO 是面向大模型强化学习的组内相对优化方法，不是“监督锚点 + 纯离线 RL”框架。 核心思想 对同一 prompt 采样一组序列，用组内奖励构造相对 advantage。与 GRPO 常用逐 token importance ratio 不同…
匹配正文：…O 论文报告其稳定且实现简单，不能笼统断言比 PPO 不稳定。当前对齐实践同时存在离线 SFT/DPO 与在线 PPO、GRPO、GSPO 等路线，因此“主流必然倾向 on-policy”需要按数据、是否可验证奖励、计算预算和分布更新速度具体判断。 图解 On-policy、Off-policy 与 DPO 怎么选?图解
学习内容与项目面试，在同一条路上。