完整题目
GSPO（Group Sequence Policy Optimization）在大模型强化学习中解决什么问题？请说明同一 prompt 的组内采样、相对 advantage、长度归一化的序列级 importance ratio 与 sequence-level clipping，并比较其与 GRPO 的优化粒度、训练稳定性和适用边界。
本文目录
先说准全称与定位
GSPO 的全称是 Group Sequence Policy Optimization。有些旧资料会误写为 Generalized Supervised Policy Optimization，但两者不能混用。GSPO 是面向大模型强化学习的组内相对优化方法，不是“监督锚点 + 纯离线 RL”框架。
核心思想
对同一 prompt 采样一组序列，用组内奖励构造相对 advantage。与 GRPO 常用逐 token importance ratio 不同，GSPO 对整条序列计算长度归一化的似然比，例如：
s_i(theta)=exp((1/|y_i|) * sum_t log(pi_theta(y_it|x,y_i,<t)/pi_old(y_it|x,y_i,<t)))
再在 sequence level 做 clipping，并用同一序列权重更新该序列 token。这样让采样、奖励和优化单元更一致，减少长序列中少数 token ratio 极端值对更新的放大。论文重点之一是提升训练稳定性，并服务于 MoE 模型的 RL 训练。
与 GRPO 的关系和边界
二者都可对同一问题的多条回答做组内相对基线，通常不需要独立 value critic；奖励可以来自规则、验证器或奖励模型，并不必然来自人类偏好。GSPO 仍需要在线/近在线 rollout、旧策略概率、奖励、KL/clip 等训练控制，也会受组大小、奖励噪声、序列长度和策略陈旧度影响。
不能把 GSPO 与 DPO、监督微调或某公司调度案例混写。选型应在相同 rollout、奖励和模型上比较训练稳定性、KL、clip fraction、奖励、人评/验证器质量与吞吐。