跳到主内容Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？ · AlgoMooc训练材料介绍了 FAS 与 HAS 两种合成思路。
FAS 从原始材料构造一阶行动样本，强调在某种信息状态下可以采取什么动作。
HAS 把轨迹中的步骤视为决策点，利用更优、次优或错误分支，让模型学习选择，而不是死记一条完整轨迹。
CPT 的价值在于提前注入 Agent 归纳偏置，让后续 SFT 不必完全从空白开始学习“何时行动”。
合成数据中的错误关系、单一工具模式和模板化动作同样会进入基座。CPT 数据规模大时，质量与分布问题会更难返工。
因此要分别检查原始材料许可、行动标签、正负分支、工具覆盖和近重复。材料提出的框架不等于任何项目已经验证了固定规模或收益。
阶段一：SFT 冷启动为什么叫“冷启动”？
SFT 的目标是把模型带到一个“至少能正常跑”的起点。
它学习目标 chat template、工具调用协议、参数字段、消息角色、错误后的基本恢复和最终答案格式。
这里有一个关键实现：Observation 由环境返回，应该留在输入中但从训练 labels 中 mask。否则模型可能学着生成工具结果，而不是基于结果决策。
工具选择、参数、停止和答案完整都要纳入 SFT 数据审核，只是不能期待一次监督学习就把所有新状态策略优化到位。
SFT 的退出标准至少应包括：格式可解析、工具调用能执行、Observation 角色正确、基本任务能闭环、没有大面积重复输出或缺失 final answer。
还要有动作边界评测。若格式稳定但所有问题默认 Search，模型仍不是合格的 RL 起点，因为奖励可能把格式偏置继续放大。
阶段二：GRPO 在优化什么？
每条轨迹在环境中真实执行，再根据答案正确、格式合法、过程合理、证据支持等信号获得 reward。
组内相对优势用于判断哪些候选比同组平均更好，哪些更差。相比需要额外训练价值网络的方法，这种组内统计基线减少了一个可学习 critic。
GRPO 不是“有 reward 就会自动变强”。
奖励函数如果只看最终答案，模型可能跳过证据；只看格式，模型可能输出漂亮空壳；只看调用少，模型可能提前结束。
环境如果无法稳定返回工具结果，reward 又会混入基础设施噪声。
同组候选如果全对或全错，组内缺少区分信号。动态采样可以识别低区分度组，但过滤规则和边界仍要验证。
长轨迹截断也需要特殊处理。训练材料提醒，若未完成轨迹一律被当成失败负样本，模型可能学会为了避免截断而尽快给出随意答案。
三阶段为什么通常按这个顺序？
CPT 先让模型接触 Agent 行动结构，SFT 再把它约束到生产协议，GRPO 最后在环境反馈中比较策略。
若先做 RL，基座可能连合法 tool call 都很少生成，奖励大多是同一种格式失败，无法比较高层策略。
若把 SFT 放在 RL 之后，监督轨迹可能覆盖已经学到的环境策略，产生遗忘或重新模板化。
若只做 CPT，不保证模型能遵守目标工具协议和输出格式。
一个已经做过成熟工具 SFT 的基座，可能不需要从头做 Agentic CPT。一个业务只有窄任务且缺少可靠 reward，可以先停在经过充分评测的 SFT，而不是为了“流程完整”硬上 RL。
关键是明确当前模型缺什么能力、下一阶段提供什么新训练信号，以及进入后怎样证明收益大于回归风险。
每一阶段都有输入条件、学习目标、退出标准和回归门。
阶段之间要传递哪些可审计资产？
从 CPT 到 SFT，至少传递基座 checkpoint、tokenizer、chat template、数据版本和基础能力评测。
从 SFT 到 GRPO，还要传递工具协议、可执行环境、奖励版本、停止规则、SFT 回归集和已知失败清单。
数据血缘不能在转换中丢失。问题族、来源组、轨迹版本、Teacher 与审核记录决定后续能否定位偏置。
训练配置也要版本化。模型权重相同，若模板、工具说明或环境版本变化，行为就可能不同。
阶段交接报告应写清：新增了什么能力，哪些指标未改善，哪些回归仍存在，下一阶段不得破坏什么。
没有这些资产，多阶段训练会变成多个团队各跑一遍脚本，最后只剩一个无法解释的 checkpoint。
怎样为每阶段设置准入与退出标准？
CPT 准入要确认语料许可、数据质量、行动标签和基座兼容。退出看语言基础不被明显破坏，Agent 行动探针出现目标变化，同时保留通用能力回归。
SFT 准入要确认轨迹真实执行、格式统一、Observation Mask 正确和目标模型模板适配。退出看格式、工具参数、闭环完成、证据利用和直接答边界。
GRPO 准入最严格。环境要可重放，reward 能拆解，采样有区分度，截断和环境错误有独立标签，SFT checkpoint 已能产生可执行轨迹。
GRPO 退出不能只看平均 reward。还要看任务完成、引用证据、工具行为、长度、成本、安全和 SFT 回归集。
每个门槛应来自目标场景与基线，不使用材料未验证的通用阈值。
若阶段门不通过，先修数据、模板、环境或奖励。增加 epoch 不能修复虚构 observation 和错误工具标签。
为什么同一套评测不能从头用到尾？
CPT 关注基础语言能力、行动偏置和通用能力是否退化。
SFT 关注格式、角色、工具选择、参数与完整闭环。
GRPO 关注策略质量、环境适应、证据、奖励作弊和长程行为。
只用最终答案题评测 CPT，可能看不出行动偏置变化；只用格式题评测 RL，又看不出策略是否进步。
共享回归集用于发现跨阶段遗忘，专项集用于验证该阶段的目标。
评测题应按 family 与来源组隔离，动态来源保留时间边界，环境错误单独记录。这样曲线变化才尽量来自模型，而不是考题泄漏或网页变化。
双环境训练怎样理解？
模拟环境速度快、可复现，适合覆盖结构、异常和大量采样。
真实环境包含网络、页面变化、权限、限流和工具成本，更接近上线。
只用模拟环境，模型可能学会利用模拟器的固定模式；只用真实环境，训练噪声与成本又难控制。
可以在模拟环境中完成早期策略迭代，再用真实环境做关键训练与验证，或者在批次中保留两类环境并分别统计。
模拟 observation 必须来自固定语料或明确规则，不能仍由策略模型自由编写。
从模拟迁移到真实时，要重点检查工具错误分布、延迟、动态证据和安全边界。环境差异本身应成为评测维度。
本文只解释环境分工，不声称相关材料已经提供生产效果数据。
多阶段最常见的四种失败
团队在 CPT、SFT 和 RL 都塞入相似完整轨迹，成本增加却没有新的训练信号。
SFT 数据格式错误，RL 用奖励勉强压住输出，换个场景又复发。
平均 reward 上升，但引用、工具成本或安全退化，只因总分权重把它们抵消。
同时更换数据、模型、Prompt、环境与 reward，最终不知道哪个改动有效。
应采用小步版本、固定回归集和阶段报告。每次训练都能回答“改变了什么、为什么改变、是否可复现”。
同一条轨迹能不能在三个阶段重复使用？
原始任务和证据可以复用，但训练表示与目标不能简单复制。
CPT 更关注大规模行动模式和决策偏置，可能使用经过合成的一阶、分支或次优动作数据。
SFT 需要少而精的完整轨迹，角色、tool call、observation 与 final answer 都要严格对齐，并构造正确 labels。
GRPO 则需要当前策略在环境中重新采样候选，由最新 reward 评价。把旧 Teacher 轨迹直接当成在线 RL 结果，会失去当前策略和环境反馈。
同一母题可以贯穿阶段，但必须保存 family ID，防止近重复样本跨训练与评测。
Observation 的处理也不同。SFT 中它作为可见但不参与 loss 的条件；RL 中它由环境实时返回，影响后续行动和 reward。不能把静态 observation 当成环境执行已经发生。
复用资产的正确方式，是保留任务、来源、证据与血缘，再为每阶段生成符合目标的数据视图。这样既减少重复劳动，又不会混淆训练信号。
如何判断问题出在哪个阶段？
如果模型经常生成无法解析的调用，先查 SFT 数据格式、模板、Loss Mask 和 tokenizer，不要先改 GRPO 奖励。
如果格式稳定但所有任务走同一路径，检查 SFT 动作分布和 CPT 偏置，确认模型是否只会模仿高频模式。
如果 RL 后开始少用工具却证据质量下降，重点查 reward 是否奖励了短轨迹或调用成本，是否把未完成当成负样本。
如果模拟环境表现好、真实环境失败，检查环境差异、工具错误与动态来源，而不是立即增加训练步数。
如果通用语言能力退化，回看 CPT 数据、训练强度和跨阶段回归；若仅工具参数退化，定位到工具协议和策略数据。
诊断原则是从症状对应的最近训练信号开始，再向前追血缘。多阶段不应让问题归因更模糊，反而应凭阶段边界更快定位。
Checkpoint 怎样晋级与回退？
每一阶段都应保留进入前的稳定 checkpoint，以及模型、tokenizer、模板和工具协议的完整组合。
候选 checkpoint 先跑专项集，再跑共享回归。专项目标改善但关键回归失败，不能直接晋级。
结果报告要包含数据版本、训练配置、评测版本、环境状态和失败案例。只有一个平均分无法支持回退决策。
进入下一阶段后仍要定期对比前一稳定版本。GRPO reward 上升时，如果 SFT 格式、引用或直接答边界退化，可以及时停止并回滚。
生产验证还要使用受控流量和明确退出条件。模型权重回退时，关联模板、工具和环境版本也要一起恢复，否则所谓回滚仍不是原系统。
Checkpoint 管理要保存一条可证明、可比较、可恢复的能力演进链，文件数量本身没有意义。
安全与证据边界为什么要跨阶段守住？
Agentic CPT 中若把网页不可信指令当成行动标签，错误安全偏置会进入基座。
SFT 中若 observation 与系统指令角色混淆，模型可能学习服从网页内容，或者在工具未执行时伪造结果。
GRPO 中若奖励只看答案命中，模型可能通过跳过权限、忽略来源或利用环境漏洞获得高分。
因此每阶段都需要安全回归：工具权限、参数范围、来源可信、引用支持、无答案边界和敏感信息处理。
模拟环境还要避免提供真实系统不允许的捷径。策略若靠模拟器漏洞获得 reward，迁移到生产既无效也可能危险。
安全条件更适合作为硬门或独立分项，而不是被高答案分抵消。本文不提供材料未验证的统一权重，但要求结果可拆解。
多阶段训练优化的是行动能力，不意味着可以放松系统层权限、审计与回滚。
一个可执行的最小训练路线
先对基础模型做真实工具评测，确认主要缺口是格式、工具边界、长程策略还是答案证据。
若基础模型完全缺少 Agent 行动能力，且有足够合规高质量材料，再评估 Agentic CPT。否则可以从小规模 SFT 冷启动开始。
SFT 先覆盖可解析格式、正确角色、直接答与工具边界、基础异常恢复和完整答案。通过阶段门后冻结 checkpoint。
只有在环境可执行、reward 可解释、候选有区分度时，才进入小规模 GRPO。
GRPO 每轮检查奖励分项、工具序列、答案证据、长度、截断和共享回归集。发现奖励作弊或环境噪声先停，不用更多算力掩盖。
候选版本通过离线和真实环境评测后，再做受控流量验证。生产回退应保留前一稳定 checkpoint、模板、工具协议与环境版本。
这条路线强调最小必要阶段。它不预先承诺所有项目都要跑完整三阶段，也不引用未经验证的固定训练规模。
面试官继续追问，怎么接？
追问一：每个项目都必须做 Agentic CPT 吗？
不一定。先测基座是否已有足够行动偏置，以及是否有高质量 CPT 数据。缺数据时贸然 CPT 可能放大错误模式。
追问二：只做 SFT 能不能上线？
窄任务且 SFT 评测充分时可以作为阶段性方案。是否需要 RL 取决于新状态策略、环境反馈和收益风险。
追问三：为什么 RL 前必须先冷启动？
模型要先稳定生成可执行轨迹，组内才有可比较策略。若候选全是格式失败，reward 无法指导高层决策。
追问四：怎样防止 GRPO 把 SFT 格式训坏？
奖励保留格式硬门，训练中持续跑 SFT 回归集，检查角色、tool call 和 final answer，并保留可回退 checkpoint。
追问五：多阶段最重要的工程资产是什么？
是数据、模型、模板、工具、环境、奖励和评测的版本血缘，以及每阶段明确的准入、退出和回归证据。
如何回答“为什么要分阶段训练”
多阶段训练是在拆分不同学习目标。Agentic CPT 用行动合成数据注入 Agent 偏置；SFT 用真实高质量轨迹学工具协议、格式和基础闭环，并正确 mask 工具 observation；GRPO 再让模型在可验证环境里采样多条轨迹，通过组内相对 reward 优化策略。
顺序通常是先建立行动底子，再让输出可执行，最后比较策略。直接 RL 时若候选大多格式失败，就没有有效策略信号；只做 SFT 又容易停留在示范模仿。工程上我会给 CPT、SFT、GRPO 分别设置数据、格式、环境、奖励和回归门，并传递 checkpoint、模板、工具协议、数据与评测版本。
我不会为了流程完整默认三个阶段全做。基座已有 Agent 能力时可跳过 CPT，没有可靠环境和 reward 时不贸然 RL。每次只引入新的可解释训练信号，用共享回归集守住前一阶段能力，再决定是否进入下一阶段。材料提供的是训练框架与风险方向，不等于已经证明固定规模或生产收益。
多阶段训练是否真的闭环
逐阶段说清输入数据、学习信号、晋级门和回归结果；缺少哪一环，就不要把流程图当成训练成果。
- 是否能分别说清 CPT、SFT 和 GRPO 的训练信号与目标？
- 是否为每阶段定义准入、退出和共享回归门？
- 是否正确处理 Observation Mask、截断与环境错误？
- 是否保存数据、checkpoint、模板、工具、环境和奖励版本？
- 是否根据能力缺口选择阶段，而不是为了流程完整硬训？
- 是否避免把框架建议和规划规模写成现有生产效果？
