完整题目
Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？
页面加载中…
把一批优质轨迹拿来做 SFT，模型可以更快学会结构化 tool call，也能模仿常见的搜索与回答流程。
但这不代表它已经会在新环境里做研究。
面对训练数据没覆盖的工具错误、来源冲突和长程任务，模型可能继续照搬固定路径。它知道“标准答案长什么样”，却不知道哪条行动更好，也没有在环境反馈中练过取舍。
相关训练材料把 Deep Research Agent 的训练拆成三层：Agentic CPT 注入 Agent 相关偏置，SFT 冷启动学习协议与基本轨迹，GRPO 再在环境反馈中优化策略。
这三个阶段分别解决不同问题，不能因为名词热门就机械拼成一条训练流水线。
所以面试官真正想问的是：
CPT、SFT 和 GRPO 各自改变什么，为什么顺序通常这样安排，阶段之间如何设准入与退出标准，哪些项目可以跳过某一层，又怎样防止多阶段训练变成无法归因的昂贵流水线？
一次 SFT 为什么往往不够？
SFT 的训练信号来自示范，适合学习工具协议、输出格式和示范覆盖到的任务行为。若目标任务窄、环境稳定，SFT 在留出集和真实工具回放中已经达到质量、安全与成本门槛，它可以直接成为最终策略。
需要新增训练阶段的依据应来自可复现缺口。例如模型在合法格式下仍无法处理未见工具错误、来源冲突或长程停止，且这些问题不能由工作流、检索、权限或提示设计更可靠地解决，才值得比较 RL。若基础模型缺少相关领域或行动分布，同时拥有合规、高质量数据，才把 CPT 纳入消融。
Teacher 轨迹可能包含无必要搜索和固定套路，但这只说明要审核示范、设计留出集并比较基线，不证明 SFT 必然存在统一“上限”。RL 也不会自动突破它：候选不可执行、reward 可被利用或环境噪声大时，训练可能退化。
因此把固定工作流、只做 SFT、SFT 加 RL，以及有无 CPT 作为实验分支。在相同测试集、工具环境和预算下比较净收益，再选择最小必要路线。
SFT 负责建立可执行起点，环境策略优化解决示范之外的选择。
阶段零：Agentic CPT 在打什么底子？
CPT 是持续预训练。Agentic CPT 让基础模型更多接触 Agent 相关行动和决策结构，目标并非教会某一道具体研究题。
训练材料介绍了 FAS 与 HAS 两种合成思路。
FAS 从原始材料构造一阶行动样本，强调在某种信息状态下可以采取什么动作。
HAS 把轨迹中的步骤视为决策点，利用更优、次优或错误分支，让模型学习选择，而不是死记一条完整轨迹。
CPT 可以改变模型接触到的行动与决策分布，但能否让后续 SFT 获益是需要同预算消融验证的假设，不能从阶段名称直接推出。
但它也最容易被夸大。
合成数据中的错误关系、单一工具模式和模板化动作同样会进入基座。CPT 数据规模大时，质量与分布问题会更难返工。
因此要分别检查原始材料许可、行动标签、正负分支、工具覆盖和近重复。材料提出的框架不等于任何项目已经验证了固定规模或收益。
阶段一：SFT 冷启动为什么叫“冷启动”？
SFT 的目标是把模型带到一个“至少能正常跑”的起点。
它学习目标 chat template、工具调用协议、参数字段、消息角色、错误后的基本恢复和最终答案格式。
若采用 assistant-only SFT，Observation 由环境返回，应留在输入中并从训练 labels 中 mask；其它训练目标需要重新定义监督范围。无论哪种目标，都要避免把环境文本误标成模型已执行的结果。
冷启动不意味着只看格式。
工具选择、参数、停止和答案完整都要纳入 SFT 数据审核，只是不能期待一次监督学习就把所有新状态策略优化到位。
SFT 的退出标准至少应包括：格式可解析、工具调用能执行、Observation 角色正确、基本任务能闭环、没有大面积重复输出或缺失 final answer。
还要有动作边界评测。若格式稳定但所有问题默认 Search，模型仍不是合格的 RL 起点，因为奖励可能把格式偏置继续放大。
阶段二：GRPO 在优化什么？
GRPO 让模型针对同一个问题采样一组候选轨迹。
每条轨迹在环境中真实执行，再根据答案正确、格式合法、过程合理、证据支持等信号获得 reward。
组内相对优势用于判断哪些候选比同组平均更好，哪些更差。相比需要额外训练价值网络的方法，这种组内统计基线减少了一个可学习 critic。
GRPO 不是“有 reward 就会自动变强”。
奖励函数如果只看最终答案，模型可能跳过证据；只看格式，模型可能输出漂亮空壳；只看调用少，模型可能提前结束。
环境如果无法稳定返回工具结果，reward 又会混入基础设施噪声。
同组候选如果全对或全错，组内缺少区分信号。动态采样可以识别低区分度组，但过滤规则和边界仍要验证。
长轨迹截断也需要特殊处理。训练材料提醒，若未完成轨迹一律被当成失败负样本，模型可能学会为了避免截断而尽快给出随意答案。
三阶段为什么通常按这个顺序？
一条可研究的路线是先用 CPT 改变数据分布，再用 SFT 学目标协议，最后用 GRPO 类方法比较环境中的候选；这只是候选设计，不是所有项目的能力依赖。
如果基座很少生成合法 tool call，直接 RL 往往缺少可比较候选，此时先用 SFT 建立可执行起点更容易诊断。若模型已经通过协议和任务门槛，则可以直接评估固定工作流、SFT 或 RL，无需补做 CPT。
只有领域或行动分布缺口明确、数据许可和质量可控、同预算消融显示净收益时，才保留 CPT。只有环境可重放、reward 可解释、候选有区分度且独立评测改善时，才保留 RL。
阶段顺序、是否跳过以及是否停止，都由基线失败与回归证据决定。后续 SFT、RL 或模板更新还可能覆盖既有能力，所以每次变更都要与前一稳定 checkpoint 做共享回归。
每一阶段都有输入条件、学习目标、退出标准和回归门。
阶段之间要传递哪些可审计资产？
从 CPT 到 SFT，至少传递基座 checkpoint、tokenizer、chat template、数据版本和基础能力评测。
从 SFT 到 GRPO，还要传递工具协议、可执行环境、奖励版本、停止规则、SFT 回归集和已知失败清单。
数据血缘不能在转换中丢失。问题族、来源组、轨迹版本、Teacher 与审核记录决定后续能否定位偏置。
训练配置也要版本化。模型权重相同，若模板、工具说明或环境版本变化，行为就可能不同。
阶段交接报告应写清：新增了什么能力，哪些指标未改善，哪些回归仍存在，下一阶段不得破坏什么。
没有这些资产，多阶段训练会变成多个团队各跑一遍脚本，最后只剩一个无法解释的 checkpoint。
怎样为每阶段设置准入与退出标准？
CPT 准入要确认语料许可、数据质量、行动标签和基座兼容。退出看语言基础不被明显破坏，Agent 行动探针出现目标变化，同时保留通用能力回归。
SFT 准入要确认轨迹真实执行、格式统一、Observation Mask 正确和目标模型模板适配。退出看格式、工具参数、闭环完成、证据利用和直接答边界。
GRPO 准入最严格。环境要可重放，reward 能拆解，采样有区分度，截断和环境错误有独立标签，SFT checkpoint 已能产生可执行轨迹。
GRPO 退出不能只看平均 reward。还要看任务完成、引用证据、工具行为、长度、成本、安全和 SFT 回归集。
每个门槛应来自目标场景与基线，不使用材料未验证的通用阈值。
若阶段门不通过，先修数据、模板、环境或奖励。增加 epoch 不能修复虚构 observation 和错误工具标签。
为什么同一套评测不能从头用到尾？
需要共享核心回归集，但每阶段也有独立重点。
CPT 关注基础语言能力、行动偏置和通用能力是否退化。
SFT 关注格式、角色、工具选择、参数与完整闭环。
GRPO 关注策略质量、环境适应、证据、奖励作弊和长程行为。
只用最终答案题评测 CPT，可能看不出行动偏置变化；只用格式题评测 RL，又看不出策略是否进步。
共享回归集用于发现跨阶段遗忘，专项集用于验证该阶段的目标。
评测题应按 family 与来源组隔离，动态来源保留时间边界，环境错误单独记录。这样曲线变化才尽量来自模型，而不是考题泄漏或网页变化。
双环境训练怎样理解？
模拟环境速度快、可复现，适合覆盖结构、异常和大量采样。
真实环境包含网络、页面变化、权限、限流和工具成本，更接近上线。
只用模拟环境，模型可能学会利用模拟器的固定模式；只用真实环境，训练噪声与成本又难控制。
可以在模拟环境中完成早期策略迭代，再用真实环境做关键训练与验证，或者在批次中保留两类环境并分别统计。
模拟 observation 必须来自固定语料或明确规则，不能仍由策略模型自由编写。
从模拟迁移到真实时，要重点检查工具错误分布、延迟、动态证据和安全边界。环境差异本身应成为评测维度。
本文只解释环境分工，不声称相关材料已经提供生产效果数据。
多阶段最常见的四种失败
第一种是阶段目标重叠。
团队在 CPT、SFT 和 RL 都塞入相似完整轨迹，成本增加却没有新的训练信号。
第二种是前一阶段问题被后一阶段掩盖。
SFT 数据格式错误，RL 用奖励勉强压住输出，换个场景又复发。
第三种是奖励覆盖质量门。
平均 reward 上升，但引用、工具成本或安全退化，只因总分权重把它们抵消。
第四种是无法归因。
同时更换数据、模型、Prompt、环境与 reward，最终不知道哪个改动有效。
应采用小步版本、固定回归集和阶段报告。每次训练都能回答“改变了什么、为什么改变、是否可复现”。
阶段越多，越需要独立目标、版本血缘和跨阶段回归。
同一条轨迹能不能在三个阶段重复使用？
原始任务和证据可以复用，但训练表示与目标不能简单复制。
CPT 更关注大规模行动模式和决策偏置，可能使用经过合成的一阶、分支或次优动作数据。
SFT 需要少而精的完整轨迹，角色、tool call、observation 与 final answer 都要严格对齐，并构造正确 labels。
GRPO 则需要当前策略在环境中重新采样候选，由最新 reward 评价。把旧 Teacher 轨迹直接当成在线 RL 结果，会失去当前策略和环境反馈。
同一母题可以贯穿阶段，但必须保存 family ID，防止近重复样本跨训练与评测。
Observation 的处理也不同。SFT 中它作为可见但不参与 loss 的条件；RL 中它由环境实时返回，影响后续行动和 reward。不能把静态 observation 当成环境执行已经发生。
复用资产的正确方式，是保留任务、来源、证据与血缘，再为每阶段生成符合目标的数据视图。这样既减少重复劳动，又不会混淆训练信号。
如何判断问题出在哪个阶段？
如果模型经常生成无法解析的调用，先查 SFT 数据格式、模板、Loss Mask 和 tokenizer，不要先改 GRPO 奖励。
如果格式稳定但所有任务走同一路径，检查 SFT 动作分布和 CPT 偏置，确认模型是否只会模仿高频模式。
如果 RL 后开始少用工具却证据质量下降，重点查 reward 是否奖励了短轨迹或调用成本，是否把未完成当成负样本。
如果模拟环境表现好、真实环境失败，检查环境差异、工具错误与动态来源，而不是立即增加训练步数。
如果通用语言能力退化，回看 CPT 数据、训练强度和跨阶段回归；若仅工具参数退化，定位到工具协议和策略数据。
诊断原则是从症状对应的最近训练信号开始，再向前追血缘。多阶段不应让问题归因更模糊，反而应凭阶段边界更快定位。
Checkpoint 怎样晋级与回退？
每一阶段都应保留进入前的稳定 checkpoint，以及模型、tokenizer、模板和工具协议的完整组合。
候选 checkpoint 先跑专项集，再跑共享回归。专项目标改善但关键回归失败，不能直接晋级。
结果报告要包含数据版本、训练配置、评测版本、环境状态和失败案例。只有一个平均分无法支持回退决策。
进入下一阶段后仍要定期对比前一稳定版本。GRPO reward 上升时，如果 SFT 格式、引用或直接答边界退化，可以及时停止并回滚。
生产验证还要使用受控流量和明确退出条件。模型权重回退时，关联模板、工具和环境版本也要一起恢复，否则所谓回滚仍不是原系统。
Checkpoint 管理要保存一条可证明、可比较、可恢复的能力演进链，文件数量本身没有意义。
安全与证据边界为什么要跨阶段守住？
Agentic CPT 中若把网页不可信指令当成行动标签，错误安全偏置会进入基座。
SFT 中若 observation 与系统指令角色混淆，模型可能学习服从网页内容，或者在工具未执行时伪造结果。
GRPO 中若奖励只看答案命中，模型可能通过跳过权限、忽略来源或利用环境漏洞获得高分。
因此每阶段都需要安全回归：工具权限、参数范围、来源可信、引用支持、无答案边界和敏感信息处理。
模拟环境还要避免提供真实系统不允许的捷径。策略若靠模拟器漏洞获得 reward，迁移到生产既无效也可能危险。
安全条件更适合作为硬门或独立分项，而不是被高答案分抵消。本文不提供材料未验证的统一权重，但要求结果可拆解。
多阶段训练优化的是行动能力，不意味着可以放松系统层权限、审计与回滚。
一个可执行的最小训练路线
先对基础模型做真实工具评测，确认主要缺口是格式、工具边界、长程策略还是答案证据。
若基础模型完全缺少 Agent 行动能力，且有足够合规高质量材料，再评估 Agentic CPT。否则可以从小规模 SFT 冷启动开始。
SFT 先覆盖可解析格式、正确角色、直接答与工具边界、基础异常恢复和完整答案。通过阶段门后冻结 checkpoint。
只有在环境可执行、reward 可解释、候选有区分度时，才进入小规模 GRPO。
GRPO 每轮检查奖励分项、工具序列、答案证据、长度、截断和共享回归集。发现奖励作弊或环境噪声先停，不用更多算力掩盖。
候选版本通过离线和真实环境评测后，再做受控流量验证。生产回退应保留前一稳定 checkpoint、模板、工具协议与环境版本。
这条路线强调最小必要阶段。它不预先承诺所有项目都要跑完整三阶段，也不引用未经验证的固定训练规模。
面试官继续追问，怎么接？
追问一：每个项目都必须做 Agentic CPT 吗？
不一定。先测基座是否已有足够行动偏置，以及是否有高质量 CPT 数据。缺数据时贸然 CPT 可能放大错误模式。
追问二：只做 SFT 能不能上线？
窄任务且 SFT 评测充分时可以作为阶段性方案。是否需要 RL 取决于新状态策略、环境反馈和收益风险。
追问三：为什么 RL 前必须先冷启动？
模型要先稳定生成可执行轨迹，组内才有可比较策略。若候选全是格式失败，reward 无法指导高层决策。
追问四：怎样防止 GRPO 把 SFT 格式训坏？
奖励保留格式硬门，训练中持续跑 SFT 回归集，检查角色、tool call 和 final answer，并保留可回退 checkpoint。
追问五：多阶段最重要的工程资产是什么？
是数据、模型、模板、工具、环境、奖励和评测的版本血缘，以及每阶段明确的准入、退出和回归证据。
如何回答“为什么要分阶段训练”
多阶段训练是在拆分不同学习目标。Agentic CPT 用行动合成数据注入 Agent 偏置；SFT 用真实高质量轨迹学工具协议、格式和基础闭环，并正确 mask 工具 observation；GRPO 再让模型在可验证环境里采样多条轨迹，通过组内相对 reward 优化策略。
是否进入下一阶段由基线缺口决定。候选大多格式失败时，可先用 SFT 建立可执行起点；SFT 已通过目标门槛时可以停止；只有 CPT 或 RL 在同预算、隔离评测中带来净收益，才保留相应阶段。工程上我会分别设置数据、格式、环境、奖励和回归门，并传递 checkpoint、模板、工具协议、数据与评测版本。
我不会为了流程完整默认三个阶段全做。基座已有 Agent 能力时可跳过 CPT，没有可靠环境和 reward 时不贸然 RL。每次只引入新的可解释训练信号，用共享回归集守住前一阶段能力，再决定是否进入下一阶段。材料提供的是训练框架与风险方向，不等于已经证明固定规模或生产收益。
多阶段训练是否真的闭环
逐阶段说清输入数据、学习信号、晋级门和回归结果；缺少哪一环，就不要把流程图当成训练成果。
- 是否能分别说清 CPT、SFT 和 GRPO 的训练信号与目标？
- 是否为每阶段定义准入、退出和共享回归门？
- 是否正确处理 Observation Mask、截断与环境错误？
- 是否保存数据、checkpoint、模板、工具、环境和奖励版本？
- 是否根据能力缺口选择阶段，而不是为了流程完整硬训？
- 是否避免把框架建议和规划规模写成现有生产效果？