匹配正文：…道题往往不只生成一条轨迹。模型会采样一组不同路径：有的先 Search 再 Visit，有的只看摘要就回答，有的查全证据却被长度截断，还有的格式正确但结论不完整。 GRPO 的关键做法，是把同组候选放在一起比较。高于组内基准的轨迹得到正优势，低于基准的轨迹得到负优势，再用这个相对信号更新策略。它没有凭空消除“基准”，而是用组内 reward 统计替代额外学习的价值网络。这个直觉很简单，真正落地却有许多边界：同组是否可比，reward 是否可信，全对或全错怎么办，截断轨迹…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·Agent

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：…变化和证据就足以判断过程价值。四种处理方式怎样选？第一种是重采样。同一个问题重新运行，调整采样随机性或给更合理预算。适合偶发截断和环境波动。第二种是断点续跑。从最后一个完整状态恢复，继续完成剩余任务。前提是状态、证据和工具结果可重放，不能只靠截断文本续写。第三种是轨迹分段。将长任务按阶段或摘要 checkpoint 切成可验证片段，分别训练局部决策和最终综合。材料提到 ReSum-GRPO 等长 horizon 方向，但正文不声称已有生产验证。第四种是拒绝。 …

#Deep Research#数据构造与训练#Deep Research 截断轨迹

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…，等它回到训练端，参数已经更新了 3 次，采样时记下的概率已经过时了。当时 approx_kl 飙到 0.61，做了重要性采样的截断修正之后降到 0.07。看的频率也不一样。有没有路每 50 步看一次，有没有信号每 100 步，算得对不对每一步都看。这道题后面经常跟一个追问：GRPO 是 on-policy 还是 off-policy？华为、字节、美团都问过。它是 on-policy 的，数据得是当前策略采出来的。上面那个 12 分钟的例子说明，长任务里这一条很容易…

#Agentic RL#GRPO#PPO

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…」让你把机制看懂、面试讲清。这一章你会学到什么 ✓ 想清一个根本问题:何时值得加入CPT、SFT或RL；CPT → SFT → GRPO是一条示例路线，并非必选三件套 ✓ 搞懂三个阶段各自的分工:CPT 注入「Agent 偏置」、SFT学习示范中的任务行为与输出格式、GRPO 在实战反馈里优化策略 ✓ 理解 GRPO 的核心直觉:为什么它能去掉 PPO 里那个笨重的「价值网络」,用「组内相对优势」替代(配可跑小实验) ✓ 理解长轨迹奖励风险:不区分截断原因直接惩罚,可能引入…

#Agent#Deep Research#项目实战

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…对优势用于判断哪些候选比同组平均更好，哪些更差。相比需要额外训练价值网络的方法，这种组内统计基线减少了一个可学习 critic。 GRPO 不是“有 reward 就会自动变强”。奖励函数如果只看最终答案，模型可能跳过证据；只看格式，模型可能输出漂亮空壳；只看调用少，模型可能提前结束。环境如果无法稳定返回工具结果，reward 又会混入基础设施噪声。同组候选如果全对或全错，组内缺少区分信号。动态采样可以识别低区分度组，但过滤规则和边界仍要验证。长轨迹截断也需要特殊处理…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

项目实战·Agent

Deep Research Agent

匹配正文：…r / Python 通过统一网关记录输入、输出和错误；摘要、缓存、重复检测与提前终止都需要单独验证。若尝试 CPT、SFT 或 GRPO，也必须说明数据来源、基线和失败条件，不能把教学路线写成已完成成果。继续读完整版 · 第 2 章 ReAct → IterResearch → 用风险场景检验设计长程任务上下文持续增长教学风险演练:如果把每次搜索结果和网页正文都原样追加到上下文，随着工具调用增加，输入会变长，早期临时信息也可能干扰后续判断。具体在第几轮触发限制，取决于…

#项目实战#Deep Research Agent

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配口述回答：…rompt 从旧策略采样一组完整回答，用规则验证器或奖励模型给每条回答打分，再用组内统计构造相对 advantage。这个思路和 GRPO 有共同点：都可以不训练独立 value critic，用同组样本提供 baseline。奖励也不一定来自人类偏好，数学、代码等任务可以使用可验证规则。关键区别在重要性比率的粒度。GRPO 的常见实现对每个 token 计算新旧策略概率比并裁剪。长序列中，只要少数 token 的 ratio 很极端，就可能让更新不稳定。GSPO 把一条序…

#策略优化#离线强化学习#监督学习结合RL

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：…下文优化 NTK-aware RoPE、YaRN 等方法用于扩展可处理的上下文；具体长度和质量取决于模型及训练配置。更长窗口能减少截断，但不能代替检索质量与事实核验。二、训练策略层面数据质量提升指令微调数据：过滤低质量指令，引入思维链（CoT）数据增强推理能力知识边界标注：明确标注"已知/未知"样本，训练模型识别知识盲区对齐训练 DPO 与 GRPO 分开理解：DPO 用偏好对直接优化策略，无需另训显式奖励模型；GRPO 是基于组内奖励计算优势的强化学习方法，省去的…

#百度#对话模型准确性#模型架构优化