匹配正文：…，reward 是否可信，全对或全错怎么办，截断轨迹能否算低分，组内优势又怎样传到长轨迹中的每个动作。所以面试官真正想问的是： GRPO 的组内相对优势怎样计算，它和 PPO 的价值网络差在哪里，为什么 reward 方差过小就没有学习信号，又如何避免奖励作弊、截断误罚和把教学公式说成现有生产效果？先用一个教学例子理解“相对” 假设同一个研究问题采样四条轨迹，教学 reward 分别是 0.9、0.6、0.2 和 0。组内均值是 0.425。第一条和第二条高于均值，得到…

#Deep Research#数据构造与训练#Deep Research GRPO

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…目里可以这样答：我们训的是售后操作 Agent，一条轨迹要调好几次工具，最后由 Verifier 给整条轨迹打一个分。我用的是 GRPO，配置里 critic 是关掉的，优势用组内估计。选它是因为我们的 reward 本来就是整条轨迹一个标量，同一条工单采 4 条互相比，比单独训一个 critic 去估长轨迹的价值要稳。代价是采样量乘 4，而且组内分数没差别的工单要单独处理。 PPO 和 GRPO 的基线从哪来二、组内相对优势到底怎么算？请详细说明 GRPO 中群体相对…

#Agentic RL#GRPO#PPO

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…」让你把机制看懂、面试讲清。这一章你会学到什么 ✓ 想清一个根本问题:何时值得加入CPT、SFT或RL；CPT → SFT → GRPO是一条示例路线，并非必选三件套 ✓ 搞懂三个阶段各自的分工:CPT 注入「Agent 偏置」、SFT学习示范中的任务行为与输出格式、GRPO 在实战反馈里优化策略 ✓ 理解 GRPO 的核心直觉:为什么它能去掉 PPO 里那个笨重的「价值网络」,用「组内相对优势」替代(配可跑小实验) ✓ 理解长轨迹奖励风险:不区分截断原因直接惩罚,可能引入…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agent#Deep Research#项目实战

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…要有动作边界评测。若格式稳定但所有问题默认 Search，模型仍不是合格的 RL 起点，因为奖励可能把格式偏置继续放大。阶段二：GRPO 在优化什么？ GRPO 让模型针对同一个问题采样一组候选轨迹。每条轨迹在环境中真实执行，再根据答案正确、格式合法、过程合理、证据支持等信号获得 reward。组内相对优势用于判断哪些候选比同组平均更好，哪些更差。相比需要额外训练价值网络的方法，这种组内统计基线减少了一个可学习 critic。 GRPO 不是“有 reward 就会自动…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配追问：…问题有哪些缓解手段，你们实际项目中是怎么做的场景切入假设现在同时有成对偏好数据和可自动验证的任务奖励，需要在 PPO、DPO、GRPO 中选训练方案。你会先确认哪些数据、采样和稳定性条件，再决定用哪一种？层层追问 PPO 中 policy、reference、reward、value 分别起什么作用？……DPO 如何从偏好对构造目标？……GRPO 的组内相对优势依赖什么采样？……这些角色在工程上一定要作为独立模型同时驻留吗？直球技术请比较 PPO、DPO、GRPO …

#RLHF#PPO#DPO

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配口述回答：…rompt 从旧策略采样一组完整回答，用规则验证器或奖励模型给每条回答打分，再用组内统计构造相对 advantage。这个思路和 GRPO 有共同点：都可以不训练独立 value critic，用同组样本提供 baseline。奖励也不一定来自人类偏好，数学、代码等任务可以使用可验证规则。关键区别在重要性比率的粒度。GRPO 的常见实现对每个 token 计算新旧策略概率比并裁剪。长序列中，只要少数 token 的 ratio 很极端，就可能让更新不稳定。GSPO 把一条序…

#策略优化#离线强化学习#监督学习结合RL