页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「优势估计」找到 8 条内容
按专题浏览 →匹配题目：…端策略优化（PPO）与组相对策略优化（Group Relative Policy Optimization，GRPO）在目标函数、优势估计方式及大模型后训练中的适用性差异。
匹配正文：…的看法是，这道题答到"代价"就已经比大多数人深了，DPO 那段是加分项，时间不够可以不展开。 训练框架用的是 verl。启动的时候优势估计选 grpo，critic 关掉，框架自带的 reward model 也关掉，分数由项目自己的 Verifier 返回。 这几个开关能说出来，面试官就知道你真跑过。 放到项目里可以这样答： 我们训的是售后操作 Agent，一条轨迹要调好几次工具，最后由 Verifier 给整条轨迹打一个分。我用的是 GRPO，配置里 critic 是关掉…
匹配正文：…价值函数、KL 和多模型显存都要管理 较低：无需奖励模型与在线采样，但仍要维护参考模型或其缓存概率 训练稳定性 对奖励尺度、KL、优势估计和采样分布敏感 通常更容易训练，但仍受 beta、标注噪声、长度偏差、参考模型和过拟合影响 效果表现 适合有可靠标量奖励、在线反馈或需要随当前策略持续采样的任务 适合已有高质量离线偏好对、预算有限、需要快速迭代的任务 选型判断 优先 DPO 已有覆盖目标分布的高质量偏好对，偏好边界清晰 希望复用 SFT 训练设施，减少奖励模型和在线采样成本…
学习内容与项目面试，在同一条路上。