匹配正文：…：硬规则围栏+输出格式校验+工具调用沙箱监控阶段：实时指标告警+人工审核闭环+快速回滚机制核心思路动态Prompt生成系统的Policy模型本质是Agent的"大脑"，需从训练-验证-约束-监控四层构建安全防线。一、训练阶段：行为对齐 RLHF/Constitutional AI：用人类反馈或宪法原则约束策略，避免有害输出对抗训练：注入噪声输入、边缘案例，提升Policy对异常请求的鲁棒性课程学习：从简单场景逐步过渡到复杂动态生成，稳定收敛二、验证阶段：多维度评…

#字节#Agent#Policy 模型

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：On-policy、off-policy 与偏好优化要分开比较 On-policy 方法用当前或近当前策略生成的数据估计更新，策略变化后旧数据会逐渐失配。PPO 并非每条样本只更新一次：原论文的裁剪代理目标允许对同一批 rollout 做多个 epoch 的 minibatch 更新，但批次不能无限复用。PPO 的 clip 限制重要性比率变化；在 RLHF 中还常额外加入相对参考模型的 KL 惩罚或控制器，但 KL 不是所有 PPO 定义中自动存在的固定组件。 Off-po…

#PPO#on-policy#off-policy

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：GSPO 是 Group Sequence Policy Optimization GSPO 不是 Generalized Supervised Policy Optimization，也不是离线监督微调方法。Qwen 团队论文将其定义为 Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importanc…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#GSPO#策略优化#离线强化学习

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：先说准全称与定位 GSPO 的全称是 Group Sequence Policy Optimization。有些旧资料会误写为 Generalized Supervised Policy Optimization，但两者不能混用。GSPO 是面向大模型强化学习的组内相对优化方法，不是“监督锚点 + 纯离线 RL”框架。核心思想对同一 prompt 采样一组序列，用组内奖励构造相对 advantage。与 GRPO 常用逐 token importance ratio 不同…

#策略优化#离线强化学习#监督学习结合RL

面试题·Agent

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

匹配正文：…Schema，并对解析失败、字段缺失、非法工具和不可验证完成条件分别返回结构化错误。失败三：Planner 同时负责审批和执行模型提出动作、判断动作合法、执行动作、再宣布成功，整个链路没有独立检查。它一旦理解错目标，后面每层都会跟着错。应对方式是分离职责：Planner 生成候选；Policy 检查权限；Executor 执行；Verifier 根据工具结果判断完成。失败四：所有任务都进入昂贵规划一个明确的单步查询也先让模型生成五步计划，会增加响应时间和上下文。规划…

#Agent#架构与规划#Agent 规划 Prompt 还是代码

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：先纠正题目 GRPO 的正确全称是 Group Relative Policy Optimization，不是 Generalized Reward-free Policy Optimization。它仍然需要奖励信号，奖励可以来自规则、可验证结果或奖励模型；“不需要单独价值模型/critic”不等于 reward-free。三种方法的核心差别方法数据与反馈更新方式主要组件与边界 PPO 当前/近当前策略 rollout，经规则、环境或 RM 得到奖励用价值函数估…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：…让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练一个策略模型，并读取冻结参考模型的对数概率；不需要单独训练奖励模型，也不需要价值函数和在线 rollout 通过 Bradley-Terry 偏好模型与 KL 正则化 RL 目标的重参数化，把偏好学习写成一个二元分类形式的损失工程链路更接近监督微调，但它对神经网络参数的优化仍然是非凸的，不能说“DPO 损失是凸的” 四维度对比维度 PPO DPO 算法原理 on-poli…

#DPO#PPO#RLHF

面试题·Agent

Agent 工具怎么设计和注册？Tool Schema、Registry 与执行器如何解耦

匹配正文：…timeout_policy="visit_default", retry_policy="read_retry", cache_policy="freshness_aware", enabled=True, ) 名称和版本用于定位契约；输入输出 Schema 用于校验；执行器用于分发；权限与副作用决定能否暴露和是否需要审批；超时、重试与缓存由统一策略引用；enabled 支持紧急下线。不要把 API Key、数据库密码或用户令牌放进发给模型的 Schema。凭证由执行环境…

#Agent#工具调用与安全#Agent Tool Registry

面试题·RLHF与对齐· 美团

长视野任务的信用分配与 Option

匹配正文：…期动作。可把决策分层、引入时间扩展动作，并在确有可靠标签时增加过程反馈。HIRO让高层策略提出显式目标，低层策略执行并用 off-policy correction 处理低层变化；Option 本身包含启动集合、内部策略和终止条件，执行期间仍由内部策略逐步选择原子动作。机制与边界分层强化学习把长任务拆成不同时间尺度。HIRO中的高层输出目标，低层根据当前状态和目标产生动作。因为低层策略在训练中不断变化，旧轨迹对高层看到的“动作效果”会漂移，所以论文设计了离策略修正。这与“…

#分层强化学习#选项机制#过程奖励建模

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…失败处理。不能边训练边无痕修改 reward。否则策略变化与评分规则变化混在一起，组内优势日志失去可比性。 Reference Policy 和 KL 在守什么边界？组内正优势会提高某些候选的概率，但更新不能无限放大。策略比率与 clip 限制一次更新偏离旧策略过多，KL 相关约束则帮助模型不要远离参考分布。对于 Agent，这个边界很重要。Reward 有漏洞时，过大的策略移动可能迅速放大某种捷径，例如固定输出短答案或滥用某个工具。 KL 也不是越大越安全。约束过强…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…私和有害内容治理；SFT 教会目标行为，偏好优化可改善帮助性与安全性。DPO 直接用 chosen/rejected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和约束解码影响随机性与格式，不保证事实正确。Contrasti…

#幻觉检测#内容安全#RLHF

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配题目：请比较近端策略优化（PPO）与组相对策略优化（Group Relative Policy Optimization，GRPO）在目标函数、优势估计方式及大模型后训练中的适用性差异。

#PPO#GRPO#RLHF

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配正文：… 风格成对 logistic loss，使 chosen 分数高于 rejected。该分数只在训练数据与目标定义下有意义，不是跨模型、跨数据的绝对质量单位。 Elo 用比赛结果估计参与者相对 rating，可用于模型竞技场汇总相对胜负，但不是绝对分，也不是 PPO 每一步的即时奖励。在典型 RLHF 中，RM 对完整回复给终局奖励，策略训练还会按 token 加相对 reference policy 的 KL 惩罚，并由 value/advantage 将 return 用…

#奖励模型#RLHF#偏好学习

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：三者的核心分界方法数据/反馈是否在线采样 critic 主要目标 PPO 轨迹与标量奖励，可来自环境、规则或奖励模型通常是通常需要价值函数 clipped policy gradient，可另加对参考策略的KL控制 GRPO 同一问题的一组在线样本与奖励是不需要独立critic 用组内相对奖励构造优势，再做受约束策略更新 DPO 离线chosen/rejected偏好对否不需要提高chosen相对rejected的参考校正对数概率差 PPO和GRPO不是只…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：核心判断 PPO、GRPO和DPO都能用于语言模型后训练，但数据闭环不同。PPO用当前策略采样，再依据奖励与价值估计更新；GRPO同样依赖在线或近在线采样，却用同一提示下的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量…

#RLHF#PPO#DPO

面经·项目面试

Agentic RL 项目，Reward 到底怎么设计？面试官会怎么问？

匹配正文：…。他简历上有这么一行，是前一周我和他一起改出来的：售后操作智能体 Agentic RL 后训练｜设计规则 Verifier 替代模型自评：5 维奖励 + 11 道护栏封顶，人工打分一致率 88% 能写出这一行，说明他的项目是真做扎实了。不过简历上写得出来，面试的时候不一定讲得出来，我让他把我当成面试官，先完整讲一遍。 👔 我：为什么不直接让大模型给轨迹打分，省这么多规则？ 🙋 他：因为大模型打分不准。 👔 我：不准在哪？你怎么证明规则就准？ 🙋 他：…… 停了三秒，…

#Agentic RL#Verifier#Reward

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…一样。有没有路每 50 步看一次，有没有信号每 100 步，算得对不对每一步都看。这道题后面经常跟一个追问：GRPO 是 on-policy 还是 off-policy？华为、字节、美团都问过。它是 on-policy 的，数据得是当前策略采出来的。上面那个 12 分钟的例子说明，长任务里这一条很容易被悄悄打破，采样用的参数和训练用的参数已经对不上了。能把这个例子讲出来，比答一句 on-policy 有用。训练不涨时先问哪几个问题六、reward 一直在涨，怎么知道…

#Agentic RL#GRPO#PPO

面试题·Agent

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

匹配正文：…必须来自当前用户可见的注册表；参数类型、范围和枚举符合工具 Schema；参数来源必须存在。一个日期字段通过类型校验，但若来源只是模型自行补全，仍不能执行。工具版本也要进入计划。工具升级后字段变化，旧计划不能默认兼容。第四层：业务完整性固定规则要求的节点是否都在，例如身份、权限、审批、结果验证。这类规则不应仅依赖 Planner 自觉生成，应由模板或 Policy 检查器强制验证。第五层：权限与副作用用户能否访问数据，Agent 是否有权调用工具，动作是只读还是写入…

#Agent#架构与规划#Agent 计划校验

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…inal 的结构、工具调用的格式。 SFT学习任务示范与格式:在后续RL方案中可作为冷启动两个关键点: Loss Mask:只对模型该生成的部分算 loss,mask 掉 observation(回扣第 5 章)。漏了它,模型会学着背搜索结果。冷启动定位：若随后做RL，SFT是初始化阶段；它也学习任务能力，可以是最终部署策略。RL是否进一步改善，应以独立评测而非阶段名称判断。 2.4 GRPO 是什么:去掉价值网络的策略优化 GRPO(Group Relative Pol…

#Agent#Deep Research#项目实战

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

匹配正文：…ER 通过重标目标利用失败轨迹，主要适用于 goal-conditioned、可重新定义 achieved goal 的 off-policy RL，不是所有长序列或 RLHF 的通用解法。延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验…

#奖励塑形#稀疏奖励#多目标优化

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：RLHF里要先区分三个模型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 美团

Environment-based 训练怎么用?

匹配正文：…戏、网页、工具服务、代码沙箱或真实系统。它不要求每生成一步就立刻更新参数，完全可以先批量 rollout、写入缓冲区，再按 on-policy 或 off-policy 算法更新。能访问环境只意味着可获得新转移，并不保证训练分布和部署分布一致。机制与边界模拟环境的优点是成本可控、可并行、可重放，并能安全制造边界情况；缺点是模型误差和 sim gap，策略可能利用模拟器漏洞。静态数据便于治理和复现，适合行为克隆或离线强化学习，但动作覆盖由日志策略决定，对未覆盖动作的价值估计…

#环境交互训练#在线学习#模拟器训练

面试题·RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

匹配正文：…策略 logprob、reward 和终止原因。 PPO 更新通常把 reward 当作环境提供的标量，不要求 reward 对 policy 参数可微，也不应让梯度穿过搜索引擎。若单独训练 reward model，它可用自身损失更新，但在线 PPO 阶段通常冻结并只提供分数。工具奖励优先使用可执行正确性、引用支持、格式和成本约束，模型评审只是有偏信号之一，并通过独立评测检查 reward hacking。

#TRL#PPO#Agent

面试题·Agent· 字节

通信 vs 角色分工怎么选？

匹配正文：… Interviewer Agent 追问订单号、问题细节方案生成 Solver Agent 匹配知识库生成解决方案合规审核 Policy Agent 检查是否符合退款政策执行确认 Executor Agent 调用ERP系统完成操作核心优势专业化：每个Agent专注窄领域，降低单模型能力要求可扩展：新Agent即插即用，不影响现有流程可解释：执行链路清晰，便于问题定位容错性：Reviewer不通过可回退到Coder重试关键工程细节超时熔断：单Agent超…

#字节#Agent#多Agent协同