匹配正文：… option，但 option 的内部策略仍持续观察状态并选择动作，而且某些框架允许中断。它不是一段不再决策的固定宏命令。过程奖励模型可以对中间步骤评分，增加比终局成败更密的监督，但监督来源要说清。OpenAI 的 PRM800K 使用了八十万个人工步骤级反馈标签，并非无需人工的蒙特卡洛自举。另一些方法会用可验证器、搜索统计或 rollout 估计步骤价值，这些是自动化近似，误差结构与人工标签不同。过程标签还可能奖励看起来合理的步骤，不能自动保证整条轨迹正确。对于部分可观…

#分层强化学习#选项机制#过程奖励建模

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配题目：请详细阐述奖励模型（Reward Model）的训练流程，包括输入数据的形式、标签如何构造、损失函数的设计，并解释奖励信号在强化学习中（如RLHF）的来源及其标注机制。

#奖励模型#RLHF#偏好学习

面试题·Agent· 美团

Agent 强化学习怎么训练?

匹配正文：…L目标多轮对话：优化连贯性、信息准确、用户满意度 Agent场景：优化任务完成率、工具调用正确性、执行效率具体实施方法 1. 奖励模型设计（最关键）场景奖励构成对话流畅度 + 事实性 + 用户反馈 Agent 结果正确性(50%) + 过程合规(30%) + 效率(20%) Agent特有：过程奖励模型（PRM）对每个推理步骤打分，而不仅是最终结果解决长序列的信用分配问题 2. 状态空间处理多轮状态 = 历史对话摘要 + 当前工具返回 + 任务进度标记用滑…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#美团#Agent#Agent 强化学习

项目实战·强化学习

RLVR 强化学习项目

匹配正文：…t Learning with Verifiable Rewards)是过去一年训练侧最热的范式之一:奖励不再靠一个易被「刷分」的奖励模型，而是用可验证的信号(答案对不对、代码跑不跑得通)。这部分计划从项目背景、技术方案、数据准备到训练评估解释 RLVR；公开前只展示内容范围。项目背景 RLVR 是什么和 RLHF 的区别适合什么任务技术方案奖励怎么「可验证」整体训练范式关键组件设计数据 + 训练数据怎么准备训练流程解析训练效果评估复盘 + 应用事…

#项目实战#RLVR 强化学习项目

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：…量微调的差异、数据质量、过拟合、合并权重、推理部署，以及为什么这件事值得微调。 DPO 和 RLHF 怎么讲得清楚？ RLHF 是奖励模型 + 强化学习的经典链路，DPO 直接用偏好对优化策略，工程上更简单。面试里要结合数据、稳定性和适用场景讲。继续学习大模型技术栈全景：微调、推理与评估怎么学大模型系统设计和编码环节怎么准备

#专题学习#大模型微调与训练面试题大全

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：…ralized Reward-free Policy Optimization。它仍然需要奖励信号，奖励可以来自规则、可验证结果或奖励模型；“不需要单独价值模型/critic”不等于 reward-free。三种方法的核心差别方法数据与反馈更新方式主要组件与边界 PPO 当前/近当前策略 rollout，经规则、环境或 RM 得到奖励用价值函数估计优势，采用 clipped surrogate；RLHF 常另加 reference-policy KL 逻辑上有 p…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：核心区别：反馈信号和训练闭环不同 PPO（经典 RLHF 路线）训练时通常涉及策略模型、冻结参考模型、奖励模型和价值函数/critic；具体实现可以共享部分骨干，但不能简单概括成固定的“三模型” 策略在线采样回答，奖励模型给分，价值函数估计优势，PPO 用裁剪目标更新策略，并通过 KL 约束控制它偏离参考模型的幅度能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练…

#DPO#PPO#RLHF

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：…户群或上下文纳入条件模型，或分层建模。稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定性。 Constitutional AI 不是用规则替代学习，而是用一组原则指导生成批评、修订和偏好监督，模型仍通过监督学习或偏好优化更新。

#RLHF#Reward Model#奖励设计

面试题·RLHF与对齐· 美团

Agent 奖励如何对齐目标并防作弊?

匹配正文：…试和静态检查，工具任务要核验真实副作用与权限，推荐任务要看长期指标和分布外用户。人工审计用于发现验证器没覆盖的捷径。 RLHF中，奖励模型来自偏好数据，也会有长度、措辞和人群偏差。策略过度优化奖励模型时，离线reward上涨不等于真实人类偏好改善，需要独立留出人评与安全评测。DPO直接在偏好对上优化相对概率，是一种偏好优化选项，不是所有RLHF问题的通用替代。我会从可验证终局奖励的最小版本开始，记录每个奖励分量、策略行为和失败类型，再逐步增加shaping。每次变更都在原始…

#奖励工程#RLHF#稀疏奖励

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

匹配正文：…ed goal 的 off-policy RL，不是所有长序列或 RLHF 的通用解法。延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。多目标可用归一化加权、约束优化、词典序…

#奖励塑形#稀疏奖励#多目标优化

面试题·RLHF与对齐· 美团

Agent 工具调用奖励设计

匹配正文：… 复杂任务拆分为子目标，分别设计奖励项保留可解释性，便于调试和迭代常用方法手工设计：基于领域知识设定规则，适合简单明确任务奖励模型学习：从人类反馈或示范数据训练奖励模型（RLHF核心）逆强化学习：从专家轨迹反推奖励函数，适合难以显式定义的场景场景示例：美团外卖智能调度Agent 任务：骑手路径规划，同时优化准时率、骑手负载均衡、用户体验奖励函数设计： R = w₁·R_准时 + w₂·R_负载 + w₃·R_用户满意度 + w₄·R_成本子项设计动机 R_…

#奖励函数设计#强化学习#Agent训练

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…ected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和约束解码影响随机性与格式，不保证事实正确。Contrastive Decoding 比较 expert 与较弱 amateur 模型的 token 分数，抑制两者都容…

#幻觉检测#内容安全#RLHF

面试题·RLHF与对齐· 美团

环境训练 vs 监督学习怎么选?

匹配正文：…置动作白名单、预算、回滚和停止条件，监控任务成功率、长期价值、违规率、分布漂移与策略概率。若称为 RLHF，还要明确反馈由谁标注、奖励模型如何训练以及 KL 约束；否则应准确叫在线 RL、bandit 或环境交互微调。

#环境交互#在线学习#探索与利用

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配正文：…对数概率项，具体步骤是否正确仍需步骤标签、可执行验证或更细粒度奖励。组内归一化能消除同一提示下的共同平移并形成相对基线，但无法抵消奖励模型对某类答案的系统误判，也不能保证奖励和真实质量一致。工程验证比较时要固定基座、提示、生成长度、采样温度、rollout token 预算和奖励器。报告任务准确率、pass@k、独立人工或验证器分数、KL、熵、响应长度、组内奖励方差、显存和每步吞吐。PPO还要看 critic 误差和 explained variance；GRPO要统计零…

#PPO#GRPO#RLHF

面试题·RLHF与对齐· 美团

模拟器与 World Model 的偏差和迁移

匹配正文：…del-free RL 可直接在真实或模拟环境中学习策略而不显式学习动力学；model-based RL 才会学习或使用状态转移与奖励模型进行规划、数据生成或策略训练。优势是能训练多步决策、工具使用、错误恢复和长期目标，并通过可执行环境获得比静态文本更接近结果的反馈。风险包括模拟器与现实分布差异、奖励漏洞、探索成本、安全边界、部分可观测、长程信用分配和环境非平稳。学习 world model 时，预测误差会随 rollout 累积并让策略利用模型缺陷，但增长速度取决于动力学…

#环境模拟训练#世界模型#Model-based RL

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability估计相关项，但具体形式要看算法。reference若在同一次优化中不断追随policy，比较基准也随之移动，KL约束的含义就会改变。 beta控制奖励收益与偏离基线之间的权衡，没有跨模型通用范围。它需要结合实际KL、任务奖励、语言质量、拒答和安全评测调节。KL…

#RLHF#Reference Model#PPO

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…把“答案正确”和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡和FP8混合精度训练。训练时FP8的格式、缩放、累积和通信方案不能直接等价为部署时权重量化；推理还需分别验证权重、激活、KV缓存精度、kernel支持和质量。面试回答应说清论文问题…

#论文阅读#技术追踪#学术敏感度

面试题·项目与经历· 百度

训练数据来源怎么选?

匹配正文：…性、时效性、毒性与偏差、隐私、污染和可学习性展开。事实性应使用权威来源对照、可执行结果、数据库约束或专门核验任务；普通 RLHF 奖励模型学习的是给定偏好数据上的相对偏好，可能偏爱风格、长度或迎合，不应当作通用事实正确性评估器。合成数据要保留生成模型、提示、过滤和人工抽检记录，防止错误自举和分布变窄。落地时为数据集建立 datasheet 或 dataset card，按来源和风险分层抽样，去重后再划分 train、validation、test，避免同源泄漏。发布前运行许…

#数据构建#数据质量#数据合规

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：…O 的关系和边界二者都可对同一问题的多条回答做组内相对基线，通常不需要独立 value critic；奖励可以来自规则、验证器或奖励模型，并不必然来自人类偏好。GSPO 仍需要在线/近在线 rollout、旧策略概率、奖励、KL/clip 等训练控制，也会受组大小、奖励噪声、序列长度和策略陈旧度影响。不能把 GSPO 与 DPO、监督微调或某公司调度案例混写。选型应在相同 rollout、奖励和模型上比较训练稳定性、KL、clip fraction、奖励、人评/验证器质量…

#策略优化#离线强化学习#监督学习结合RL

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：…、重要性校正或价值估计偏差。样本效率、稳定性和更新频率不能脱离算法、奖励与实现给绝对排名。LLM 的生成 rollout 很贵，但奖励模型分布外误差、长序列比率方差和训练系统复杂度也影响选择。 DPO 不应简单叫作 PPO 的普通 off-policy 变体。它在离线偏好对上，用策略与 reference policy 的对数概率差和 beta 构造分类式目标，不需要显式训练奖励模型或在线从当前策略采样。DPO 论文报告其稳定且实现简单，不能笼统断言比 PPO 不稳定。当前对…

#PPO#on-policy#off-policy

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：三者的核心分界方法数据/反馈是否在线采样 critic 主要目标 PPO 轨迹与标量奖励，可来自环境、规则或奖励模型通常是通常需要价值函数 clipped policy gradient，可另加对参考策略的KL控制 GRPO 同一问题的一组在线样本与奖励是不需要独立critic 用组内相对奖励构造优势，再做受约束策略更新 DPO 离线chosen/rejected偏好对否不需要提高chosen相对rejected的参考校正对数概率差 PPO和GRPO不是只…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：…的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量奖励做在线探索，代价是 rollout、奖励推理和价值网络都吃显存与吞吐，且奖励模型偏差可能被策略放大。GRPO由DeepSeekMath引入。它对同一问题从旧策略采样一…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 网易

SFT、偏好优化与 RL 怎么衔接?

匹配正文：核心判断经典后训练更常见的基线是先用示范做 SFT，再收集偏好训练奖励模型或直接做偏好优化，随后用 PPO 等方法更新策略。InstructGPT明确展示了 SFT、奖励模型、PPO 的顺序，并在 PPO 中混入预训练梯度以缓解公开任务回退。它不能证明 SFT 与 RL 必须周期性交替，也不能证明再次 SFT 会自动恢复预训练知识。是否迭代，要由新增失败样本、奖励漂移和独立评测决定。机制与边界 SFT提供可读、可执行的初始行为，也让后续策略采样落在相对合理的区域。偏好学习…

#SFT#RLHF#语言退化

面试题·Agent· 美团

多轮 Agent RL 难在哪?

匹配正文：…问题：真实用户反馈成本高、延迟大、有偏。方案：离线+在线混合：DPO/RLHF离线训练 + 少量在线PPO微调反馈蒸馏：训练奖励模型拟合用户偏好，减少在线交互次数 A/B测试框架：小流量实验，对比不同策略的长期用户留存而非即时奖励 4. 训练稳定性问题：多轮场景下策略更新容易发散，或遗忘基础能力。方案： KL散度约束：限制新策略与SFT模型的偏离程度经验回放（Experience Replay）：混合历史优质对话与新样本定期回滚机制：监控评测集指标，异常时回退到…

#美团#Agent 强化学习#多轮对话 RL