匹配正文：RLHF里要先区分三个模型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配正文：…RM 或运行 PPO，但它并非没有参考策略与 KL 关系。DPO 目标比较 chosen/rejected 在 policy 与 reference policy 下的对数概率差，beta 控制相对参考策略的偏离强度。无论 RM、PPO 还是 DPO，都要用独立偏好、事实、安全和分布外切片评估，检查长度偏好、标注噪声和 reward overoptimization。图解 Reward Model 训练流程详解图解

#奖励模型#RLHF#偏好学习

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：…制谁。这个「比平均好多少」就叫优势(advantage)。它最妙的地方:不需要像 PPO 那样单独训一个价值网络(value model)去估计基准,直接用这组答案的平均分当基准。减少critic的参数、状态和计算开销；总显存仍依policy/reference/reward、rollout、激活、分片和实现，不能固定说省一半。下面这段零依赖代码,演示 GRPO 怎么算优势。新建 grpo_advantage_demo.py: # 零依赖,直接 python grpo_…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agent#Deep Research#项目实战

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…序翻转、低方差组和硬失败处理。不能边训练边无痕修改 reward。否则策略变化与评分规则变化混在一起，组内优势日志失去可比性。 Reference Policy 和 KL 在守什么边界？组内正优势会提高某些候选的概率，但更新不能无限放大。策略比率与 clip 限制一次更新偏离旧策略过多，KL 相关约束则帮助模型不要远离参考分布。对于 Agent，这个边界很重要。Reward 有漏洞时，过大的策略移动可能迅速放大某种捷径，例如固定输出短答案或滥用某个工具。 KL 也不是…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配正文：自动评测按证据类型分类 reference-based：BLEU、ROUGE、BERTScore 等将输出与参考答案比较，适合翻译、摘要或有参考文本的任务，但会受参考覆盖和表述多样性限制。 reference-free：perplexity、质量/安全分类器、groundedness 检查或某些 reward model 可不依赖标准答案，但依赖模型假设、训练域和校准。 execution-based：代码单元测试、SQL 执行、工具或规则验证直接检查可执行结果，信号清晰但覆…

#BLEU#ROUGE#BERTScore

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：…FT 教会目标行为，偏好优化可改善帮助性与安全性。DPO 直接用 chosen/rejected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和约束解码影响随机性与格式，不保证事实正确。Contrastive Decodin…

#幻觉检测#内容安全#RLHF

面试题·RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

匹配口述回答：…ory 要保留 action 与 observation 边界、哪些 token 由 policy 生成、旧策略 logprob、reference logprob、reward 和终止原因。reward_model 或 reward function 可根据最终答案、引用支持、工具格式、调用成本和安全约束打分；value_model 提供每个生成位置的价值估计，用 return 或 GAE 得到 advantage；PPOTrainer 再组织裁剪更新与日志。ref_mod…

#TRL#PPO#Agent

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配口述回答：… clipped objective 更新策略。很多 RLHF 实现还会增加相对参考模型的 KL 惩罚。逻辑上常见 policy、reference、reward 和 value 四种角色，但它们可以共享骨干或用不同部署方式，不能说 PPO 永远是四个完全独立模型，也不能保证“复杂但非常稳定”。它会对奖励尺度、价值估计、KL 和 rollout 分布敏感。 DPO 使用固定的偏好对：同一个 prompt 下有 chosen 和 rejected。它不训练独立奖励模型，不需要 …

#RLHF#PPO#DPO