匹配正文：RLHF里要先区分三个模型。policy是正在更新的策略，reward model根据偏好给回答打分，reference model通常是策略优化开始前的SFT模型或一个固定基线。Reference不需要参与梯度更新，它的作用不是提供新答案，而是为当前策略偏离基线的程度提供可计算参照。在PPO式RLHF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability…

#RLHF#Reference Model#PPO

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配正文：核心定位差异维度 RAG RLHF 作用环节推理时提供外部资料，也可训练检索/生成组件后训练时调整策略行为主要目标为回答提供可检索的证据与更新知识学习给定反馈中的帮助性、安全性或风格偏好技术本质信息检索 + 上下文增强策略优化 + 人类偏好对齐 RAG：用外部知识划定"能说什么" 机制：检索相关文档 → 组织上下文 → 生成并检查证据支持；提示不是硬解码约束。优势：可追溯资料并更新知识库；简单实现可复用现有模型而不重新训练，检索器/生成器也可以按任务训练。…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：应用岗不一定天天训练模型，但一定会被问到什么时候该微调、和 RAG / Prompt 怎么取舍、LoRA 怎么做、DPO 和 RLHF 有什么区别。这一页把微调、训练、对齐三类题连成一条线。配套教程要不要做微调 / Post-Train 项目，轻量版怎么做 Deep Research 第 6 章：训练数据与多阶段训练知识模块轻量微调、LoRA 与应用场景轻量微调、LoRA 与应用场景训练流程、数据与稳定性训练流程、数据与稳定性 RLHF、DPO 与偏好对齐 RL…

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#专题学习#大模型微调与训练面试题大全

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：… 当前/近当前策略 rollout，经规则、环境或 RM 得到奖励用价值函数估计优势，采用 clipped surrogate；RLHF 常另加 reference-policy KL 逻辑上有 policy、reference、reward、value 等角色，但不要求四个独立骨干 DPO 固定的 (prompt, chosen, rejected) 偏好对直接优化策略相对 reference policy 的偏好概率无独立 RM、critic 和在线 rollout…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：核心区别：反馈信号和训练闭环不同 PPO（经典 RLHF 路线）训练时通常涉及策略模型、冻结参考模型、奖励模型和价值函数/critic；具体实现可以共享部分骨干，但不能简单概括成固定的“三模型” 策略在线采样回答，奖励模型给分，价值函数估计优势，PPO 用裁剪目标更新策略，并通过 KL 约束控制它偏离参考模型的幅度能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练…

RLHF 中 Reference Model 不训练?

RAG vs RLHF 幻觉治理

大模型微调与训练面试题大全

PPO vs DPO vs GRPO 怎么选?

DPO vs PPO 怎么选?

Reward 函数设计关键因素?

长周期 Agent 如何建模与规划?

奖励函数设计与投机陷阱

长视野任务的信用分配与 Option

Agent 奖励如何对齐目标并防作弊?

长视界任务怎么结合环境训练?

稀疏与延迟奖励的塑形与权衡

RL 训练环境与 Sim2Real

Agent 工具调用奖励设计

LLM 幻觉与安全风险怎么缓解?

环境训练 vs 监督学习怎么选?

PPO vs GRPO 怎么选?

GSPO 与 SFT、PPO、GRPO 区别

环境训练方法怎么选?

模拟器与 World Model 的偏差和迁移

Environment-based 训练怎么用?

GSPO 序列级比率与裁剪

Reward Model 训练流程详解

TRL Agent 组件交互机制