匹配正文：…ence-policy KL 逻辑上有 policy、reference、reward、value 等角色，但不要求四个独立骨干 DPO 固定的 (prompt, chosen, rejected) 偏好对直接优化策略相对 reference policy 的偏好概率无独立 RM、critic 和在线 rollout；依赖偏好对覆盖与质量 GRPO 每个 prompt 从当前/旧策略采样一组回答并逐个打分用组内奖励的相对值构造 advantage，再做 clipped …

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配正文：…略，并通过 KL 约束控制它偏离参考模型的幅度能直接优化标量奖励或可程序化验证的反馈，但采样与多组件协同让成本和调参难度都更高 DPO（直接偏好优化）使用成对偏好数据 chosen/rejected，训练一个策略模型，并读取冻结参考模型的对数概率；不需要单独训练奖励模型，也不需要价值函数和在线 rollout 通过 Bradley-Terry 偏好模型与 KL 正则化 RL 目标的重参数化，把偏好学习写成一个二元分类形式的损失工程链路更接近监督微调，但它对神经网络参数的…

#DPO#PPO#RLHF

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配正文：…法、奖励与实现给绝对排名。LLM 的生成 rollout 很贵，但奖励模型分布外误差、长序列比率方差和训练系统复杂度也影响选择。 DPO 不应简单叫作 PPO 的普通 off-policy 变体。它在离线偏好对上，用策略与 reference policy 的对数概率差和 beta 构造分类式目标，不需要显式训练奖励模型或在线从当前策略采样。DPO 论文报告其稳定且实现简单，不能笼统断言比 PPO 不稳定。当前对齐实践同时存在离线 SFT/DPO 与在线 PPO、GRPO、G…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#PPO#on-policy#off-policy

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：…考策略的KL控制 GRPO 同一问题的一组在线样本与奖励是不需要独立critic 用组内相对奖励构造优势，再做受约束策略更新 DPO 离线chosen/rejected偏好对否不需要提高chosen相对rejected的参考校正对数概率差 PPO和GRPO不是只能“从人类偏好学习”，奖励也可程序化验证。PPO是否有独立奖励模型、各角色是否共享骨干，取决于反馈来源和实现；固定“四模型”不是算法定义。 DPO利用Bradley-Terry式偏好模型和KL正则化RL目标的…

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：核心判断 PPO、GRPO和DPO都能用于语言模型后训练，但数据闭环不同。PPO用当前策略采样，再依据奖励与价值估计更新；GRPO同样依赖在线或近在线采样，却用同一提示下的一组回答构造相对优势，省去独立价值模型；DPO直接消费偏好对，在参考策略约束下优化胜负回答的相对对数概率，训练阶段不需要单独拟合奖励模型或从当前模型做 rollout。机制与边界 PPO的核心是 clipped surrogate objective，通常还配价值函数、GAE、KL惩罚和熵项。它能利用标量…

#RLHF#PPO#DPO

项目实战·强化学习

RL 强化学习图解

匹配正文：PPO / DPO / GRPO 概念图解 + 损失函数 + 训练练习 + 事实自检本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。 PPO / DPO / GRPO 不止背概念——从损失推导到待验证训练练习强化学习对齐是大模型训练岗的核心考点。面试官最烦的是「只会背 PPO/DPO 是什么」；他想要的是你能讲清损失函数怎么来、训练怎么跑、三者怎么选。这部分计划分别拆解 PPO、DPO、GRPO：概念图解、损失推导、…

#项目实战#RL 强化学习图解

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：应用岗不一定天天训练模型，但一定会被问到什么时候该微调、和 RAG / Prompt 怎么取舍、LoRA 怎么做、DPO 和 RLHF 有什么区别。这一页把微调、训练、对齐三类题连成一条线。配套教程要不要做微调 / Post-Train 项目，轻量版怎么做 Deep Research 第 6 章：训练数据与多阶段训练知识模块轻量微调、LoRA 与应用场景轻量微调、LoRA 与应用场景训练流程、数据与稳定性训练流程、数据与稳定性 RLHF、DPO 与偏好对齐 RL…

#专题学习#大模型微调与训练面试题大全

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：… 的有 127 道，百度、美团、快手、字节问得最多。这 127 道里，有 78 道在问同一件事：拿 GRPO 和 PPO 或者 DPO 比。剩下的问法也很集中，损失函数和优势怎么算的 47 道，KL 约束 11 道，全对全错和训练崩溃 9 道。有些题一道里问了两样。你简历上要是有这么一行，这些题基本都会落到你头上：售后操作智能体 Agentic RL 后训练｜GRPO 后训练：K=4 组内优势 + 崩塌熔断，任务成功率 8% → 93%（pass@1，reward ≥…

#Agentic RL#GRPO#PPO

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配题目：…其支持的数据构造方式、训练数据格式要求（如instruction、input、output字段定义），以及这些格式如何适配SFT或DPO训练任务。

#LlamaFactory#数据格式#SFT

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…Act或Toolformer范式奖励机制需组合结果奖励、过程奖励和格式惩罚，解决稀疏奖励问题训练框架选择需权衡PPO的稳定性与DPO的简洁性评估需建立自动指标+人工评估+在线A/B测试的闭环迭代优化强调数据飞轮和失败案例挖掘以工具调用Agent为例，完整训练链路如下： 1. 数据收集种子数据：人工标注的(tool, query, trajectory)三元组，覆盖单步/多步调用合成数据：用强模型（GPT-4）生成候选轨迹，经规则过滤+人工校验关键：确保工具描述…

#美团#Agent#Agent 训练链路

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…发岗核心产出更好的模型、训练策略、评估方法可上线的大模型应用、RAG/Agent 系统、业务流程自动化日常关键词 SFT、DPO、RLHF/GRPO、数据配比、loss、benchmark API、RAG、Agent、工具调用、检索、评估、延迟、成本面试重点数学基础、论文理解、训练细节、实验设计项目深挖、系统设计、工程取舍、真题口述简历筛选硕博、论文、竞赛、模型训练经历加分明显工程经验、项目深度、上线能力、业务理解更重要典型候选人算法/机器学习/科研背…

#求职#职业转型

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…RA/SFT 模型语气、格式、工具调用不稳定数据怎么构造,为什么不用 Prompt 解决偏好数据两个答案哪个更好标注规范、DPO/RLHF/GRPO 基本理解评估体系模型改了到底有没有变好指标、评估集、人工复核、线上反馈失败样例分析为什么新模型某些场景退化数据覆盖、过拟合、灾难性遗忘研究生和算法背景更容易切这个方向。后端同学也能靠应用项目逐步靠近,但不建议一开始就把自己包装成微调专家。先讲清 RAG/Agent 场景,再说明你理解什么时候需要微调,会更可…

#求职#职业转型

求职指南·求职

研一/研二转大模型应用开发:三年怎么规划、来得及吗

匹配正文：…gChain 搭建问答系统像教程复刻针对制度类问答 badcase,调整切块和混合检索策略,提升召回质量并记录错误分类了解 DPO 和 SFT 只写概念构造多模态问答偏好样本,比较 SFT 与 DPO 在格式遵循和答案质量上的差异写完简历后,按简历项目追问模板逐条问自己:“这个指标怎么来的? 为什么不用另一种方案? 如果数据规模扩大 10 倍怎么办? 如果用户问了权限外内容怎么办?”答不上来的地方,就是项目要补的地方。研究生要不要冲算法岗可以冲,但要诚实评估筹码…

#求职#职业转型

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…理、评估章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法/研究生线则往下沉…

#求职#职业转型

求职指南·求职

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：…计评估、能拿出实验证据说明收益和代价研究生算法向(想进模型团队) 高在应用算法基础上再往 Post-Train 深水区走一点:DPO/GRPO、对齐、训练数据设计,最好有一段相关实习或课题平台 / 推理工程岗低重点在服务化、推理优化,微调只需知道产物怎么部署,不必自己训读这张表的关键:如果你是奔着 RAG/Agent 应用开发去的,微调是选修不是必修;真正非做不可的是应用算法和研究生算法向。别看别人简历上有微调就焦虑,先看你们投的是不是同一类岗。何时该微调,何时…

#求职#职业转型

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…轮让模型自主调工具完成多步任务后端逻辑强的人对口,练 Agent 项目偏算法的应用算法 SFT、LoRA、数据配比、评估集、DPO、微调用微调和评估把模型效果调上去更接近算法岗,先看应用岗 vs 算法岗再决定碰不碰分辨方法很简单:看 JD 正文里出现密度最高的词属于哪一列。如果通篇是检索、知识库、召回,那是 RAG 岗,别花大力气准备微调;如果通篇是工具调用、编排、多轮,那是 Agent 岗,重点练 tool 设计和失败兜底;如果满屏 SFT、数据、评估,那是…

#求职#职业转型

面试题·RLHF与对齐· 美团

Agent 奖励如何对齐目标并防作弊?

匹配正文：…数据，也会有长度、措辞和人群偏差。策略过度优化奖励模型时，离线reward上涨不等于真实人类偏好改善，需要独立留出人评与安全评测。DPO直接在偏好对上优化相对概率，是一种偏好优化选项，不是所有RLHF问题的通用替代。我会从可验证终局奖励的最小版本开始，记录每个奖励分量、策略行为和失败类型，再逐步增加shaping。每次变更都在原始环境、隐藏测试和未见初始状态上评测。若奖励变高但真实成功率不升，就停止并回查捷径。好的奖励不是项越多越好，而是目标、证据和约束一致。

#奖励工程#RLHF#稀疏奖励

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…不大、门槛偏高,偏算法/研究生侧选修。面试官考它主要看两点:你分不分得清"该 RAG 还是该微调",以及懂不懂 SFT/LoRA/DPO 的基本取舍,而不是要你现场推公式。维度内容面试官在验证什么你能否判断微调 vs RAG 的适用边界、理解 SFT/LoRA/DPO 各解决什么、数据怎么准备先看哪个模型微调题库系统过一遍(应用线以理解为主) 代表题型 "什么时候微调什么时候 RAG""LoRA 原理和好处""SFT 和 DPO 区别""微调数据怎么造" 项目里…

#求职#职业转型

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：… 偏好优化主要学习回答之间的相对偏好，可以改善帮助性、风格或拒答边界，但偏好标注若没有核验事实，不能自动提高事实准确率。RLHF和DPO的数据闭环不同，也没有无条件胜负。需要同时报告偏好胜率、事实指标、长度偏差和安全行为。推理侧的CoT或多采样可帮助某些组合推理任务，也会生成看似合理的错误步骤。自一致性只说明多个采样同意，不等于事实正确。解码参数、验证器和工具执行应按任务选择，代码用测试，数学用可检查计算，不能靠一条统一prompt解决。外部增强方面，RAG能把回答连接到…

#数据质量#训练策略#推理优化

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配正文：…标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过程监督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 PPO 更不稳定。图解 SFT vs 预训练:核心区别在哪?图解

#监督微调#预训练对比#复读机问题

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配正文：幻觉与安全需要分层治理数据与后训练：做来源、许可、重复、隐私和有害内容治理；SFT 教会目标行为，偏好优化可改善帮助性与安全性。DPO 直接用 chosen/rejected 偏好对优化 policy 相对 reference 的概率，不训练独立 reward model，不能说“把偏好编码进奖励模型”。系统与证据：对知识密集或时效任务使用检索、数据库和工具，并要求引用可回溯；对不可信文档做提示注入隔离，工具使用最小权限、参数校验和审计。解码与模型：温度、top-p 和…

#幻觉检测#内容安全#RLHF

面试题·模型训练· 字节

SFT 复读机问题怎么解?

匹配正文：…复现。处理顺序应是先在固定提示和固定随机种子下定位故障，再分别做数据去重、checkpoint对比和解码消融，确认问题来自哪里。 DPO通常建立在已完成SFT的策略上，用偏好对拉开优选与拒选回答的相对概率。它可以在偏好数据明确标注重复问题时帮助调整行为，但不是绕开MLE的通用替代，也不能修复错误EOS、严重数据污染或推理代码缺陷。偏好样本若只奖励短答案，还可能带来新的长度偏差。我的验收会保留一组未参与调参的提示，按任务和长度分桶，对比重复率、完成率、事实质量与人工偏好，并监…

#监督微调#复读机问题#训练数据

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…或目标分布变化而重新定义baseline。但这是版本级决策，要重新建立对照、评测回归和可追溯配置，不是在一个run中无条件更新。 DPO同样常使用固定reference策略来构造相对偏好目标，它不需要在线rollout，但reference的选择仍会影响优化。PPO里的old policy还用于重要性比率，它与长期固定的reference职责也不同，回答时不能把二者合并。工程上我会保存policy、reward、reference各自的版本与hash，记录每批prompt的…

#RLHF#Reference Model#PPO

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…long2short不是单一蒸馏流程，论文列出model merging、shortest rejection sampling、DPO和long2short RL等多种路径。启发是把“答案正确”和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡…

#论文阅读#技术追踪#学术敏感度