RLHF与对齐学习专题

RLHF与对齐学习资料：面试题。从实际问题进入，按自己的基础选择需要的内容。

共 27 条内容

按专题浏览 →当前分类：专题：RLHF与对齐清除分类条件

面试题RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

三种RLHF优化算法核心思想、适用场景及对齐区别

#RLHF#PPO#DPO

面试题RLHF与对齐· 阿里

DPO vs PPO 怎么选?

大模型对齐中两种 RLHF 方法在原理、稳定性、效果上的对比

#DPO#PPO#RLHF

面试题RLHF与对齐· 美团

Reward 函数设计关键因素?

RLHF 中奖励稀疏性、信号延迟与多目标平衡怎么处理

#RLHF#Reward Model#奖励设计

面试题RLHF与对齐· 美团

长周期 Agent 如何建模与规划?

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

用 MDP/POMDP、分层策略、世界模型与执行后重规划组织长期目标

#长周期任务#分层强化学习#稀疏奖励

面试题RLHF与对齐· 美团

奖励函数设计与投机陷阱

强化学习/Agent 奖励函数的通用原则、目标和陷阱

#奖励塑形#稀疏奖励#奖励黑客

面试题RLHF与对齐· 美团

长视野任务的信用分配与 Option

从稀疏奖励与信用分配出发，说明分层强化学习、Option 与过程奖励的适用边界

#分层强化学习#选项机制#过程奖励建模

面试题RLHF与对齐· 美团

Agent 奖励如何对齐目标并防作弊?

从真实目标、硬约束、独立验证到 Reward Hacking 防护

#奖励工程#RLHF#稀疏奖励

面试题RLHF与对齐· 美团

长视界任务怎么结合环境训练?

环境强化学习中的分层策略、课程学习、奖励塑形与记忆机制

#分层强化学习#课程学习#奖励塑形

面试题RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

比较终局与过程信号、Potential-based Shaping 和多目标约束

#奖励塑形#稀疏奖励#多目标优化

面试题RLHF与对齐· 美团

RL 训练环境与 Sim2Real

RL 环境的状态动作、奖励、扩展性与 Sim2Real

#强化学习#训练环境#Sim2Real

面试题RLHF与对齐· 美团

Agent 工具调用奖励设计

工具调用 Agent 的结果奖励、过程奖励、约束与防投机

#奖励函数设计#强化学习#Agent训练

面试题RLHF与对齐· 美团

环境训练 vs 监督学习怎么选?

强化学习中环境交互训练与传统监督学习的核心区别与应用场景

#环境交互#在线学习#探索与利用

面试题RLHF与对齐· 字节

PPO vs GRPO 怎么选?

大模型对齐中目标函数与优势估计的差异对比

#PPO#GRPO#RLHF

面试题RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

Group Sequence Policy Optimization 的算法定位、论文结论与适用边界

#GSPO#策略优化#离线强化学习

面试题RLHF与对齐· 美团

环境训练方法怎么选?

强化学习与 Agent 中交互采样、课程学习、模拟器回放和环境随机化

#环境交互采样#课程学习#域随机化

面试题RLHF与对齐· 美团

模拟器与 World Model 的偏差和迁移

评估环境保真、误差累积与 Sim-to-Real，并设计校准和回退

#环境模拟训练#世界模型#Model-based RL

面试题RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

Reference Model 在 RLHF 中的角色与更新场景详解

#RLHF#Reference Model#PPO

面试题RLHF与对齐· 美团

Environment-based 训练怎么用?

强化学习与 Agent 中模拟环境、静态数据和真实交互的取舍

#环境交互训练#在线学习#模拟器训练

面试题RLHF与对齐· 美团

GSPO 序列级比率与裁剪

同 prompt 组内优势、长度归一化 ratio 与 sequence-level clipping

#策略优化#离线强化学习#监督学习结合RL

面试题RLHF与对齐· 网易

Reward Model 训练流程详解

输入数据、标签构造、损失函数设计及RLHF中奖励信号来源

#奖励模型#RLHF#偏好学习

面试题RLHF与对齐· 阶跃星辰

TRL Agent 组件交互机制

PPOTrainer、model、ref_model、reward_model 在 RLHF 中的角色与交互

#TRL#PPO#Agent

面试题RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

比较样本复用、分布校正与在线 rollout，并区分 DPO 离线偏好优化

#PPO#on-policy#off-policy

面试题RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

三种策略优化方法原理对比,RLHF 对齐场景适用性分析

#RLHF#PPO#DPO

面试题RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

RLHF 中三种策略优化方法的原理、实现与优缺点对比

#RLHF#PPO#DPO