匹配标题与标签：…io 与 sequence-level clipping RLHF与对齐策略优化离线强化学习监督学习结合RL 训练稳定性大模型对齐 2026真题 GSPO 序列级比率与裁剪 Group Sequence Policy Optimization GSPO 公式 GSPO vs GRPO 强化学习与RLHF 美团

#策略优化#离线强化学习#监督学习结合RL

面试题·RLHF与对齐· 网易

On-policy、Off-policy 与 DPO 怎么选?

匹配题目：在大模型对齐中，PPO 等 on-policy/近 on-policy 方法与 off-policy 强化学习或离线偏好优化各有什么取舍？请从样本复用、分布校正、训练稳定性和更新频率进行比较，并说明为什么不存在脱离数据、奖励与计算条件的“on-policy 必然主流”结论。

#PPO#on-policy#off-policy

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配题目：请解释PPO、GRPO和DPO这三种策略优化方法的基本原理，并比较它们在强化学习与大模型对齐训练中的异同与适用场景。

#RLHF#PPO#DPO

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配题目：请比较PPO、GRPO和DPO这三种策略优化方法，在强化学习与语言模型对齐中的原理、实现方式及优缺点上的主要区别。

#RLHF#PPO#DPO

面试题·RLHF与对齐· 美团

匹配正文：…上下文 bandit 每轮根据上下文选动作并观察即时回报，通常没有跨多步状态转移。RLHF则特指把人类反馈或偏好形成奖励信号并用于模型对齐，不是任何在线环境微调的别名。静态数据训练出的策略是否能上线，取决于历史数据覆盖、策略偏离程度、环境变化和安全控制，不能预设必然失败。相反，在线策略也可能因探索、非平稳用户分布或奖励代理错误而退化。业务里还常见混合路线：先用示范做 SFT 或行为克隆，再用离线评估筛策略，在受控沙箱或小流量中做 bandit 或 RL 更新。若动作只影响当…

#环境交互#在线学习#探索与利用

面试题·模型训练· 字节

KL散度本质与非对称性怎么用?

匹配口述回答：…师的非最大类别概率会暴露更多相似性信息；但还要说明温度缩放和硬标签损失的权重，不能只说“用了 KL 就完成蒸馏”。在强化学习和大模型对齐里，KL 常用于限制新策略不要偏离旧策略或参考模型。不过具体方向并不统一：有的目标在当前策略采样下估计 log πθ 减 log πref，有的 PPO 实现监控旧策略与新策略的近似 KL。还要区分逐 token 惩罚、序列级汇总和精确计算或采样估计。回答时应先锁定算法与代码版本，再写方向。最后，JS 散度提供对称且有界的替代，但不代表总…

#KL散度#信息论#变分推断

面试题·Prompt· 阿里

Prompt 系统设计原则与技巧

匹配口述回答：…prompt设计看成持续的调试过程，不是一锤子买卖。核心是理解模型能力和任务特点，动态调整。一句话定位：prompt设计本质是跟模型对齐意图核心原则：清晰性、具体性、上下文完整性关键技巧：few-shot和chain-of-thought的适用边界业务落地：客服退款场景中的prompt设计风险与取舍：动态组装与评测闭环约4分钟 RAG场景下prompt设计要区分系统指令和用户指令，并关注Faithfulness评估面试官可能会追问：如何判断模型是否忠实于资料？有…

#阿里#Prompt工程#Agent

面试题·RAG· 字节

RAG 二次生成怎么提升安全性?

匹配口述回答：…提：模型得先准确识别出敏感内容。如果检索质量很差，把正常内容误判成敏感，或者漏掉了真的敏感内容，那这层过滤就形同虚设。所以单纯依赖模型对齐是不够的，还得配合规则拦截和人工审核。再一个就是事实一致性校验。多源检索片段之间常有矛盾，比如医疗问答里，A文档说“药物X每日最大剂量200mg”，B文档说“300mg”。大模型可以交叉验证，识别出冲突，然后保守输出，比如“建议遵医嘱，常见剂量范围为200-300mg”。这比直接选一个答案要安全得多。但这里有个大坑：模型可能“自信地”篡改…

#抖音#RAG输出安全#RAG 二次生成

PPO vs DPO vs GRPO 怎么选?

DPO vs PPO 怎么选?

大模型面临哪些核心挑战?

LLM 准确性提升四大路径

LLM 幻觉与安全风险怎么缓解?

PPO vs GRPO 怎么选?

幻觉一致性延迟诊断

GSPO 序列级比率与裁剪