匹配正文：PPO / DPO / GRPO 概念图解 + 损失函数 + 训练练习 + 事实自检本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。 PPO / DPO / GRPO 不止背概念——从损失推导到待验证训练练习强化学习对齐是大模型训练岗的核心考点。面试官最烦的是「只会背 PPO/DPO 是什么」；他想要的是你能讲清损失函数怎么来、训练怎么跑、三者怎么选。这部分计划分别拆解 PPO、DPO、GRPO：概念图解、损失推导、…

#项目实战#RL 强化学习图解

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

面试题·模型训练· 商汤科技

Focal Loss 公式与作用机制

匹配标题与标签：…oss 公式与作用机制类别不平衡场景下 Focal Loss 如何调节难易样本权重模型训练 Focal Loss 类别不平衡损失函数设计难例挖掘目标检测 2026真题 Focal Loss 公式 Focal Loss 作用机制大模型训练与微调商汤科技

#Focal Loss#类别不平衡#损失函数设计

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配标题与标签：训练曲线异常怎么排查？ Loss/梯度范数震荡、上升、过早饱和的原因与应对模型训练训练监控学习率调度梯度裁剪损失函数分析训练稳定性 2026真题训练曲线分析 Loss震荡梯度范数异常大模型训练与微调美团

#训练监控#学习率调度#梯度裁剪

面试题·模型训练· 字节

MSE vs 交叉熵损失怎么选?

匹配题目：均方误差（MSE）与交叉熵损失函数在数学定义、适用任务和梯度特性上有何本质区别？为什么在大语言模型的预训练和微调中普遍采用交叉熵而非MSE作为损失函数？

#损失函数#交叉熵#MSE

面试题·模型训练· 字节

MSE vs Focal Loss 分类怎么选?

匹配标题与标签：…vs Focal Loss 分类怎么选? MSE 不推荐原因,Focal Loss 的 γ 和 α 如何缓解类别不平衡模型训练损失函数类别不平衡 Focal Loss 分类任务样本权重 2026真题 MSE 分类损失 Focal Loss 类别不平衡 Focal Loss γ α 参数大模型训练与微调字节

#损失函数#类别不平衡#Focal Loss

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配题目：请详细阐述奖励模型（Reward Model）的训练流程，包括输入数据的形式、标签如何构造、损失函数的设计，并解释奖励信号在强化学习中（如RLHF）的来源及其标注机制。

#奖励模型#RLHF#偏好学习

面试题·模型架构· 百度

VQ-VAE 损失与码本更新

匹配标题与标签：…模型架构 VQ-VAE 向量量化离散表示学习生成模型变分自编码器 2026真题 VQ-VAE 损失与码本更新 VQ-VAE 损失函数如何训练码本 VQ-VAE 原理向量量化变分自编码器大模型架构与原理百度

#VQ-VAE#向量量化#离散表示学习

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…手、字节问得最多。这 127 道里，有 78 道在问同一件事：拿 GRPO 和 PPO 或者 DPO 比。剩下的问法也很集中，损失函数和优势怎么算的 47 道，KL 约束 11 道，全对全错和训练崩溃 9 道。有些题一道里问了两样。你简历上要是有这么一行，这些题基本都会落到你头上：售后操作智能体 Agentic RL 后训练｜GRPO 后训练：K=4 组内优势 + 崩塌熔断，任务成功率 8% → 93%（pass@1，reward ≥ 0.9）我看下来，大家的问题出…

#Agentic RL#GRPO#PPO

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…图铺全。常见问题大模型应用开发到底要不要懂深度学习原理? 不用系统学。应用开发日常用到的是上面那张清单里的工程概念,反向传播、损失函数这些原理知道个大概即可,不必推公式。真要往应用算法走再补,判断标准见应用开发和应用算法怎么选。这些概念大概要多久能补到能面试? 在校生系统过一遍加动手,约 3-4 周;有后端经验的人挑着补 RAG/Agent/评估,约 2 周。这是经验值,关键不在天数,而在有没有真动手搭过一个系统,让概念从定义变成直觉。概念背下来了,面试还是答不深怎么…

#求职#职业转型

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…很少:够用的是几个直觉——向量相似度、概率和期望、评估指标含义、梯度大致往哪个方向调。你不需要会手推反向传播、手推注意力公式或证明损失函数收敛。把原本准备啃理论的时间拿去做一个能讲透的项目,回报高得多。想走应用算法或训练侧的人另说,那条路数学门槛确实更高。作者:吴师兄 | 适合:担心"数学不好转不了 AI"的转行者,尤其研一/研二和工作约 3 年的 Java/后端 | 前置:能看懂中学数学和基本编程数学不好,到底能不能转大模型应用先给结论:能,应用开发岗对数学的要求被严…

#求职#职业转型

面试题·Agent

轨迹里工具返回为什么不能参与 Loss，Observation Mask 做错会怎样？

匹配正文：…okenize 后，复制 input ids 为 labels，再把不参与监督的位置设为训练框架约定的 ignore index。损失函数跳过这些位置，输入序列仍保持完整。若误用 attention mask，模型可能看不到工具结果；若只在原始字符串上删除 observation，消息结构与位置也会改变。两种做法都改变了真实推理条件。为什么必须在 Chat Template 之后确定 token 边界？原始数据里的消息边界不一定等于最终 token 边界。目标模型的 …

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·模型训练· 网易

SFT 后置信度下降原因

匹配题目：在进行监督微调（SFT）前后，分类模型的预测概率分布从高度集中变为更加均匀（即置信度下降），这可能由哪些因素引起？请从数据分布、损失函数和过拟合等角度分析。

#模型校准#温度缩放#标签平滑

面试题·文档处理· 京东

RAG 分块策略选型

匹配正文：…小应同时匹配Embedding输入限制、LLM上下文预算和业务评测结果。学习建议建议掌握大模型训练基础，深入理解推理路径建模与损失函数的关系，结合CoT论文实践分析。

#京东#RAG 分块策略选型#RAG 文本分块策略怎么选？完整性与检索精度权衡

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…调，建立基础对话能力 Reward Model：输入(prompt, response)输出标量分数，常用架构在最后一层加回归头损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：不同用户群体/场景维护独立低秩矩阵三、评估体系维度指标方法偏好对齐…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：…r 要学习的是当前业务对“相关”的定义，训练候选必须接近线上召回器实际产生的分布。正负比例、难负样本占比和一致性阈值都需要按任务与损失函数调优，不存在通用的 1:3、30% 或 Kappa 0.6 门槛。 1. 先定义标签明确直接支持答案、部分支持、仅主题相关和不相关的边界，并规定时效性、权限、来源质量和冲突证据如何标注。多证据问题可以使用分级相关性或列表式标签；若最终训练采用二分类，再说明如何映射。用双人标注、仲裁和抽样复审估计一致性；目标值应结合任务难度和误标成本设…

#美团#重排与优化#Reranker 训练数据

面试题·RAG· OPPO

召回模型怎么搭建?

匹配正文：…P双塔，结构简单、推理快进阶版：User侧加Transformer建模行为序列，Item侧保持轻量（物料更新频繁，需快速推理）损失函数：Sampled Softmax或Cosine + Margin Loss，配合温度系数τ调节分布锐度 3. 负采样策略 1. Batch内负采样：实现简单，但分布有偏（热门item过度采样） 2. 全局负采样：从全库采样，需配合logQ修正 3. Hard Negative Mining：线上召回TopK但未点击的样本加入训练 4. 混合…

#Tiktok#负采样与向量索引#召回模型搭建

面经·项目面试

工具返回要读，却不该替模型领训练信号：Agent 的 Mask 怎么接？

匹配正文：…参与位置各有自己的字段，不需要靠删除工具内容来实现过滤。训练器计算优势时读取这份响应 Mask；策略损失入口也读取它，再传给具体损失函数。当前默认策略损失最终按它聚合逐位置的损失项。因此，这份标记参与了实际训练计算，并非只写进轨迹供人查看。排查自己的项目时，也要走到消费端。有的实现可能保存了一份看起来正确的 Mask，后面却换成另一份按长度生成的有效位。工具位置在有效位里是一，如果用错字段，先前做过的来源区分就失效了。这类问题用字段形状很难发现。两份数组都可以和响应一样…

#Agent#强化学习#工具调用

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配口述回答：…通过预计算概率降低开销。这里必须讲清楚：DPO 的目标形式更简单、经验上通常更好训，但对神经网络参数的优化仍然是非凸的，不能说它的损失函数是凸优化。工程复杂度上，DPO 更接近 SFT，容易复用现有训练链路；PPO 还要处理 rollout 服务、奖励尺度、优势估计、KL 系数和多模型资源。稳定性上，PPO 容易遇到 reward hacking、奖励飙升但人工质量下降、价值函数估计不准等问题；DPO 也不是没有坑，它会受 beta、偏好噪声、回答长度、参考模型选择和过拟合…

#DPO#PPO#RLHF

面试题·模型训练· 网易

SFT 置信度下降影响

匹配追问：…调后输出概率变得均匀，高低分不清了。你觉得可能是什么原因？层层追问 SFT后模型预测概率变平，你遇到过吗？……这背后跟数据分布、损失函数有什么关系？……如果标签里有很多‘软’的标注，会怎么影响输出？直球架构 SFT后分类模型置信度降低，概率分布从尖锐变均匀。请从技术原理角度分析可能的原因，以及这种变化对模型部署有什么正面和负面影响。

#模型校准#标签平滑#温度缩放

面试题·模型架构· 小红书

主流图像生成模型有哪些?

匹配口述回答：…公开材料描述输入能力、输出控制和安全策略，但如果没有论文或技术报告，就不能替它们指定U-Net、Transformer、训练数据或损失函数。面试时我会明确说“公开信息不足”，这比编一个看似具体的架构更专业。最后做选型时，我会比较目标质量、可控性、单请求延迟、吞吐、训练稳定性、数据许可和部署条件。很多系统还会混合autoencoder、diffusion、Transformer或对抗损失，所以分类要说主要生成过程和组件角色，而不是看到一个VAE就给整套系统贴VAE标签。很多…

#扩散模型#自回归模型#图像生成

面试题·评估· 哔哩哔哩

粗排模型评估指标与离线在线方法

匹配口述回答：…训练时用pointwise还是pairwise损失，以及带来的偏差校正问题面试官可能会追问粗排模型训练的具体方法，比如样本构造、损失函数选择、如何避免选择偏差等

#哔哩哔哩#评估与监控#粗排模型评估