面试题 · 大模型训练与微调
搜索「LLM 评测」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
请写出Focal Loss的数学公式，并解释它在处理类别不平衡问题中的作用机制及其实际应用效果。
二分类中定义 p_t=p（y=1）或 p_t=1-p（y=0），Focal Loss 为：
FL(p_t)=-α_t(1-p_t)^γ log(p_t)
其中 γ≥0 是 focusing parameter；γ=0 时退化为带 α_t 的交叉熵。α_t 是类别平衡权重，必须先说明正负类的定义，再按验证集与业务代价调整，不能把样本比例机械原样赋给少数类。
当样本已被正确且高置信分类时，p_t→1，调制因子 (1-p_t)^γ→0，该样本对总梯度的贡献被压低；错误或低置信样本的权重相对保留。因此 Focal Loss 解决的是大量易分类样本主导训练的问题。易/难是当前模型对样本的置信状态，不等同于背景/前景类别。
按学习路线查看教程、项目和面试题。
Focal Loss 最初用于 RetinaNet 的密集目标检测，缓解大量易背景样本压过稀少前景信号。它不是所有类别不平衡的默认答案：错标或异常样本也可能长期保持低 p_t，不会像易样本那样被强烈下调，因此在总损失与梯度中的相对占比可能升高；这不等于相对普通 CE 的绝对梯度会被持续放大。应与加权 CE、重采样、类别均衡损失比较，并分层报告 PR-AUC、各类 recall/precision、校准和最坏切片。
没有论文证据时，不应声称 Focal Loss 会导致或防止 LLM 幻觉，也不应把它与 OHEM 绑定为必选组合。
场景切入
假设现在训练一个类别不平衡的分类器，大量样本已经容易判对，少量难例对业务更关键。你会怎样判断是否采用 Focal Loss，而不是直接认定交叉熵失效？
层层追问
先写交叉熵基线……Focal Loss 中 p_t、alpha_t、gamma 分别是什么？……它怎样降低易样本贡献？……错标难例会带来什么风险？……还要和哪些方法对照？
直球技术
请写出 Focal Loss 公式，解释 alpha 与 gamma 的作用，并与加权交叉熵、重采样比较；说明它不保证优于交叉熵以及标签噪声边界。
Focal Loss 的标准回答要先把 p_t 定义清楚。二分类里，如果真实标签 y 等于一，p_t 就是模型对正类的概率 p；如果 y 等于零，p_t 就是一减 p。公式是负的 alpha_t，乘一减 p_t 的 gamma 次方，再乘 log p_t。gamma 大于等于零，叫 focusing parameter；当 gamma 等于零时，它就退化成带类别权重 alpha_t 的交叉熵。
它的核心不是简单“给少数类加权”，而是根据当前样本是否容易分类动态调节贡献。一个样本已经被正确且高置信分类时，p_t 接近一，一减 p_t 的 gamma 次方接近零，它对损失和梯度的影响就被压低。错误或低置信样本的 p_t 较小，调制因子不会被强烈压缩，所以相对获得更多关注。这能避免海量易样本淹没真正需要学习的信号。
这里要区分类别与难度。目标检测里背景样本很多，其中大量是易背景；前景相对少，所以原论文在 RetinaNet 中效果明显。但“易样本等于背景、难样本等于前景”并不成立。困难背景、遮挡前景和标错样本都可能是低 p_t。Focal Loss 关注的是模型当前的置信状态，不是类别名称。
alpha_t 用于类别平衡，回答时必须先定义 alpha 是给正类还是负类。若少数正类更重要，通常会考虑给正类更高的相对权重，但不能把一比一百的样本比例直接抄成正类 alpha 等于零点零一。最佳权重受采样、损失归一化、误报漏报代价和验证集分布影响，应与 gamma 联合调参。
风险也要说。标签噪声或异常样本往往长期低置信，Focal Loss 不会像对易样本那样强烈下调它们，所以它们在总损失和梯度里的相对占比可能升高；这不代表相对普通 CE 的绝对梯度会被持续放大。所以使用前要做标签质检，并与加权交叉熵、重采样或其他类别均衡方法做同条件对照。评估不能只看 accuracy，我会看每类 precision、recall、PR-AUC、校准和长尾切片。
最后，不要把 Focal Loss 随意扩展成“会加剧大模型幻觉”或“必须与 OHEM 组合”。如果没有对应实验，这些都不是原论文结论。它最可靠的定位是：通过调制项降低 well-classified 样本的权重，解决易样本数量过多导致的训练主导问题。
多分类实现时通常对真实类别的 softmax 概率定义 p_t，再使用相同调制形式；alpha 可以是按类权重。还要核对 reduction 和有效样本数，避免类别权重与重采样重复放大。报告结果时给出不使用 Focal Loss 的强基线，才能说明收益来自调制项。
若 gamma 很大，绝大多数样本梯度都可能被压低，训练速度和校准也会变化，因此不能只追求长尾召回。
