完整题目
在进行监督微调（SFT）前后，分类模型的预测概率分布从高度集中变为更加均匀（即置信度下降），这可能由哪些因素引起？请从数据分布、损失函数和过拟合等角度分析。
本文目录
先判断是不是问题
预测分布变平只表示平均置信度下降，不等于准确率下降，也不等于校准变差。先在同一验证集比较 accuracy/F1、NLL、Brier score、ECE 与 reliability diagram，并按类别、域和时间切片。若置信度下降同时更接近真实正确率，校准反而可能改善。
排查四层原因
- 数据：SFT 数据类别先验改变、样本更模糊、标签噪声/软标签增多、域迁移，或 train/validation 切分口径变化。
- 目标与正则：显式 label smoothing、Mixup/软标签、entropy/logit regularization、class weighting、weight decay 与 dropout 都可能影响 logit 尺度。Label smoothing 鼓励非目标类保留概率质量，但不是严格的概率硬上界。
- 模型与优化：分类头重置、学习率过大、灾难性遗忘、冻结层组合或训练不足都可能缩小类别间 logit margin。LoRA 的低秩本身不能推出“必然平均化”。
- 实现：train/eval mode、dropout、BatchNorm 统计、label map、重复 softmax、temperature、checkpoint 与 dtype 不一致。
修复
先做数据与代码消融，再决定训练修复。温度缩放用 softmax(z/T) 在独立校准集拟合 T： 更平， 更尖；它主要校准置信度，不提高分类边界。不能说 label smoothing 与温度缩放天然互相抵消，也不能用 Focal Loss 作为概率变平的默认修复。
