SFT 后置信度下降怎么办?

先判断“变平”是否真的需要修复

概率分布更分散只表示置信度下降，不自动等于准确率下降或校准恶化。应固定同一数据与推理代码，比较 accuracy/F1、NLL、Brier score、ECE、reliability diagram、logit margin，并按类别与数据域切片。

可能原因包括：SFT 数据的类别先验或域发生变化；样本更模糊、标签冲突；启用了 label smoothing、蒸馏软标签、Mixup、熵或 logit 正则；class weighting 改变有效先验；学习率过大、分类头重置、灾难性遗忘或训练不足；dropout、weight decay 与冻结策略改变；推理阶段重复 softmax、temperature、eval mode、label map、checkpoint 或 dtype 不一致。

修复必须跟随诊断。如果准确率稳定且 NLL/ECE 改善，保持现状可能更合理。如果只是概率尺度系统性偏差，在独立校准集拟合 temperature；T>1 使分布更平，T<1 使分布更尖，但温度应优化得到，不应人为设定。若能力下降，则回退学习率、恢复分类头、调整解冻范围、修复数据和标签。Label smoothing 通常使分布更平，不适合作为“低置信”的默认修复。