完整题目
在进行监督微调（SFT）后，某些分类模型的预测概率分布从原本较为集中（高置信度）变为更加均匀（低置信度）。请分析可能导致这一现象的技术原因，并讨论其潜在影响。
置信度下降不等于性能或校准必然变差
预训练语言模型与常规生成式 SFT 通常都使用 token 级交叉熵；分类头微调也常使用交叉熵。两者并不存在“预训练交叉熵鼓励自信、SFT 交叉熵反而鼓励平均”的通用对立。
排查可分为四层：
- 数据与标签：类别先验变化、域迁移、边界样本增多、冲突标注或硬标签噪声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。
- 训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制极端 logits；class weighting 也会改变有效先验。
- 优化与模型：学习率过大、分类头重置、灾难性遗忘、冻结策略、训练不足、weight decay 和 dropout 都可能缩小 logit margin。
- 实现与校准：重复 softmax、temperature 配置、train/eval mode、label map、checkpoint 和 dtype 不一致都会造成假象。
应在同一测试集同时看 accuracy/F1、NLL、Brier、ECE 和 reliability diagram。Focal Loss 用于降低易分类样本权重，不是温度校准的替代品。若只是系统性尺度偏差，可在独立校准集拟合 temperature；若准确率或域内质量下降，应修数据与训练根因。
继续追问 · 3 个问题
- 如何在SFT中保持模型校准的同时提升任务性能？
- 温度缩放参数T在训练时和推理时的设置策略有何不同？
- 这种现象在RLHF阶段会加剧还是缓解？
换一种问法，检查是否真正理解
场景切入
假设你在做一个电商客服的意图分类模型，SFT之前模型对‘退货’这类意图预测很自信，但微调后输出概率变得均匀，高低分不清了。你觉得可能是什么原因？
层层追问
SFT后模型预测概率变平，你遇到过吗？……这背后跟数据分布、损失函数有什么关系？……如果标签里有很多‘软’的标注，会怎么影响输出？
直球架构
SFT后分类模型置信度降低，概率分布从尖锐变均匀。请从技术原理角度分析可能的原因，以及这种变化对模型部署有什么正面和负面影响。