MSE vs Focal Loss 分类怎么选?

MSE为什么通常不是分类首选

MSE并非不能用于分类，但对sigmoid二分类，若 p=sigmoid(z)，则：

d((p-y)^2)/dz = 2(p-y)p(1-p)

当模型自信但预测错误时，p(1-p)可能很小，logit梯度反而被饱和压弱。若只写对概率p的梯度 2(p-y)，就不能再据此说端点梯度小；两者必须区分。交叉熵对应Bernoulli/类别分布的负对数似然，并避免额外的sigmoid导数因子，因此通常更匹配分类。

Focal Loss

FL(p_t) = -alpha_t (1-p_t)^gamma log(p_t)

• p_t 是真实类别对应的预测概率。
• gamma>=0 是聚焦参数；gamma=0退化为带 alpha_t 的交叉熵。p_t接近1时，调制因子快速变小，降低大量well-classified样本的贡献；难样本保持较大权重。
• alpha_t 是类别权重，二分类中常定义为正类用 alpha、负类用 1-alpha，也可扩展为多类权重。它的方向和数值依采样、代价、gamma及验证指标决定，不能把1:100的比例直接写成少数类 。