完整题目
在Transformer模型中，层归一化（Layer Normalization）被广泛使用，请解释其作用机制，以及它如何缓解训练过程中的梯度不稳定问题并促进模型收敛。
本文目录
机制：按特征维稳定尺度
LayerNorm 对每个 token 的隐藏向量独立计算 μ、σ²，再输出 γ⊙(x-μ)/sqrt(σ²+ε)+β。它不要求隐藏特征独立同分布，也不使用 batch 统计。零均值和单位方差只描述 affine 之前的标准化结果；可学习 γ、β 会重新调整每个维度。
为什么有助于梯度稳定
- 控制进入 attention 与 FFN 的激活尺度，减少极端 logit 和数值溢出；
- 降低连续残差堆叠对初始化与学习率的敏感性；
- 在 Pre-LN 结构中，残差主干绕过子层归一化，为深层梯度提供较直接路径。
这些作用是降低风险，不是保证不会梯度消失/爆炸，也不能由此推出“牺牲表征能力”。若出现不稳定，应联合检查 loss、各层激活/RMS、梯度范数、参数更新比、学习率、精度和异常 batch，不能仅靠一张梯度直方图下结论。
多模态边界
不同模态的统计和量纲可能不同，可以在各自编码器或投影层使用独立 LN/RMSNorm、可学习 scale 或门控，再通过消融选择。不能说“强行 LN 必然丢信息”；归一化会改变尺度，而保留哪些信息取决于架构、affine 参数与任务评测。