Transformer 为何用 LayerNorm 而非 BatchNorm?

Transformer更常使用LayerNorm，根本原因不是一句“文本batch小”，而是统计轴和训练推理行为更匹配。BatchNorm通常对每个通道，利用batch以及实现里指定的空间或时间轴计算均值方差。训练时一个样本的输出会受同batch其他样本影响，推理时则使用训练阶段累计的running statistics。

LayerNorm在Transformer里通常对每个token自己的hidden dimension归一化，不读取其他batch样本，也不是把整句话所有token混在一起求一个均值。这样micro-batch大小、数据并行切分或线上动态batch变化时，归一化行为更一致。现代模型也常用RMSNorm，但它和LayerNorm一样保留了这种按token、与batch解耦的接口。

大模型的batch不能概括成固定的一到八。每张卡的micro-batch可能很小，但可以通过数据并行和梯度累积得到更大的global batch。BatchNorm看到的是当前前向的统计，不会自动看到梯度累积后的全局样本；如果用SyncBatchNorm跨设备聚合，又会增加通信。因此要明确讨论的是哪一级batch。

变长序列和padding会让BN设计更复杂，但不能说BN必须固定序列长度。是否被padding影响，取决于张量布局、统计轴以及是否排除无效位置。标准算子若把padding纳入统计会产生偏差，自定义masked统计可以缓解。LayerNorm对每个有效token的隐藏维独立计算，天然避免跨序列统计被padding混入。

训练与推理状态也是关键。自回归服务的batch组成和长度不断变化，LN每次只用当前token统计，不需要维护running mean和variance；BN则要考虑训练分布与线上分布是否一致。再加上Transformer残差结构已经形成成熟的Pre-Norm、Post-Norm和RMSNorm配方，所以LN类方法成为默认。

但BN不是数学上不可用。特定架构可以设计合适统计轴、mask和同步方式。真正比较时，我会固定模型、初始化和优化器，在不同micro-batch、长度和推理模式下测loss、梯度范数、吞吐及最终质量。这个证据比“BN只能用于固定长度大batch”更准确。

混合精度下还要检查均值、方差或均方根是否用足够精度累积，epsilon是否适合当前dtype。归一化位置也会改变残差和梯度路径，Pre-Norm与Post-Norm不是只换一行代码，深层训练稳定性与初始化都应重新验证。

如果线上只做单样本推理，BN仍会使用训练期运行统计，而不是当前单样本方差；LN则始终由当前token计算。这个差异会影响分布漂移诊断，也说明训练模式与eval模式切换必须纳入测试。

上线回归要同时覆盖train与eval模式。

并记录配置。