Transformer 为何用 LayerNorm 而非 BatchNorm?

核心是统计轴与状态

BatchNorm通常按通道利用batch及实现中纳入的空间或时间轴计算统计量；训练依赖当前batch，推理使用running mean和variance。LayerNorm在Transformer中通常对每个token自己的hidden dimension计算，不读取其他样本。

因此LN更适合大模型常见的可变micro-batch、梯度累积、变长序列和自回归动态batch。BN是否被padding影响取决于张量布局、统计轴及是否做masked统计；它不是数学上必须固定序列长度。大模型训练的batch也没有通用的1到8，必须区分每卡micro-batch、数据并行规模和global batch。

LN/RMSNorm与残差结构形成成熟的Pre-Norm或Post-Norm配方，训练与推理都使用当前token统计，不维护BN式运行状态。BN并非不能用于序列模型，但需要处理跨样本耦合、masked统计、同步通信和训练推理分布差异。

选型应固定模型与初始化，比较不同micro-batch和序列长度下的loss、梯度、吞吐和最终质量，而不是用“大模型batch小”一句话代替分析。