完整题目
在大模型的实际应用中，Layer Normalization 和 RMS Normalization 在实现机制、计算效率和训练稳定性方面有哪些主要区别？目前主流的大模型（如LLaMA系列）更倾向于使用哪种归一化方法？其优势是什么？
本文目录
公式与不变性
LayerNorm在单个token的隐藏维上计算均值和方差：(x-mean(x))/sqrt(var(x)+eps)，再乘逐维gamma并加beta。RMSNorm不减均值，只按均方根缩放：x/sqrt(mean(x^2)+eps)，再乘gamma。
LayerNorm具有重新中心化与重新缩放不变性；RMSNorm舍弃中心化，只保留整体缩放归一化。RMSNorm不会把均值“隐式变成0”，也不能据此宣称它对异常值更鲁棒。
效率与稳定性
RMSNorm少一个均值和中心化统计，算子可能更简单，但端到端收益取决于kernel融合、维度、精度和硬件，不能承诺固定加速。两者在Transformer中通常都对每个token的hidden features归一化，不会拿不同token的均值互相污染。若隐藏维做张量并行，统计量是否跨卡归约取决于切分布局。
LLaMA采用Pre-Norm位置的RMSNorm。合理表述是该选择在其训练配方中兼顾质量和实现效率，不是RMSNorm在所有任务上必然更稳定。选型需比较loss、梯度、溢出、吞吐和最终质量。
