匹配正文：核心判断 Transformer常用LayerNorm，是因为它对单个样本的特征维做归一化，不依赖同一batch里其他样本的统计量，训练和推理计算一致，适合batch大小变化与自回归解码。标准Transformer实现通常对每个token的隐藏维单独做LayerNorm，不会把整句所有token混在一起算均值方差，因此padding不会像跨token BatchNorm那样直接污染该token的LN统计。机制与边界 BatchNorm按batch维估计每个通道的均值方差，并…

#Layer Normalization#Batch Normalization#Transformer

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：计算定义 LayerNorm：y = (x-mean(x)) / sqrt(mean((x-mean(x))^2)+eps) * gamma + beta。 RMSNorm：y = x / sqrt(mean(x^2)+eps) * gamma。常见实现没有bias，但以具体模型为准。 LayerNorm同时具有重新中心化和重新缩放不变性；RMSNorm不减均值，舍弃re-centering invariance，只保留re-scaling invariance。RMSNor…

#LayerNorm#RMSNorm#归一化方法

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配正文：计算定义对单个 token 的 hidden vector x∈R^d： LayerNorm：y=((x-mean(x))/sqrt(mean((x-mean(x))²)+eps))*gamma+beta RMSNorm：y=(x/sqrt(mean(x²)+eps))*gamma LayerNorm 具有 re-centering 和 re-scaling invariance；RMSNorm 舍弃中心化，只保留重缩放相关性质。RMS 也可能为零，因此同样需要 eps。R…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 美团

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配正文：…道利用batch及实现中纳入的空间或时间轴计算统计量；训练依赖当前batch，推理使用running mean和variance。LayerNorm在Transformer中通常对每个token自己的hidden dimension计算，不读取其他样本。因此LN更适合大模型常见的可变micro-batch、梯度累积、变长序列和自回归动态batch。BN是否被padding影响取决于张量布局、统计轴及是否做masked统计；它不是数学上必须固定序列长度。大模型训练的batch…

#Layer Normalization#Batch Normalization#Transformer

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配正文：机制：按特征维稳定尺度 LayerNorm 对每个 token 的隐藏向量独立计算 μ、σ²，再输出 γ⊙(x-μ)/sqrt(σ²+ε)+β。它不要求隐藏特征独立同分布，也不使用 batch 统计。零均值和单位方差只描述 affine 之前的标准化结果；可学习 γ、β 会重新调整每个维度。为什么有助于梯度稳定控制进入 attention 与 FFN 的激活尺度，减少极端 logit 和数值溢出；降低连续残差堆叠对初始化与学习率的敏感性；在 Pre-LN 结构中，残差…

#Layer Normalization#梯度稳定#训练收敛

面试题·模型架构· 百度

LayerNorm 前向实现：数值稳定性陷阱

匹配正文：NumPy 实现 import numpy as np class LayerNorm: def __init__(self, normalized_shape, eps=1e-5): self.normalized_shape = tuple( normalized_shape if isinstance(normalized_shape, (tuple, list)) else (normalized_shape,) ) self.eps = eps self.gamma…

#Layer Normalization#数值稳定性#前向传播

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配正文：…归一化方法的关键差别，是统计量沿哪些维度计算。BatchNorm通常跨batch和空间位置统计每个通道，训练与推理还涉及运行均值；LayerNorm对单个样本或token的指定特征维计算，不依赖batch统计；RMSNorm也沿特征维工作，但只使用平方均值。对向量x，LayerNorm先求均值和方差，用x减均值后除以var加epsilon的平方根，也就是(x-mu)/sqrt(var+epsilon)，再乘逐维gamma并加beta。RMSNorm不减均值，直接用x除以me…

#Layer Normalization#RMS Normalization#Batch Normalization

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配正文：公式与不变性 LayerNorm在单个token的隐藏维上计算均值和方差：(x-mean(x))/sqrt(var(x)+eps)，再乘逐维gamma并加beta。RMSNorm不减均值，只按均方根缩放：x/sqrt(mean(x^2)+eps)，再乘gamma。 LayerNorm具有重新中心化与重新缩放不变性；RMSNorm舍弃中心化，只保留整体缩放归一化。RMSNorm不会把均值“隐式变成0”，也不能据此宣称它对异常值更鲁棒。效率与稳定性 RMSNorm少一个均值和中…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 海尔

Transformer 为何要归一化?

匹配正文：归一化在 Transformer 中解决什么 LayerNorm 对每个 token 的 hidden 维度计算均值和方差：LN(x)=γ⊙(x-μ)/sqrt(σ²+ε)+β。标准化部分控制进入注意力和 FFN 的尺度，γ、β 仍允许网络学习合适的缩放和平移，因此不能说每层输出被固定成永久的零均值、单位方差。它不依赖 batch 统计，更适合变长序列、小 batch 和自回归推理；但 Transformer 并非数学上只能使用 LN。放置位置原始 Transformer…

#Layer Normalization#残差连接#梯度消失

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配正文：核心判断 LayerNorm对特征减均值、除标准差，再乘可学习gamma加beta；RMSNorm不减均值，只按均方根缩放，计算更简单。残差位置必须写对：Pre-Norm是x加Sublayer乘Norm作用于x的结果，也就是x加Sublayer(Norm(x))；Post-Norm是先做残差相加，再归一化，即Norm(x加Sublayer(x))。原始Transformer使用Post-Norm，许多深层模型改用Pre-Norm以改善初始化时的梯度。机制与边界 LayerN…

#LayerNorm#RMSNorm#Pre-Norm

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配正文：公式与统计量 LayerNorm 对一个 token 的 hidden 维计算均值与方差，再做中心化、缩放，并使用可学习的 gamma、beta。RMSNorm 只根据均方根缩放，不减去均值，原始形式通常保留可学习 scale。它省掉均值中心化相关的归约与减法，但不能据此宣称端到端计算量固定减半。稳定性与放置位置两者都用于控制激活尺度和改善残差网络的优化条件。RMSNorm 论文在其覆盖的任务上报告了与 LayerNorm 可比的效果和一定效率收益，这只是经验结果，不证明…

#LayerNorm#RMSNorm#归一化技术

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配正文：…不同 BatchNorm通常对每个通道使用batch及其他被纳入统计的轴计算均值方差，训练依赖当前batch，推理使用运行统计。 LayerNorm对每个token或样本的隐藏维独立归一化，不依赖其他batch样本，训练与推理使用当前样本统计。 Transformer更常用LN/RMSNorm的原因 batch独立：微批大小变化、梯度累积和推理batch变化不会改变LN统计。序列边界清晰：每个token在隐藏维归一化，变长序列与padding不需要混入跨样本统计。BN是否被…

#Layer Normalization#Batch Normalization#归一化机制

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

匹配正文：LayerNorm 的机制对单个 token 的隐藏向量 x∈R^d，LayerNorm 计算 hidden 维均值与方差，再做 y=γ⊙(x-μ)/sqrt(σ²+ε)+β。它不使用 batch 统计，因此训练和推理的统计口径一致，也适合变长序列。γ、β 可学习，所以最终输出并未被固定为零均值、单位方差。对训练的实际影响数值尺度：限制送入 attention/FFN 的幅度漂移，降低激活或梯度极端放大的风险；优化条件：减少网络对初始化和学习率的敏感性，但不保证固定倍…

#Layer Normalization#Transformer#训练稳定性

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配正文：…入N层encoder。每层包含multi-head self-attention和逐位置FFN；每个子层外有残差、dropout和LayerNorm。原始论文使用Post-LN： LayerNorm(x + Sublayer(x)) 不是现代Pre-LN的 x + Sublayer(LN(x))。 Decoder每层依次包含masked self-attention、对encoder memory的cross-attention和FFN。因果mask阻止目标位置看到未来tok…

#Transformer#自注意力机制#位置编码