搜索大模型内容

Transformer 为何用 Layer Norm?

匹配正文：…用运行统计。 LayerNorm对每个token或样本的隐藏维独立归一化，不依赖其他batch样本，训练与推理使用当前样本统计。 Transformer更常用LN/RMSNorm的原因 batch独立：微批大小变化、梯度累积和推理batch变化不会改变LN统计。序列边界清晰：每个token在隐藏维归一化，变长序列与padding不需要混入跨样本统计。BN是否被padding污染取决于布局、统计轴和mask实现，并非必然。自回归一致性：生成时batch与长度不断变化，LN无…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Layer Normalization#Batch Normalization#归一化机制

#Layer Normalization#残差连接#梯度消失

Transformer 为何要归一化?

匹配正文：归一化在 Transformer 中解决什么 LayerNorm 对每个 token 的 hidden 维度计算均值和方差：LN(x)=γ⊙(x-μ)/sqrt(σ²+ε)+β。标准化部分控制进入注意力和 FFN 的尺度，γ、β 仍允许网络学习合适的缩放和平移，因此不能说每层输出被固定成永久的零均值、单位方差。它不依赖 batch 统计，更适合变长序列、小 batch 和自回归推理；但 Transformer 并非数学上只能使用 LN。放置位置原始 Transformer…

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配正文：…TM、GRU 通过门控缓解而非消除长程依赖问题。训练时跨时间步的依赖限制并行度，但模型尺寸、序列长度和推理方式都会影响实际性能。 Transformer Transformer 用自注意力在 token 间建模依赖，并通过位置编码保留顺序信息。它便于训练阶段并行处理序列位置，已广泛用于语言、视觉和多模态任务。标准全注意力的时间与注意力矩阵空间开销随序列长度近似二次增长；稀疏、滑窗或线性注意力等变体用于改变这一权衡。选型原则不存在只看任务名称就能决定的架构。应比较数据规模与…

#CNN#RNN#Transformer

#Layer Normalization#Batch Normalization#Transformer

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配正文：…现中纳入的空间或时间轴计算统计量；训练依赖当前batch，推理使用running mean和variance。LayerNorm在Transformer中通常对每个token自己的hidden dimension计算，不读取其他样本。因此LN更适合大模型常见的可变micro-batch、梯度累积、变长序列和自回归动态batch。BN是否被padding影响取决于张量布局、统计轴及是否做masked统计；它不是数学上必须固定序列长度。大模型训练的batch也没有通用的1到8，…

#LayerNorm#RMSNorm#Pre-Norm

Transformer归一化方法有哪些?

匹配正文：…x加Sublayer(Norm(x))；Post-Norm是先做残差相加，再归一化，即Norm(x加Sublayer(x))。原始Transformer使用Post-Norm，许多深层模型改用Pre-Norm以改善初始化时的梯度。机制与边界 LayerNorm同时提供重中心化和重缩放不变性，RMSNorm保留重缩放而省去均值计算。两者都常沿每个token的hidden维工作，不依赖batch统计。Post-Norm把归一化放在残差和之后，原始Transformer需要学习率…

#Flash Attention#内存优化#注意力机制

Transformer 架构核心组件原理

匹配正文：原始Transformer：encoder-decoder 输入token embedding与位置编码相加后进入N层encoder。每层包含multi-head self-attention和逐位置FFN；每个子层外有残差、dropout和LayerNorm。原始论文使用Post-LN： LayerNorm(x + Sublayer(x)) 不是现代Pre-LN的 x + Sublayer(LN(x))。 Decoder每层依次包含masked self-attention…

#Transformer#自注意力机制#位置编码

面试题·模型架构

Transformer 是什么?为什么是大模型的基石?

匹配正文：答案要点 Transformer 是 2017 年论文《Attention Is All You Need》提出的神经网络架构,核心是自注意力机制注意力的直觉:每个词在理解自己时,可以「看一眼」句子里所有其他词,并按相关程度分配权重相比 RNN 逐词串行处理,Transformer 可以并行计算整个序列,训练效率提升几个数量级并行化 + 结构可扩展,让「堆数据、堆参数」成为可能,这是 GPT 等大模型诞生的前提注意区分:Transformer 是架构,大模型是「架构 …

#入门#基础概念#Transformer架构

面试题·推理优化

Flash Attention 原理怎么理解?

匹配题目：请解释Flash Attention的算法设计原理，它是如何通过融合计算与I/O优化来提升Transformer注意力机制效率的，并说明其在推理和训练中的实际价值。

位置编码为什么重要?

匹配题目：请解释位置编码在Transformer模型中的作用，并说明为什么它对模型性能至关重要。

#位置编码#Transformer#自注意力机制

#Layer Normalization#RMS Normalization#归一化技术

LLaMA为何选RMSNorm?

匹配正文：…MSNorm少一个均值和中心化统计，算子可能更简单，但端到端收益取决于kernel融合、维度、精度和硬件，不能承诺固定加速。两者在Transformer中通常都对每个token的hidden features归一化，不会拿不同token的均值互相污染。若隐藏维做张量并行，统计量是否跨卡归约取决于切分布局。 LLaMA采用Pre-Norm位置的RMSNorm。合理表述是该选择在其训练配方中兼顾质量和实现效率，不是RMSNorm在所有任务上必然更稳定。选型需比较loss、梯度、溢…

#Layer Normalization#Batch Normalization#Transformer

LayerNorm vs BatchNorm 怎么选?

匹配正文：核心判断 Transformer常用LayerNorm，是因为它对单个样本的特征维做归一化，不依赖同一batch里其他样本的统计量，训练和推理计算一致，适合batch大小变化与自回归解码。标准Transformer实现通常对每个token的隐藏维单独做LayerNorm，不会把整句所有token混在一起算均值方差，因此padding不会像跨token BatchNorm那样直接污染该token的LN统计。机制与边界 BatchNorm按batch维估计每个通道的均值方差，并…

RMSNorm vs LayerNorm：训练效率怎么比?

匹配标题与标签：…怎么比? LLaMA 系列为何倾向 RMSNorm?计算与内存效率对比模型架构 LayerNorm RMSNorm 归一化方法 Transformer优化 LLaMA架构 2026真题 LayerNorm vs RMSNorm RMSNorm 优势 LLaMA 归一化选择大模型架构与原理字节

#LayerNorm#RMSNorm#归一化方法

#Seq2Seq#Encoder-Decoder#Transformer

Encoder vs Decoder 功能区别?

匹配标题与标签：…能区别? Seq2Seq 模型中编码器与解码器的结构差异与信息处理流程模型架构 Seq2Seq Encoder-Decoder Transformer 注意力机制自回归生成 2026真题 Encoder Decoder 区别 Seq2Seq 模型结构编码器解码器功能大模型架构与原理海尔

#Layer Normalization#Transformer#训练稳定性

Layer Norm 怎么稳定训练?

匹配题目：在Transformer模型中，层归一化（Layer Normalization）被广泛应用于各个子层，请解释其具体作用机制，并讨论它对模型训练稳定性、收敛速度和性能的影响。

#Transformer#Encoder-Decoder架构#自注意力机制

Encoder vs Decoder 核心区别?

匹配标题与标签：Encoder vs Decoder 核心区别? 结构设计与功能定位对比,机器翻译场景详解模型架构 Transformer Encoder-Decoder架构自注意力机制机器翻译序列建模 2026真题 Encoder Decoder 区别序列建模架构机器翻译 Encoder Decoder 大模型架构与原理海尔

#Layer Normalization#梯度稳定#训练收敛

LayerNorm 如何控制激活尺度?

匹配题目：在Transformer模型中，层归一化（Layer Normalization）被广泛使用，请解释其作用机制，以及它如何缓解训练过程中的梯度不稳定问题并促进模型收敛。

#Layer Normalization#数值稳定性#前向传播

FFN 隐藏层维度为何扩 4 倍?

匹配正文：原始配置与参数动机原始Transformer使用d_model=512、d_ff=2048，即FFN中间维约为4倍。每个位置共享同一两层MLP：FFN(x)=W2 activation(W1 x+b1)+b2。扩维给逐token非线性变换更大的通道容量，再投影回残差维度；它不是自编码器式信息瓶颈。 4倍是论文配置和长期使用的经验起点，不是原论文通过2倍、4倍、8倍统一消融后证明的理论最优值。最优宽度取决于参数预算、算力、激活函数、稀疏性和硬件。现代门控FFN SwiGLU…

#Transformer#FFN#维度扩展

面试题·模型架构· 百度

LayerNorm 前向实现：数值稳定性陷阱

匹配标题与标签：…on+NumPy 手动实现，多维归一化与低精度数值稳定性模型架构 Layer Normalization 数值稳定性前向传播 Transformer 归一化 2026真题 Layer Normalization 实现 NumPy LayerNorm 层归一化前向传播大模型架构与原理百度

#Self-Attention#Transformer#注意力机制

Self-Attention 怎么计算 QKV?

匹配标题与标签：…elf-Attention 怎么计算 QKV? 注意力权重生成过程详解,从输入到加权求和模型架构 Self-Attention Transformer 注意力机制 Query-Key-Value 缩放点积注意力 2026真题 Self-Attention 原理 QKV 计算注意力权重生成大模型架构与原理海尔