页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「FFN」找到 11 条内容
按专题浏览 →匹配正文：原始配置与参数动机 原始Transformer使用d_model=512、d_ff=2048，即FFN中间维约为4倍。每个位置共享同一两层MLP：FFN(x)=W2 activation(W1 x+b1)+b2。扩维给逐token非线性变换更大的通道容量，再投影回残差维度；它不是自编码器式信息瓶颈。 4倍是论文配置和长期使用的经验起点，不是原论文通过2倍、4倍、8倍统一消融后证明的理论最优值。最优宽度取决于参数预算、算力、激活函数、稀疏性和硬件。 现代门控FFN SwiGLU…
匹配正文：…oken 的 hidden 维度计算均值和方差：LN(x)=γ⊙(x-μ)/sqrt(σ²+ε)+β。标准化部分控制进入注意力和 FFN 的尺度，γ、β 仍允许网络学习合适的缩放和平移，因此不能说每层输出被固定成永久的零均值、单位方差。它不依赖 batch 统计，更适合变长序列、小 batch 和自回归推理；但 Transformer 并非数学上只能使用 LN。 放置位置 原始 Transformer 使用 Post-LN：LN(x+Sublayer(x))； 现代大模型常见…
匹配正文：…合变长序列。γ、β 可学习，所以最终输出并未被固定为零均值、单位方差。 对训练的实际影响 数值尺度：限制送入 attention/FFN 的幅度漂移，降低激活或梯度极端放大的风险； 优化条件：减少网络对初始化和学习率的敏感性，但不保证固定倍数加速； 残差路径：原始 Post-LN 为 LN(x+F(x))；Pre-LN 为 x+F(LN(x))，后者通常给深层网络更直接的梯度路径； 最终性能：稳定性更好不等于最终质量必然更高，Pre/Post-Norm 还受深度、残差缩放、初…
学习内容与项目面试，在同一条路上。