FFN 隐藏层维度为何扩 4 倍?

原始配置与参数动机

原始Transformer使用d_model=512、d_ff=2048，即FFN中间维约为4倍。每个位置共享同一两层MLP：FFN(x)=W2 activation(W1 x+b1)+b2。扩维给逐token非线性变换更大的通道容量，再投影回残差维度；它不是自编码器式信息瓶颈。

4倍是论文配置和长期使用的经验起点，不是原论文通过2倍、4倍、8倍统一消融后证明的理论最优值。最优宽度取决于参数预算、算力、激活函数、稀疏性和硬件。

现代门控FFN

SwiGLU类FFN通常有两条上投影和一条下投影，共三组主要矩阵。若想与“4d的普通两层FFN”近似匹配参数量或FLOPs，中间维常从4d调整到约8d/3，再按硬件对齐取整。这个比例是预算匹配结果，不是所有模型必须遵守。

Attention包含输入相关的softmax(QK^T)，不能称为纯线性模块。FFN选型应在相同预算下比较质量、训练稳定性、吞吐和激活内存。