页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Transformer优化」找到 41 条内容
按专题浏览 →匹配正文：…模型结构到能做工程取舍：为什么 Decoder-only 成主流、KV Cache 为什么省时、GQA 为什么省显存、推理延迟怎么优化。 配套教程 大模型应用开发要懂哪些概念、懂到什么程度 转大模型应用开发，数学和深度学习理论要补多少 知识模块 Transformer、Attention 与模型结构 Transformer、Attention 与模型结构 KV Cache、批处理与推理优化 KV Cache、批处理与推理优化 常见问题 应用岗需要手推 Transformer …
匹配正文：…现，并非必然。 自回归一致性：生成时batch与长度不断变化，LN无需维护训练期running mean/variance。 残差优化经验：Transformer已形成Pre-Norm、Post-Norm及RMSNorm等成熟配方；这是架构与优化的经验选择，不是数学上“必须LN”。 LN会改变送入Q/K/V的表示尺度与中心，因此会影响注意力logit和权重分布，不能说“不影响attention”。BN也不是理论上不能用于序列模型；如果明确定义统计轴、正确mask并处理训练推理…
匹配正文：…，因此不能说每层输出被固定成永久的零均值、单位方差。它不依赖 batch 统计，更适合变长序列、小 batch 和自回归推理；但 Transformer 并非数学上只能使用 LN。 放置位置 原始 Transformer 使用 Post-LN：LN(x+Sublayer(x))； 现代大模型常见 Pre-LN：x+Sublayer(LN(x))； 许多模型把 LN 换成 RMSNorm，后者不做均值中心化。 Pre-LN 给残差主干提供更直接的梯度路径，深层训练通常更容易优化…
学习内容与项目面试，在同一条路上。