完整题目
当前大多数主流大语言模型（如GPT系列）采用仅解码器（Decoder-only）架构，请从建模目标、训练效率、推理特性等角度分析其设计合理性及优势。
本文目录
为什么 Decoder-only 适合通用生成
Decoder-only 用 causal language modeling 统一训练：p(x)=∏_t p(x_t|x_<t)。指令、上下文和目标回答可串成同一序列，通过 loss mask 只监督需要生成的区间；同一目标覆盖续写、问答、摘要、翻译、代码和工具调用，便于在大规模混合语料上扩展。它是单一堆栈，系统实现和参数分配相对统一，但这不证明它在所有任务上优于 encoder-decoder。
训练与推理
训练采用 teacher forcing，所有位置的 next-token loss 可并行计算；因果 mask 不意味着训练逐 token 串行。推理必须自回归：prefill 并行处理输入，decode 每步生成一个 token。KV Cache 保存历史 K/V，避免重复投影，但标准注意力下单步仍需读取长度 L 的缓存并做注意力，缓存空间为 O(L)，连续生成的总注意力工作随长度累积。
FlashAttention 是适用于因果或双向精确注意力的 IO-aware tiling，内存收益来自避免物化完整 attention matrix，不是因下三角 mask 把复杂度降成 O(1)。
边界
Encoder-only 更适合一次性生成双向表示的分类、检索和标注；encoder-decoder 对有明确 source/target 分工的条件生成仍有价值。Decoder-only 的规模收益是经验结果，不能虚构约 10B 的“涌现阈值”。选型应比较同 token/参数预算下的质量、训练吞吐、prefill/decode 延迟与缓存成本。
