页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「KV-Cache」找到 59 条内容
按专题浏览 →匹配正文：…optimizer states、activations、临时 workspace/通信 buffer；推理拆成 weights、KV Cache、activations/workspace 与调度开销。谁占主导取决于参数量、优化器、序列长度、batch、精度和并行方式，不能笼统说激活永远最大。 训练侧 BF16/FP16 降低权重与计算精度；FP16 常配 loss scaling，BF16 因指数范围较大通常不需要同类缩放； activation checkpointin…
匹配正文：…mask 不意味着训练逐 token 串行。推理必须自回归：prefill 并行处理输入，decode 每步生成一个 token。KV Cache 保存历史 K/V，避免重复投影，但标准注意力下单步仍需读取长度 L 的缓存并做注意力，缓存空间为 O(L)，连续生成的总注意力工作随长度累积。 FlashAttention 是适用于因果或双向精确注意力的 IO-aware tiling，内存收益来自避免物化完整 attention matrix，不是因下三角 mask 把复杂度降…
匹配正文：…spose如果产生非连续视图，后续kernel可能需要额外拷贝；训练和prefill还要关注完整注意力矩阵的中间存储，解码则更常受KV Cache带宽影响。融合QKV、FlashAttention、GQA或KV量化解决的是不同瓶颈，不能把它们都归成多头机制本身。 多头比单头更有表达力的直观原因，是不同投影可以在不同表示子空间中形成不同注意力模式，再由输出投影组合。原始Transformer的消融支持多头设计有效，但不能据此断言每个头都会稳定学到语法、指代等固定功能，也没有通用…
学习内容与项目面试，在同一条路上。