完整题目
什么是 KV Cache?它为什么能大幅加速大模型的推理?这种加速又会带来什么代价?
本文目录
答案要点
- 大模型生成是逐 token 自回归的,每生成一个新 token 都要「回看」前面所有 token
- 不加缓存时,前面每个 token 的 Key/Value 会被一遍遍重算,计算量随长度急剧膨胀
- KV Cache 把已算过的 K、V 存进显存,新 token 只算自己的再与缓存拼接,典型的空间换时间
- 代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存
- 它是因果Transformer自回归推理中的常用优化,也是PagedAttention等缓存管理的基础;具体缓存策略依架构和框架配置。
核心概念
KV Cache(键值缓存)是大模型推理时,把注意力计算中每个已处理 token 的 Key 和 Value 向量缓存在显存里、避免重复计算的优化技术。背景是:大模型生成文本是自回归的——答案一个 token 一个 token 往外蹦,而每生成一个新 token,注意力机制都要用它和前面所有 token 的 K、V 做计算。关键观察是:前面那些 token 的 K、V 在每一轮里的值完全一样,重算纯属浪费。
直觉:开会记笔记
不缓存,相当于每来一位新发言者,书记员都要把前面所有人的发言从头速记一遍;有了 KV Cache,前面的发言都记在本子上,新发言者只需记下自己这一条,其余翻本子对照即可。
加速效果与显存代价
- 加速:新token的投影/前馈不再重算全部前缀;但全注意力仍要与历史K做匹配并加权V,注意力部分单步仍随历史长度近似线性增长,不是整体计算变成常数。实际提速取决于模型、上下文、batch、内核与访存,不能统一承诺数量级。