页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Attention 局限」找到 9 条内容
按专题浏览 →匹配正文：核心局限性分析 1. 上下文长度硬约束 标准Self-Attention的O(n²)计算/内存复杂度，导致实际部署中上下文窗口受限（通常4K-128K tokens） Agent多轮对话中，工具调用记录、观察结果、用户偏好等快速填满窗口，触发截断或滑动窗口遗忘 2. 历史信息稀释效应 Softmax归一化使Attention权重随序列长度增加而趋于平均化，早期关键信息（如任务目标、已确认的用户约束）被"淹没" 实验观察：超过20轮后，首轮系统指令的Attention权重常降至…
匹配正文：核心局限：Agent多轮对话的三大瓶颈 1. 计算复杂度爆炸 标准Self-Attention是O(n²)复杂度，Agent多轮对话上下文轻松破万token 每轮新输入都要与全部历史做Attention，延迟线性增长，实时性崩塌 2. KV Cache显存瓶颈 多轮对话需缓存每层的K、V矩阵，长度随轮次累积 工具调用返回的结果、RAG检索的文档进一步膨胀缓存 显存占用 = 层数 × head数 × head_dim × 序列长度 × batch_size × 2(K+V) 3…
匹配追问：Flash Attention v2相比v1做了哪些关键优化 Flash Attention在超长上下文（如1M tokens）时还有什么局限 与Sparse Attention、Linear Attention的取舍场景是什么 场景切入 假设现在要为一个超长上下文 Transformer 优化注意力，显存主要耗在注意力中间矩阵。你会怎样用分块和 online softmax 减少 HBM 读写？哪些硬件与张量条件会影响收益？ 层层追问 标准 Attention 的内存瓶颈在…
学习内容与项目面试，在同一条路上。