页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「注意力优化」找到 3 条内容
按专题浏览 →匹配标题与标签：…制 CUDA Kernel融合 IO-Aware算法 2026真题 Flash Attention 原理 Transformer 注意力优化 I/O 优化 注意力机制加速 系统优化与推理加速
匹配题目：当输入上下文长度显著超过模型原生支持范围时，有哪些主流技术手段可以有效处理长上下文？请从模型架构（如位置编码改进）、分块策略、注意力优化等方面进行说明。
匹配题目：大模型中的注意力优化与训练状态分片分别解决什么瓶颈？请列举 FlashAttention、MQA/GQA、稀疏或线性注意力等计算优化方法，并解释 DeepSpeed ZeRO 为什么属于训练显存优化而不是注意力算法；比较它们在训练、prefill 和 decode 阶段的作用边界。
学习内容与项目面试，在同一条路上。