页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「IO-Aware算法」找到 2 条内容
按专题浏览 →匹配标题与标签：…sformer 注意力,训练推理加速 推理优化 Flash Attention 内存优化 注意力机制 CUDA Kernel融合 IO-Aware算法 2026真题 Flash Attention 原理 Transformer 注意力优化 I/O 优化 注意力机制加速 系统优化与推理加速
匹配正文：…并行和算子融合优化服务效率。 FlashAttention 与 ZeRO 必须分开 FlashAttention 是 exact、IO-aware 的 attention kernel；它不把稠密 FLOPs 变成线性，HBM I/O 的界依 head dimension 与片上存储。ZeRO 则在数据并行训练中分片 optimizer states、gradients 和 parameters，降低每卡训练状态显存；它不改变注意力计算。ZeRO 的节省比例取决于 data-…
学习内容与项目面试，在同一条路上。