页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「DeepSpeed」找到 2 条内容
按专题浏览 →匹配正文：DeepSpeed 的定位 DeepSpeed 是面向大规模训练与推理的系统栈，核心不是一个固定“省显存倍数”，而是把数据并行、ZeRO、混合精度、梯度累积、activation checkpointing、pipeline/tensor parallel 和 offload 组合到具体模型与集群。 ZeRO 三阶段 Stage 1：在 data-parallel ranks 间分片 optimizer states；接近 1/N 的只是该组成部分，不是总显存。 Stage …
匹配题目：…优化与训练状态分片分别解决什么瓶颈？请列举 FlashAttention、MQA/GQA、稀疏或线性注意力等计算优化方法，并解释 DeepSpeed ZeRO 为什么属于训练显存优化而不是注意力算法；比较它们在训练、prefill 和 decode 阶段的作用边界。
学习内容与项目面试，在同一条路上。