页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「ZeRO优化器」找到 5 条内容
按专题浏览 →匹配标题与标签：DeepSpeed 核心特性与架构怎么用? 大模型训练中 ZeRO、混合精度、梯度检查点的典型场景 推理优化 DeepSpeed 分布式训练 ZeRO优化器 模型并行 显存优化 2026真题 DeepSpeed 核心特性 DeepSpeed 架构 大模型训练 DeepSpeed ZeRO 优化 混合精度训练 系统优化与推理加速 京东
匹配正文：…fer；推理拆成 weights、KV Cache、activations/workspace 与调度开销。谁占主导取决于参数量、优化器、序列长度、batch、精度和并行方式，不能笼统说激活永远最大。 训练侧 BF16/FP16 降低权重与计算精度；FP16 常配 loss scaling，BF16 因指数范围较大通常不需要同类缩放； activation checkpointing 以反向重算换保存激活，收益和额外计算由 checkpoint 粒度及图决定； ZeRO/FS…
匹配正文：…icro-batch、梯度累积、激活检查点、并行策略和目标吞吐。脱离这些条件回答“需要几张卡”没有意义。 主要显存项 权重、梯度、优化器状态及可能的 FP32 master weights； 激活与 attention 中间量，标准稠密 attention 对序列长度含二次项； 通信 buffer、临时 workspace 和框架碎片。 全量 Adam 训练通常由训练状态和激活主导，可用 ZeRO/FSDP 分片参数、梯度和优化器状态，并用 activation checkp…
学习内容与项目面试，在同一条路上。