页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「ZeRO」找到 36 条内容
按专题浏览 →匹配正文：…误差换复杂度收益。 系统层：KV 量化、分页缓存、连续批处理、张量并行和算子融合优化服务效率。 FlashAttention 与 ZeRO 必须分开 FlashAttention 是 exact、IO-aware 的 attention kernel；它不把稠密 FLOPs 变成线性，HBM I/O 的界依 head dimension 与片上存储。ZeRO 则在数据并行训练中分片 optimizer states、gradients 和 parameters，降低每卡训练状…
匹配正文：…C）有各自格式规范，用动态示例切换比维护多个LoRA权重更灵活 冷启动阶段：快速验证PMF，避免重训成本 三方案对比决策： 维度 Zero-shot Few-shot Fine-tuning 数据需求 无 5-20条 数百-数千条 成本 最低（推理） 低（推理+示例token） 高（训练+部署） 效果天花板 受基座能力限制 中（模式迁移） 高（深度适配） 时效性 即时 即时 小时-天级 核心优势 免训练适配：利用预训练阶段的ICL（上下文学习）能力，通过注意力机制"复制"示例…
匹配正文：答案要点 Zero-shot（零样本）：不给示例，只用文字描述任务，让模型直接作答 Few-shot（少样本）：在 prompt 里放几个"输入→输出"示例，让模型照着模式做 两者都不更新模型参数，靠的是上下文学习（In-Context Learning）能力 例子能生效，是因为模型在预训练中学会了"识别并延续上文中的模式" 示例的质量、格式一致性、标签均衡都影响效果；简单任务 zero-shot 够用，格式复杂或任务含糊时 few-shot 更稳 核心概念 Zero-sho…
学习内容与项目面试，在同一条路上。