页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「模型训练」找到 108 条内容
按专题浏览 →匹配追问：…eference Optimization）在优化目标上的本质区别是什么 GSPO如何处理分布外（OOD）动作的探索问题 在实际大模型训练中，GSPO的离线数据质量如何影响最终策略性能 场景切入 假设一个 MoE 策略在可验证奖励任务中对每个 prompt 采样多条响应，训练时 token 级比率波动明显。你会怎样引入 GSPO，并用哪些指标判断序列级裁剪是否改善稳定性？ 层层追问 GSPO 的 Group Sequence 指什么？……组内奖励如何形成相对优势？……序列级似…
匹配口述回答：…数和激活占比，不能背成固定四倍或八倍。 训练时，FlashAttention 主要改善注意力中间存储和 I/O，ZeRO 主要改善模型训练状态；两者可以同时使用，但解决的是不同问题。推理时 ZeRO 通常不是核心表述，应重点看 prefill 的 attention、decode 的 KV 带宽和批处理调度。 最终我会在目标 GPU 上固定 dtype、batch、head dimension 和序列长度，分别测训练峰值显存与 tokens/s、prefill 延迟、deco…
为什么LLaVA选择简单的线性层而BLIP-2用复杂的Q-Former，各自的优缺点是什么 多模态模型训练中视觉端和语言端学习率是否需要差异化设置 如何评估连接模块是否有效对齐了两种模态 场景切入 假设要构建一个商品图片问答模型。请在 LLaVA 式 MLP projector 与 BLIP-2 式 Q-Former 中选择一种桥接方案，并说明视觉编码器、连接模块和 LLM 怎样协作。 层层追问 图像先由什么模块编码？……视觉特征怎样变成 LLM 可接收的表示？……proje…
学习内容与项目面试，在同一条路上。