页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「并行」找到 189 条内容
按专题浏览 →匹配正文：…要按工作负载、硬件和维护状态选型 vLLM 面向服务化高吞吐，提供连续批处理、分页 KV cache、OpenAI 兼容接口与多种并行方式，当前官方文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并通过插件扩展其他加速器。优势是生态和开发效率，限制要查具体模型、量化、硬件与版本兼容矩阵。 TensorRT-LLM 针对 NVIDIA GPU 做图、kernel、量化与 in-flight batching 优化，适合愿意承担模型转换、引擎构建、…
匹配正文：…做物理仿真，而是把交互契约定义完整：观测和动作空间、状态转移或外部系统适配、奖励与成本、终止和截断、reset、随机种子、日志以及并行接口。环境可以是游戏、网页、工具 API、数据库沙箱或机器人模拟器。观测不必包含全部决策信息，信息缺失时应按 POMDP 处理，并让策略利用历史、记忆或 belief state。 机制与边界 建模从任务边界开始，明确一次 episode 的起点、成功、失败、超时和外部副作用。动作空间要表达合法操作并能屏蔽无效动作；观测只暴露部署时真正可得的信…
匹配正文：…masked统计；它不是数学上必须固定序列长度。大模型训练的batch也没有通用的1到8，必须区分每卡micro-batch、数据并行规模和global batch。 LN/RMSNorm与残差结构形成成熟的Pre-Norm或Post-Norm配方，训练与推理都使用当前token统计，不维护BN式运行状态。BN并非不能用于序列模型，但需要处理跨样本耦合、masked统计、同步通信和训练推理分布差异。 选型应固定模型与初始化，比较不同micro-batch和序列长度下的loss…
学习内容与项目面试，在同一条路上。