页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「量化」找到 297 条内容
按专题浏览 →匹配正文：核心判断 VQ-VAE由编码器、离散码本、向量量化器和解码器组成。编码器产生连续表示，对每个位置选最近的码本向量，再由解码器重建输入。离散选择不可导，经典方法用straight-through estimator把重建梯度传给编码器，并配码本更新与commitment loss。离散code只是模型学到的索引，不天然对应人可解释概念，也可能出现大量code闲置的码本塌缩。 机制与边界 相比普通VAE的连续随机变量，VQ-VAE让潜变量取有限码本中的向量，并学习一个先验来生成c…
匹配正文：…checkpoint、评测脚本和数值稳定性。 系统与部署：预处理一致性、服务拓扑、TTFT/TPOT 或 P95、吞吐、峰值内存、量化和并行、监控、回滚与故障处理。若采用依赖校准的 PTQ，需要说明代表性校准集；动态量化、QAT、显式 Q-DQ 或预量化权重等路径则要说明 scale 来源及是否需要数据。任何量化结论都应报告具体方法、权重与激活位宽、目标硬件、实际 kernel、质量回归和真实延迟。 结果与反思：离线和线上口径、置信区间、流量与观察窗口、失败切片、下一步。 量…
匹配正文：…A CUDA、AMD ROCm、Intel XPU、CPU，并列有 Apple Silicon 社区插件及其他硬件插件；具体模型、量化、并行和结构化输出仍要查 feature x hardware 矩阵。SGLang 强调高性能 runtime、调度与前缀缓存复用，但是否更快取决于共享前缀、并发和模型。 TensorRT-LLM 面向 NVIDIA 平台，提供权重转换、模型构建、高层 API、量化和服务能力。官方工作流可从 Hugging Face checkpoint 导入…
学习内容与项目面试，在同一条路上。