页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Patch Embedding」找到 4 条内容
按专题浏览 →匹配正文：…线性投影”在权重映射上等价： proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch, stride=patch) tokens = proj(x).flatten(2).transpose(1, 2) # [B,N,D] 卷积是常见且便于调用优化kernel的实现，但不能脱离硬件和框架宣称它一定“远高于”unfold+GEMM。 原始ViT在序列前加入可学习CLS token，并加可学习位置embedding；分类读取…
匹配正文：…失、感知指标、codebook perplexity、活跃code比例、每个code频次和量化误差，并可视化相同code对应的输入patch。扫码本大小、embedding维、下采样率和commitment权重，检查重建与生成质量的权衡。对Stable Diffusion类模型先查看配置和checkpoint，确认是AutoencoderKL还是VQModel。最终比较要分别报告压缩率、重建、生成、延迟和语义任务，不能凭“离散”推断可解释或无损。 码本训练还要处理尺度漂移。编…
匹配正文：输入与架构家族 视觉语言模型先把图像转换为patch、区域或压缩视觉token，文本经tokenizer与语言模型处理。常见架构并不都要求统一共享语义空间： Dual encoder：CLIP用对比学习让全局图文embedding可比较，适合检索。 Projector或Q-Former：把视觉表示映射或查询成LLM可消费的token。 Cross-attention：文本流在若干层读取独立视觉memory，两个模态可保留异构空间。 Early fusion：视觉与文本toke…
学习内容与项目面试，在同一条路上。