页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「ViT」找到 4 条内容
按专题浏览 →匹配正文：…[B,N,D] 卷积是常见且便于调用优化kernel的实现，但不能脱离硬件和框架宣称它一定“远高于”unfold+GEMM。 原始ViT在序列前加入可学习CLS token，并加可学习位置embedding；分类读取CLS输出。其他模型也可用平均池化、二维/相对位置编码。Self-attention提供单层全局token交互，而CNN通过堆叠、下采样或大卷积核同样可以获得全局感受野，区别是归纳偏置和交互路径，不是“CNN做不到全局”。 图解 ViT 图像块嵌入原理与实现图解
匹配正文：…跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成 纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入 核心变化：检索侧打破模态壁垒，生成侧让LLM"看懂"多模态内容。 主要技术挑战 异构数据处理：图像需OCR/目标检测、视频需关键帧抽取+时序建模，预处理链路复杂 模态对齐难题：图文语义不对齐（如产品图vs营销文案），简单拼接导致噪声 上下文长度爆炸：多帧视频或高分辨率图像toke…
匹配正文：…构差异 Embedding层 方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐 方案B：端到端训练（如ColPali的ViT+Transformer） 检索策略 早期融合：图文拼接后统一编码 晚期融合：分别检索后加权融合 4. 适用场景 文档智能：发票、合同、研报（ColPali优势） 电商搜索：商品图+详情页联合检索 医疗影像：影像+报告跨模态查询 5. 选型建议 场景 推荐方案 追求效果上限 端到端多模态Embedding 快速落地 伪多模态+CLIP+重排序…
学习内容与项目面试，在同一条路上。