页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「CLIP」找到 34 条内容
按专题浏览 →匹配正文：…片段关系进入目录或关系库。 特征层为每种encoder记录model ID、版本、维度、归一化和生成时间。Whisper音频表示、CLIP图文embedding与BERT文本embedding并不天然处于同一空间，不能直接用余弦距离混排。若要共享空间，需要配对数据、对比目标或可训练projector/adapter。合理做法是冻结基座encoder并训练projector，而不是把projector也冻结后声称正在对齐。 索引层有两种路线：训练出共同空间后建立统一向量索引；或…
匹配正文：…态系统把图像、文本、音频或视频编码为可被联合任务使用的表示，但不要求所有模态从一开始就在同一个共享空间。常见结构包括： 双塔对齐：CLIP用图像编码器和文本编码器，经对比学习得到可比较embedding，适合检索和零样本分类。 桥接模块：BLIP-2用Q-Former连接冻结视觉编码器与冻结LLM；投影器也可把视觉特征映射成语言模型token。 Cross-attention：Flamingo先用Perceiver Resampler整理视觉特征，再由语言模型中的gated …
匹配正文：…区域或压缩视觉token，文本经tokenizer与语言模型处理。常见架构并不都要求统一共享语义空间： Dual encoder：CLIP用对比学习让全局图文embedding可比较，适合检索。 Projector或Q-Former：把视觉表示映射或查询成LLM可消费的token。 Cross-attention：文本流在若干层读取独立视觉memory，两个模态可保留异构空间。 Early fusion：视觉与文本token进入共同Transformer，由注意力联合建模。 …
学习内容与项目面试，在同一条路上。