页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「特征对齐」找到 4 条内容
按专题浏览 →匹配题目：在多模态大模型应用中，用户提供的文本、图像、音频等异构信息应如何统一存储、表示和调用？请讨论特征对齐、向量数据库、跨模态索引等解决方案。
匹配正文：…接结构 LLaVA-1.5使用预训练CLIP视觉编码器提取图像特征，经两层MLP projector映射到语言模型token空间。特征对齐阶段冻结视觉编码器和LLM，主要训练projector；视觉指令微调阶段仍冻结视觉编码器，并更新projector与LLM。不能说projector始终是唯一可训练模块，也不应给无来源固定参数量。 BLIP-2冻结图像编码器与LLM，在中间训练Q-Former。Q-Former由可学习query通过cross-attention从视觉特征提…
匹配口述回答：…ttention 或 Q-Former 连接。LLaVA-1.5 属于视觉编码器加 MLP projector 的路线：第一阶段做特征对齐时主要训练 projector，但完整的视觉指令微调阶段不能笼统说始终冻结 LLM、只训练百分之一参数。晚期融合则让各模态模型独立工作，由工具或编排层合并结果，易替换、易审计，但端到端协同较弱。 第二层是对齐目标。对比学习擅长把成对图文拉近、非配对样本推远，适合全局语义；生成和匹配目标可以学习更细的条件关系。BLIP-2 的 Q-Forme…
学习内容与项目面试，在同一条路上。