完整题目
请概述你对多模态大模型的理解，包括其基本架构思想、典型代表模型（如CLIP、Flamingo、Qwen-VL等）、训练方法以及主要应用场景。
多模态大模型的核心
多模态系统把图像、文本、音频或视频编码为可被联合任务使用的表示，但不要求所有模态从一开始就在同一个共享空间。常见结构包括：
- 双塔对齐：CLIP用图像编码器和文本编码器，经对比学习得到可比较embedding，适合检索和零样本分类。
- 桥接模块：BLIP-2用Q-Former连接冻结视觉编码器与冻结LLM；投影器也可把视觉特征映射成语言模型token。
- Cross-attention：Flamingo先用Perceiver Resampler整理视觉特征，再由语言模型中的gated cross-attention读取，视觉和文本可保留不同表示空间。
- 统一token/早融合：不同模态转为token后进入共同Transformer，但仍需位置、模态和对齐设计。
Qwen-VL论文描述分阶段的视觉语言预训练、多任务训练与监督指令微调，不能把监督指令数据直接称为人类偏好对齐。对GPT-4o等闭源系统只能引用官方披露能力，不能推断其从零端到端训练或内部连接方式。
应用包括检索、问答、OCR、文档理解、视觉定位和Agent感知。评测需同时看感知、grounding、推理、幻觉、延迟和安全。
图解
继续追问 · 3 个问题
- 多模态模型中的模态对齐具体是怎么做的，有哪些技术难点
- 如何看待原生多模态（如GPT-4o）和拼接式架构的优劣对比
- 多模态SFT中数据配比和纯文本能力的保持有什么经验
换一种问法，检查是否真正理解
场景切入
假设你在做电商客服助手，用户上传了一张商品截图，又发了段文字说“帮我找类似款”。模型怎么同时理解图片和文字？你讲讲多模态大模型在这类场景下是怎么把两种信息融合起来的。
层层追问
多模态大模型你了解吗？……它和普通LLM最核心的区别是什么？……那具体怎么把图像信息对齐到文本空间里呢？……训练时数据怎么组织，比如CLIP和Flamingo用的方法有什么不同？
直球架构
从架构、训练和应用三个维度，说下你对多模态大模型的理解。重点包括主流架构范式（比如双塔、融合、统一式）的差异，以及CLIP、Flamingo、Qwen-VL这几个代表模型各自的核心设计和训练方式。
练习口述回答 · 约4分钟
- 先定义联合任务而非强制共享空间
- 比较双塔与桥接模块
- 解释cross-attention和统一token
- 准确描述Qwen-VL训练阶段
- 补充应用和评测
我理解的多模态大模型，是让文本、图像、音频或视频信息能共同参与预测、生成和决策。关键不在于所有模态必须先压进完全相同的向量空间，而在于模型是否建立了可学习的信息交换和任务对齐。不同架构可以保留异构表示，再通过桥接模块交互。
CLIP代表双塔路线。图像编码器和文本编码器各自处理输入，再通过对比学习让匹配图文embedding接近、不匹配样本远离。它得到可比较的全局表示，适合跨模态检索和零样本分类，但不直接等于具备细粒度生成或多步视觉推理。
桥接路线会冻结或部分冻结预训练组件。BLIP-2在视觉编码器与LLM之间加入Q-Former，用一组可学习query从视觉特征提取与语言相关的信息，再接入语言模型。LLaVA类系统则常用projector把视觉特征转换到LLM可接收的表示。这里共享的是接口和训练目标，不代表原始视觉与文本特征天然同空间。
Flamingo展示了cross-attention路线。视觉编码器输出先经Perceiver Resampler压成固定数量的视觉表示，语言模型中的gated cross-attention层在生成文本时读取这些表示。视觉和语言可以保留不同空间，只要跨注意力学会连接。还有统一token或早融合架构，把多模态token送进共同Transformer，但仍要设计模态标识、位置、时间与训练目标。
训练通常包含单模态预训练、图文对齐、多任务视觉语言训练和指令微调等阶段。Qwen-VL论文描述了分阶段训练，其中包含大规模图文预训练、多任务数据和监督指令微调。监督问答或指令数据不能自动称为人类偏好对齐，除非确实有偏好比较与相应目标。对于GPT-4o等闭源系统，只能依据官方材料描述公开能力，不能替它断言从零端到端训练或具体连接结构。
应用可以覆盖跨模态检索、OCR、文档问答、图表理解、视觉定位、视频摘要和Agent感知。评测要拆开感知是否看对、grounding是否有区域证据、推理是否正确、回答是否受证据支持，还要看延迟、上下文成本、提示注入与隐私。这样才能从架构、训练到应用完整说明多模态能力。
多模态系统还要处理模态缺失和冲突。图像缺失、音频损坏或OCR与视觉不一致时，应显式标记可用证据并允许降级；不能把缺失向量当正常输入。训练和评测都应包含单模态、完整多模态与冲突样本。