完整题目
请概述你对多模态大模型的理解，包括其基本架构思想、典型代表模型（如CLIP、Flamingo、Qwen-VL等）、训练方法以及主要应用场景。
多模态大模型的核心
多模态系统把图像、文本、音频或视频编码为可被联合任务使用的表示，但不要求所有模态从一开始就在同一个共享空间。常见结构包括：
- 双塔对齐：CLIP用图像编码器和文本编码器，经对比学习得到可比较embedding，适合检索和零样本分类。
- 桥接模块：BLIP-2用Q-Former连接冻结视觉编码器与冻结LLM；投影器也可把视觉特征映射成语言模型token。
- Cross-attention：Flamingo先用Perceiver Resampler整理视觉特征，再由语言模型中的gated cross-attention读取，视觉和文本可保留不同表示空间。
- 统一token/早融合：不同模态转为token后进入共同Transformer，但仍需位置、模态和对齐设计。
Qwen-VL论文描述分阶段的视觉语言预训练、多任务训练与监督指令微调，不能把监督指令数据直接称为人类偏好对齐。对GPT-4o等闭源系统只能引用官方披露能力，不能推断其从零端到端训练或内部连接方式。
应用包括检索、问答、OCR、文档理解、视觉定位和Agent感知。评测需同时看感知、grounding、推理、幻觉、延迟和安全。
图解
继续追问 · 3 个问题
- 多模态模型中的模态对齐具体是怎么做的，有哪些技术难点
- 如何看待原生多模态（如GPT-4o）和拼接式架构的优劣对比
- 多模态SFT中数据配比和纯文本能力的保持有什么经验