完整题目
尽管多模态大模型取得了显著进展，但仍存在诸多挑战。请从模型架构、训练策略、跨模态对齐、推理效率等方面，系统阐述当前多模态大模型的主要改进空间及可能的技术路径。
本文目录
核心判断
多模态模型的改进空间可拆成感知编码、跨模态连接、训练数据与目标、推理系统和安全评测。不同模型公开细节不同，不能把它们都概括成一层projection。Qwen-VL公开了视觉receptor、跨注意力适配模块和语言模型的组合，并采用分阶段训练。Gemini技术报告公开了原生多模态能力和评测，但没有足够细节支持外部断言它使用某种统一token空间。
机制与边界
架构上要在保留视觉细节和控制视觉token之间权衡。简单投影、Q-Former或cross-attention resampler会带来不同信息瓶颈；高分辨率、视频和多图还需要动态切块、时空位置和长上下文。跨模态对齐不只靠图文对比，还可用caption、grounding、OCR、指令和结构化任务。Qwen-VL论文明确提到visual receptor、输入输出接口、三阶段训练和多语清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。
所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resampler决定信息损失。统一接口的价值是让自回归或共享主干处理多模态，不是保证像素、声学或时序细节完整。对闭源模型只能引用技术报告公开内容，不能从结果反推未披露架构。训练中还要平衡模态比例、重复数据、字幕噪声与语言能力回退。
偏好优化也要准确定位。DPO从偏好对学习相对偏好，并通过参考策略约束更新，它不是用来避免预训练目标互相干扰的通用机制。多模态DPO还可能忽略图像、利用文本捷径，因此需要构造图像条件真正决定胜负的数据。安全侧要覆盖提示注入、视觉文字攻击、隐私、定位幻觉和工具权限。系统侧则看视觉编码延迟、视觉token缓存、批处理和不同模态的尾延迟。
工程验证
评测按感知、OCR、grounding、跨图推理、视频时序和安全分桶，并加入只改图不改文字、只改文字不改图的对照，排查模态捷径。架构消融要统一视觉token预算，对比projection、resampler或cross-attention的质量、显存和延迟。训练阶段记录各模态梯度、语言回归与数据来源。对闭源系统只报告可复现实验，不猜内部token。只有目标场景的盲测与端到端成本同时改善，才算有效改进。
继续追问 · 3 个问题
- 快手短视频场景下，多模态模型如何解决"首帧吸引力"预测问题
- 如何看待原生多模态（如Gemini）与拼接式架构（LLaVA类）的长期演进
- 多模态RLHF相比纯文本有哪些独特难点
换一种问法，检查是否真正理解
场景切入
假设你在做电商的多模态客服，用户拍了张模糊的订单截图问售后，模型既要看懂图片里的商品、金额，还得结合对话历史给出准确回复。你觉得现在这种拼接式的视觉+语言模型，在哪些地方最可能出篓子？怎么改进？
层层追问
多模态大模型现在主要卡在哪儿？……比如架构上，视觉和语言硬拼起来有什么问题？……那训练数据呢，图文对噪声大怎么解决？……还有推理时，一张图搞出几百个token，怎么提速？
直球架构
系统谈谈多模态大模型在架构、训练、对齐、推理四个方向的改进空间和技术路径。比如架构上除了拼接式，还有什么方案？对齐怎么避免幻觉？效率上怎么压缩视觉token？
练习口述回答 · 约4分钟（先30秒，再90秒，可继续展开）
- 30秒：感知、连接、训练、系统与安全
- 90秒：还原Qwen-VL公开结构
- 边界：闭源架构和统一token不可臆测
- 工程：DPO、捷径和系统成本
- 验证：模态对照、token预算和盲测
如果只给我三十秒，我会这样回答：多模态模型的改进空间可拆成感知编码、跨模态连接、训练数据与目标、推理系统和安全评测。不同模型公开细节不同，不能把它们都概括成一层projection。Qwen-VL公开了视觉receptor、跨注意力适配模块和语言模型的组合，并采用分阶段训练。Gemini技术报告公开了原生多模态能力和评测，但没有足够细节支持外部断言它使用某种统一token空间。
如果有九十秒，我会把机制讲清楚。架构上要在保留视觉细节和控制视觉token之间权衡。简单投影、Q-Former或cross-attention resampler会带来不同信息瓶颈；高分辨率、视频和多图还需要动态切块、时空位置和长上下文。跨模态对齐不只靠图文对比，还可用caption、grounding、OCR、指令和结构化任务。Qwen-VL论文明确提到visual receptor、输入输出接口、三阶段训练和多语清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。
继续展开时，我会补上容易混淆的边界。所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resampler决定信息损失。统一接口的价值是让自回归或共享主干处理多模态，不是保证像素、声学或时序细节完整。对闭源模型只能引用技术报告公开内容，不能从结果反推未披露架构。训练中还要平衡模态比例、重复数据、字幕噪声与语言能力回退。
再看一个常被忽略的工程点。偏好优化也要准确定位。DPO从偏好对学习相对偏好，并通过参考策略约束更新，它不是用来避免预训练目标互相干扰的通用机制。多模态DPO还可能忽略图像、利用文本捷径，因此需要构造图像条件真正决定胜负的数据。安全侧要覆盖提示注入、视觉文字攻击、隐私、定位幻觉和工具权限。系统侧则看视觉编码延迟、视觉token缓存、批处理和不同模态的尾延迟。
落地时我会这样验证。评测按感知、OCR、grounding、跨图推理、视频时序和安全分桶，并加入只改图不改文字、只改文字不改图的对照，排查模态捷径。架构消融要统一视觉token预算，对比projection、resampler或cross-attention的质量、显存和延迟。训练阶段记录各模态梯度、语言回归与数据来源。对闭源系统只报告可复现实验，不猜内部token。只有目标场景的盲测与端到端成本同时改善，才算有效改进。