完整题目
尽管多模态大模型取得了显著进展，但仍存在诸多挑战。请从模型架构、训练策略、跨模态对齐、推理效率等方面，系统阐述当前多模态大模型的主要改进空间及可能的技术路径。
本文目录
核心判断
多模态模型的改进空间可拆成感知编码、跨模态连接、训练数据与目标、推理系统和安全评测。不同模型公开细节不同，不能把它们都概括成一层projection。Qwen-VL公开了视觉receptor、跨注意力适配模块和语言模型的组合，并采用分阶段训练。Gemini技术报告公开了原生多模态能力和评测，但没有足够细节支持外部断言它使用某种统一token空间。
机制与边界
架构上要在保留视觉细节和控制视觉token之间权衡。简单投影、Q-Former或cross-attention resampler会带来不同信息瓶颈；高分辨率、视频和多图还需要动态切块、时空位置和长上下文。跨模态对齐不只靠图文对比，还可用caption、grounding、OCR、指令和结构化任务。Qwen-VL论文明确提到visual receptor、输入输出接口、三阶段训练和多语清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。
所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resampler决定信息损失。统一接口的价值是让自回归或共享主干处理多模态，不是保证像素、声学或时序细节完整。对闭源模型只能引用技术报告公开内容，不能从结果反推未披露架构。训练中还要平衡模态比例、重复数据、字幕噪声与语言能力回退。
偏好优化也要准确定位。DPO从偏好对学习相对偏好，并通过参考策略约束更新，它不是用来避免预训练目标互相干扰的通用机制。多模态DPO还可能忽略图像、利用文本捷径，因此需要构造图像条件真正决定胜负的数据。安全侧要覆盖提示注入、视觉文字攻击、隐私、定位幻觉和工具权限。系统侧则看视觉编码延迟、视觉token缓存、批处理和不同模态的尾延迟。
工程验证
评测按感知、OCR、grounding、跨图推理、视频时序和安全分桶，并加入只改图不改文字、只改文字不改图的对照，排查模态捷径。架构消融要统一视觉token预算，对比projection、resampler或cross-attention的质量、显存和延迟。训练阶段记录各模态梯度、语言回归与数据来源。对闭源系统只报告可复现实验，不猜内部token。只有目标场景的盲测与端到端成本同时改善，才算有效改进。