多模态大模型有哪些技术挑战?

多模态研发的难点不只是把图像接进语言模型。对齐先有全局图文匹配，再有区域与短语、对象与属性、时间片段与动作的细粒度对应。只用弱相关网页图文对，模型可能学到主题共现，却不能稳定回答位置、计数、OCR、指代或跨帧顺序。

数据侧同时受质量、许可、隐私和覆盖影响。图文描述可能遗漏关键对象，视频字幕也未必描述当前帧；合成描述会放大教师模型偏差。过滤器若只看CLIP相似度，还可能保留主题相近但事实不一致的样本。需要结合来源治理、去重、细粒度抽检和目标任务gold集，而不是把一个相似度分数当真值。

推理一致性要区分答案语言是否连贯与是否有视觉证据。让模型输出CoT可能帮助某些任务，也可能生成听起来合理但未被图像支持的解释，不能强制模态一致。更稳妥的做法是要求定位区域、引用帧或OCR证据，在证据不足和模态冲突时允许拒答，并用外部工具核验可验证部分。

多模态幻觉是否比纯文本更严重，没有脱离模型和基准的统一答案。视觉问答会新增对象不存在、属性错误和关系错误等失败类型，但文本模型也有知识与引用幻觉。可以用POPE等专门基准和真实业务样本分桶，分别报告对象、属性、计数、空间、OCR和时序错误。

泛化方面，训练中常见对象并不代表新组合、新视角、低清画面或专业领域可靠。视频还涉及采样遗漏与长时依赖，视觉token又会增加prefill成本。系统设计要在分辨率、帧数、上下文和延迟间做质量成本曲线，不能默认加更多视觉token就持续变好。

我的评测会把感知、grounding、推理、生成和安全分开，加入模态冲突、缺失模态、分布外与拒答样本。上线时保留证据展示、权限隔离和人工升级，并持续收集可复现失败。只有证据一致率和目标任务质量同步改善，才能认为新的提示、对齐数据或模型结构真正解决了问题。

训练数据还要包含有意设计的负例，例如图中没有被问对象、文本描述与画面冲突、局部证据被遮挡以及只有部分帧支持答案。没有这些样本，模型容易依赖语言先验。对负例既看回答是否正确，也看能否指出证据不足；拒答质量是多模态可靠性的一部分，不应只统计强行作答的准确率。