完整题目
请解释视觉语言模型（Vision-Language Model, VLM）的基本原理，包括其多模态输入处理方式、对齐机制以及典型的模型架构设计。
输入与架构家族
视觉语言模型先把图像转换为patch、区域或压缩视觉token，文本经tokenizer与语言模型处理。常见架构并不都要求统一共享语义空间：
- Dual encoder：CLIP用对比学习让全局图文embedding可比较，适合检索。
- Projector或Q-Former：把视觉表示映射或查询成LLM可消费的token。
- Cross-attention：文本流在若干层读取独立视觉memory，两个模态可保留异构空间。
- Early fusion：视觉与文本token进入共同Transformer，由注意力联合建模。
对齐可来自图文对比、匹配、caption生成、指令数据和区域级grounding，不同目标解决的问题不同。对GPT-4V等未公开完整架构的产品，只描述官方披露能力，不推断内部连接。
Self-RAG针对文本检索、生成和反思流程，不是验证图像中某实体真实存在的视觉检测器。视觉事实应由区域grounding、目标检测、OCR、坐标或可回看的图像证据支持。评测需拆分感知、grounding、推理和语言先验偏差。
继续追问 · 3 个问题
- VLM中的幻觉问题如何缓解？
- 对比CLIP和LLaVA两种架构的优缺点和适用场景
- 如果让你设计一个电商商品理解VLM，你会如何构建训练数据和任务设计？
换一种问法，检查是否真正理解
场景切入
假设你做一个智能相册助手，用户上传一张照片问‘这是哪里拍的’，模型需要同时理解图片内容和你问的文本。你会怎么设计这个模型，让它在看到一张图的同时也能看懂文字问题？
层层追问
多模态模型你怎么把图像和文本喂进去？……它们特征空间不一样，怎么让模型理解它们之间的关系？……现在主流做法是用一个轻量模块去桥接，你能讲下具体怎么做的吗？
直球架构
请解释VLM的原理，包括图像和文本如何分别处理、怎么对齐到同一个语义空间，以及典型架构有哪些？注意要讲清楚对齐机制和训练过程。