完整题目
请详细描述一种典型的多模态大模型（如BLIP-2、Qwen-VL或LLaVA）的网络结构，包括视觉编码器、语言模型、连接模块（如Q-Former、Adapter）的设计与协作方式。
三种典型桥接结构
LLaVA-1.5使用预训练CLIP视觉编码器提取图像特征，经两层MLP projector映射到语言模型token空间。特征对齐阶段冻结视觉编码器和LLM，主要训练projector；视觉指令微调阶段仍冻结视觉编码器，并更新projector与LLM。不能说projector始终是唯一可训练模块，也不应给无来源固定参数量。
BLIP-2冻结图像编码器与LLM，在中间训练Q-Former。Q-Former由可学习query通过cross-attention从视觉特征提取与文本相关的信息，再经投影接入LLM。回答时无需虚构层数；不同组件初始化和两阶段预训练目标以论文为准。
Flamingo用冻结视觉编码器得到特征，经Perceiver Resampler压成固定数量视觉表示，再在冻结语言模型中插入gated cross-attention层读取视觉信息。它不是把原始视觉token不经投影直接送入语言模型。
三者都在复用预训练视觉和语言组件，但连接位置、训练参数范围和信息带宽不同。选型需比较细粒度感知、指令跟随、可训练成本、视觉token数量、延迟和数据规模。
图解
继续追问 · 3 个问题
- 为什么LLaVA选择简单的线性层而BLIP-2用复杂的Q-Former，各自的优缺点是什么
- 多模态模型训练中视觉端和语言端学习率是否需要差异化设置
- 如何评估连接模块是否有效对齐了两种模态
换一种问法，检查是否真正理解
场景切入
假设要构建一个商品图片问答模型。请在 LLaVA 式 MLP projector 与 BLIP-2 式 Q-Former 中选择一种桥接方案，并说明视觉编码器、连接模块和 LLM 怎样协作。