多模态 RAG 实现方案

面试官你好，这个问题本质上是问，当用户输入不只有文字，还带着图片、表格、PDF时，怎么把这些[[多模态]]信息检索出来并交给模型生成答案。多模态[[RAG]]不是简单把文本RAG换皮，它要解决的是跨模态的对齐和融合。

我先说说主流框架。现在用得多的，一个是LlamaIndex，一个是LangChain。LlamaIndex原生就支持图像、PDF和表格解析，它的MultiModalVectorStoreIndex可以直接把图片和文本的向量存到同一个索引里，开箱即用，适合快速验证。LangChain的定位更灵活，它通过Unstructured库或者Multimodal Embeddings来扩展，你得自己把多模态链路组装起来，但好处是能深度定制。我个人的看法是，如果你业务场景比较明确，比如电商商品图加描述文本，用LlamaIndex上手更快；如果你需要对接不同视觉模型或者做复杂的后处理，LangChain更可控。真正落地时，其实往往是两者混用，用LlamaIndex的解析器提取图文，用LangChain编排检索和生成流程。

再拆一下核心组件。首先是多模态编码器，把图像和文本映射到同一个向量空间。图像这块常用[[CLIP]]，中文场景可以用Chinese-CLIP。文档场景有个新方案叫ColPali，它直接编码PDF页面为token序列，不需要[[OCR]]，对排版复杂的文档特别友好。检索器的关键是跨模态向量空间对齐，否则你拿文本向量去搜图片向量，相似度不靠谱。存储上我倾向用Milvus或Pinecone的多模态索引，或者把文本和图片向量分开存，但检索时做联合召回。生成器就是多模态LLM，比如GPT-4V、Qwen-VL，它们能接收图文交错的输入。

举个例子，电商商品问答场景。用户上传一张商品图，问“这个背包的防水等级是多少”。系统先解析图片，同时检索商品详情页里的图文信息，包括规格表格和文字描述，然后把这些拼成上下文交给多模态LLM生成答案。这里有个坑：如果图片编码器和文本编码器没有对齐好，检索到的可能是完全不相关的商品，答案就会瞎编。所以上线前我会特别关注检索的Recall@K和跨模态对齐的余弦相似度分布。

落地风险方面，模态对齐质量直接决定检索精度，而延迟和成本会随模态数倍增。比如同时处理图像、表格和文字，编码和存储开销都翻倍。常见失败场景是文档里的图表被当作普通图片编码，丢掉了坐标和数值信息，导致问答时答非所问。所以我会把图表单独走OCR加结构化解析，而不是统一用视觉编码器。

最后提一个有意思的方向，ColPali这类免OCR方案正在改变“先解析再[[嵌入]]”的传统范式。它直接把PDF页面编码成token序列，省去了版面分析、OCR这些前置步骤，端到端训练，对复杂排版效果很好。但代价是计算量更大，而且对纯文本页面的检索精度可能不如传统方法。

所以整体上，我更倾向把多模态RAG看成一套组件化的方案，根据业务场景选编码器、定检索策略、挑生成模型，不存在万能框架。关键是把跨模态对齐的坑填好，再平衡好成本和效果。