完整题目
请详细介绍多模态检索增强生成(Multi-modal RAG)的技术原理、系统架构和关键挑战,并举例说明其应用场景。
原理与架构
多模态 RAG 从文本、图像、音频或视频中检索外部证据,再由能消费相应模态的模型回答。典型流程是:OCR、ASR 或视觉编码入库,分块时保留页码、区域和时间戳;查询做模态识别与改写;多路召回、跨模态重排;最后编排上下文、生成并验证引用。
索引可将多模态对齐到共享向量空间,也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节;分索引保留专用能力却增加路由和校准复杂度。
关键挑战包括:细粒度区域或时间片对齐;OCR/ASR 错误和域偏移;有限上下文内的证据去重与排序;版权、隐私、提示注入和访问控制。评估要拆分各模态 Recall@K、跨模态重排、答案忠实度、引用定位、尾延迟和成本。财报图表问答、设备图片诊断、视频定位和商品图文客服都是适用场景,但模型与索引选择必须由目标数据基准决定。
图解
换一种问法,检查是否真正理解
场景切入
假设你在做电商智能导购,用户上传一张穿搭照片,说“帮我找类似的衣服”,同时输入“想要休闲风格”。你怎么同时处理图片和文字两个query?检索和生成环节分别要考虑什么?
层层追问
RAG里文本检索你肯定熟悉。但如果query里既有文本又有图片……你怎么统一表示它们?……检索出来的结果可能有图文混合,生成时怎么把两种模态的信息融合起来?
直球架构
设计一个多模态RAG系统,要求能同时接受文本和图像输入,输出图文混合的答案。请从编码、检索、融合、生成几个环节讲清楚架构方案,并指出关键挑战。