完整题目
在多模态大模型应用中，用户提供的文本、图像、音频等异构信息应如何统一存储、表示和调用？请讨论特征对齐、向量数据库、跨模态索引等解决方案。
存储、表示与检索分层
原始资产层保存文本、图像、音频和视频文件，统一使用asset ID、时间戳、来源、权限、内容哈希和版本；对象存储保存大文件，元数据与片段关系进入目录或关系库。
特征层为每种encoder记录model ID、版本、维度、归一化和生成时间。Whisper音频表示、CLIP图文embedding与BERT文本embedding并不天然处于同一空间，不能直接用余弦距离混排。若要共享空间，需要配对数据、对比目标或可训练projector/adapter。合理做法是冻结基座encoder并训练projector，而不是把projector也冻结后声称正在对齐。
索引层有两种路线：训练出共同空间后建立统一向量索引；或按模态维护独立索引，分别召回后做late fusion。独立索引分数没有天然共同标尺，需要分数校准、rank-based fusion或学习融合器，再交给reranker。
调用层根据query模态、任务和权限选择encoder、索引与原始片段，并返回可追踪证据。版本升级要双写或重建索引，避免新旧embedding混用。
继续追问 · 3 个问题
- 如果图像和文本的语义粒度不一致（如一张图对应多段描述），如何解决检索时的歧义问题？
- 在十亿级多模态数据规模下，向量索引如何设计才能保证实时性？
- 多模态RAG中，如何决定何时融合、何时分别检索？
换一种问法，检查是否真正理解
场景切入
假设要建设一个同时支持文本查图、图片查音频的多模态资料库。你会怎样保存原始资产、版本化各模态 embedding，并选择统一索引或独立索引加后融合？
层层追问
原始文本、图像和音频分别存在哪里？……不同 encoder 的向量能直接比较吗？……若不能，怎样训练共享空间或做分数校准？……模型升级时如何避免新旧 embedding 混用？
直球技术
设计多模态异构数据的统一存储、表示与调用方案，覆盖特征对齐、向量索引、跨模态检索、版本管理和权限追踪。