完整题目
在多模态大模型应用中，用户提供的文本、图像、音频等异构信息应如何统一存储、表示和调用？请讨论特征对齐、向量数据库、跨模态索引等解决方案。
存储、表示与检索分层
原始资产层保存文本、图像、音频和视频文件，统一使用asset ID、时间戳、来源、权限、内容哈希和版本；对象存储保存大文件，元数据与片段关系进入目录或关系库。
特征层为每种encoder记录model ID、版本、维度、归一化和生成时间。Whisper音频表示、CLIP图文embedding与BERT文本embedding并不天然处于同一空间，不能直接用余弦距离混排。若要共享空间，需要配对数据、对比目标或可训练projector/adapter。合理做法是冻结基座encoder并训练projector，而不是把projector也冻结后声称正在对齐。
索引层有两种路线：训练出共同空间后建立统一向量索引；或按模态维护独立索引，分别召回后做late fusion。独立索引分数没有天然共同标尺，需要分数校准、rank-based fusion或学习融合器，再交给reranker。
调用层根据query模态、任务和权限选择encoder、索引与原始片段，并返回可追踪证据。版本升级要双写或重建索引，避免新旧embedding混用。
继续追问 · 3 个问题
- 如果图像和文本的语义粒度不一致（如一张图对应多段描述），如何解决检索时的歧义问题？
- 在十亿级多模态数据规模下，向量索引如何设计才能保证实时性？
- 多模态RAG中，如何决定何时融合、何时分别检索？
换一种问法，检查是否真正理解
场景切入
假设要建设一个同时支持文本查图、图片查音频的多模态资料库。你会怎样保存原始资产、版本化各模态 embedding，并选择统一索引或独立索引加后融合？
层层追问
原始文本、图像和音频分别存在哪里？……不同 encoder 的向量能直接比较吗？……若不能，怎样训练共享空间或做分数校准？……模型升级时如何避免新旧 embedding 混用？
直球技术
设计多模态异构数据的统一存储、表示与调用方案，覆盖特征对齐、向量索引、跨模态检索、版本管理和权限追踪。
练习口述回答 · 约4分钟
- 先统一资产ID和元数据
- 为特征记录模型版本
- 说明共享空间的训练条件
- 比较统一索引与late fusion
- 设计调用、权限和迁移
多模态数据的统一不意味着把所有内容塞进一张向量表。我会分成原始资产、特征、索引和调用四层。原始资产层保存文本、图像、音频和视频文件，用统一asset ID关联来源、时间戳、权限、内容哈希、语言和版本。大文件放对象存储，片段、字幕、帧时间和父子关系放元数据目录或关系库。
特征层为每次编码记录encoder名称、模型版本、维度、归一化方式、生成时间和对应asset片段。Whisper的音频内部表示、CLIP的图文embedding与BERT文本embedding来自不同训练目标，不能假设它们天然处于同一坐标系，也不能直接把余弦分数放在一起比较。即使维度相同，数值尺度与语义也可能不同。
若业务需要统一空间，要准备配对或弱配对数据，通过对比学习、匹配损失或蒸馏训练projector或adapter。常见策略是冻结成熟的视觉、音频和文本基座，只更新连接层，先降低训练成本；如果数据量和任务支持，也可以联合微调部分基座。所谓“冻结投影层同时训练对齐”自相矛盾，必须明确究竟哪些参数在更新。
索引有两条路线。对齐证据充分时，可以把不同模态映射到共同空间并使用统一ANN索引，支持文搜图、图搜文等跨模态查询。若还没有可靠共同空间，应按模态维护独立索引，各自取候选，再做late fusion。各索引的原始相似度没有天然共同标尺，需要在验证集上做温度或分位数校准，也可用reciprocal rank fusion，或者训练融合器和reranker。
调用层根据query模态、任务、权限和延迟预算选择encoder与索引。文本问题可能同时检索ASR字幕、OCR和图像特征，再把候选映射回原始时间段或区域。返回结果应包含asset ID、片段位置、特征版本和来源，方便后续生成答案时引用与审计。
版本管理是容易遗漏的风险。encoder升级后，新旧embedding通常不能混在同一距离空间里。我会采用新索引回填、双写和影子评测，确认召回与延迟后再切流，并保留回滚。离线看跨模态Recall与NDCG，线上看任务完成率、证据点击和权限错误，避免只优化向量相似度。
治理上还要区分删除原始资产与删除派生向量。用户撤回数据或权限变化时，索引、缓存、缩略图和离线特征都应按asset ID联动失效，并保留可审计记录。否则原文件删除了，旧embedding仍可能被召回。