匹配正文：…下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/ASR 错误和域偏移；有限上下文内的证据去重与排序；版权、隐私、提示注入和访问控制。评估要拆分各模态 Recall@K、跨模态重排、答案忠实度、引用定位、尾延迟和成本。财报图表问答、设备图片诊断、视频定位和商品图文客服都是适用场景…

#阿里#多模态#多模态 RAG

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配正文：…能描述配对，构建图像-文本对用多模态Embedding模型（CLIP、SigLIP或专用UI模型如UIBert）编码入库 3. 跨模态检索用户截图经相同视觉编码器得到query embedding 两级检索：先全局匹配找相似界面类型，再组件级局部匹配检索结果：相似组件的功能说明、使用场景、交互规范 4. 增强生成 Prompt整合：组件位置图 + OCR文本 + 检索到的知识片段生成时约束：按位置顺序描述，结合业务场景解释用途关键技术点环节技术选择要点视觉编…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#淘天#多模态#多模态 RAG

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：…支持文本、图像、视频、音频等多模态输入和检索）技术挑战（跨模态语义对齐、多模态索引构建、模态融合策略）核心组件（多模态编码器、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模态RAG 表征空间单一文本Emb…

#阿里#多模态#Multi-modal RAG

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：… 延迟挑战与根因瓶颈环节具体表现根因检索阶段向量库查询+重排序耗时高大规模向量ANN搜索精度-速度trade-off，跨模态检索更慢工具调用 Agent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟高长序列KV Cache计算量大，Attention复杂度O(n²) 正确率挑战与根因检索不准：向量相似度≠语义相关，用户query与文档表述gap大上下文噪声：Top-K检索结果混入无关文档，…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·多模态· 得物

多模态大模型怎么理解？

匹配口述回答：…。图像编码器和文本编码器各自处理输入，再通过对比学习让匹配图文embedding接近、不匹配样本远离。它得到可比较的全局表示，适合跨模态检索和零样本分类，但不直接等于具备细粒度生成或多步视觉推理。桥接路线会冻结或部分冻结预训练组件。BLIP-2在视觉编码器与LLM之间加入Q-Former，用一组可学习query从视觉特征提取与语言相关的信息，再接入语言模型。LLaVA类系统则常用projector把视觉特征转换到LLM可接收的表示。这里共享的是接口和训练目标，不代表原始视觉…

#多模态融合#视觉语言模型#对比学习

面试题·Agent· 小红书

长序列行为数据怎么处理?

匹配口述回答：…dding空间，CLIP不够精细但专门训练成本高，是线上效果的瓶颈。面试官可能会追问多模态embedding对齐的具体方法，或者跨模态检索的实践经验。

#小红书#Agent#长序列行为数据

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配口述回答：…自研。另外，选型时还要考虑一个容易被忽略的点：如果业务需要[[多模态]]向量，比如文本和图片用不同模型编码，能不能在同一个库中做跨模态检索？有些库支持多向量字段，有些不行，这会直接影响架构设计。这道题本质在问：如何在延迟、规模、成本和集成之间做工程取舍核心维度：索引类型决定性能基线，扩展性决定能扛多大业务业务场景举例：电商搜索的延迟敏感与混合检索需求落地风险：索引重建、写放大、成本失控，上线前要压测总结：没有万能方案，选型是 trade-off，我倾向先用成熟方案…

#京东#评估与监控#向量数据库选型