匹配正文：原理与架构多模态 RAG 从文本、图像、音频或视频中检索外部证据，再由能消费相应模态的模型回答。典型流程是：OCR、ASR 或视觉编码入库，分块时保留页码、区域和时间戳；查询做模态识别与改写；多路召回、跨模态重排；最后编排上下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/AS…

#阿里#多模态#多模态 RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：多模态RAG定义传统RAG只检索和生成文本，多模态RAG将检索范围扩展到图像、视频、音频、表格等异构数据，让大模型能基于多源证据进行推理和生成。关键差异对比阶段传统文本RAG 多模态RAG 检索文本Embedding（BERT/Sentence-BERT）→ 相似度匹配跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入…

#快手#多模态#多模态 RAG

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：当前多模态模型的挑战要从具体能力说，而不是笼统说看不懂图。CLIP式图文对比学习擅长学习全局语义对应，但全局相似不等于能定位对象、区分属性、读取小字或判断两个对象的空间关系。模型能识别画面主题，也可能在计数、左右、遮挡和指代上失败。数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。评测必须按能力…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#模态对齐#数据构建#推理一致性

面试题·多模态· 淘天

多模态 RAG 实现方案

匹配正文：…+提问，检索详情页图文信息研报/财报分析：解析PDF中的图表、表格、文字联合问答医疗影像辅助：CT影像+病历文本联合检索关键挑战（一句话）模态对齐质量决定检索精度，延迟成本随模态数倍增，ColPali类方案正在改变"先解析再嵌入"的传统范式。学习建议掌握多模态RAG需熟悉主流框架如LangChain、LlamaIndex，理解其与视觉语言模型的集成方式。

#淘天#多模态#多模态 RAG 实现方案

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：答案要点明确多模态RAG的定义（支持文本、图像、视频、音频等多模态输入和检索）技术挑战（跨模态语义对齐、多模态索引构建、模态融合策略）核心组件（多模态编码器、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模…

#阿里#多模态#Multi-modal RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：答案要点文档解析与结构化提取（表格/OCR/布局分析）多模态Embedding策略（文本+图像联合编码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为H…

#小鹏#多模态#RAG 表格处理

面试题·Agent· 字节

Agent 技术演进与挑战?

匹配正文：…+ 知识库工具调用飞书智能服务台自动化办公文档处理、日程编排、跨系统操作飞书多维表格自动化内容生产素材检索、脚本生成、多模态创作剪映/即梦AI助手代码开发需求理解、代码生成、测试调试豆包MarsCode 三、关键挑战可靠性规划错误：任务拆解不合理导致执行失败工具选择失误：选错API或参数格式错误安全性权限边界：Agent越权访问敏感数据提示注入：恶意指令劫持Agent行为可控性执行过程黑盒，难以审计和回滚成本不可控：复杂任务触发大量LLM…

#字节#Agent#Agent 发展趋势

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：一、文档处理层核心挑战：专业文档格式复杂（PDF扫描件、表格、手写批注）多模态解析：OCR+LayoutLM提取图文混排内容，保留章节层级结构智能分块：按语义边界切分（条款/病例段落），非固定长度；医疗场景保留"主诉-检查-诊断"完整上下文元数据标注：标注文档来源、时效性、效力等级（如法律条文效力层级）二、索引构建双轨索引策略：类型用途实现稠密向量索引语义匹配领域微调Embedding（如医疗用PubMedBERT）稀疏关键词索引精准匹配 BM25…

#字节#RAG 全链路#RAG 技术链路

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配正文：一、文档预处理：领域知识结构化核心挑战：专业文档格式复杂（PDF表格、扫描件、法律条款层级）多模态解析：用LayoutLM或专用OCR提取图文混排内容，保留空间位置信息语义切分：按"条款-段落-句子"层级切分，医疗场景用UMLS术语边界，法律用条款编号锚定元数据增强：注入{文档类型、时效性、权威等级}等标签，支持后续过滤二、索引构建：混合召回架构双塔索引设计：索引类型技术选型适用场景稠密向量 BGE-M3/E5领域微调语义相似、同义词泛化稀疏向量 BM…

#字节#重排与优化#RAG 链路优化

面试题·多模态· 字节

Agent 优势与局限怎么分析?

匹配正文：答案要点 Agent与RAG的本质区别（主动规划vs被动检索）核心优势：任务分解、工具调用、多轮交互、自主决策主要局限：可靠性不稳定、延迟高、成本不可控、安全边界难定义技术趋势：Multi-Agent协作、Agent即服务(AaaS)、与具身智能结合潜在挑战：评估体系缺失、长期记忆机制、多模态工具生态核心优势 1. 从"问答"到"执行"的跃迁 RAG是"知识检索+生成"，Agent是"理解→规划→执行→反思"的闭环能调用外部工具（API、代码执行、数据库），完成复…

#字节#Agent#Agent 优势与局限

面试题·知识图谱· 淘天

GraphRAG 技术难点有哪些?

匹配正文：…raph）计算层：子图提取的实时性要求 vs 图神经网络的预计算开销成本层：LLM-based图摘要的token消耗远高于标准RAG的chunk检索淘天场景的特殊性：电商知识图谱具有强schema、高动态性（商品上下架）、多模态属性（图文关联），需要针对商品类目体系做专门的图谱分层设计。学习建议建议先掌握多模态基础和RAG架构，再深入学习跨模态融合机制与典型模型结构。

#淘天#多模态#GraphRAG 难点

面试题·RAG· 小红书

生成式推荐系统未来怎么发展？

匹配正文：…ding）：小模型草稿+大模型验证提前退出：置信度达标时终止生成缓存复用：用户长期兴趣KV Cache持久化 4. 应用场景：多模态生成推荐小红书特有优势：图文/视频内容可直接作为生成目标演进方向：从"推荐现有笔记"到生成个性化内容摘要、组合生成穿搭方案等关键挑战挑战应对思路 ID空间巨大采用语义ID或分层编码实时性要求边缘部署+云端大模型协同多样性-准确性权衡引入可控生成（Constrained Decoding）学习建议建议系统学习该知识点

#小红书#生成式推荐趋势#生成式推荐系统

面试题·Agent· 小红书

长序列行为数据怎么处理?

匹配口述回答：…粒度的兴趣变化。所以前提是你的摘要模型得足够好，而且要做在线评估，比如定期用摘要回放历史行为，看召回率有没有掉。另外，实时性也是个挑战，新发布的笔记得在几分钟内进入用户记忆。我会给冷记忆建一个增量更新通道，新行为先进热记忆，再异步写入向量索引。还有一个常被忽略的点是负信号，比如曝光但没点击的记录，它们其实很重要，能反映用户不喜欢什么。我会在采样时给负样本一定权重，不能全丢了。说到这个，我最近在思考一个问题：当用户行为包含[[多模态]]内容，比如图文和视频混在一起，怎么把它们…

#小红书#Agent#长序列行为数据

面试题·模型微调· 高德

Agent 记忆怎么用向量库?

匹配口述回答：这道题问的其实是[[Agent]]记忆和[[RAG]]知识库到底有什么不一样，为什么不能简单把对话历史扔进[[向量数据库]]就完事。要我说，核心差异有三点：记忆是动态演进的，每轮交互都在变；它有时序敏感性，既要最近发生的事情也要历史相关的事情；还有[[多模态]]关联，比如用户说了句话，调了个工具，返回了个结果，这些得串起来。向量数据库的[[稠密检索]]刚好擅长找语义相关但表述不同的内容，而且增量写入很自然，所以成了标配。具体到设计，先说[[Embedding]]模型。通用场…

#高德#Agent#向量检索