匹配正文：…高分辨率图像token数远超文本，触发长上下文瓶颈训练数据稀缺：高质量的<问题, 图像证据, 文本答案>三元组数据难以构建典型实现与应用实现方式： CLIP-based双塔：图像和文本共享嵌入空间，用FAISS/Pinecone构建多模态向量库多模态LLM + RAG：GPT-4V/InternVL等原生支持图像输入，检索阶段返回图像+文本混合上下文应用场景：电商客服：用户上传商品瑕疵图 → 检索相似案例图+解决方案文本医疗诊断：CT影像 + 病历文本联合检索，…

#快手#多模态#多模态 RAG

面试题·多模态· 淘天

伪 vs 真多模态 RAG 优劣在哪？

匹配正文：两种实现方式的核心差异伪多模态RAG（文本桥接方案）图像 → OCR/ Captioning → 纯文本 → 文本向量库检索典型工具：GPT-4V生成描述、PaddleOCR提取文字本质：多模态输入，但检索环节退化为单模态真正多模态RAG（统一编码方案）图像 + 文本 → 多模态编码器（如CLIP、LLaVA、Qwen-VL）→ 共享向量空间检索检索结果：原始图像块 + 相关文本 → 多模态LLM生成本质：跨模态统一表征，端到端多模态处理三维度对比分析维度…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#淘天#多模态#伪多模态RAG

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配题目：请介绍当前主流的多模态RAG实现框架，并简要说明其架构特点和适用场景。

#淘天#多模态#多模态 RAG 架构设计

面试题·知识图谱· 淘天

伪多模态与原生多模态差在哪?

匹配正文：核心区别：是否共享语义空间伪多模态RAG 实现方式：图像/视频经OCR、Caption或视觉编码器（如CLIP）转成文本描述，再入向量库典型链路：图像 → BLIP2生成caption → 文本embedding → 检索 → LLM生成本质：多模态→单模态的有损压缩，检索和生成阶段都是纯文本真多模态RAG 实现方式：图像和文本统一编码到共享语义空间，直接进行跨模态相似度计算典型链路：图像+文本 → 多模态encoder（如CLIP dual encoder/EVA…

#淘天#知识图谱#伪多模态RAG

面试题·RAG

RAG 已经能搜 PDF，为什么视频不能直接入库？

匹配正文：…支持上传视频”和“支持搜索视频”是两回事。前者关心文件能不能保存，后者关心内容能不能被拆出来、建立索引，并在回答时回到正确位置。 RAG 索引的是内容证据，不是文件名本文讨论的是讲解、培训、教学录播这类以人声和演示画面为主的视频，以及“先把内容转成文本，再进行检索”的常见做法。能直接理解视频的多模态模型是另一条路线，不在这篇文章的范围内。一、PDF 为什么相对容易？先从更熟悉的文档说起。一份 PDF 进入知识库后，通常不会在每次提问时都把整本文件交给模型。系统会先把里…

#RAG#解析与入库#视频 RAG

面试题·评估· 美团

RAG 缓解幻觉的机制

匹配正文：RAG缓解幻觉的核心机制大模型幻觉源于参数化知识的静态性和泛化误差。RAG通过动态检索外部权威知识替代模型"编造"：检索阶段：将用户查询向量化，从知识库召回Top-K相关文档增强阶段：将检索结果与原始查询拼接，构建增强提示生成阶段：模型基于"检索证据"生成，答案被约束在提供的上下文中实际系统实现机制组件关键设计 Embedding模型领域适配（如用BGE、GTE替换通用模型）向量数据库 Milvus/Pinecone，需考虑索引类型（HNSW/IVF）与分片…

#美团#事实锚定#RAG 缓解幻觉的机制

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：答案要点明确多模态RAG的定义（支持文本、图像、视频、音频等多模态输入和检索）技术挑战（跨模态语义对齐、多模态索引构建、模态融合策略）核心组件（多模态编码器、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模…

#阿里#多模态#Multi-modal RAG

面试题·多模态· 哔哩哔哩

RAG意图识别原理与检索协同

匹配正文：…是可选的路由层，用于决定是否检索、访问哪个知识域、应用哪些元数据过滤、是否改写查询，以及选择问答、摘要、操作或拒答流程。简单单库 RAG 可以不单设该模块；多租户、多工具或多索引系统中，它能减少无关检索并执行路由策略。实现方式规则与结构化信号：关键词、实体、会话状态、产品入口，延迟低且可解释；监督分类器：BERT 等编码器输出意图与置信度，适合稳定且有标注的类别体系； LLM 结构化路由：用 schema 约束输出 intent、index、filters、need_r…

#b站#意图识别与检索路由#RAG 意图识别

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：…重排序二、文本分块：粒度与上下文的权衡策略原理适用场景注意点固定长度按token/字符数切分，带重叠窗口通用场景，实现简单固定长度与重叠窗口都只作为候选配置，具体大小由文档结构、Embedding输入限制和同一评测集上的证据完整率、召回与成本共同决定递归分块先按段落/句子边界，再递归细分结构清晰的文档优先保证语义边界完整语义分块用Embedding相似度检测主题变化长文档、多主题混合计算成本高，可用聚类或BERTopic辅助关键考量：块太小…

#字节#文档处理#RAG 数据处理流程

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：一、文档处理层核心挑战：专业文档格式复杂（PDF扫描件、表格、手写批注）多模态解析：OCR+LayoutLM提取图文混排内容，保留章节层级结构智能分块：按语义边界切分（条款/病例段落），非固定长度；医疗场景保留"主诉-检查-诊断"完整上下文元数据标注：标注文档来源、时效性、效力等级（如法律条文效力层级）二、索引构建双轨索引策略：类型用途实现稠密向量索引语义匹配领域微调Embedding（如医疗用PubMedBERT）稀疏关键词索引精准匹配 BM25…

#字节#RAG 全链路#RAG 技术链路

面试题·多模态· 淘天

截图 RAG 怎么理解界面组件?

匹配口述回答：…上多做预计算和索引优化，而不是让大模型做所有事情，这样既快又可控。点明本质：截图理解+知识检索+生成，关键是结构化组件解析：用多模态模型或专用UI检测检索设计：双路索引，混合搜索生成增强：上下文组装与引用溯源落地风险：知识库构建和延迟优化约4分钟组件多时用GraphRAG建模层次关系，提升检索精度面试官可能追问GraphRAG的具体实现，比如如何构建图结构，以及与传统RAG的对比

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配标题与标签：截图组件功能怎么用 RAG 解释? 多模态 RAG 结合视觉理解与知识库,流程与关键技术点多模态淘天多模态多模态 RAG 截图组件解释视觉理解 RAG 淘天

#淘天#多模态#多模态 RAG

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：…要综合多源信息时表现差改进：引入Agent（ReAct迭代检索）、知识图谱增强、专用工具调用四、小红书场景的特殊考量社区内容RAG还需解决：UGC质量参差（需内容过滤）、实时性要求高（新笔记秒级索引）、多模态内容（图文联合检索）。

#小红书#RAG 局限性#RAG 缺陷

面试题·RAG· 字节

医疗法律RAG架构怎么搭？

匹配口述回答：…重排，边界与前提生成模块：Prompt约束与引用溯源知识更新：增量与软删除，风险点收尾：取舍与可延伸点约4分钟 Self-RAG 让模型自主决定是否检索，能减少不必要的检索延迟，但在专业领域需要验证模型误判的风险。面试官可能会追问 Self-RAG 的具体实现、与固定检索的对比、以及如何保证可靠性。

#字节#专业领域RAG#RAG 系统设计

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配口述回答：…底约4分钟当检索结果质量不高时，可以让模型先反思是否需要拒绝回答或二次检索，而不是硬塞给生成模型。面试官可能会追问Self-RAG或Corrective RAG的具体实现细节，比如如何设计反思机制、如何平衡拒绝回答和用户体验。

#字节#重排与优化#RAG 链路优化

面试题·检索· 百度

向量召回原理与实现?

匹配正文：…慢、内存大 IVF 聚类+倒排内存友好、需调nlist参数 PQ/OPQ 向量量化压缩大幅降低存储，有损召回 4. 大规模系统实现数据分片：按doc ID或向量聚类分片，分布式检索后归并量化压缩：PQ将向量压缩4-32倍，降低内存和IO 缓存策略：热点查询结果缓存，高频向量常驻内存混合检索：向量召回 + BM25关键词召回，RRF融合排序 RAG场景关键点召回率优先：宁可多召不能漏召，靠后续重排序精排延迟敏感：通常P99控制在100-200ms内动态更新：增量…

#百度#向量召回#向量召回原理

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配口述回答：…险：索引重建、写放大、成本失控，上线前要压测总结：没有万能方案，选型是 trade-off，我倾向先用成熟方案再优化约4分钟多模态场景下，向量数据库是否支持多向量字段和跨模态检索面试官可能会追问多模态检索的具体实现方案，比如不同模态的向量如何对齐、如何统一检索

#京东#评估与监控#向量数据库选型

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…列代表什么。代码可能从函数中间断开，缩进和上下文一起丢失。流程图虽然识别出所有文字，却看不出箭头关系。这就引出一道很有区分度的 RAG 面试题：表格、代码和图片应该怎样切成 Chunk，既能被检索，又不破坏原来的结构？常见回答是：“表格单独成块，代码按函数切，图片先做 OCR。” 这句话只讲了入口。面试官接下来通常会问：表格太长怎么办，跨页表头怎么继承，PDF 里的代码无法做语法解析怎么办，图片描述如果编错了又怎么核验？为什么普通文本能切，特殊内容却容易切坏？普通段…

#RAG#切分与索引#RAG 表格切分

面试题·RAG· 阿里

LangChain vs LlamaIndex 场景怎么选？

匹配正文：…态：内置大量第三方工具集成（搜索、数据库、API） Agent系统：ReAct、Plan-and-Execute等多模式Agent实现记忆管理：ConversationBufferMemory等上下文持久化方案 LlamaIndex的核心能力数据连接器：100+种数据源（PDF、Notion、数据库、SaaS等）索引策略：VectorStoreIndex、TreeIndex、KGIndex、DocumentSummaryIndex等检索优化：自动检索器选择、混合搜索、…

#阿里云#AI框架选型#LangChain vs LlamaIndex

面试题·RAG· 小红书

新用户冷启动：生成式推荐与Embedding

匹配正文：…"）直接生成推荐无需训练ID embedding，规避了传统模型"没见过用户ID就失效"的问题 2. 可结合的冷启动策略策略实现方式画像引导生成用注册信息/问卷构建文本画像，作为prompt输入热门+多样性兜底生成式模型生成"热门但多样"的候选集，避免千篇一律跨域迁移用其他平台/全局行为预训练，迁移到当前场景主动学习设计交互式问卷，用最少问题快速锁定兴趣 3. 小红书场景特化利用笔记的图文多模态内容，新用户上传一张图即可触发相似内容推荐 "兴趣标签"快…

#小红书#新用户冷启动#生成式推荐

面试题·检索· 小红书

BM25 vs 向量检索 vs 混合检索怎么选?

匹配正文：…需求场景：标题/标签用BM25精确匹配运营关键词正文内容用向量检索理解"氛围感穿搭""早八妆"等社区黑话实际落地需解决：图文多模态统一检索、实时笔记的增量索引更新学习建议建议先掌握每种检索方法的基本原理，再通过对比表格梳理优缺点，结合真实场景理解适用性，推荐动手实现简易版BM25和向量检索加深理解。

#小红书#检索方法对比#BM25 向量检索混合检索

面试题·检索· 小红书

中文知识库检索选型

匹配正文：…客服）稠密检索+微调通用场景 Hybrid：BM25召回+稠密向量重排，或两路召回融合小红书UGC场景的特殊性：内容口语化、多模态（图文），稠密向量建议用对比学习微调，负样本采"难负例"（同batch其他样本+BM25高分离散样本）。学习建议建议先掌握信息检索基础，再深入学习稠密与稀疏检索模型原理及典型实现。

#小红书#稀疏与稠密检索#中文知识库检索选型

求职指南·求职

研一/研二转大模型应用开发:三年怎么规划、来得及吗

匹配正文：…D 对齐加权限、监控、成本、部署说明研一/研二不需要一开始做巨大的平台。先把一个 RAG 做深,比同时做 RAG、Agent、多模态、微调四个浅 demo 更有效。等 RAG 能讲透后,再用 Agent 项目补“工具调用和长程任务”能力。校招简历要怎么写研究生简历不要把“大模型相关课程”“读过论文”“熟悉 LangChain”放在最显眼的位置。更有效的是按项目结果写: 写法问题更好的写法熟悉 RAG、Prompt、Agent 太空,无法追问设计并实现课程资料 …

#求职#职业转型

多模态 RAG 实现方案

多模态 RAG 与传统 RAG 差异在哪?

伪 vs 真多模态 RAG 优劣在哪？

多模态 RAG 架构设计

伪多模态与原生多模态差在哪?

RAG 已经能搜 PDF，为什么视频不能直接入库？

RAG 缓解幻觉的机制

Multi-modal RAG 是什么?

RAG意图识别原理与检索协同

RAG 向量索引构建流程详解

专业领域 RAG 链路怎么搭?

截图 RAG 怎么理解界面组件?

截图组件功能怎么用 RAG 解释?

RAG 有哪些主要缺陷?

医疗法律RAG架构怎么搭？

专业领域RAG链路优化陷阱

向量召回原理与实现?

RAG向量数据库选型关键指标

跨页表格、代码块和图片怎么切，才不丢结构？

LangChain vs LlamaIndex 场景怎么选？

新用户冷启动：生成式推荐与Embedding

BM25 vs 向量检索 vs 混合检索怎么选?

中文知识库检索选型

研一/研二转大模型应用开发:三年怎么规划、来得及吗