匹配正文：…绑定具体筛选实验，不能写成“10% 高质量必然胜过全部数据”。 4. 泛化与评测分别评估单模态能力、跨模态 grounding、OCR/空间/时序、幻觉、安全和分布外泛化；保留真实业务集并做分层消融。对 Gemini、GPT-4V 等未完整公开架构的产品，只能引用其公开报告，不能补造 tokenizer 或训练细节。

#模态融合#跨模态对齐#训练效率

面试题·Agent· 蚂蚁

模糊意图怎么补全?

匹配正文：…，明确标注来源蚂蚁场景要点金融域合规优先：模糊涉及金额、账户时，必须确认而非推测多模态输入：支持用户上传截图（账单、证件），OCR+RAG联合解析人机协同：置信度极低时主动提供"转人工"选项，而非强行猜测学习建议建议先掌握对话系统的基本流程，再学习上下文建模与RAG技术，结合实际对话案例练习意图识别与追问设计。

#蚂蚁#Agent#Agent意图补全

面试题·Agent· 百度

匹配正文：…天气、地图、支付等，打通真实业务系统第三方SaaS：日历、邮件、CRM等办公工具集成 4. 感知与交互类多模态工具：图像生成、OCR、语音识别，扩展输入输出模态浏览器控制：网页浏览、表单填写，处理动态内容使用场景示例场景工具组合智能客服知识库检索 + 订单API + 工单创建数据分析助手 SQL查询 + Python执行 + 图表生成旅行规划航班API + 酒店API + 地图API + 日历工具关键设计原则原子化：工具粒度要细，便于灵活组合描述清…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度

#Agent

#AI Agent 工具

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：一、文档清洗：去噪保真核心目标：保留有效语义，消除格式干扰结构化提取：PDF用适配版面的PDF解析器，扫描件先OCR；DOCX/标记文档可用Pandoc等支持相应输入格式的工具，再保留标题、表格与来源。Pandoc原生输入格式不含PDF。噪声过滤：去除页眉页脚、水印、重复模板内容；正则清洗特殊符号语义连贯：处理跨页断句、表格换行，必要时用VLM提取图片/图表信息元数据保留：记录文档来源、章节标题、时间戳，用于后续过滤和重排序二、文本分块：粒度与上下文的权衡策略 …

#字节#文档处理#RAG 数据处理流程

面试题·文档处理· 字节

RAG 数据清洗与 Chunking 怎么选?

匹配正文：…" 关键步骤：格式标准化：统一编码、处理HTML标签、PDF转文本时保留结构标记噪声去除：过滤页眉页脚、页码、重复内容、低质量OCR结果质量过滤：剔除过短片段（<50字符）、检测乱码/无意义文本语义预处理：统一术语、处理同义词、必要时做指代消解常见Chunking策略策略做法适用场景固定长度按token/字符数硬切（长度作为候选变量）通用场景，实现简单；适合均匀分布的文档递归字符切分优先按段落→句子→单词层级切分需要保持语义完整性；适合技术文档、文…

#字节#文档处理#RAG 数据清洗

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：1. 文档预处理格式解析：用PyPDF2、python-docx等提取文本，扫描件需OCR（PaddleOCR/EasyOCR）清洗去噪：去除页眉页脚、特殊符号、重复内容，保留表格/标题结构信息元数据标注：记录文档来源、章节、时间戳，用于过滤和溯源 2. 文本分块（Chunking）策略特点适用场景固定长度简单高效，可能切断语义通用场景，追求速度递归分块按标点层级分割，保持句子完整大多数文本语义分块用模型判断语义边界，块大小不均对连贯性要求高的文…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配正文：…U，Word用python-docx，HTML用BeautifulSoup 内容清洗：去除页眉页脚、页码、特殊符号；统一编码；处理OCR错误结构保留：提取标题层级、表格结构、段落关系，用于后续语义分块 2. 文本分块策略策略适用场景注意点固定长度实现简单，参数需评测比较多组 chunk size 与 overlap 候选，验证边界召回和冗余成本递归字符按标点/换行逐级切分优先保证句子完整性语义分块对连贯性要求高的文档用Embedding相似度判断断点…

#美团#RAG 知识库构建#文档预处理

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：…本、医学综述结构感知切块解析PDF/DOC的标题、章节、条款编号完全保留文档逻辑结构、支持精确引用溯源依赖文档解析质量（如OCR、版式分析）法律合同、病历、监管文件智能体切块（Agentic） LLM先读全文，按主题/事件主动划分最贴合人类理解、可提取跨段落关联成本高、延迟大、需设计prompt 超高价值文档、需要深度推理的场景医疗/法律领域的实践要点 1. 优先保结构法律：以"条款→款→项"为最小单元，而非固定长度医疗：以"主诉-现病史-检查-诊断"等…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：一、文档处理层核心挑战：专业文档格式复杂（PDF扫描件、表格、手写批注）多模态解析：OCR+LayoutLM提取图文混排内容，保留章节层级结构智能分块：按语义边界切分（条款/病例段落），非固定长度；医疗场景保留"主诉-检查-诊断"完整上下文元数据标注：标注文档来源、时效性、效力等级（如法律条文效力层级）二、索引构建双轨索引策略：类型用途实现稠密向量索引语义匹配领域微调Embedding（如医疗用PubMedBERT）稀疏关键词索引精准匹配 BM25…

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 小红书

用户兴趣建模：数据与特征陷阱

匹配正文：…数据收集与处理流程三层数据源行为层：点击、点赞、收藏、评论、停留时长、完播率（小红书核心信号）内容层：笔记图文/视频、标签、OCR文本、视觉特征（多模态embedding）社交层：关注关系、互动频次、社群归属处理链路埋点采集 → Flink实时清洗 → Kafka分流 → ├── 离线数仓（Hive）→ 天级特征工程 └── 实时流（Flink）→ 分钟级兴趣更新二、特征工程方法类型具体特征更新频率静态画像人口属性、注册来源、设备偏好月级动态兴趣 …

#小红书#评估与监控#用户兴趣建模

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR+结构化提取，金融财报表格转Markdown 领域标准化：建立术语词典（如ICD-10编码、法律法条编号），统一同义词分块策略按语义边界切分（章节/段落），chunk size 由资料结构、模型输入限制与评测结果决定是否启用重叠窗口及其长度都作为候选，用同一评测集验证边界证据与冗余成本关键元数据注入：文档来源、发布时间、置信度标签二…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：…原则优先收集高频查询场景的数据建立数据版本管理和溯源机制二、数据清洗与预处理核心步骤格式统一：PDF转文本（处理扫描件需OCR）、HTML去标签噪声过滤：去除页眉页脚、广告、重复内容语义分段：按主题或段落切分，长度作为候选变量，由文档结构、模型输入限制与评测结果决定比较零重叠、短窗口与较长窗口，用同一评测集验证是否减少信息割裂质量评分：用规则+小模型过滤低质量片段三、向量化（Embedding）模型选型场景推荐模型通用中文 BGE-M3、GTE、…

#百度#大模型知识库构建#知识库向量化

面试题·知识图谱· 淘天

伪多模态与原生多模态差在哪?

匹配正文：核心区别：是否共享语义空间伪多模态RAG 实现方式：图像/视频经OCR、Caption或视觉编码器（如CLIP）转成文本描述，再入向量库典型链路：图像 → BLIP2生成caption → 文本embedding → 检索 → LLM生成本质：多模态→单模态的有损压缩，检索和生成阶段都是纯文本真多模态RAG 实现方式：图像和文本统一编码到共享语义空间，直接进行跨模态相似度计算典型链路：图像+文本 → 多模态encoder（如CLIP dual encoder/EVA…

#淘天#知识图谱#伪多模态RAG

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：原理与架构多模态 RAG 从文本、图像、音频或视频中检索外部证据，再由能消费相应模态的模型回答。典型流程是：OCR、ASR 或视觉编码入库，分块时保留页码、区域和时间戳；查询做模态识别与改写；多路召回、跨模态重排；最后编排上下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/AS…

#阿里#多模态#多模态 RAG

面试题·多模态· 字节

截图界面怎么用 RAG 解析?

匹配正文：…UI-specific检测模型（如ScreenSpot、CogAgent的 grounding 能力）识别按钮、输入框、导航栏等 OCR：PaddleOCR/EasyOCR提取界面文本，与检测框关联结构化输出：生成类似{type: "button", bbox: [x,y,w,h], text: "提交", parent: "form_A"}的UI树 2. 多模态知识库构建层级内容索引方式组件层按钮/输入框等标准控件的功能定义文本向量 + 控件图标CLIP编码 …

#字节#多模态#多模态 RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：…oken序列，与文本拼接输入核心变化：检索侧打破模态壁垒，生成侧让LLM"看懂"多模态内容。主要技术挑战异构数据处理：图像需OCR/目标检测、视频需关键帧抽取+时序建模，预处理链路复杂模态对齐难题：图文语义不对齐（如产品图vs营销文案），简单拼接导致噪声上下文长度爆炸：多帧视频或高分辨率图像token数远超文本，触发长上下文瓶颈训练数据稀缺：高质量的<问题, 图像证据, 文本答案>三元组数据难以构建典型实现与应用实现方式： CLIP-based双塔：图像和文本…

#快手#多模态#多模态 RAG

面试题·多模态· 美团

弱多模态+强文本模型怎么协同?

匹配正文：核心架构：感知与推理解耦让多模态模型负责读取像素、OCR、目标和空间关系，让强文本模型基于可追溯的视觉观察做推理。纯文本模型不能直接消费任意“视觉 token”；只有两侧共享兼容表示或经过投影层、适配器与联合训练时才能传递连续视觉特征，否则应交换结构化文本、坐标、裁剪图引用或工具结果。 1. 数据流与角色请求先经过任务分类和安全检查，确定是否需要 OCR、检测、图表解析或通用 VQA。 VLM 输出结构化 observation，例如对象、属性、关系、区域坐标、OCR 原…

#美团#多模态#Agent

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：主流多模态RAG框架 1. 伪多模态RAG（早期方案）架构：图像→OCR/Caption→文本→向量库→LLM 代表：传统CLIP+文本RAG拼接问题：信息严重损耗，图文对齐弱 2. 真多模态RAG（当前主流）框架核心机制特点 ColPali 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 淘天

截图 RAG 怎么理解界面组件?

匹配正文：…UI检测模型（如ScreenAI、CogAgent）提取截图特征组件结构化：识别按钮、输入框、菜单等元素，输出边界框+组件类型+OCR文本，形成结构化UI表示（如JSON：{type: "button", text: "立即购买", bbox: [x,y,w,h]}） 2. 知识检索层设计双路索引：视觉索引：组件截图patch → 多模态embedding（CLIP/自有模型）语义索引：组件OCR文本+类型 → 文本embedding 检索策略：用户点击/框选特定组件…

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配正文：…与组件解析用UI检测模型（如ScreenSpot、CogAgent）或通用多模态模型提取界面元素：按钮、输入框、图标、文本区域 OCR识别文本内容，获取组件的坐标位置信息输出结构化表示：组件类型 + 位置框 + 文本内容 2. 多模态知识库构建收集UI设计规范、组件库文档、产品手册作为文本知识关键：将组件截图/设计稿与功能描述配对，构建图像-文本对用多模态Embedding模型（CLIP、SigLIP或专用UI模型如UIBert）编码入库 3. 跨模态检索用户截图…

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 实现方案

匹配正文：…图像：CLIP、OpenAI CLIP、国产Chinese-CLIP 文档：ColPali（直接编码PDF页面为token序列，免OCR）统一：Qwen-VL、InternVL等MLLM的vision encoder 2. 检索器关键：跨模态向量空间对齐（text embedding ↔ image embedding）存储：Milvus/Pinecone的多模态索引，或分离存储+联合检索 3. 生成器多模态LLM：GPT-4V、Qwen-VL、LLaVA 接收图文交…

#淘天#多模态#多模态 RAG 实现方案

面试题·多模态· 淘天

伪 vs 真多模态 RAG 优劣在哪？

匹配正文：两种实现方式的核心差异伪多模态RAG（文本桥接方案）图像 → OCR/ Captioning → 纯文本 → 文本向量库检索典型工具：GPT-4V生成描述、PaddleOCR提取文字本质：多模态输入，但检索环节退化为单模态真正多模态RAG（统一编码方案）图像 + 文本 → 多模态编码器（如CLIP、LLaVA、Qwen-VL）→ 共享向量空间检索检索结果：原始图像块 + 相关文本 → 多模态LLM生成本质：跨模态统一表征，端到端多模态处理三维度对比分析维度…

#淘天#多模态#伪多模态RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：答案要点文档解析与结构化提取（表格/OCR/布局分析）多模态Embedding策略（文本+图像联合编码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为H…

#小鹏#多模态#RAG 表格处理

面试题·RAG· 字节

医疗 RAG 索引如何保合规?

匹配正文：…法律效力数据处理与索引流程设计 1. 数据采集层白名单机制：仅接入权威源（临床指南、裁判文书网、药典等）多模态处理：扫描件→OCR→版式还原→表格/图表结构化提取 2. 清洗与结构化原始文档 → 文档类型识别 → 章节语义拆分 → 实体标注（ICD-10/法律条款） → 冲突检测（同主题多版本） → 证据等级标记（I级证据/司法解释） 3. 关键：人工审核节点审核策略：高风险内容（用药剂量、量刑标准）强制人工确认众包+专家双审：初级审核员筛查，领域专家终审 4. …

#字节#医疗RAG合规#RAG 数据处理流程

多模态融合与对齐怎么改进?

模糊意图怎么补全?

Agent 工具类型怎么选?

RAG 向量索引构建流程详解

RAG 数据清洗与 Chunking 怎么选?

RAG 知识库搭建流程?

RAG知识库构建流程详解

医疗法律文档切块

专业领域 RAG 链路怎么搭?

用户兴趣建模：数据与特征陷阱

领域RAG应用链路怎么搭?

大模型知识库怎么构建?

伪多模态与原生多模态差在哪?

Multi-modal RAG 原理与挑战

截图界面怎么用 RAG 解析?

多模态 RAG 与传统 RAG 差异在哪?

弱多模态+强文本模型怎么协同?

多模态 RAG 架构设计

截图 RAG 怎么理解界面组件?

截图组件功能怎么用 RAG 解释?

多模态 RAG 实现方案

伪 vs 真多模态 RAG 优劣在哪？

RAG 中表格图片怎么处理?

医疗 RAG 索引如何保合规?