匹配正文：…档类型影响。上线前需要用实际页面校准，并把误判页留在回归集中；这里没有一个能跨资料直接照搬的数字。 PDF 页面如何决定是否进入 OCR 先在页面级区分可用字符层、扫描图像和混合内容。电子文本优先保留原信息，需要时才进入 OCR。页面级判断的产物不应只有一个布尔值。最好同时记录分类、判断信号、采用的文字来源和是否需要复核。后面发现漏字时，团队才能知道是 OCR 本身失败，还是页面一开始就被分到了错误路线。 OCR 之后，还有哪几步才能进入 RAG？一条完整的 PDF 解析…

#RAG#解析与入库#扫描 PDF RAG

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…ign。配套学习：项目难题怎么定位与解决?。 3. design · design 一份扫描 PDF 进入后，如何完成文件分流、OCR、版面分析、表格结构恢复、规范化、切分和索引？考察重点：确认候选人理解端到端链路、关键接口和状态变化。端到端组件、数据流和每层输入输出关键接口与约束如何影响设计下一步：tradeoff。配套学习：扫描PDF怎么解析内容?、RAG 数据处理与索引流程?。 4. tradeoff · tradeoff 为什么选择当前 OCR、版面模型和…

#模拟面试#简历项目#连续追问

面试题·RAG

RAG 已经能搜 PDF，为什么视频不能直接入库？

匹配正文：…在 PPT 或操作画面里。遇到这类视频，可以进一步从关键画面中读取文字，再把它和同一时间段的字幕放在一起。图片文字识别常被称为 OCR。它能帮助读出画面上的文字和数字，但不能自动保证自己理解了表格关系，更不能替代人工核验。对本文讨论的讲解类视频，可以把处理过程分成三层：人声先变成带时间的字幕。相邻字幕再合并成语义完整的片段。如果答案依赖画面，再补充同一时间段的画面文字。完成这些处理后，大部分文档 RAG 的索引、检索和回答链路才能继续复用。三、为什么字幕不能随便…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#解析与入库#视频 RAG

面试题·RAG

MinerU 能直接解决 RAG 文档解析吗？哪些页面必须二次处理？

匹配正文：…所以这道面试题真正问的是： MinerU 已经完成 PDF 解析，为什么还需要后处理？哪些页面要二次处理，又怎么判断它们可以进入 RAG？解析成功，离 RAG 可用还差什么？ PDF 不是一条连续字符串。一页里可能同时有标题、正文、页眉、页脚、表格、图片、公式、脚注和印章。解析器需要先判断每个区域是什么，再识别其中的内容，最后按照某种顺序输出。只要文件被成功转换，只能说明这条程序链路走完了。它不能证明输出顺序符合人的阅读方式，也不能证明每个结构都被正确保留。 RAG 对…

#RAG#解析与入库#MinerU RAG

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…结构和证据位置，让每次解析改动都能复现比较。还要保存解析器版本和配置。同一份文档今天和明天输出不同，可能是文件变化，也可能是 OCR、版面模型、参数或后处理规则变化。没有版本记录，团队只能看到结果不一致，却无法还原原因。一条回归记录至少应知道：输入文件版本、解析器和配置、处理时间、关键区域结果、异常类型，以及这次结果是否被允许入库。怎样把解析评测和 RAG 问题连起来？解析结果看起来正确，不代表用户一定能搜到答案。但最终答案错误，也不代表一定是解析器的问题。最有…

#RAG#解析与入库#RAG 文档解析评估

项目实战·RAG

RAG 智能问答系统

匹配正文：…章：检索召回 · 混合检索 OCR 遮挡导致关键字段误读教学风险演练:扫描件中的印章、表格线或低清噪声遮住金额、日期等关键字段，OCR 结果可能少字或错字。如果错误文本直接入库，后续检索和生成无法自行恢复原值。风险等级：P1。检查重点：对关键字段设置人工抽检、置信度阈值与原图回看；是否需要层分离要由样本验证。阅读第 3 章：文档预处理与切分资料中没有的公式被补全教学风险演练:当资料没有给出计算公式时，模型仍可能根据相似概念补出一个流畅答案。即使接入 RAG，召回片…

#项目实战#RAG 智能问答系统

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：“你们的 Chunk Size 设多少？” 这是 RAG 面试里很常见的一句追问。很多人会马上报出一个数字，再补一句设置了多少 Overlap。听起来很具体，却没有回答最关键的问题：为什么这个数字适合你的文档和用户问题？以下用一个教学示例来说明。一段制度原文依次写了适用条件、办理步骤和例外情况。固定长度切分刚好把“但以下情况不适用”留在前一块，把后面的例外条目放进后一块。用户搜索某个例外条目时，系统可能召回后一块。关键词命中了，前提却不见了。模型拿到的是一句局部事实，…

#RAG#切分与索引#RAG Chunk

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配正文：…，你可能发现员工手册有几十页，相关章节只讲报销范围，没有说这项费用一定可以报销。文件名是真的，结论却不一定由文件支持。这就是 RAG 面试里经常被一句“让模型标引用”带过的问题： RAG 的引用怎样做到可以核验？为什么答案后面有一个来源编号还不够？面试官继续追问时，通常会问到四件事：引用编号由谁生成，模型能不能自己编？编号指向真实原文，为什么仍可能是错引？一句话需要两段证据时，引用怎样表示？文档更新和重新切分后，旧引用还能不能打开？引用为什么不是生成阶段临时加…

#RAG#生成与对话#RAG 引用溯源

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：一个 RAG Demo 往往只有几步：上传文件，切成 Chunk，写进向量库，然后在同一个接口里提问并生成答案。本机演示时，这样很直观。可一旦真的有用户上传文档，问题就出现了。复杂 PDF 解析可能持续很久，某一页 OCR 失败，部分 Chunk 已经写入，用户却不知道任务进行到哪一步。与此同时，在线问答要求尽快返回，不能被后台解析占满资源。入库和问答使用不同资源，面对不同失败，追求的目标也不同。这就是 RAG 系统设计面试最常问的一类题：一个可上线的 RAG 系统…

#RAG#评测与上线#RAG 系统设计

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：一、文档清洗：去噪保真核心目标：保留有效语义，消除格式干扰结构化提取：PDF用适配版面的PDF解析器，扫描件先OCR；DOCX/标记文档可用Pandoc等支持相应输入格式的工具，再保留标题、表格与来源。Pandoc原生输入格式不含PDF。噪声过滤：去除页眉页脚、水印、重复模板内容；正则清洗特殊符号语义连贯：处理跨页断句、表格换行，必要时用VLM提取图片/图表信息元数据保留：记录文档来源、章节标题、时间戳，用于后续过滤和重排序二、文本分块：粒度与上下文的权衡策略 …

#字节#文档处理#RAG 数据处理流程

面试题·文档处理· 字节

RAG 数据清洗与 Chunking 怎么选?

匹配口述回答：这道题问的其实是，[[RAG]]系统里数据从原始文档变成能被检索的向量块，中间这个管道怎么设计才能保证质量，避免垃圾进垃圾出。我一般把数据清洗和文本[[切块]]放在一起考虑，因为这两步是连着的，清洗不好切块也跟着出问题。先说数据清洗，核心就三件事。先说格式标准化，比如PDF转文本的时候，表格、标题这些结构标记要尽量保留，不然切块后语义就断了。再看噪声去除，像页眉页脚、页码、重复内容，还有低质量[[OCR]]出来的乱码，这些要过滤掉。还要看质量过滤，太短的片段，比如少于50个…

#字节#文档处理#RAG 数据清洗

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配口述回答：这道题我觉得本质上不是在问流程，而是在问你怎么在检索质量、存储成本和响应延迟之间做取舍。搭建[[RAG]]知识库，我一般会按预处理、[[分块]]、[[向量化]]、索引构建、检索优化这几个环节来走，但每个环节都有很多坑，我重点说几个。先说文档预处理。这一步核心是格式解析和清洗。比如PDF，如果是文本型的，用PyPDF2或者python-docx直接提取就够；但如果是扫描件，那就必须走[[OCR]]，我会用PaddleOCR或者EasyOCR。这里有个坑，OCR识别率不是100…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配口述回答：这道题问的是[[RAG]]知识库构建，但我觉得面试官真正想听的是：你怎么在检索质量和工程成本之间做取舍。RAG本质上是个检索增强系统，知识库的质量直接决定了最终回答的上限，所以我会把整个流程拆成几个核心环节来讲，重点说每个环节的权衡和落地坑。先说文档预处理。这一步最容易被低估，但实际踩坑最多。比如PDF解析，用PyMuPDF或者MinerU能搞定大部分，但遇到扫描件就得走[[OCR]]，而OCR的错误率直接影响后面检索的准确性。我一般会保留文档的标题层级和表格结构，因为这对…

#美团#RAG 知识库构建#文档预处理

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配口述回答：…纠纷，所以整个链路都得围绕「可信」来设计。先说文档处理。专业文档不是排版漂亮的网页，很多是扫描件、表格、手写批注。我会先用 [[OCR]] 加 [[Multimodal]] 模型，比如 LayoutLM，把图文混排的内容抽成结构化文本，同时保留章节层级，比如病历里的主诉、检查、诊断这些段落。切分的时候不能按固定字数切，那样会把关键上下文切断。我会按语义边界来切，比如法律条文按条款切，医疗按一个完整病例段落切，保证每块信息自包含。另外，我会给每个块打上元数据，比如文档来源、发…

#字节#RAG 全链路#RAG 技术链路

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR+结构化提取，金融财报表格转Markdown 领域标准化：建立术语词典（如ICD-10编码、法律法条编号），统一同义词分块策略按语义边界切分（章节/段落），chunk size 由资料结构、模型输入限制与评测结果决定是否启用重叠窗口及其长度都作为候选，用同一评测集验证边界证据与冗余成本关键元数据注入：文档来源、发布时间、置信度标签二…

#字节#领域 RAG#RAG应用搭建

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：原理与架构多模态 RAG 从文本、图像、音频或视频中检索外部证据，再由能消费相应模态的模型回答。典型流程是：OCR、ASR 或视觉编码入库，分块时保留页码、区域和时间戳；查询做模态识别与改写；多路召回、跨模态重排；最后编排上下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/AS…

#阿里#多模态#多模态 RAG

面试题·多模态· 字节

截图界面怎么用 RAG 解析?

匹配正文：…ndroid/iOS设计规范），再逐步积累业务数据复杂交互理解引入时序：支持多张截图（点击前/后）判断状态变化学习建议掌握OCR、视觉理解模型（如CLIP）、RAG基础流程及向量数据库使用，结合实际案例动手搭建小型多模态系统，理解模块间协作逻辑。

#字节#多模态#多模态 RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：多模态RAG定义传统RAG只检索和生成文本，多模态RAG将检索范围扩展到图像、视频、音频、表格等异构数据，让大模型能基于多源证据进行推理和生成。关键差异对比阶段传统文本RAG 多模态RAG 检索文本Embedding（BERT/Sentence-BERT）→ 相似度匹配跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入…

#快手#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：主流多模态RAG框架 1. 伪多模态RAG（早期方案）架构：图像→OCR/Caption→文本→向量库→LLM 代表：传统CLIP+文本RAG拼接问题：信息严重损耗，图文对齐弱 2. 真多模态RAG（当前主流）框架核心机制特点 ColPali 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 淘天

截图 RAG 怎么理解界面组件?

匹配口述回答：…说图像理解。我会用[[多模态]]大模型，比如Qwen-VL或者GPT-4V，直接对截图做视觉编码，提取每个组件的边界框、类型和[[OCR]]文字。但这里有个选择：如果业务场景是通用界面，用大模型一步到位就行；如果是固定产品线，比如我们自己的SaaS后台，我会用专门的UI检测模型，像ScreenAI或者CogAgent，因为它们针对常见控件做了优化，速度快、精度高。输出是一个结构化的JSON，比如{type: "button", text: "立即购买", bbox: [x,y…

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配口述回答：…成一个可解释、可更新的外挂，而不是把所有理解能力都压在大模型本身。纯多模态模型虽然也能看图，但解释的来源是黑盒，出了问题没法排查；RAG至少能溯源到具体文档，内部术语和业务逻辑也能通过知识库灵活注入，不用每次改个文案就重新微调模型。当然，如果界面非常复杂、组件间交互很多，RAG也扛不住，那就得结合[[Agent]]或者多步推理了。一句话定位：本质是让大模型看懂界面并解释功能视觉理解与组件解析：用检测模型加OCR提取元素多模态知识库构建：把组件截图和功能说明配对跨模态检…

#淘天#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 实现方案

匹配正文：主流多模态RAG框架对比框架核心多模态能力特色 LlamaIndex 原生支持图像、PDF、表格解析数据连接器丰富，MultiModalVectorStoreIndex LangChain 通过Unstructured/Multimodal Embeddings扩展生态灵活，需自行组装多模态链路 Vercel AI SDK / RAGFlow 端到端多模态文档解析侧重工程化落地核心组件拆解 1. 多模态编码器图像：CLIP、OpenAI CLIP、国产Chin…

#淘天#多模态#多模态 RAG 实现方案

面试题·多模态· 淘天

伪 vs 真多模态 RAG 优劣在哪？

匹配正文：两种实现方式的核心差异伪多模态RAG（文本桥接方案）图像 → OCR/ Captioning → 纯文本 → 文本向量库检索典型工具：GPT-4V生成描述、PaddleOCR提取文字本质：多模态输入，但检索环节退化为单模态真正多模态RAG（统一编码方案）图像 + 文本 → 多模态编码器（如CLIP、LLaVA、Qwen-VL）→ 共享向量空间检索检索结果：原始图像块 + 相关文本 → 多模态LLM生成本质：跨模态统一表征，端到端多模态处理三维度对比分析维度…

#淘天#多模态#伪多模态RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：答案要点文档解析与结构化提取（表格/OCR/布局分析）多模态Embedding策略（文本+图像联合编码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为H…

#小鹏#多模态#RAG 表格处理