匹配正文：适合写过 PDF、表格或 OCR 解析的人，重点练处理流程、质量评估、错误页面和失败兜底。教学示例：先换成自己的真实项目描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。项目描述示例负责【真实文档类型】解析链路，承担【解析或质量模块】，处理【真实规模与约束】。需要准备：文档类型与规模；个人负责模块；交付证据。通过【真实改动】改善【字段、表格或版面指标】，结果由【真实评测集】验证。需要准备：指标定义；评测集；基线与结果；失败样本。逐层练习 1. owne…

#模拟面试#简历项目#连续追问

面试题·RAG

扫描 PDF 没有文本层，RAG 怎么做 OCR 与失败降级？

匹配正文：…在向量库。真正的原因是这份 PDF 没有可用字符层，页面本质上是一张张图片。于是面试官会继续问：你怎么判断一页 PDF 需要 OCR？识别完成后为什么不能直接把文字塞进向量库？遇到模糊页、表格页和失败页又怎样降级？如果回答只有“调用 OCR 接口提取文字”，很快就会遇到下一层追问。因为 OCR 只是把像素变成文字候选，距离可检索、可引用的内容还差版面、顺序、结构、位置和质量控制。先判断：这一页真的需要 OCR 吗？页面判断不能只做“字符串为空”这一项检查。扫描页常见…

#RAG#解析与入库#扫描 PDF RAG

系统教程·多模态

多模态大模型面试题大全

匹配正文：…对齐与多模态应用 VLM、图文对齐与多模态应用常见问题多模态面试最常问哪些基础？常问视觉编码器、图文对齐、投影层、训练数据、OCR / 文档理解、评估指标，以及 VLM 和纯文本模型协同的工程方案。没有多模态项目经验怎么补？先做一个文档理解或看图问答小项目，把图片输入、提示词、结构化输出、评估和失败 case 讲清。比泛泛背 VLM 架构更有用。多模态 Agent 和普通 Agent 有什么不同？多模态 Agent 多了感知输入、视觉 grounding、OCR…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#专题学习#多模态大模型面试题大全

面试题·RAG

RAG 已经能搜 PDF，为什么视频不能直接入库？

匹配正文：…在 PPT 或操作画面里。遇到这类视频，可以进一步从关键画面中读取文字，再把它和同一时间段的字幕放在一起。图片文字识别常被称为 OCR。它能帮助读出画面上的文字和数字，但不能自动保证自己理解了表格关系，更不能替代人工核验。对本文讨论的讲解类视频，可以把处理过程分成三层：人声先变成带时间的字幕。相邻字幕再合并成语义完整的片段。如果答案依赖画面，再补充同一时间段的画面文字。完成这些处理后，大部分文档 RAG 的索引、检索和回答链路才能继续复用。三、为什么字幕不能随便…

#RAG#解析与入库#视频 RAG

面试题·RAG

MinerU 能直接解决 RAG 文档解析吗？哪些页面必须二次处理？

匹配正文：…比对，又无法发现版本升级后的顺序变化。第二类，同一内容存在冲突表示表格可能既有结构化单元格，又被展开成一段普通文本；图片中的 OCR 文字也可能再次出现在相邻正文块里。如果两种表示内容不一致，下游不能把它们都当成独立事实写入索引。后处理要明确哪一份是原始识别结果，哪一份用于展示，哪一份只用于增强检索。冲突无法自动判断时，应保留原始区域并进入复核，而不是把两份内容拼成更长的 Markdown。第三类，字段和层级发生漂移解析器版本变化后，标题层级、内容类型名称、坐标格式…

#RAG#解析与入库#MinerU RAG

面试题·RAG

RAG 文档解析质量怎么评估？不能只看“解析成功”

匹配正文：…有提取，阅读顺序回答有没有读乱，结构保留回答关系是否还在，位置追溯回答能否回到原文。这四层分别对应不同修复方式。漏字可能需要 OCR 或图像预处理；顺序错误要检查版面和文本块关系；表格损坏要重建行列；追溯缺失则要在解析阶段保存页码与坐标。如果把它们压成一个总准确率，数字下降时根本不知道该改哪里。数字上升时，也可能只是普通正文变好了，真正影响检索的跨页表格仍然错误。固定回归集应该怎样建？评测不能每次临时挑一份看起来复杂的文件。解析器、OCR 模型或后处理规则发生变化…

#RAG#解析与入库#RAG 文档解析评估

面试题·项目与经历· 360

扫描PDF怎么解析内容?

匹配正文：…纯扫描 PDF 没有可靠文本层，先用 PDF 解析器按页渲染成图像并保留页号、尺寸与坐标。分辨率应结合原始扫描质量、字号、版面和 OCR 引擎实测；Tesseract 文档把至少 300 dpi 作为有利于识别的建议，但这不是所有文档和所有引擎的统一最低门槛，也不能靠放大恢复原本不存在的细节。图像预处理包括方向检测、纠偏、去噪、裁边、对比度与自适应二值化。随后用专门的 layout detector 定位标题、正文、表格、图片、页眉页脚、公式等区域，再对文字区域做检测与识别…

#文档智能#OCR#版面分析

项目实战·RAG

RAG 智能问答系统

匹配正文：…查重点：把关键词、向量与 Query 改写作为候选方案做消融，不能预设混合检索一定更好。阅读第 5 章：检索召回 · 混合检索 OCR 遮挡导致关键字段误读教学风险演练:扫描件中的印章、表格线或低清噪声遮住金额、日期等关键字段，OCR 结果可能少字或错字。如果错误文本直接入库，后续检索和生成无法自行恢复原值。风险等级：P1。检查重点：对关键字段设置人工抽检、置信度阈值与原图回看；是否需要层分离要由样本验证。阅读第 3 章：文档预处理与切分资料中没有的公式被补全教…

#项目实战#RAG 智能问答系统

面试题·RAG

PDF、PPT、扫描件为什么不能共用一条解析 Pipeline？

匹配短答：不能先把所有文件粗暴转成纯文本。PDF 需要处理字符层、布局和页码，PPT 要保留标题、项目符号与页序，扫描件要经过 OCR，视频则依赖字幕与时间戳。工程上应先按格式路由到不同解析器，再统一输出正文、内容类型、层级路径、位置和来源字段。

#RAG#解析与入库#RAG 文档解析

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…tall ✅ 能看懂基础 Python(变量、函数、for 循环) ✅ 一份允许处理的测试PDF；可提取文本可直接切分，扫描件需先OCR，空文本要检查解析结果。教学示例不需要真实业务或私人文档完全没接触过 RAG?→ 回看第 1 章:为什么做 RAG? 先做一个失败演练(这是本章的"为什么") 下面的保险条款、用户问题和后果都是为讲解切分风险而构造的教学场景,不是作者或学员的线上事故。有一条保险条款是这么写的:"本保险承保意外伤害导致的身故或残疾,但以下情况除外:(1)战…

#RAG#检索#项目实战

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：…序号。这样用户问某个字段时，检索到的数值不会变成没有列名的孤立文本。图片、流程图和说明应该怎样绑定？图片不等于图片里的文字。 OCR 能读出截图中的标签，却不一定理解箭头从哪个节点指向哪个节点。数据图表中的坐标、图例和趋势也不能只靠把可见文字串起来还原。比较稳妥的做法，是先把图片区域与附近标题、图注和正文说明绑定成一个内容单元，再按图片类型选择处理路线。普通界面截图可以提取文字，并保留原图。流程图可以生成受控描述，但描述要明确标识为模型派生内容，不能覆盖原图事实。数据…

#RAG#解析与入库#复杂 PDF 阅读顺序

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：…免两边都缺少语义。但 Overlap 不是万能修复。它不能把已经错误交叉的双栏重新排好，不能给丢失的表头补回列名，也不能把被 OCR 漏掉的文字重新创造出来。固定重叠还会带来副作用。同一段内容被复制到相邻多个 Chunk，增加存储和上下文消耗。检索时，这些近重复块可能一起排在前面，挤掉真正互补的证据。因此，Overlap 更适合对齐句子或段落边界。当前一块确实在同一语义单元中结束时，后一块继承必要句子。边界本来就是章节切换时，不应为了凑固定长度复制上一节内容。 S…

#RAG#切分与索引#RAG Chunk

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：… 表格、代码和图片应该怎样切成 Chunk，既能被检索，又不破坏原来的结构？常见回答是：“表格单独成块，代码按函数切，图片先做 OCR。” 这句话只讲了入口。面试官接下来通常会问：表格太长怎么办，跨页表头怎么继承，PDF 里的代码无法做语法解析怎么办，图片描述如果编错了又怎么核验？为什么普通文本能切，特殊内容却容易切坏？普通段落的主要语义通常来自句子顺序。只要尽量在句号、段落和标题边界切分，单个 Chunk 往往还能独立阅读。表格不同。一行里的值要结合表头才能解释，一…

#RAG#切分与索引#RAG 表格切分

面试题·RAG

RAG 引用怎么做到可核验？为什么让模型自己标来源不够？

匹配正文：…据还要保留表头和行列关系。只展示某个单元格数值，用户不知道它属于哪个字段。图片或流程图则需要原图位置和经过验证的文字说明，不能让 OCR 片段代替完整视觉关系。这些细节共同决定了用户点击来源以后，看到的是可以判断真假的证据，而不是又一段脱离上下文的文本。引用关系应该保存成什么数据？如果系统只把 [1] 留在答案字符串里，后续很难审计。更可复查的做法，是把答案、陈述和证据之间的关系保存成独立记录，而不是依赖展示文本里的编号顺序。一条归因记录至少需要包含回答版本、事实句或…

#RAG#生成与对话#RAG 引用溯源

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：… GPU 时间、显存占用、空闲与批处理效率，但它与供应商按 token 计费不是同一口径。工具成本包括搜索请求、网页抓取、解析、OCR、数据库查询、计算与外部服务调用。基础设施成本包括任务队列、状态数据库、对象存储、日志、Trace 与网络传输。失败成本包括重试、重复提交、取消前已执行步骤、失效缓存和无效循环。人工成本可以单独记录，例如高风险任务复核，但不要与在线机器成本混成一个实时指标。每项都需要单位、价格版本和归属规则。没有这些，汇总数字无法复算。 Trace …

#Deep Research#上线成本与评估#Deep Research 成本

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…接口里提问并生成答案。本机演示时，这样很直观。可一旦真的有用户上传文档，问题就出现了。复杂 PDF 解析可能持续很久，某一页 OCR 失败，部分 Chunk 已经写入，用户却不知道任务进行到哪一步。与此同时，在线问答要求尽快返回，不能被后台解析占满资源。入库和问答使用不同资源，面对不同失败，追求的目标也不同。这就是 RAG 系统设计面试最常问的一类题：一个可上线的 RAG 系统应该怎样拆？离线入库、在线问答、数据存储、权限、降级和监控怎样形成闭环？只画“文档、向量…

#RAG#评测与上线#RAG 系统设计

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：…计数、左右、遮挡和指代上失败。数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。评测必须按能力切片。空间与组合推理可用GQA类任务，场景文字可看TextVQA，视频则关注事件顺序、长时依赖和采样遗漏。每个基准也有数据偏差，因此还要保留真实业务失败样本。不能因为某个总分提高，就断言细粒度对齐或长链…

#模态对齐#数据构建#推理一致性

面试题·多模态· 小红书

多模态大模型有哪些技术挑战?

匹配正文：…配，再有区域与短语、对象与属性、时间片段与动作的细粒度对应。只用弱相关网页图文对，模型可能学到主题共现，却不能稳定回答位置、计数、OCR、指代或跨帧顺序。数据侧同时受质量、许可、隐私和覆盖影响。图文描述可能遗漏关键对象，视频字幕也未必描述当前帧；合成描述会放大教师模型偏差。过滤器若只看CLIP相似度，还可能保留主题相近但事实不一致的样本。需要结合来源治理、去重、细粒度抽检和目标任务gold集，而不是把一个相似度分数当真值。推理一致性要区分答案语言是否连贯与是否有视觉证据。…

#多模态对齐#跨模态表示学习#数据工程

面试题·多模态· 快手

均匀采样vs关键帧如何影响模型？

匹配正文：…现在某阶段，但必须明确它只对对应产品和数据成立。选择方案要看任务时间尺度。视频分类可能需要全局覆盖，动作定位需要更密的局部片段，OCR与操作步骤要保留清晰帧和顺序，长视频问答还要支持根据问题二次检索。不能给视觉token与文本token固定比例，也不能把某个帧数当通用配置。帧越多并不保证时序越准。新增帧会提高编码、prefill和显存成本，也可能引入冗余，让模型更难定位关键证据。若模型没有合适的时间位置编码或训练数据覆盖，简单堆帧甚至可能降低效果。分辨率、帧数、压缩质量和…

#视频理解#帧采样策略#时序建模

面试题·项目与经历· 商汤科技

数据预处理关键步骤与目的

匹配正文：…、长度、隐私与内容安全画像。格式转换应统一编码、时区、单位、字段类型和消息结构；去噪包括精确或近似重复、模板垃圾、乱码、低质量 OCR、敏感信息和无权使用内容；增强或重采样必须服务于已观察到的覆盖缺口，并保持训练、验证和测试隔离。每个步骤都要输出前后数量、拒绝原因和抽检样本，不能只说“清洗后质量更好”。上线后的数据漂移监控应比较当前窗口与基线窗口，按字段类型选择 PSI、KS、Jensen-Shannon、Wasserstein、类别占比、缺失率、重复率、约束失败率等指标…

#数据清洗#数据增强#数据采样

面试题·模型训练· 美团

图像数据超参数怎么调?

匹配正文：…Focal Loss必须升学习率”，学习率仍要独立搜索。机制与边界分辨率要匹配任务所需细节。分类可能用随机裁剪和多尺度，检测、OCR或小目标任务要谨慎裁掉关键区域。batch变化会影响优化噪声和归一化层，学习率线性缩放只是一条经验起点，需要warmup和验证集曲线确认。类别不平衡时，重采样改变样本出现频率，类权重改变损失贡献，Focal Loss通过降低易样本权重聚焦难例。三者都可能改变梯度统计，但没有从损失名称到学习率方向的普遍定律。增强必须尊重标签语义。CLIP原论…

#多模态训练#超参数调优#图像数据特性

面试题·多模态· 得物

多模态大模型怎么理解？

匹配正文：…直接称为人类偏好对齐。对GPT-4o等闭源系统只能引用官方披露能力，不能推断其从零端到端训练或内部连接方式。应用包括检索、问答、OCR、文档理解、视觉定位和Agent感知。评测需同时看感知、grounding、推理、幻觉、延迟和安全。图解多模态大模型怎么理解？图解

#多模态融合#视觉语言模型#对比学习

面试题·多模态· 快手

多模态架构与训练怎么改进?

匹配正文：…瓶颈；高分辨率、视频和多图还需要动态切块、时空位置和长上下文。跨模态对齐不只靠图文对比，还可用caption、grounding、OCR、指令和结构化任务。Qwen-VL论文明确提到visual receptor、输入输出接口、三阶段训练和多语清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resample…

#多模态架构#跨模态对齐#视觉语言模型

面试题·多模态· 京东

VLM 基本原理怎么理解?

匹配正文：…lf-RAG针对文本检索、生成和反思流程，不是验证图像中某实体真实存在的视觉检测器。视觉事实应由区域grounding、目标检测、OCR、坐标或可回看的图像证据支持。评测需拆分感知、grounding、推理和语言先验偏差。

#视觉语言模型#多模态对齐#CLIP