匹配正文：…、文档预处理：领域知识结构化核心挑战：专业文档格式复杂（PDF表格、扫描件、法律条款层级）多模态解析：用LayoutLM或专用OCR提取图文混排内容，保留空间位置信息语义切分：按"条款-段落-句子"层级切分，医疗场景用UMLS术语边界，法律用条款编号锚定元数据增强：注入{文档类型、时效性、权威等级}等标签，支持后续过滤二、索引构建：混合召回架构双塔索引设计：索引类型技术选型适用场景稠密向量 BGE-M3/E5领域微调语义相似、同义词泛化稀疏向量 BM2…

#字节#重排与优化#RAG 链路优化

面试题·检索· AIlab

RAG 流程各环节优化陷阱

匹配正文：…） LLM生成回答各环节优化手段环节优化手段关键收益文档解析布局识别（如PDF转Markdown保留结构）、表格/图片OCR提取保留语义结构，减少噪声文本分块语义分块（按主题边界）、滑动窗口重叠、递归分块、特定格式（Markdown/代码）保留结构避免语义截断，提升召回完整度 Embedding 领域微调Embedding模型（如BGE、GTE）、多向量表示（ColBERT）、HyDE（假设文档嵌入）提升语义匹配精度检索策略混合检索（向量+关键词BM…

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#AIlab#RAG链路优化#RAG 优化

面试题·检索· AIlab

RAG 流程：检索、融合、生成

匹配正文：…程分为离线构建和在线推理两大阶段：一、离线知识库构建文档解析：处理PDF/Word/网页等多格式，提取干净文本（注意表格、图片OCR）文本分块（Chunking）：按固定长度、语义段落或递归方式切分；块大小通常256-512 token，需保留上下文重叠向量化（Embedding）：用BGE、M3E等模型将文本转为稠密向量；关键：领域数据建议微调Embedding模型索引存储：写入Milvus/Faiss/Elasticsearch等向量数据库，可配合稀疏索引（BM…

#AIlab#RAG工作流#RAG 技术流程

面试题·检索· 百度

RAG 文档处理与检索策略怎么搭？

匹配正文：…上下文长度限制） RAG系统三层架构一、离线文档处理层核心流程：文档解析：PDF/Word/网页等多格式解析，处理表格、图片OCR 文本清洗：去噪、标准化、敏感信息脱敏智能分块：按语义段落切分（非固定长度），常用策略：递归字符切分 + 语义边界检测滑动窗口重叠（保证上下文连贯）标题层级感知（保留文档结构）向量化：Embedding模型编码，写入向量数据库（Milvus/Faiss/Elasticsearch）二、在线检索层混合检索策略：用户Query →…

#百度#RAG检索策略#RAG 系统架构

面试题·检索· 高德

RAG 组件功能与数据流向?

匹配正文：…RAG完整工作流程一、离线知识库构建（Indexing）步骤功能关键技术文档加载解析PDF/Word/网页等多源格式 OCR、表格识别、版式分析文本分块将长文档切分为语义完整的片段固定长度/递归/语义分块；块大小通常256-512 token 向量化将文本块转为稠密向量 Embedding模型（BGE、M3E、OpenAI text-embedding-3等）索引存储构建高效向量索引 HNSW、IVF等ANN算法；向量数据库（Milvus、Faiss、…

#高德#RAG数据流#RAG 工作流程

面试题·检索· 字节

领域 RAG 架构如何控幻觉?

匹配正文：… 输出 ↓ ↑ 离线知识库构建（文档解析→分块→向量化→索引）一、数据预处理（以法律场景为例）文档解析层多格式支持：PDF/OCR识别表格、Word修订痕迹处理、扫描件版式还原结构化抽取：用LayoutLM或专用模型提取条款层级（章-节-条-款）、案件要素（案号、当事人、判决结果）质量与标准化领域术语对齐：建立法条同义词表（如"违约金"="滞纳金"需区分场景）时效性标记：标注法律废止/修订状态，设置失效预警分块策略多粒度索引：原文段落（粗粒度）+ 法条拆解（…

#字节#专业领域RAG#领域 RAG 架构

面经·项目面试

面试官问：“RAG 表格怎么切块？”我：“按行切，带上表头。”他：“单位和备注，你让模型猜？”

匹配正文：…明，却不会带上耗材另计。这组结果说明，在命中位置相同、数字相同的情况下，片段是否保留上下文，会直接改变它能够提供的解释。它没有测OCR识别能力，也没有测真实问题的召回率。下一步接入检索时，还要另外验证用户的问题能否命中这些行组，不能用字段检查替代那项工作。一张父表，可能需要多个原页位置高温泵的数据行在第4页，表头和单位在第3页，通用说明也在第3页，耗材注释则在第4页。若片段只存一个页码，无论填3还是4，都只能交代部分来源。因此，子块需要保留共同的父表身份，也需要保留具…

#RAG#表格切分#文档解析

面试题·多模态· 快手

固定间隔vs关键帧怎么选？

匹配口述回答：…个固定时长一定够用或互动热区必然代表语义，都是具体业务假设，必须由数据验证。音频和字幕也是重要时间线索。讲话开始、关键词、音效或OCR变化可以帮助定位候选片段，但这些信号要与视觉时间戳对齐，并为无字幕、错转写和静音视频保留回退。融合后仍需用视觉证据确认，不能只凭文本命中。先明确下游任务和预算比较均匀与镜头边界区分内容差异和光流介绍学习式与任务感知给出组合策略和评测约4分钟为什么运动量高不等于对问答任务的信息价值高。可继续讨论相机运动、静态文字、query-a…

#视频理解#时序采样#关键帧提取

面试题·多模态· 得物

多模态异构数据怎么统一存储?

匹配口述回答：…合器和reranker。调用层根据query模态、任务、权限和延迟预算选择encoder与索引。文本问题可能同时检索ASR字幕、OCR和图像特征，再把候选映射回原始时间段或区域。返回结果应包含asset ID、片段位置、特征版本和来源，方便后续生成答案时引用与审计。版本管理是容易遗漏的风险。encoder升级后，新旧embedding通常不能混在同一距离空间里。我会采用新索引回填、双写和影子评测，确认召回与延迟后再切流，并保留回滚。离线看跨模态Recall与NDCG，线上…

#多模态融合#特征对齐#向量数据库

面试题·多模态· 快手

视频切帧优化：语义+动态采样

匹配口述回答：…样密度。接着做结构感知：镜头边界检测发现大幅场景切换，感知哈希或视觉 embedding 距离识别近重复，光流或帧差估计运动强度，OCR 变化帮助保留字幕和屏幕操作。动态采样率应有上下限，避免高运动噪声吞掉全部预算。如果任务带问题或文本查询，可以用图文 embedding 为候选帧打相关分。但只按相关性排序容易集中在相同镜头，遗漏事件前因后果，所以目标还应包含时间覆盖、帧间多样性和最小间隔。可将视频先分成 shot 或时间段，每段保留代表帧，再在全局预算内选择。对动作任务要…

#视频理解#时序采样#多模态预训练

面试题·多模态· 得物

多模态大模型网络结构怎么搭?

匹配口述回答：…可能损失小目标与文字，视觉token太多又会增加上下文和attention成本。工程选型时，我会固定视觉分辨率和LLM规模，比较OCR、目标属性、空间关系、对话与幻觉，并记录可训练参数、视觉token数、首token延迟和显存。还要做视觉消融，确认模型确实使用图像而不是只靠语言先验。这样才能从真实结构和训练阶段说明模型，而不是只背Q-Former或projector名词。多图和高分辨率场景会进一步考验桥接模块。固定数量query可能压缩过度，直接保留大量patch又会占用…

#视觉编码器#投影层/连接器#多模态对齐

面试题·文档处理· 字节

RAG 数据处理与索引流程?

匹配口述回答：…，如果全丢掉，后续检索就分不清上下文；但硬要保留所有格式，解析成本会很高。我的做法是，对PDF、扫描件这类非结构化文档，先用 [[OCR]] 做版面分析，把标题、段落、表格还原出来。这里有个前提：如果文档质量很差，比如扫描歪斜或表格跨页，解析失败率会直线上升，那就要在管道里加人工校验兜底。清洗也是双刃剑，去掉页眉页脚和乱码是必须的，但过度清洗可能丢掉关键语义，比如把技术术语里的特殊符号删掉，就麻烦了。所以我会保留一份原始文本副本，万一检索质量出问题还能回溯。接下来是[[分块…

#字节#文档处理#向量检索

面试题·文档处理· 字节

RAG 长文档怎么切块?

匹配口述回答：…章节来切。这样切出来的块内部语义自包含，检索精准度高。但这里有个前提：文档结构要清晰。如果是一份没有标题、没有分段、格式混乱的[[OCR]]扫描件，语义切分效果会大打折扣。而且块大小不均匀，对后续的[[Embedding]]和检索延迟有影响。所以真正落地的时候，我倾向于把两者结合起来。一个很实用的做法是多粒度设计，也叫Parent-Child结构。较小块负责精准命中，较大父块负责补回生成上下文；两者的具体长度都作为候选变量，由文档结构、模型窗口和同一评测集决定。通过元数据把…

#字节#文档处理#RAG 文本切块

面试题·评估· 美团

Coding vs GUI vs Search 谁先落地?

匹配口述回答：…行环境，像Docker、E2B，安全隔离方案很成熟。搜索的检索加总结pipeline也有一堆开源工具。GUI最难，环境感知需要[[OCR]]、目标检测、DOM解析串起来，每一步都有精度损失，而且不同应用没有统一接口。所以我会把编程能力看成短期最有可能大规模落地的方向。前提是代码生成必须配合沙箱执行和错误捕获，不然生成一堆不编译的代码反而降低效率。常见失败场景是模型生成代码调了不存在的API，或者逻辑正确但性能差，上线我会特别关注测试覆盖率。GUI短期内更适合垂直场景，比如自…

#美团#Agent#Agent 能力对比

面试题·评估· 美团

Agent 功能模块怎么分工?

匹配口述回答：…存为。GUI 模块的难点在于界面动态变化，比如弹窗覆盖了按钮，或者元素 ID 每次刷新都变。我会倾向于用基于视觉的方案，比如 [[OCR]] 识别文字位置，再加坐标定位，而不是依赖 DOM 结构，这样鲁棒性更好。但代价是延迟高，而且对截图质量敏感。这三个模块不是孤立的，而是通过 [[Function Calling]] 机制被统一调度。比如一个任务：“查一下北京明天天气，写个提醒脚本，设置到系统日历”，流程就是：Search 查天气 → Coding 写 Python 脚本…

#美团#评估与监控#Agent

面试题·知识图谱· 淘天

RAG 系统痛点怎么破?

匹配口述回答：…配和语义匹配互补。这里有个坑：重排模型不能太慢，否则延迟受不了，上线前一定要压测P99。还有，如果业务文档本身质量差，比如全是[[OCR]]错字，那重排也救不了，得先清洗数据。再一个，上下文稀释。模型上下文窗口再大，有效信息被一堆无关段落淹没，注意力就散了，典型的就是Lost in the Middle现象。我的做法是动态上下文压缩，用个小模型先过滤一遍，只把高置信度的片段送进生成。另外文档排序也有讲究，把最相关的放首尾，中间放次相关的。这里和固定切分划个边界：如果文档结构…

#淘天#知识图谱#RAG 痛点

面试题·RAG· 阿里

LangChain vs LlamaIndex 场景怎么选？

匹配口述回答：…理”，LlamaIndex可以做到：先拆成两个子问题，分别从不同文档检索，再合并答案。这里有个坑，就是如果你的文档质量差，比如[[OCR]]识别率低，或者格式混乱，那再好的索引也救不了。我会特别关注数据预处理阶段，上线前一定要用一批真实query跑一遍召回率，低于80%就别急着上。说到落地，其实生产环境里这两个框架经常一起用。LlamaIndex负责数据层，把文档变成可检索的索引；LangChain负责应用层，把检索结果和工具调用、Agent决策串起来。比如一个企业知识库助…

#阿里云#AI框架选型#LangChain vs LlamaIndex

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配口述回答：…页，结构复杂、术语密集，随便切段落肯定不行。我会根据文档类型做不同处理，比如医疗病历有DICOM标准，法律合同有条款边界，先用[[OCR]]或解析器把元信息提出来，像疾病编码、法条编号、时效性这些。然后chunk策略要兼顾语义和结构：一方面用语义模型识别主题边界，另一方面按章节条款切，保证一个chunk内逻辑完整。chunk大小我通常控制在200到500token，太小缺上下文，太大检索容易跑偏。存储上我会建三层索引：语义向量、关键词、实体关系图谱。这不是炫技，是不同场景互补…

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配口述回答：…索时语义丢失。我倾向于按语义边界切，比如段落或句子，保证每个切片是完整的意思。当然，如果文档结构很乱，比如PDF表格，那还得用[[OCR]]加版面分析。再说向量数据库。选型时我主要看召回延迟和精度。小项目用[[Faiss]]就够了，但数据量上千万、要求实时更新，就得用Milvus或者Pinecone。这里有个前提：如果业务场景是精确匹配，比如查订单号或错误码，那向量检索不如关键词搜索[[BM25]]，所以生产上我一般搞[[混合检索]]，向量和关键词两条路一起走，再用[[Re…

#字节#RAG实现原理#RAG 实现原理

面试题·检索· 美团

RAG 系统核心组件怎么搭?

匹配口述回答：…]加大模型”。文档处理是第一层，也经常是最容易被低估的一层。原始文档进来后，先做解析和清洗，比如 PDF、网页、表格、图片 [[OCR]]，各自的处理方式不一样。清洗完以后做[[分块]]，分块要结合文档结构，不能简单按 500 token 硬切。技术文档可以按标题层级切，客服 FAQ 可以一问一答作为块，合同类文档可能要保留条款编号。每个 chunk 还要带 metadata，比如来源、标题、时间、权限、版本号。企业场景里，权限和版本非常重要，否则检索结果可能正确但不该给当…

#美团#RAG工程实现#RAG 系统实现

面试题·检索· 字节

RAG Retriever 工作机制详解

匹配口述回答：…者用 [[Self-RAG]] 让模型自己学会反思。最后说落地风险。前提是文档质量要干净，切分策略要合理。如果文档是扫描件 [[OCR]] 出来的，或者切分把一句话拦腰截断，召回率会崩。常见失败场景是用户问一个很模糊的问题，比如'怎么投诉'，检索器可能捞出一堆不相关的文档。这时候我会在 query 侧做改写，或者加一层意图识别。所以我的判断是，RAG 不是银弹，它更适合知识密集型、答案可溯源的场景，而对需要强推理或者多步交互的场景，我更倾向用 [[Agentic RAG]]…

#字节#Retriever#RAG Retriever

面试题·检索· 字节

Embedding + 向量数据库怎么搭?

匹配口述回答：…以我更倾向用 RRF，它不依赖分数绝对值，只靠排名，鲁棒性好很多。最后说落地风险和前提。前提是数据质量，如果原始文本噪声大，比如OCR识别错误可能破坏关键字段；中英混杂是否影响质量取决于模型语言能力与具体语料，要单独切片评估。常见失败场景是：分块太碎导致语义丢失，或者索引参数没调好，比如 HNSW 的 ef_search 设太小，召回率掉到 80% 以下。上线前我会特别关注两点：一是用一批固定 query 回放，对比 Recall@K 和延迟，不通过就回滚；二是做量化压缩，…

#字节#Embedding向量检索#Embedding 向量数据库

RAG 项目指标化复盘

专业领域RAG链路优化陷阱

RAG 流程各环节优化陷阱

RAG 流程：检索、融合、生成

RAG 文档处理与检索策略怎么搭？

RAG 组件功能与数据流向?

领域 RAG 架构如何控幻觉?

面试官问：“RAG 表格怎么切块？”我：“按行切，带上表头。”他：“单位和备注，你让模型猜？”

固定间隔vs关键帧怎么选？

多模态异构数据怎么统一存储?

视频切帧优化：语义+动态采样

多模态大模型网络结构怎么搭?

RAG 数据处理与索引流程?

RAG 长文档怎么切块?

Coding vs GUI vs Search 谁先落地?

Agent 功能模块怎么分工?

RAG 系统痛点怎么破?

LangChain vs LlamaIndex 场景怎么选？

医疗法律 RAG 架构关键环节

RAG 核心实现原理是什么?

RAG 系统核心组件怎么搭?

RAG Retriever 工作机制详解

Embedding + 向量数据库怎么搭?