匹配正文：…索时要查的那个库。为什么非要拆成"离线 + 在线"两段?因为这两段的诉求正好相反:离线建库追求质量,允许用更长时间做解析、切分和向量化;在线问答追求可控延迟,不能在用户提问时临时处理全部原始文档。把重活挪到离线、提前建好索引,在线只做"查 + 拼 + 答",就是两条链路分开的根本原因。具体耗时必须用自己的数据规模和硬件实测。顺手记两个词:Embedding(把文字转成一串数字向量,让"意思相近"能用数学距离算出来)、chunk(把大文档剪成的小段,每段几百字)。这两个词后…

#RAG#检索#项目实战

面试题·RAG

扫描 PDF 没有文本层，RAG 怎么做 OCR 与失败降级？

匹配正文：…清清楚楚，文字、表格和印章都看得见。系统也显示文件上传完成。可程序读取页面时，只拿到几个页码或一段水印，正文几乎为空。后面的分块、向量化和入库没有明显报错，用户提问时却一直搜不到材料里的答案。问题不在大模型，也不一定在向量库。真正的原因是这份 PDF 没有可用字符层，页面本质上是一张张图片。于是面试官会继续问：你怎么判断一页 PDF 需要 OCR？识别完成后为什么不能直接把文字塞进向量库？遇到模糊页、表格页和失败页又怎样降级？如果回答只有“调用 OCR 接口提取文字”…

#RAG#解析与入库#扫描 PDF RAG

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…迎 Star ⭐ / Issue 反馈 / PR 贡献导航 ← 上一章:RAG 整体架构 | 下一章:Embedding 选型与向量化 → | 回到项目首页本次切分代码验证边界实际执行了公开下载脚本和正文代码：合成长PDF得到多个块，短PDF得到一个块，空PDF得到0块并提示检查/OCR；固定条款失败演练仍输出原有两个分块。运行时禁网，0模型下载/0LLM或外部API调用。成功执行不等于真实扫描/OCR、多栏表格或检索生成质量已验证。兼容与字符切分资料1 兼容与字符切…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#检索#项目实战

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：处理复杂 PDF 时，常会遇到一类高风险结果：每个字都识别出来了，但阅读顺序和字段关系却是错的。解析任务显示成功，分块与向量化正常完成，用户也能搜到很多相似内容，但模型拿到的证据已经不是原文真正表达的意思。先看一个双栏理赔指南的例子。左栏写办理步骤，右栏写申请材料。如果解析器按照同一水平位置依次拼接，输出会变成一句步骤接一句材料。用户问“需要提交哪些材料”时，检索器看到的不是一个完整材料清单，而是一段步骤和材料交错的文本。面试官很可能追问： PDF 里的文字已经提取出来了…

#RAG#解析与入库#复杂 PDF 阅读顺序

面试题·RAG

MinerU 能直接解决 RAG 文档解析吗？哪些页面必须二次处理？

匹配正文：…。这时候能不能直接切成 Chunk，写进向量库？很多人的第一反应是可以。解析工具已经把 PDF 变成了文本，后面无非就是切分、向量化和检索。用户真正关心的是输出能不能长期稳定使用：同一区域有没有重复出现，正文和表格是否表达了两份冲突内容，解析器升级后字段结构会不会变化，重新处理时旧 Chunk 能不能被正确替换，答案又能否回到原页。“文件已经生成”只回答了任务状态，没有回答这些质量问题。只要其中一处出错，系统依旧可能顺利入库，却再也搜不到正确证据。所以这道面试题真正…

#RAG#解析与入库#MinerU RAG

项目实战·RAG

第 5 章:检索召回,混合检索(BM25 + 向量)

匹配正文：… Python BM25(零依赖)也在里面欢迎 Star ⭐ / Issue 反馈导航 ← 上一章:Embedding 选型与向量化 | 下一章:重排与检索优化 → | 回到项目首页

#RAG#检索#项目实战

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…知道它牺牲一点召回换速度 /questions?module=向量检索 RAG 先检索相关资料再让模型基于资料回答能画出"切块-向量化-检索-重排-生成"整条链路 RAG 架构 Agent 与工具调用让模型自己决定调哪个工具、按结果再决策能说清一次工具调用的请求-执行-回填闭环 /ai-coding 第 3 章 Prompt 与结构化输出用提示词约束任务,并要求返回 JSON 等固定格式能写出让下游能解析的稳定输出,知道怎么处理格式跑偏系统提示词微调 vs 提示…

#求职#职业转型

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：…语言与所属小节。第五步，执行质量检查。检查空块、过短块、超长块、重复块、缺少标题路径的块，以及被切断的表格和列表。通过后再进入向量化和索引。从结构化文档到可检索 Chunk 的五步链路解析先提供结构，切分再形成原子单元、按预算合并、递归处理超长内容并补齐上下文，最后通过质量检查入库。这条链路里，Token 预算一直存在，但它是上限，不是第一把刀。原子单元先告诉系统哪里不该随便切，预算再告诉系统一块最多能装多少内容。这样才能兼顾结构和模型输入限制。实现时还要把“边…

#RAG#切分与索引#RAG Chunk

项目实战·RAG

第 7 章:Query 理解与改写

匹配正文：…nt Embeddings)的反直觉解法是: HYDE 流程先让 LLM 根据问题编一段"可能的答案"(假设文档),把这段假答案向量化,再用它去检索真实文档。因为这段假答案自带一堆相关术语和上下文,它的向量更接近真正答案文档的向量,召回更准。用向量空间的视角看,就很直观了: HYDE 为什么有用:假答案向量更靠近真答案业内行话:HYDE 的"假答案"哪怕事实是错的也没关系,我们只借它的"语义丰满度"来检索,最终回答仍然基于检索回来的真实文档。代价是多一次 LLM 调用…

#RAG#检索#项目实战

系统教程·AI 编程

从零拼一个最小 RAG 问答

匹配正文：…好的 prompt ↓ ③ 生成:让 LLM 基于资料作答带依据的回答最小实现(可跑,不依赖向量库) 知识库使用几段演示文本，向量化与聊天分别连接支持相应能力的服务。不能因为一个服务兼容 Chat Completions，就假设它也提供 OpenAI 的 embedding 模型。先完成第 2 篇的虚拟环境与聊天凭据准备，再安装 numpy，并准备 OpenAI embedding 端点对应的 key： python -m pip install numpy expor…

#Agent#AI 编程

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…B 带上一小段 A 的尾部，可以恢复“这些条目是什么”的上下文。但 overlap 不是越大越保险。重叠越多，同一段文字会被多次向量化。查询命中边界区域时，Top K 里可能出现内容高度相似的 A、B、C，表面上召回了三条，实际上只有一份证据。它们还会一起进入重排和提示词，占用候选位、计算和上下文长度。因此，overlap 解决的是边界连续性，不应该拿它替代正确的结构切分。章节、表格、代码块或列表已经被错误拆散时，盲目扩大重叠只是复制错误。 Overlap 只修边界，不修…

#RAG#切分与索引#Chunk Size

项目实战·RAG

第 8 章:多轮对话与记忆管理

匹配正文：…取最近几轮。实现最简单、最稳,基于"最近的通常最相关"的假设。缺点:用户突然聊回很早的话题,窗口里就没那段了。语义相关:把历史也向量化,按当前问题检索出语义最相关的几条历史(哪怕在很久之前)。效果好,但要为历史建向量索引,还可能捞到"主题相似但语境不同"的旧内容。主题 + 重要度:标注出对话里的关键事实/决策点,在当前问题属于同一主题时才取用。最准,但要预处理标注。业内行话:三种策略可以组合,但不是默认答案。只有当同一评估集显示它们分别补足了时效、旧话题召回和关键事实保…

#RAG#检索#项目实战

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…data 则保存父表、页码、区域、单位和脚注关系。三者不能相互替代：增强文本便于检索，不代表它就是原文；原始表格可核验，不代表直接向量化后一定容易命中。跨页表格从识别到切分的处理顺序先恢复同一张逻辑表，再按完整行组拆分。切完的每一块都要带回表头、来源和父表关系。这里有一个常见误区：先把表格转成 Markdown，就认为结构问题已经解决。 Markdown 只是表达形式。跨页关系判断错了、合并单元格丢了、表头与数据错位，换成 Markdown 仍然是在更整齐地保存错误内容…

#RAG#切分与索引#RAG 表格切分

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…架构直接复用 RAG、Agent 系统的模块切分和你画的服务架构图是同一种思维数据管线 / 批处理直接复用文档清洗、切块、向量化就是一条新的 ETL,链路你熟性能 / 成本优化大部分复用换成 token 成本、首 token 延迟、并发批处理,方法论一致接口 / 编排直接复用函数调用、工具编排就是把外部能力封成接口给模型调「效果好不好」怎么判断要重训直觉从「测试通过=对」变成「概率对,要靠评估集量化召回率/忠实度/胜率」调 Prompt 要重训直觉…

#求职#职业转型

面试题·RAG

RAG 知识库如何动态更新？重复上传怎么做到不重复、不漏写？

匹配正文：…，第二次执行不应产生新 Chunk，也不应重复调用 Embedding。只有一个段落发生变化时，未变化块可以复用，变化块需要重新向量化，同时还要处理旧块何时退出当前检索范围。任务执行到一半超时时，再次执行要补齐失败部分，而不是重放整批并制造重复。重复上传与内容更新不是同一件事重复上传希望最终不增加内容，文档更新希望只替换发生变化的部分。两者都依赖稳定身份，但版本处理不同。所以，幂等通常不是一个布尔开关，而是一组围绕身份、版本和状态的约束。稳定 Chunk ID 应…

#RAG#切分与索引#RAG 增量入库

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…档”。短 Query 往往只有一个主题词，而知识库里的答案通常是一段陈述。HyDE 先让模型生成一段可能的答案，再把这段假设文档向量化，用来检索真正资料。它借用的是假设文本的语义形状，不是假设文本里的事实。三种 Query 优化方法解决不同缺口重写补全一条问题，扩写覆盖多种说法，HyDE 用假设文档辅助语义检索。三者都只是检索代理。这三种方法可能同时出现，但不应该无条件叠加。多轮指代问题先做重写，已经得到清晰独立问题后，未必还需要 HyDE。明确术语只是文档措辞…

#RAG#检索与重排#RAG Query 重写

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…有没有重复计算文档向量。文档 Embedding 属于离线入库工作。在线问答通常只需要计算 Query 向量。如果每次问答都重新向量化整份资料，架构边界已经错了。重复 Query 可以缓存 Embedding。这里的缓存只是一种可选工程策略：先规范化文本，再生成缓存键，命中后复用向量。是否值得采用，要看真实 Query 的重复程度和缓存维护成本。但一个生产缓存键不能只有 Query 文本。 Embedding 模型升级后，同一句话对应的向量空间已经变化。缓存键至少要区分…

#RAG#评测与上线#RAG 首字响应

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…任务需要怎样的状态机？只有“处理中”和“已完成”两个状态，很难描述真实入库过程。一份文档可以经历已接收、等待解析、解析中、等待向量化、写入中、校验中、待发布、已发布、失败和已停用。状态不一定使用这些名字，但必须能回答当前停在哪一步、哪些产物已经生成、下一次从哪里继续。状态变化要由完成对应工作的服务写入，不能在接口收到请求后就提前标成成功。每次变化记录任务 ID、文档版本、执行者、错误和时间，重复回调时使用幂等条件避免状态倒退。失败也需要分类。可重试失败包括暂时网络错…

#RAG#评测与上线#RAG 系统设计

面试题·RLHF与对齐· 美团

Long Horizon 训练环境怎么搭?

匹配正文：…验证，不存在参数噪声天然更适合长视野的结论。评测至少报告成功率、回报、步数、约束违例、不同种子方差和分布外鲁棒性。工程上还要支持向量化并行、可复现日志、状态快照、超时、异常动作处理和离线轨迹回放。固定随机种子能保证完全复现吗？不能。固定 seed 只是控制随机源的一项措施；同版本、平台和设备下，还需控制环境与数据加载的随机源、适用的确定性算法及外部系统状态。即使 seed 相同，也不保证跨 PyTorch 版本或提交、平台以及 CPU/GPU 执行获得位级相同结果；固定…

#Long Horizon RL#奖励塑形#课程学习

面试题·Agent· 小红书

长历史行为怎么处理?

匹配正文：…作记忆(短期) + episodic记忆(长期) 复杂Agent、多轮深度交互架构复杂，需设计记忆写入/读取逻辑检索增强历史向量化，按需检索Top-K 超长历史、稀疏访问检索延迟，需维护向量索引小红书场景建议混合架构：近期对话（如50轮）：直接保留原始文本，保证细节中期历史：滑动窗口摘要，每20轮生成一段摘要远期记忆：关键事件（种草商品、决策节点）向量化入库关键设计：记忆写入：识别"里程碑"（用户明确偏好、购买决策）优先入库记忆读取：当前Query先检…

#小红书#Agent#长历史行为处理

面试题·Agent· 小红书

长序列行为数据怎么处理?

匹配正文：…前query检索相关历史（类似RAG）工程实现：维护双记忆结构热记忆：最近1-2天行为，全量放入prompt 冷记忆：历史行为向量化存入HNSW索引，按需检索Top-10 三、上下文管理优化 KV Cache复用：对固定历史前缀预计算并缓存，避免重复编码稀疏注意力：Longformer/BigBird模式，降低O(n^2)复杂度分页调度：vLLM的PagedAttention思想，动态分配显存四、小红书场景的特殊考量多模态行为：图文/视频浏览需统一embeddin…

#小红书#Agent#长序列行为数据

面试题·Agent· 百度

Tool Calling 机制详解

匹配正文：…型）实际调用API/数据库/计算服务执行结果（成功/失败/返回值）格式化后重新注入对话上下文关键：结果摘要化，超长内容需截断或向量化，避免撑爆上下文 4. 循环决策：ReAct模式 Thought → Action（工具调用）→ Observation（结果）→ Thought → ... 模型根据工具返回决定：继续调用其他工具、整合答案、或向用户澄清工程要点环节常见做法格式对齐用<function>标签或JSON对象区分普通回复与工具调用错误处理参数校验失…

#百度#Agent#Tool Calling 机制

面试题·Agent· 字节

大量工具怎么选?

匹配正文：答案要点工具分层/分类架构设计基于语义的工具检索机制工具描述优化与向量化延迟优化策略（预加载、缓存、并行）工具学习/自动化工具发现核心挑战分析工具选择困难：LLM上下文窗口有限，无法一次性加载所有工具描述；相似工具难以区分调度复杂：工具间存在依赖、互斥、资源竞争；执行顺序影响结果响应延迟：工具检索+LLM决策+实际调用链路长解决方案 1. 层次化工具架构工具分类层：按领域/功能预分类（如"数据库类""搜索类"），先选类别再选具体工具元工具（Meta-t…

#字节#百度#Agent

面试题·Agent· 字节

Agent 长期记忆架构与更新策略

匹配正文：…速回溯 3. 长期记忆（Long-term Memory）用户画像：偏好、习惯、人口属性（结构化存储）事件记忆：重要交互片段（向量化存储）知识记忆：用户专属知识（可结合RAG）存储与检索设计存储层类型存储方式示例用户画像关系型/文档数据库 JSON格式，支持原子更新事件记忆向量数据库 + 元数据摘要向量 + 时间戳 + 主题标签原始对话对象存储压缩归档，用于总结生成检索策略多路召回：向量相似度 + 时间衰减 + 主题标签过滤重排序：用轻量…

#字节#百度#Agent