搜索大模型内容

第 4 章:Embedding 选型与向量化

匹配正文：…也能跟着做:用一段零依赖代码理解"文字 → 向量 → 算距离",并亲眼看到它的硬伤 ✓ 看懂 3 个核心概念:Embedding(向量化)、余弦相似度、双塔模型 ✓ 学会按场景选 Embedding 模型(BGE / E5 / GTE / Jina / OpenAI),并知道向量维度(768/1024/1536)怎么取舍 ✓ 理解向量库 + ANN 索引,讲清 HNSW vs IVF 的区别和"近似"二字的含义 ✓ 知道通用模型为什么对行业黑话不准,以及领域微调的思路本章按…

RAG Chunk 为什么不能只按固定字数切？

匹配正文：…语言与所属小节。第五步，执行质量检查。检查空块、过短块、超长块、重复块、缺少标题路径的块，以及被切断的表格和列表。通过后再进入向量化和索引。从结构化文档到可检索 Chunk 的五步链路解析先提供结构，切分再形成原子单元、按预算合并、递归处理超长内容并补齐上下文，最后通过质量检查入库。这条链路里，Token 预算一直存在，但它是上限，不是第一把刀。原子单元先告诉系统哪里不该随便切，预算再告诉系统一块最多能装多少内容。这样才能兼顾结构和模型输入限制。实现时还要把“边…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#切分与索引#RAG Chunk

#安克科技#RAG 向量化流程#Embedding 模型选择

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：面试官真正想听的是参数背后的验证方法很多回答一上来就是：“我们设置 chunk_size=1024，overlap=100。” 面试官接着问“为什么”，回答就变成“网上大多这样配”或者“框架默认值就是这个”。这说明只会填写配置，没有建立评测闭环。参数选择真正要回答四个问题：一个问题的完整证据通常有多长？文档里哪些内容最怕被拆开？召回结果重复后，会占掉多少候选位和模型上下文？参数改变后，怎样证明收益来自切分，而不是其他模块同时变化？从工程链路看，RAG 可以拆为离…

#RAG#切分与索引#Chunk Size

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：…，控制块大小文档解析：PDF用PyMuPDF/MinerU，HTML去标签，表格保留结构分块策略：按语义段落切分，并比较多组 chunk size 与 overlap 候选，用同一评测集验证边界召回和成本清洗降噪：去页眉页脚、统一编码、过滤低信息密度内容元数据绑定：保留标题层级、来源URL、时间戳，用于过滤和重排序嵌入模型选择选型三要素：维度考量语言中英混合选bge-m3、gte-large；纯英文选text-embedding-3-large 上下文长…

面试题·文档处理· 安克科技

RAG 文档怎么存储和向量化?

匹配正文：…型考量（中英双语、上下文长度、领域适配）向量索引结构对比（Flat、IVF、HNSW）与选型场景完整数据流：解析→清洗→分块→向量化→元数据关联→入库完整流程：原始文本 → 向量数据库 1. 文档解析与预处理格式兼容：PDF/Word/Markdown/网页等统一解析，处理乱码、特殊符号结构保留：提取标题层级、段落边界，为语义分块提供依据清洗降噪：去除页眉页脚、重复内容、无效HTML标签 2. 分块（Chunking）策略策略适用场景关键参数固定长度通用…

#安克科技#评估与监控#RAG 文档向量化

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配口述回答：…换行这些自然边界断，保证一个块是一个完整意思。如果文档结构清晰，比如企业SOP，就按章节切；如果是纯文本，我会把[[滑动窗口]]的chunk_size和overlap设为候选变量，结合文档结构、模型输入限制和同一评测集验证是否避免句子被拦腰切断。这里有个坑：分块太碎容易丢失上下文，比如退款政策里一句“超过30天不处理”单独拿出来可能歧义；分块太大又会让检索噪声变多。所以实际落地我经常混合策略：小块做检索，同时保留[[父文档]]信息，召回后把整段上下文喂给模型。然后是Embe…

#安克科技#RAG 文本向量化#分块策略

Chunk 为什么要带标题、页码和前后片段 ID？

匹配追问：哪些字段参与向量化，哪些只用于过滤？前后片段扩展怎样避免拉入另一个章节？文档更新后，旧 Chunk 的版本怎样处理？来源页码和坐标在解析、入库、返回中怎样传递？

#RAG#切分与索引#RAG Metadata

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…一起丢失。流程图虽然识别出所有文字，却看不出箭头关系。这就引出一道很有区分度的 RAG 面试题：表格、代码和图片应该怎样切成 Chunk，既能被检索，又不破坏原来的结构？常见回答是：“表格单独成块，代码按函数切，图片先做 OCR。” 这句话只讲了入口。面试官接下来通常会问：表格太长怎么办，跨页表头怎么继承，PDF 里的代码无法做语法解析怎么办，图片描述如果编错了又怎么核验？为什么普通文本能切，特殊内容却容易切坏？普通段落的主要语义通常来自句子顺序。只要尽量在句号、段…

#RAG#切分与索引#RAG 表格切分

#字节#Embedding 模型选型#RAG 向量化流程

RAG 知识库如何动态更新？重复上传怎么做到不重复、不漏写？

匹配正文：…在检索时无规则混用。重复上传与内容更新看起来都叫“再次上传”，系统应该给出不同判断。原文完全没有变化时，第二次执行不应产生新 Chunk，也不应重复调用 Embedding。只有一个段落发生变化时，未变化块可以复用，变化块需要重新向量化，同时还要处理旧块何时退出当前检索范围。任务执行到一半超时时，再次执行要补齐失败部分，而不是重放整批并制造重复。重复上传与内容更新不是同一件事重复上传希望最终不增加内容，文档更新希望只替换发生变化的部分。两者都依赖稳定身份，但版本处…

#RAG#切分与索引#RAG 增量入库

面试题·文档处理· 字节

文本块怎么转向量并建索引?

匹配正文：一、文本分块到向量的转换流程分块策略决定嵌入方式短chunk（<512 tokens）：直接用bi-encoder（Sentence-BERT）生成dense vector 长文档：截断取首中尾、滑动窗口聚合，或用层次化嵌入（段落→文档）关键：chunk边界尽量保留语义完整性，避免句子截断嵌入模型选型模型核心原理适用场景 Sentence-BERT 双塔结构+对比学习（NLI数据），生成sentence-level embedding 通用语义相似度，计算快 B…

#字节#文档处理#向量检索

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配正文：…选重叠策略：比较无重叠、短重叠和较长重叠，验证边界召回与冗余成本特殊处理：代码按函数/类分割，Markdown按标题层级分割向量化批量推理，GPU加速归一化向量（便于余弦相似度计算）元数据关联 { "vector": [...], # 稠密向量 "sparse_vector": {...}, # 可选，BM25权重 "metadata": { "doc_id": "xxx", "chunk_index": 3, "source": "技术规范_v2.pdf", "…

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：…文本语义分块用模型判断语义边界，块大小不均对连贯性要求高的文档关键权衡：块太小可能缺上下文，块太大可能引入噪声。应把多组 chunk size 与 overlap 组合放进同一评测集，比较召回、答案质量和成本。 3. 向量化与存储 Embedding选型：中文用BGE、M3E，多语言用E5、OpenAI text-embedding-3 向量数据库：Milvus（大规模）、Qdrant（易用）、Elasticsearch（混合检索方便）索引构建：HNSW（图索引，召…

#美团#RAG 知识库搭建#文档预处理

面试题·检索· 高德

记忆型Agent为何用向量数据库?

匹配正文：…本端侧部署选轻量模型（BGE-small），云端可用大模型指令理解优先选用经过指令微调的模型（如instructor系列）向量化表示设计文档切分策略按语义切分（句子/段落）优于固定长度，保持上下文完整性对话场景：保留"用户问-Agent答"完整回合作为独立chunk 元信息增强 { "content": "用户询问北京到上海的路线", "metadata": { "session_id": "xxx", "timestamp": 1715000000, "msg…

#高德#Agent#向量数据库 Agent

面试题·检索· 字节

Embedding 怎么实现语义召回?

匹配正文：核心流程 1. 文档向量化（离线）文档分块：按语义/固定长度切分，控制chunk大小（通常256-512 tokens） Embedding编码：用预训练模型（如BGE、M3E、OpenAI-ada）将文本映射为稠密向量关键：领域数据建议微调Embedding模型，解决分布偏移 2. 向量索引构建存储：向量数据库（Milvus、Faiss、Pinecone）或近似最近邻索引（HNSW、IVF） HNSW：图索引，查询快、精度高，适合动态更新场景 3. 查询检索（在线） …

#字节#向量语义召回#Embedding 语义召回

RAG 智能问答系统

匹配正文：…否定条件被切散教学风险演练:一段制度先陈述适用范围，随后用「但以下情况除外」补充限制。固定长度切分可能把主句和否定条件分到不同 chunk，检索只命中前半段时，生成模型就可能给出相反结论。风险等级：P0。检查重点：切分不能只看长度；要用带否定条件的测试样本验证语义边界和引用完整性。阅读第 3 章：文档预处理与切分同义表达没有被召回教学风险演练:用户问题和文档使用不同说法，例如口语表达与制度术语不一致。只依赖关键词时可能漏召回；只依赖向量时也可能把语义相近但条件不同…

#项目实战#RAG 智能问答系统

PDF、PPT、扫描件为什么不能共用一条解析 Pipeline？

匹配正文：…单元。 RAG 可以分成离线知识入库和在线问答两个阶段。文档解析处在离线阶段最前面。解析器交给后面的内容如果已经丢失或错乱，分块、向量化和入库仍可能正常运行，只是它们会忠实地处理一份错误材料。多格式入库首先判断“知识以什么形式存在”，不能只看文件能不能打开。电子 PDF 的正文可能存在字符层，可以按页读取文字，但多栏排版、表格和浮动图片仍需要版面信息。扫描 PDF 看上去也是 PDF，页面内部却可能只有图像。PPT 不是一篇连续文章，一页中的标题、文本框、项目符号、图片和…

#RAG#解析与入库#RAG 文档解析

第 2 章:RAG 整体架构

匹配正文：…索时要查的那个库。为什么非要拆成"离线 + 在线"两段?因为这两段的诉求正好相反:离线建库追求质量,允许用更长时间做解析、切分和向量化;在线问答追求可控延迟,不能在用户提问时临时处理全部原始文档。把重活挪到离线、提前建好索引,在线只做"查 + 拼 + 答",就是两条链路分开的根本原因。具体耗时必须用自己的数据规模和硬件实测。顺手记两个词:Embedding(把文字转成一串数字向量,让"意思相近"能用数学距离算出来)、chunk(把大文档剪成的小段,每段几百字)。这两个词后…

扫描 PDF 没有文本层，RAG 怎么做 OCR 与失败降级？

匹配正文：…清清楚楚，文字、表格和印章都看得见。系统也显示文件上传完成。可程序读取页面时，只拿到几个页码或一段水印，正文几乎为空。后面的分块、向量化和入库没有明显报错，用户提问时却一直搜不到材料里的答案。问题不在大模型，也不一定在向量库。真正的原因是这份 PDF 没有可用字符层，页面本质上是一张张图片。于是面试官会继续问：你怎么判断一页 PDF 需要 OCR？识别完成后为什么不能直接把文字塞进向量库？遇到模糊页、表格页和失败页又怎样降级？如果回答只有“调用 OCR 接口提取文字”…

#RAG#解析与入库#扫描 PDF RAG

第 3 章:文档预处理与切分

匹配正文：…之前,我们先把最基础的东西跑起来。 3 个核心概念(先白话,再术语) 概念 1:什么是"切分"? 切分(chunking),英文 chunk 就是"块"的意思,说白了就是把一份大文档剪成多个小段,每段几百字。为什么要剪?因为大模型一次能"读"的文字有上限(就像一口能吃的饭量有限),你不可能把一本 500 页的保险条款整本塞给它。所以要先剪成小块,用户提问时只挑最相关的几块送进去。模型上下文预算按具体tokenizer的token计量，没有固定的汉字/英文词换算比例。本例R…

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：处理复杂 PDF 时，常会遇到一类高风险结果：每个字都识别出来了，但阅读顺序和字段关系却是错的。解析任务显示成功，分块与向量化正常完成，用户也能搜到很多相似内容，但模型拿到的证据已经不是原文真正表达的意思。先看一个双栏理赔指南的例子。左栏写办理步骤，右栏写申请材料。如果解析器按照同一水平位置依次拼接，输出会变成一句步骤接一句材料。用户问“需要提交哪些材料”时，检索器看到的不是一个完整材料清单，而是一段步骤和材料交错的文本。面试官很可能追问： PDF 里的文字已经提取出来了…

#RAG#解析与入库#复杂 PDF 阅读顺序

MinerU 能直接解决 RAG 文档解析吗？哪些页面必须二次处理？

匹配正文：…erU，程序没有报错，Markdown 和 JSON 也正常生成。打开结果一看，正文、标题、表格似乎都有。这时候能不能直接切成 Chunk，写进向量库？很多人的第一反应是可以。解析工具已经把 PDF 变成了文本，后面无非就是切分、向量化和检索。用户真正关心的是输出能不能长期稳定使用：同一区域有没有重复出现，正文和表格是否表达了两份冲突内容，解析器升级后字段结构会不会变化，重新处理时旧 Chunk 能不能被正确替换，答案又能否回到原页。“文件已经生成”只回答了任务状态，没…

#RAG#解析与入库#MinerU RAG

第 5 章:检索召回,混合检索(BM25 + 向量)

匹配正文：… 1:召回(recall)和"检索召回模块" 第 3 章我们用"召回率"衡量切分好坏;这里的召回是动词:指从知识库里把可能相关的 chunk 捞出来这个动作。负责这件事的就是"检索召回模块",它是 RAG 的"搜索引擎"。概念 2:稀疏检索 vs 稠密检索稠密检索(Dense) = 第 4 章的向量检索:把文字变成稠密向量,靠"意思相近"找。懂语义。稀疏检索(Sparse) = 关键词检索(BM25):靠"词命中"找,代表向量大部分位置是 0(稀疏)。精确。 "稀疏/稠…