匹配正文：面试官真正想听的是参数背后的验证方法很多回答一上来就是：“我们设置 chunk_size=1024，overlap=100。” 面试官接着问“为什么”，回答就变成“网上大多这样配”或者“框架默认值就是这个”。这说明只会填写配置，没有建立评测闭环。参数选择真正要回答四个问题：一个问题的完整证据通常有多长？文档里哪些内容最怕被拆开？召回结果重复后，会占掉多少候选位和模型上下文？参数改变后，怎样证明收益来自切分，而不是其他模块同时变化？从工程链路看，RAG 可以拆为离…

#RAG#切分与索引#Chunk Size

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：“你们的 Chunk Size 设多少？” 这是 RAG 面试里很常见的一句追问。很多人会马上报出一个数字，再补一句设置了多少 Overlap。听起来很具体，却没有回答最关键的问题：为什么这个数字适合你的文档和用户问题？以下用一个教学示例来说明。一段制度原文依次写了适用条件、办理步骤和例外情况。固定长度切分刚好把“但以下情况不适用”留在前一块，把后面的例外条目放进后一块。用户搜索某个例外条目时，系统可能召回后一块。关键词命中了，前提却不见了。模型拿到的是一句局部事实，…

#RAG#切分与索引#RAG Chunk

面试题·文档处理· 百度

RAG 分块参数调优

匹配标题与标签：RAG 分块参数调优 chunk size、overlap 与层级切块参数的实验调优文档处理百度 RAG 分块参数调优 RAG 分块大小和 overlap 怎么调？指标与实验方法 RAG 文本分块 chunking 策略 RAG 系统构建百度

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#RAG 分块参数调优#RAG 分块大小和 overlap 怎么调？指标与实验方法

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…确哪些部分由你完成，哪些来自框架、同事或已有平台。面试官：为什么使用现在的切分方法？固定长度有什么问题？不要直接回答某个固定 chunk size。先说明资料结构：普通段落、表格、列表、跨页内容分别会在哪里破坏语义，再说明你准备怎样用同一批问题比较不同切分方案。没有跑过对照实验，就说清楚这是待验证项，不能编一个提升数字。面试官：为什么同时使用关键词检索与向量检索？回答应落到互补关系。关键词检索更擅长标题、编号和专业术语；向量检索更擅长同义改写。两路结果需要融合，之后才…

#RAG#项目深挖#教学复原

项目实战·RAG

第 2 章:RAG 整体架构

匹配正文：…等待期为90天,等待期内出险不予赔付。", "第3条现金价值:现金价值等于累计已交保费扣除各项费用与风险保费。", ] def chunk(text, size=20): """把一段长文本剪成多个小段(chunk)。 Args: text: 一篇文档的全文 size: 每段多少字(真实系统按"语义"切,见第 3 章;这里图省事按定长切) """ # 从 0 开始,每隔 size 个字截一段:text[0:20]、text[20:40] …… return [text[i:…

#RAG#检索#项目实战

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…计量，没有固定的汉字/英文词换算比例。本例RecursiveCharacterTextSplitter默认用len按字符计长，所以chunk_size=512是最多约512字符，不能当作512 token。若按token切分，需选择与目标模型匹配的tokenizer/长度函数并重新验证。什么是切分:把大文档剪成多个小块这步看着简单,却决定了整个 RAG 系统的天花板,后面你会反复看到,很多上层优化,其实都是在弥补"切分没切对"留下的窟窿。概念 2:什么是"召回率"? 召…

#RAG#检索#项目实战

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…用户 badcase:为什么这道制度题答错了是没召回、召回了没用、还是模型编了? 中午调切块策略和 Embedding 选型 chunk size 为什么这么设? overlap 怎么定? 下午加混合检索、重排或 Query 改写 BM25 和向量检索怎么融合? RRF 的 k 怎么解释? 晚些做评估集和错误分类 Recall@k、MRR、答案正确率怎么量化? 发布前加引用溯源、拒答、权限过滤没依据时怎么拒答? 不同用户能不能看到同一份文档? RAG 很适合后端转…

#求职#职业转型

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…(scores) final_chunks = filter_and_slice(ranked, threshold, page_size) 6. 排查时需要保留哪些返回字段除了原文，还要保留来源、所属知识库和三类分数。这样才能反向检查候选是被哪一路找回、又在哪一步被调整了顺序。 { "chunk_id": candidate.chunk_id, "source_id": candidate.source_id, "collection_id": candidate.col…

#RAG#检索与重排#RAG 混合检索

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配正文：…往需要更完整或分层的上下文；精确事实查询可能更偏好较小且自包含的块，但都不是固定规则。评测方法在同一文档集和查询集上比较多组 chunk size、结构切分方式和 overlap。检索侧看证据 Recall@K、MRR 或 NDCG、重复率和过滤后有效证据数；生成侧看答案正确性、忠实度和引用覆盖；工程侧看索引体积、延迟与上下文 token。最终选择 Pareto 更优的配置，并单独检查表格、代码、跨页和多跳问题。结论：分块没有“语义切分一定最准”或“滑窗一定召回最高”的…

#百度#文档处理#Chunking 策略

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…/段落边界切分递归分块长文档层次化结构先按章节，再按段落滑动窗口需要上下文连贯比较无重叠、短重叠和较长重叠关键细节：chunk size 必须低于实际嵌入模型的输入限制，并在同一评测集比较；过小可能造成语义碎片化，过大可能稀释关键信息。二、嵌入模型选择选型维度：通用场景：sentence-transformers/all-MiniLM-L6-v2（轻量，384维）中文场景：BAAI/bge-large-zh、智谱Embedding-2 领域适配：领域数据…

#字节#文档处理#向量检索

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：…文本语义分块用模型判断语义边界，块大小不均对连贯性要求高的文档关键权衡：块太小可能缺上下文，块太大可能引入噪声。应把多组 chunk size 与 overlap 组合放进同一评测集，比较召回、答案质量和成本。 3. 向量化与存储 Embedding选型：中文用BGE、M3E，多语言用E5、OpenAI text-embedding-3 向量数据库：Milvus（大规模）、Qdrant（易用）、Elasticsearch（混合检索方便）索引构建：HNSW（图索引，召…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配正文：…层级、表格结构、段落关系，用于后续语义分块 2. 文本分块策略策略适用场景注意点固定长度实现简单，参数需评测比较多组 chunk size 与 overlap 候选，验证边界召回和冗余成本递归字符按标点/换行逐级切分优先保证句子完整性语义分块对连贯性要求高的文档用Embedding相似度判断断点，计算成本较高结构感知论文、合同等结构化文档按章节、条款边界切分，保留元数据关键权衡：块太小→语义不完整；块太大→检索噪声高、Embedding稀释 3…

#美团#RAG 知识库构建#文档预处理

面试题·文档处理· 蔚来

RAG分块策略：粒度、重叠与写入

匹配正文：…文档 → 清洗（去噪/格式标准化）→ 结构化解析（提取标题/表格/代码块） ↓ 产生多组分块候选 → 在固定问题集上评测 → 生成chunk元数据（来源、位置、类型） ↓ Embedding模型编码 → 按实际显存、限流和失败重试能力确定批量大小 → 写入向量库 ↓ 按需建立倒排索引，用于混合检索工程注意点： batch size 要根据文本长度、向量维度、显存、接口限流和失败重试成本压测，不能照搬固定值元数据携带原始文档ID和chunk位置，方便召回后重排序、去重或拼接…

#蔚来#文档处理#RAG文本分块

面试题·文档处理· 小鹏

RAG 分块长度与重叠如何取舍?

匹配正文：…所有参数都要在同一业务评测集上比较，不能把经验范围当结论核心思路文档分段会同时影响召回、重排、生成和引用。真正要优化的不是某个chunk_size，而是让问题能召回完整证据，同时控制噪声、延迟和存储成本。分块长度的权衡候选策略更适合观察的场景主要风险较短分块局部事实、错误码、条款定位上下文断裂、重复召回较长分块总结、比较、跨句推理无关内容增多、重排成本上升结构化或动态分块文档类型混合、章节层级明确实现与维护复杂度更高实践建议：先按标题、段落、列…

#小鹏#RAG 文档分段#检索增强生成分段策略

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：…，控制块大小文档解析：PDF用PyMuPDF/MinerU，HTML去标签，表格保留结构分块策略：按语义段落切分，并比较多组 chunk size 与 overlap 候选，用同一评测集验证边界召回和成本清洗降噪：去页眉页脚、统一编码、过滤低信息密度内容元数据绑定：保留标题层级、来源URL、时间戳，用于过滤和重排序嵌入模型选择选型三要素：维度考量语言中英混合选bge-m3、gte-large；纯英文选text-embedding-3-large 上下文长…

#安克科技#RAG 向量化流程#Embedding 模型选择

面试题·文档处理· 安克科技

RAG 文档怎么存储和向量化?

匹配正文：…页眉页脚、重复内容、无效HTML标签 2. 分块（Chunking）策略策略适用场景关键参数固定长度通用场景，实现简单 chunk_size与overlap都作为候选变量，由文档结构、模型输入限制和评测结果决定语义分块对连贯性要求高的文档按句子/段落边界，结合NLP工具递归分块层次化文档（法律、论文）先大段后小段，父子块关联实践经验：只有跨块证据缺失的bad case通过同一评测集验证后，才引入合适的overlap；代码和表格优先按结构分块。 3. E…

#安克科技#评估与监控#RAG 文档向量化

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配正文：…评估方法完整流程概述 1. 文档预处理与分块策略粒度选择：按语义段落、结构边界、固定长度滑动窗口和句子级别提出候选关键参数：chunk_size与overlap都是候选变量，结合文档结构、模型输入限制和同一评测集上的召回、证据完整率与成本决定边界优化：优先在标点、段落处切割，避免句子中途截断 2. Embedding模型选型场景推荐模型特点通用中文 BGE-M3、GTE 开源、效果稳定中英混合 E5-mistral、BGE-large 跨语言对齐好垂直领域…

#安克科技#RAG 文本向量化#分块策略

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…arkdown 领域标准化：建立术语词典（如ICD-10编码、法律法条编号），统一同义词分块策略按语义边界切分（章节/段落），chunk size 由资料结构、模型输入限制与评测结果决定是否启用重叠窗口及其长度都作为候选，用同一评测集验证边界证据与冗余成本关键元数据注入：文档来源、发布时间、置信度标签二、检索模块：精准召回 Embedding选型基座模型：GTE-large、BGE-M3通用能力强；领域数据充足时微调（如PubMedBERT医疗版）微调方法：对比…

#字节#领域 RAG#RAG应用搭建

面试题·RAG· 百度

RAG 技术原理与核心组件详解

匹配正文：…解决纯LLM的幻觉、知识时效性和领域适配问题。三大核心组件 1. 索引（Indexing）文档切分：按语义/固定长度分块，控制chunk size（通常256-512 tokens） Embedding：用BGE、M3E等模型编码为稠密向量存储：FAISS、Milvus等向量数据库 + 可选的倒排索引混合 2. 检索（Retrieval）稠密检索：向量相似度（余弦/IP）稀疏检索：BM25关键词匹配重排序：Cross-Encoder精排，过滤低质结果查询改写：H…

#百度#RAG核心组件#RAG 技术原理

面试题·检索· 百度

RAG 工作原理与核心组件

匹配正文：…方向：查询改写、重排序、多路召回 RAG核心架构：索引-检索-生成三阶段 1. 索引阶段（离线）文档切分：按语义/固定长度分块，chunk size通常256-512 token 向量化：用Embedding模型（如BGE、M3E、OpenAI text-embedding）将文本转为稠密向量索引构建：存入向量数据库（Milvus、Faiss、Pinecone），采用HNSW或IVF-PQ等近似最近邻算法加速检索 2. 检索阶段（在线）查询向量化：用户问题同样经Embe…

#百度#RAG核心组件#RAG 工作原理

面试题·检索· 字节

RAG 架构：检索到生成全链路

匹配正文：… 步骤功能关键设计文档解析处理PDF/Word/网页等多格式保留结构信息（标题层级、表格位置）文本分块将长文档切分为chunk 策略：固定长度/语义分块/递归分块；chunk size通常256-512 tokens 向量化 Embedding模型编码为稠密向量选用领域适配的模型（如BGE、M3E）；考虑稀疏向量（BM25）做混合索引存储写入向量数据库 Milvus/Pinecone/Elasticsearch；构建HNSW索引加速ANN检索三、在线检索…

#字节#RAG组件设计#RAG 系统架构

面试题·检索· 小鹏

RAG文本分段策略与重叠机制

匹配正文：… 边界保护：优先在标点、换行处切割，避免截断句子语义去重：对重叠区域做embedding去重，减少存储粒度权衡原则细粒度（小chunk）优势：检索精确度高、噪音少风险：丢失上下文、需要多路召回拼接粗粒度（大chunk）优势：信息完整、减少拼接风险：引入无关信息、压缩有效信号工程实践建议分层索引：短chunk用于精排，长chunk用于生成动态调整：根据query长度和文档类型自适应chunk size 效果验证：用Hit@K和答案完整性做离线评估，结合用户…

#小鹏#文本分块优化#RAG 文本分段

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配口述回答：…、元数据绑定、索引构建、入库。分块是最容易出问题的一环。固定 token 数切分简单，但照搬一个固定值容易切断语义。我会把多组 chunk size 与无重叠、短重叠、较长重叠组合放进同一评测集，比较边界召回、答案质量和成本后再选。如果是Markdown文档，按标题层级分；代码按函数或类分。举个例子，企业SOP里经常有“满100减20”这种政策，如果切分不当，可能把“满100”和“减20”分到两个块里，检索时就匹配不上了。向量化阶段，批量推理用GPU加速，输出后一定要做归…

#字节#Embedding 模型选型#RAG 向量化流程

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配口述回答：…戳，后面做过滤和 [[Rerank]] 时能用上。接下来是分块。这个环节核心是平衡上下文长度和检索精度。固定长度分块最简单，但 chunk size 与重叠窗口都只能先作为候选变量。更稳妥的做法是结合文档结构提出几组配置，再用同一评测集比较证据完整率、召回、延迟和索引成本。遇到长文档或者多主题混合的内容，固定切分会把一句话砍成两半，或者把两个不相关的段落拼在一起。更实际的做法是组合策略：先按标题或段落边界粗分，保证语义完整，再对超长的块用递归分块细分。举个例子，处理商家满减…

#字节#文档处理#RAG 数据处理流程