匹配正文：核心权衡分块是在语义完整性、检索噪声、召回覆盖、上下文预算和索引成本之间取舍。块大小与效果不存在跨数据集通用的单调关系，必须结合文档结构、查询分布、embedding 模型和生成任务评测。常见策略方法做法主要优点主要风险固定长度按 token 或字符数切分简单、吞吐和容量容易估算可能切断句子、表格或章节结构或语义边界按标题、段落、句子或解析树切分更容易保留完整语义单元块大小不均，依赖解析质量固定步长滑窗用窗口长度与步长生成候选块增加跨边界覆盖…

#百度#文档处理#Chunking 策略

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：…景，实现简单固定长度与重叠窗口都只作为候选配置，具体大小由文档结构、Embedding输入限制和同一评测集上的证据完整率、召回与成本共同决定递归分块先按段落/句子边界，再递归细分结构清晰的文档优先保证语义边界完整语义分块用Embedding相似度检测主题变化长文档、多主题混合计算成本高，可用聚类或BERTopic辅助关键考量：块太小→上下文丢失；块太大→检索精度下降、Embedding稀释。实践中常组合使用，如先按标题分章节，再语义细分。三、Embedd…

#字节#文档处理#RAG 数据处理流程

面试题·文档处理· 字节

Chunk 向量化与索引怎么选?

匹配正文：…k策略：先按语义段落和结构边界切分，再把多组固定长度与重叠窗口作为候选；由模型输入限制、文档结构和同一评测集上的证据完整率、召回与成本决定嵌入模型编码：将文本映射为稠密向量（通常768或1024维）索引构建：选择ANN算法（HNSW、IVF-PQ等）建立可高效检索的数据结构二、常用嵌入模型对比模型特点适用场景 OpenAI text-embedding-3 语义质量高，API易用，按token计费快速验证、中小规模、预算充足 BGE/M3E（开源）中文优化好，…

← 上一页第 13 / 30 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#字节#向量检索#Chunk 向量化

面试题·文档处理· 字节

Embedding+向量库怎么做语义匹配?

匹配正文：…候选，按段落或句子保留边界块大小权衡：太小丢失上下文，太大引入噪声将无重叠、短重叠和较长重叠放进同一评测集，比较边界召回与冗余成本 2. Embedding模型选择通用场景：BGE、GTE、E5系列垂直领域建议微调，使用领域语料对比学习多语言场景需确认模型跨语言对齐能力 3. 向量数据库核心配置参数作用典型设置索引类型 HNSW（高召回）vs IVF（快建索引） HNSW，ef_construction=200 距离度量余弦相似度 / 内积 / L2 余弦…

#字节#文档处理#向量检索

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…块、嵌入和索引都用同一冻结查询集比较 Recall@K、MRR/nDCG、答案证据支持、无权限结果率、P95/P99 延迟、内存与成本。分块与版本优先保留标题、段落、表格、代码和列表等文档结构，再把固定长度或滑动窗口作为候选； chunk size、overlap 和是否带父级上下文由目标模型的实际 tokenizer、输入限制和评测结果决定；每个块保留文档 ID、版本、章节路径、字符/页码范围、更新时间、ACL 与内容哈希；修改和删除必须传播到索引。查询日志记录索引…

#字节#文档处理#向量检索

面试题·文档处理· 百度

RAG ANN 索引优化

匹配正文：…。应先建立精确搜索基线，再在真实向量分布、过滤条件和并发下测 Recall@K、P50/P95 延迟、QPS、内存、构建时间与更新成本。常见策略索引选择：HNSW 通常以较高内存换取低延迟和较高召回；IVF 通过聚类缩小扫描范围；PQ/OPQ 压缩向量以节省存储和带宽。选择取决于数据规模、更新模式、内存和目标硬件。参数调优：HNSW 的 M、efConstruction、efSearch，IVF 的 nlist、nprobe，以及 PQ 码长共同决定构建成本、延迟与召回…

#百度#文档处理#RAG ANN 索引优化

面试题·文档处理· 京东

Chunking 策略怎么平衡上下文与精度?

匹配正文：…持层级语义分块高质量要求场景用embedding相似度判断边界，保证语义完整 Agentic分块复杂文档 LLM判断边界，成本高但最精准关键最佳实践 1. 重叠策略（Overlap）把零重叠、短窗口与较长窗口列为候选，在同一评测集上验证是否减少跨边界证据缺失对代码、法律条文等边界敏感内容尤为重要 2. 边界感知优先在段落、句子边界切分，不在词中间断开特殊内容（表格、列表）尽量保持完整 3. 尺寸匹配参考embedding模型的训练长度（如text-embe…

#京东#RAG Chunking 策略#文本分块最佳实践

面试题·文档处理· 字节

RAG 长文档怎么切块?

匹配正文：… 较大块用于生成上下文（具体长度受模型窗口与证据完整性约束）通过元数据关联，兼顾召回与理解动态切块结合LLM判断语义完整性（成本较高）或用聚类算法（如BERTopic）发现自然主题边界选型建议延迟敏感：把固定长度与低冗余候选纳入评测精度敏感：比较语义切块、结构切块与多粒度方案结构化文档：优先保留标题层级，块内自包含最终需通过检索召回率和端到端答案质量联合评估，无绝对最优。学习建议建议系统学习该知识点

#字节#文档处理#RAG 文本切块

面试题·文档处理· 字节

RAG 数据清洗与 Chunking 怎么选?

匹配正文：…题、表格等文档结构切分 PDF/Word等富格式文档；需保留层级关系 Agentic切分用LLM判断最佳切分点高质量要求场景，成本较高工程实践要点：把零重叠、短窗口和较长窗口作为候选，用同一评测集验证是否减少边界信息丢失保留元数据（来源、页码、标题）用于过滤和重排序对表格/代码等特殊内容单独处理，不强行按长度切学习建议建议系统学习该知识点

#字节#文档处理#RAG 数据清洗

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配正文：…分块（Chunking）按语义边界：比较段落、句子和多组固定长度候选重叠策略：比较无重叠、短重叠和较长重叠，验证边界召回与冗余成本特殊处理：代码按函数/类分割，Markdown按标题层级分割向量化批量推理，GPU加速归一化向量（便于余弦相似度计算）元数据关联 { "vector": [...], # 稠密向量 "sparse_vector": {...}, # 可选，BM25权重 "metadata": { "doc_id": "xxx", "chunk_ind…

#字节#Embedding 模型选型#RAG 向量化流程

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：…太小可能缺上下文，块太大可能引入噪声。应把多组 chunk size 与 overlap 组合放进同一评测集，比较召回、答案质量和成本。 3. 向量化与存储 Embedding选型：中文用BGE、M3E，多语言用E5、OpenAI text-embedding-3 向量数据库：Milvus（大规模）、Qdrant（易用）、Elasticsearch（混合检索方便）索引构建：HNSW（图索引，召回率高）、IVF-PQ（内存友好），根据数据规模和延迟要求选择 4. 检索优化混…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配正文：…固定长度、递归、结构感知、父子块和语义分块都是候选。块太小可能拆散条件，块太大可能引入噪声；overlap 还会增加重复召回和索引成本。用真实查询比较 Recall@K、排序、证据完整性、重复率、延迟和成本，而不是固定采用某个 token 数。表格、代码和条款需要专门表示。可把检索块与展示给模型的父级上下文分开，但每个块必须能定位回原文，便于引用、更新和删除。 3. Embedding 与混合检索模型选择要核对语言、领域、最大输入、维度、许可证、托管边界和 query/d…

#美团#RAG 知识库构建#文档预处理

面试题·文档处理· 字节

医学论文与法律条文切块

匹配正文：…测集验证是否减少边界信息丢失实践经验 chunk大小：根据文档结构、Embedding输入限制与同一评测集上的召回、证据完整率和成本选择，不照搬固定范围效果验证：用真实query召回测试，看top-k能否覆盖答案来源学习建议建议系统学习该知识点

#字节#医学论文与法律条文切块#医学论文和法律条文为什么要用不同的切块策略

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：…结构（法律条款层级）处理粗糙通用文档、博客文章语义切块用embedding相似度检测主题边界块内语义一致、检索精度高计算成本高、边界可能漂移长论述性文本、医学综述结构感知切块解析PDF/DOC的标题、章节、条款编号完全保留文档逻辑结构、支持精确引用溯源依赖文档解析质量（如OCR、版式分析）法律合同、病历、监管文件智能体切块（Agentic） LLM先读全文，按主题/事件主动划分最贴合人类理解、可提取跨段落关联成本高、延迟大、需设计prompt 超高…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

面试题·文档处理· 字节

专业领域文档怎么清洗?

匹配正文：…块：结合语义边界（如BERT-based分割）而非固定token数重叠窗口：比较无重叠、短重叠和较长重叠候选，验证跨块召回与冗余成本四、元数据与向量化增强元数据保留：来源文档、章节层级、发布时间、版本号，用于检索过滤和重排序多向量表示：长文档同时存储文档级摘要向量 + 细粒度段落向量领域适配：用领域语料微调embedding模型，或训练领域特定的BGE/M3E 五、质量闭环建立清洗效果指标：分块语义完整性评分、术语覆盖率、信息密度通过检索命中率和生成事实性反向驱…

#字节#RAG 文档清洗#文档预处理

面试题·文档处理· 京东

RAG 分块策略选型

匹配正文：…速上线按token/字符数切，实现简单；边界可能切断语义语义分块高质量要求场景用embedding相似度检测主题边界；计算成本高递归分块层次化文档（法律、论文）先按章节/标题粗分，再细粒度切；保留结构信息 Agentic分块复杂文档用LLM判断分割点；成本最高但效果最优关键实践技巧重叠分块（Overlapping）把零重叠、短窗口与较长窗口作为候选，在同一评测集上比较证据完整率、召回与冗余成本特别适合问答场景，答案恰好跨边界的情况元数据增强为每个…

#京东#RAG 分块策略选型#RAG 文本分块策略怎么选？完整性与检索精度权衡

面试题·文档处理· 蔚来

RAG分块策略：粒度、重叠与写入

匹配正文：…短窗口和较长窗口作为候选方案，在同一评测集上回放作用：缓解答案跨越切分边界时的信息丢失代价：重复索引会放大存储、召回冗余和重排成本实现：记录每个chunk在原文中的起止位置与父级结构，便于合并、去重和溯源向量化写入流程原始文档 → 清洗（去噪/格式标准化）→ 结构化解析（提取标题/表格/代码块） ↓ 产生多组分块候选 → 在固定问题集上评测 → 生成chunk元数据（来源、位置、类型） ↓ Embedding模型编码 → 按实际显存、限流和失败重试能力确定批量大小 …

#蔚来#文档处理#RAG文本分块

面试题·文档处理· 百度

RAG 分块参数调优

匹配正文：…语义分块（Semantic）用Embedding计算句子相似度，聚类形成语义连贯的块优点：块内主题一致，检索精度高缺点：计算成本高，块大小难控 4. 结构化分块按文档固有结构：标题、章节、表格、代码块等适用于PDF、Markdown、HTML等结构化文档关键考虑因素因素建议块大小需结合Embedding输入限制、文档结构和LLM上下文预算提出候选重叠（Overlap）比较零重叠、短窗口与较长窗口，用同一评测集验证边界证据完整性边界对齐优先在句号、换…

#百度#RAG 分块参数调优#RAG 分块大小和 overlap 怎么调？指标与实验方法

面试题·文档处理· 百度

分块策略怎么影响检索?

匹配正文：…滑动窗口、语义分块等）及适用场景分块大小的权衡（粒度vs语义完整性）边界处理策略（句子/段落保持）实际工程中的考量因素（计算成本、检索效果、下游任务）百度场景下的特殊优化（中文分词、长文档处理）核心分块策略 1. 固定长度分块按token数或字符数硬切分（如512 tokens）优点：简单、对齐向量索引、便于批处理缺点：可能切断语义，边界信息丢失 2. 滑动窗口分块把零重叠、短窗口和较长窗口作为候选，用同一评测集比较边界证据完整率、召回与成本保证上下文连续…

#百度#文本分块#chunking 策略

面试题·文档处理· 百度

常用分块方法有哪些?

匹配正文：…断语义递归分块（Recursive）：按层级结构分割，保留上下文语义分块（Semantic）：基于语义相似度，切分更自然但计算成本高文档结构感知（Document-specific）：利用标题、段落等天然边界，适合结构化文档重叠窗口（Overlap）策略缓解边界信息丢失问题文本分块是RAG系统的关键预处理环节，直接影响检索质量和生成效果。常用策略可分为以下几类： 1. 固定长度分块（Fixed-size Chunking）按固定token数或字符数切分，具体长度作…

#百度#文本分块策略#RAG chunking

面试题·文档处理· 小鹏

RAG 分块长度与重叠如何取舍?

匹配正文：…分段会同时影响召回、重排、生成和引用。真正要优化的不是某个chunk_size，而是让问题能召回完整证据，同时控制噪声、延迟和存储成本。分块长度的权衡候选策略更适合观察的场景主要风险较短分块局部事实、错误码、条款定位上下文断裂、重复召回较长分块总结、比较、跨句推理无关内容增多、重排成本上升结构化或动态分块文档类型混合、章节层级明确实现与维护复杂度更高实践建议：先按标题、段落、列表、表格或代码边界产生候选，再对过长单元二次拆分。具体长度受embedd…

#小鹏#RAG 文档分段#检索增强生成分段策略

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：…签，表格保留结构分块策略：按语义段落切分，并比较多组 chunk size 与 overlap 候选，用同一评测集验证边界召回和成本清洗降噪：去页眉页脚、统一编码、过滤低信息密度内容元数据绑定：保留标题层级、来源URL、时间戳，用于过滤和重排序嵌入模型选择选型三要素：维度考量语言中英混合选bge-m3、gte-large；纯英文选text-embedding-3-large 上下文长文档需≥8K上下文，否则先做摘要领域垂直领域用微调模型（如医学用Pub…

#安克科技#RAG 向量化流程#Embedding 模型选择

面试题·文档处理· 安克科技

RAG 文档如何存储、向量化和更新？

匹配正文：…分块、递归父子块和语义分块都是候选。chunk 大小与 overlap 根据 tokenizer、证据跨度、引用粒度、重复率、索引成本和评测选择。Overlap 只在跨边界证据问题中有净收益时采用；代码、表格和条款优先按结构保留。每块至少关联 chunk_id、doc_id、原文位置、父标题、文档版本、权限版本、时间与哈希。相关性真值尽量标到原文证据范围，再映射到当前 chunk，避免换切分策略后测试标签失效。 4. 嵌入和索引模型按语言、许可、数据驻留、输入长度、que…

#RAG#文档存储#解析

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配正文：…提出候选关键参数：chunk_size与overlap都是候选变量，结合文档结构、模型输入限制和同一评测集上的召回、证据完整率与成本决定边界优化：优先在标点、段落处切割，避免句子中途截断 2. Embedding模型选型场景推荐模型特点通用中文 BGE-M3、GTE 开源、效果稳定中英混合 E5-mistral、BGE-large 跨语言对齐好垂直领域领域微调（如法律、医疗）术语理解更准确选型核心：MTEB榜单参考 + 业务数据实测召回率 3. 嵌入生成…

#安克科技#RAG 文本向量化#分块策略