页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Text Chunking 策略」找到 7 条内容
按专题浏览 →匹配正文：…bedding相似度判断边界，保证语义完整 Agentic分块 复杂文档 LLM判断边界，成本高但最精准 关键最佳实践 1. 重叠策略（Overlap） 把零重叠、短窗口与较长窗口列为候选，在同一评测集上验证是否减少跨边界证据缺失 对代码、法律条文等边界敏感内容尤为重要 2. 边界感知 优先在段落、句子边界切分，不在词中间断开 特殊内容（表格、列表）尽量保持完整 3. 尺寸匹配 参考embedding模型的训练长度（如text-embedding-ada-002用8191 t…
匹配正文：答案要点 分块策略类型（固定长度、滑动窗口、语义分块等）及适用场景 分块大小的权衡（粒度vs语义完整性） 边界处理策略（句子/段落保持） 实际工程中的考量因素（计算成本、检索效果、下游任务） 百度场景下的特殊优化（中文分词、长文档处理） 核心分块策略 1. 固定长度分块 按token数或字符数硬切分（如512 tokens） 优点：简单、对齐向量索引、便于批处理 缺点：可能切断语义，边界信息丢失 2. 滑动窗口分块 把零重叠、短窗口和较长窗口作为候选，用同一评测集比较边界证据…
匹配题目：在检索增强生成（RAG）系统中，如何合理地对长文档进行文本切块（Text Chunking）？请比较不同切块策略的优劣。
学习内容与项目面试，在同一条路上。