搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「文档处理」找到 62 条内容
按专题浏览 →匹配正文:…完整性) 边界处理策略(句子/段落保持) 实际工程中的考量因素(计算成本、检索效果、下游任务) 百度场景下的特殊优化(中文分词、长文档处理) 核心分块策略 1. 固定长度分块 按token数或字符数硬切分(如512 tokens) 优点:简单、对齐向量索引、便于批处理 缺点:可能切断语义,边界信息丢失 2. 滑动窗口分块 把零重叠、短窗口和较长窗口作为候选,用同一评测集比较边界证据完整率、召回与成本 保证上下文连续性,减少边界效应 代价:存储和计算成本上升 3. 语义分块(推…
匹配题目:在RAG或文档处理项目中,文本分块(chunking)有哪些常用策略?请比较不同分块方法的优缺点和适用场景。
匹配标题与标签:RAG 分块长度与重叠如何取舍? 分段长度、重叠策略与语义完整性的权衡 文档处理 小鹏 RAG 文档分段 检索增强生成 分段策略 文档分块 重叠策略 小鹏
学习内容与项目面试,在同一条路上。