搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「分块」找到 126 条内容
按专题浏览 →匹配正文:…索任务 从真实查询、允许返回的文档范围和相关性标注开始。样本至少覆盖精确编号、数字、同义改写、长问题、无答案、新旧版本和权限过滤。分块、嵌入和索引都用同一冻结查询集比较 Recall@K、MRR/nDCG、答案证据支持、无权限结果率、P95/P99 延迟、内存与成本。 分块与版本 优先保留标题、段落、表格、代码和列表等文档结构,再把固定长度或滑动窗口作为候选; chunk size、overlap 和是否带父级上下文由目标模型的实际 tokenizer、输入限制和评测结果决定…
匹配正文:核心权衡 分块本质是检索精度与上下文完整性的博弈: 块太小 → 检索精准但语义断裂,LLM缺乏背景 块太大 → 信息冗余,检索命中率下降,易超上下文窗口 常用分块方法 方法 适用场景 特点 固定长度 通用场景、快速上线 按token/字符数切,实现简单;边界可能切断语义 语义分块 高质量要求场景 用embedding相似度检测主题边界;计算成本高 递归分块 层次化文档(法律、论文) 先按章节/标题粗分,再细粒度切;保留结构信息 Agentic分块 复杂文档 用LLM判断分割点…
匹配正文:分块粒度选择 核心原则:分块不是先猜一个万能数字,而是先保留文档的标题、段落、表格和代码边界,再用同一批业务问题比较候选方案。块更小可能更容易命中局部事实,但也更容易丢失上下文;块更大能保留论证链,却可能引入更多无关内容。 场景 候选切法 验证重点 通用问答 先按段落或句子边界切分 关键事实能否完整召回 代码/API文档 函数、类或接口级别 定义与用法是否仍在同一语义单元 论文/报告 标题与段落级别 论点、证据与结论是否被拆散 对话记录 单轮或相关多轮合并 指代与话题是否连贯…
学习内容与项目面试,在同一条路上。