搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Chunk 元数据」找到 44 条内容
按专题浏览 →匹配正文:…ng) 把零重叠、短窗口与较长窗口作为候选,在同一评测集上比较证据完整率、召回与冗余成本 特别适合问答场景,答案恰好跨边界的情况 元数据增强 为每个chunk附加标题、来源、时间等标签 检索时可做过滤,生成时可注入prompt提升可信度 动态分块 根据查询意图选择块大小:摘要类用大chunk,事实类用小chunk 选型建议 ToB知识库(合同、手册):优先比较结构感知、递归与语义分块,验证条款完整性 ToC搜索(商品、资讯):比较固定长度、结构边界与不同重叠窗口,重点验证响应…
匹配正文:…候选方案,在同一评测集上回放 作用:缓解答案跨越切分边界时的信息丢失 代价:重复索引会放大存储、召回冗余和重排成本 实现:记录每个chunk在原文中的起止位置与父级结构,便于合并、去重和溯源 向量化写入流程 原始文档 → 清洗(去噪/格式标准化)→ 结构化解析(提取标题/表格/代码块) ↓ 产生多组分块候选 → 在固定问题集上评测 → 生成chunk元数据(来源、位置、类型) ↓ Embedding模型编码 → 按实际显存、限流和失败重试能力确定批量大小 → 写入向量库 ↓ …
…案跨越切分边界时,补回相邻上下文 选择方法:把零重叠、短窗口和较长窗口放到同一评测集比较,不预设固定比例 成本:索引体积增加、相似chunk重复召回、重排与生成输入变长 配套处理:保留原文起止位置与父级结构,召回后按来源和位置去重、合并 保障语义完整性的方法 边界检测:优先按句子、段落与章节切分,避免硬截断 结构化感知:表格、代码、列表和图片说明使用对应的逻辑单元 父子索引:用较小单元召回,再补回父级上下文 元数据保留:记录来源、标题、页码、原文位置与版本,支持重排和引用 评…
学习内容与项目面试,在同一条路上。