搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding检索」找到 476 条内容
按专题浏览 →匹配口述回答:…论文、报告、企业SOP这类有完整语义的文档,就得按语义边界来切。按句子、段落,甚至按标题和章节来切。这样切出来的块内部语义自包含,检索精准度高。但这里有个前提:文档结构要清晰。如果是一份没有标题、没有分段、格式混乱的[[OCR]]扫描件,语义切分效果会大打折扣。而且块大小不均匀,对后续的[[Embedding]]和检索延迟有影响。 所以真正落地的时候,我倾向于把两者结合起来。一个很实用的做法是多粒度设计,也叫Parent-Child结构。较小块负责精准命中,较大父块负责补回生…
匹配正文:核心原则 专业领域文档切块的关键:语义完整性优先于固定长度,确保检索到的chunk能独立回答用户问题。 常见分块策略 策略 实现方式 适用场景 固定长度 按token/字符数硬切(长度需通过实验确定) 通用场景、快速验证;不推荐专业领域 递归字符 优先按段落→句子→词切分 结构清晰的文档,保留自然边界 语义分块 用embedding相似度检测主题边界 内容混杂、主题跳跃的长文档 结构感知 按Markdown/HTML标签、目录层级切 技术文档、法律条文(条款级) Agenti…
匹配正文:… 常见策略对比 策略 做法 优点 缺点 适用场景 固定长度切块 按token/字符数硬切(长度需通过实验确定) 简单、批量处理快、embedding对齐 切断语义、丢失章节边界、表格被破坏 非结构化文本、快速原型 递归字符切块 按标点→句子→段落层级递进切分 保留基本可读性、实现简单 对复杂嵌套结构(法律条款层级)处理粗糙 通用文档、博客文章 语义切块 用embedding相似度检测主题边界 块内语义一致、检索精度高 计算成本高、边界可能漂移 长论述性文本、医学综述 结构感知…
按学习路线查看教程、项目和面试题。