搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 实现」找到 347 条内容
按专题浏览 →匹配口述回答:这道题其实问的是,在[[RAG]]系统里怎么切文本才能既保证语义连贯又不让检索跑偏。说白了,[[分块]]就是在上下文完整性和检索精确性之间找平衡。块太大,噪声多,[[embedding]]被稀释,精度掉得厉害;块太小,语义割裂,LLM拿到的上下文不够,答非所问。 那具体怎么做呢?先说说几种常见策略的适用边界。固定长度分块,按token或字符数硬切,实现简单,适合快速上线,但对自然语言不友好,容易在句子中间断开。语义分块用embedding相似度判断边界,能保持语义完整,适合高…
匹配正文:核心原则 专业领域文档切块的关键:语义完整性优先于固定长度,确保检索到的chunk能独立回答用户问题。 常见分块策略 策略 实现方式 适用场景 固定长度 按token/字符数硬切(长度需通过实验确定) 通用场景、快速验证;不推荐专业领域 递归字符 优先按段落→句子→词切分 结构清晰的文档,保留自然边界 语义分块 用embedding相似度检测主题边界 内容混杂、主题跳跃的长文档 结构感知 按Markdown/HTML标签、目录层级切 技术文档、法律条文(条款级) Agenti…
匹配正文:…g对齐 切断语义、丢失章节边界、表格被破坏 非结构化文本、快速原型 递归字符切块 按标点→句子→段落层级递进切分 保留基本可读性、实现简单 对复杂嵌套结构(法律条款层级)处理粗糙 通用文档、博客文章 语义切块 用embedding相似度检测主题边界 块内语义一致、检索精度高 计算成本高、边界可能漂移 长论述性文本、医学综述 结构感知切块 解析PDF/DOC的标题、章节、条款编号 完全保留文档逻辑结构、支持精确引用溯源 依赖文档解析质量(如OCR、版式分析) 法律合同、病历、监…
学习内容与项目面试,在同一条路上。