搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「解析」找到 270 条内容
按专题浏览 →匹配正文:…“无答案”行为。RAG 的知识库不是一堆向量;原文、结构化元数据和权限事实要有权威存储,向量与关键词索引是可重建的派生物。 1. 解析与质量检查 PDF、Word、网页分别使用能保留页码、标题、表格和代码结构的解析器;扫描件走 OCR,但要抽检字符错误、阅读顺序和表格错位。 保留 document_id、版本、章节路径、原文范围、来源、更新时间、语言、ACL 和内容哈希。 去页眉页脚前先验证规则,不能把合同条款、表头或脚注依据一并删除。解析失败、空页和异常短段进入隔离队列,不…
匹配正文:…一化的作用(余弦相似度计算) 实际工程中的注意事项(并发、缓存、版本管理) 文本预处理 核心目标:保留语义完整性,控制块大小 文档解析:PDF用PyMuPDF/MinerU,HTML去标签,表格保留结构 分块策略:按语义段落切分,并比较多组 chunk size 与 overlap 候选,用同一评测集验证边界召回和成本 清洗降噪:去页眉页脚、统一编码、过滤低信息密度内容 元数据绑定:保留标题层级、来源URL、时间戳,用于过滤和重排序 嵌入模型选择 选型三要素: 维度 考量 语…
匹配正文:总体数据流 一条可维护的流水线是:接收与授权 → 原文存储 → 解析 → 规范化与去重 → 分块 → 嵌入 → 关键词/向量索引 → 影子验证 → 版本切换 → 更新和删除传播。原始文件或权威业务记录是可追溯真值,向量库保存的是检索派生物,不应成为唯一原文。 1. 接收、原文与权限 入库前记录来源、用途、所有者、租户、访问控制、生效/失效时间、内容哈希和版本。文件存储使用稳定 doc_id,避免路径或标题变化产生重复。恶意文件、宏、超大文件和解析器漏洞应在隔离环境处理。 权限…
按学习路线查看教程、项目和面试题。