完整题目
RAG 文档从原始文件到可检索索引经历哪些步骤？怎样保存原文、元数据、嵌入和版本，并安全完成更新与删除？
本文目录
总体数据流
一条可维护的流水线是：接收与授权 → 原文存储 → 解析 → 规范化与去重 → 分块 → 嵌入 → 关键词/向量索引 → 影子验证 → 版本切换 → 更新和删除传播。原始文件或权威业务记录是可追溯真值，向量库保存的是检索派生物，不应成为唯一原文。
1. 接收、原文与权限
入库前记录来源、用途、所有者、租户、访问控制、生效/失效时间、内容哈希和版本。文件存储使用稳定 doc_id，避免路径或标题变化产生重复。恶意文件、宏、超大文件和解析器漏洞应在隔离环境处理。
权限不是最后的 metadata 装饰。它必须进入索引和查询的服务端候选资格，并在权限变化或删除时传播到所有派生存储。
2. 解析与质量检查
按格式保留标题层级、页码、阅读顺序、表格、代码、图片/OCR 定位和链接。清洗页眉页脚前先确认不会删除真实内容。记录解析器与配置版本、失败页、空正文、乱码、重复和截断；用代表性样本目视核对。
3. 分块
固定长度、结构分块、递归父子块和语义分块都是候选。chunk 大小与 overlap 根据 tokenizer、证据跨度、引用粒度、重复率、索引成本和评测选择。Overlap 只在跨边界证据问题中有净收益时采用；代码、表格和条款优先按结构保留。