RAG 系统核心组件怎么搭?

一、文档处理

解析 PDF、HTML、表格和图片时保留标题层级、来源、版本、权限和原文坐标。清洗页眉页脚与重复模板后，按结构、固定长度或递归策略产生候选块，并在目标查询集上比较证据完整性与成本。所谓语义或 Agentic 分块也要经过同一评测，不能因为使用 LLM 就默认更好。

二、检索器

1. 使用向量检索、BM25、结构化过滤或多路召回生成候选。
2. 对不同分数做校准、RRF 融合或独立重排，避免直接相加不可比的原始分数。
3. 用 Cross-Encoder 或领域 Reranker 对候选精排，并保留召回器、索引和模型版本。
4. 查询改写、HyDE 和子查询分解只在离线与端到端评测证明有效时启用，因为它们也可能引入偏移。

三、生成器集成

候选去重、裁剪、排序并附来源标识后，与用户问题和回答约束一起组装上下文。长文档压缩可能丢证据，应保留原文映射。模型输出引用后，服务端校验引用是否真实支持对应 claim；资料不足、冲突或越权时拒答或继续检索。

四、评测与运行

• 检索侧：证据 Recall@K、MRR/NDCG、重复率、过滤正确性。
• 生成侧：答案正确性、Faithfulness、引用准确率、拒答质量。