完整题目
在检索增强生成(Retrieval-Augmented Generation, RAG)系统中,如果整体效果不佳,怎样沿数据、权限、解析、检索、上下文、生成与业务结果逐层定位根因?请说明证据、对照实验和修复后的验收方法。
本文目录
直接回答
RAG 效果差时,先固定一次可回放请求,再沿“数据与权限 → 解析与切分 → 候选资格 → 召回 → 融合与重排 → 上下文组装 → 生成与引用 → 业务结果”逐层定位。不要把所有错误都归因于模型,也不要先换模型或调 Prompt。每一层都要有独立输入、输出、版本和判定标准,才能证明修复命中了根因。
先冻结问题,避免边查边变
一条排查样本至少记录:查询与会话上下文、用户/租户和可见范围、知识库快照与索引版本、解析与切分版本、检索及重排配置、模型与 Prompt 版本、候选片段、最终上下文、答案、引用、错误码和时间线。涉及用户数据时先做最小化与脱敏,只让有权限的人员查看必要字段。
如果这些条件没有固定,两次结果不同可能只是数据、权限、索引或模型版本变化,不能直接归因于某个参数。
1. 数据、权限与解析
先确认支持答案的原始资料是否存在、版本是否正确、当前用户是否有权访问。再从原文件回放解析、版面顺序、表格结构、清洗和切分结果。原文缺失、资料过期、OCR 错误、表格错位或权限规则不一致时,后续召回与生成再强也无法补回正确证据。
检查项:
- 文档身份、版本、更新时间和删除状态是否进入索引;