RAG 查不到文档怎么降级?

这道题我觉得本质不是在问模型不会答怎么办，而是在问检索链路失效后，怎么让系统体面地收场，同时尽量不牺牲用户体验。

首先得把边界划清楚。检索失败其实分两层：一层是知识库里压根没找到相关文档，比如用户问了个很冷门的问题；另一层是找到了但相关性不够，分数低到没法用。这两层应对策略不一样。

先说具体怎么降级。我通常会按成本从小到大来排。最轻量的策略是追问。比如用户问了个模糊的问题，像客服场景里用户说「我要退款」，但没给订单号，那系统可以反问一句「请问是哪个订单呢？」这样引导用户把需求说清楚。缺点也很明显，交互回合多了，用户容易烦。所以追问一般只试一次，不行就换别的。

再一个策略是让大模型自己兜底。比如用户问「端午节放假安排」，知识库里没收录，那大模型可以直接用自己的知识回答，但必须明确告诉用户「这是模型生成的，仅供参考」。这个策略的好处是体验流畅，用户感觉不到断档。但风险是 [[Hallucination]]，如果用户问的是企业内部的合规政策，模型胡编一个答案，那后果很严重。所以这个策略适合通用知识类问题，不适合专业或敏感场景。

最后就是转人工或者提单。在金融、医疗这些场景里，宁可让用户等，也不能给错答案。这是最兜底的方案，但人力成本高，时效也差。

实际落地上，我不会只用一种策略，而是组合起来。我一般会设两个阈值：一个低阈值，一个中阈值。检索分数高于中阈值，正常回答；低于低阈值，直接转人工或追问；介于中间，就用大模型兜底并带上置信度警告。而且阈值不是死的，我会根据问题类型和用户身份动态调。比如技术类问题阈值设高一点，闲聊类可以低一点；VIP用户优先转人工，普通用户先走追问。

举个例子，电商客服场景。用户问「我买的手机降价了能退差价吗」，系统去知识库里找「退差价政策」，如果找到了但分数不高，比如0.6，那我会让大模型结合政策原文和自己的理解回答，同时标注「以下内容基于知识库生成，如有疑问请咨询人工」。如果完全没找到，就追问「请问是哪个订单？」，用户给了订单号后，系统带着订单号再查一次订单状态，如果还是查不到，直接转人工。

这里有个坑，就是透明性。不管用哪种降级策略，一定要让用户知道当前回答的来源。如果用户没意识到是模型胡编的，后续出了问题就是事故。所以我会在系统里埋点，记录每次降级触发的频率、用户后续是否满意、有没有投诉，然后用这些数据反过来调阈值。

另外，我上线前会特别关注一件事：降级策略本身不能引入新的风险。比如大模型兜底时，如果模型对某些词有偏见，可能会生成不当内容。所以我会在 [[System Prompt]] 里加安全约束，同时做一轮离线评测，确保降级后的回答不会比不回答更差。