完整题目
大语言模型在生成过程中容易产生事实性错误或虚构内容(即‘幻觉’)。请从模型训练、推理控制、知识增强(如RAG)和后处理等多个层面分析缓解幻觉问题的有效方法及其局限性。
本文目录
先区分错误来源
“幻觉”可能来自训练语料错误、知识过时或缺失、上下文未被忠实使用、计算与推理错误,也可能来自系统要求在证据不足时仍作答。不同原因需要不同措施,没有单一方案能保证事实正确。
分层缓解
- 训练层:清洗去重、提高来源质量、标注时间与出处;用监督和偏好数据训练引用、澄清与拒答。它能改变行为倾向,但不会把参数变成实时事实库。
- 推理控制:要求基于证据并使用结构化输出;将计算交给代码、数据库和确定性工具。降低温度只减少采样随机性,不能修复错误知识。
- 知识增强:RAG 提供可更新、可引用证据,并配合混合检索、重排、权限过滤和引用定位。检索错误、文档冲突、提示注入或模型忽略证据时仍会失败。
- 后处理:拆分可验证声明,用权威数据源、规则、专用模型或人工复核。验证器也会出错,并增加延迟与成本。
- 产品策略:展示证据和不确定性,允许澄清与“不知道”,按风险限制自动执行范围。
评估应分别测检索命中、引用正确性、证据忠实度、事实准确率、校准、拒答质量和端到端任务成功率。目标是降低可测风险并让错误可追溯,而不是宣称消除幻觉。