完整题目
大模型的“幻觉”指的是什么?它为什么会产生?在实际应用中你会用哪些手段来缓解幻觉?
本文目录
答案要点
- 幻觉 = 模型一本正经地输出看似合理、实际却与事实不符或凭空捏造的内容
- 根源在于大模型的本质是“预测下一个词”:它优化的是“像不像人话”,不是“是不是事实”
- 训练数据有错漏、知识有截止日期、模型不知道自己不知道,三者共同加剧幻觉
- 缓解三板斧:RAG 提供事实依据、提示词约束引用来源、允许模型说“不知道”
- 幻觉只能缓解、无法根除,高风险场景必须保留人工审核兜底
核心概念
大模型幻觉(Hallucination)是指模型生成了看似流畅合理、实际却与事实不符或凭空捏造的内容,比如编造不存在的论文、虚构法律条文。它最危险的地方在于“说得特别像真的”,普通用户很难分辨。
幻觉为什么会发生
- 本质是文字接龙:大模型的训练目标是根据上文预测下一个最可能的词,整个过程没有“事实校验”环节。只要读起来通顺自然,任务就算完成,真假并不在它的目标函数里。
- 训练数据有错也有限:互联网语料本身就混着错误信息,而且数据有截止日期,之后的新知识一概不知,被问到只能“硬编”。
- 不知道自己不知道:模型没有可靠的“知识边界”意识,面对超纲问题,默认行为是继续流畅地生成,而不是承认不会。