大模型应用怎么保障可靠性?

用证据链而非自创置信度

输入层：校验schema、类型、范围、时间、来源和权限；对文档做版本与哈希记录，对用户输入做注入和敏感数据检测。

检索与生成层：保留query、召回结果、重排分数、prompt、模型版本和工具调用trace。要求关键事实能回指证据；高风险计算交给确定性程序或受控API，结构化输出用schema约束。

验证层：业务规则、单元测试、代码执行、数据库校验或独立模型可以提供信号，但验证器也要有独立测试集。Self-Consistency的答案一致度只能作为不确定性特征之一，不是经过校准的正确概率；不能自创“输入置信度乘模型置信度”公式。

评测层：建立黄金集、对抗集和回归集，按任务分桶统计准确率、校准、拒答、证据支持率和端到端成功率。

反馈闭环：点赞点踩默认只能归因到整条响应；若要定位到步骤或token，必须额外收集span标注、步骤评价或可回放trace。反馈经审核后再进入数据或规则版本。