Agent 奖励如何对齐目标并防作弊?

奖励设计的出发点是环境中真正希望发生的结果，而不是容易计算的代理。客服只奖励对话结束，模型可能草率关闭工单；代码只奖励公开测试通过，模型可能硬编码样例。要先写清成功、失败、约束和终止条件，再决定哪些信号进入训练，哪些只用于诊断。

长视野任务常只有终局结果，可以加入里程碑、过程验证或价值估计帮助信用分配。但中间奖励会改变优化目标。经典potential-based shaping在特定形式下可保持最优策略不变；普通的距离奖励若设计不当，可能让Agent停在容易拿分的局部位置，甚至绕路刷奖励。

多目标不要急着压成一个总分。任务正确、安全、成本、延迟和风格应分别记录；不可违反的权限与安全条件用硬约束、沙箱或审批处理。需要加权时，权重和量纲要通过敏感性实验选择，并监控某个分量上升是否牺牲其他分量。

防奖励黑客不能只靠长度、可读性和覆盖率。这些仍是可被优化的代理，也不能证明程序通用正确。代码任务要使用隐藏测试、随机测试和静态检查，工具任务要核验真实副作用与权限，推荐任务要看长期指标和分布外用户。人工审计用于发现验证器没覆盖的捷径。

RLHF中，奖励模型来自偏好数据，也会有长度、措辞和人群偏差。策略过度优化奖励模型时，离线reward上涨不等于真实人类偏好改善，需要独立留出人评与安全评测。DPO直接在偏好对上优化相对概率，是一种偏好优化选项，不是所有RLHF问题的通用替代。

我会从可验证终局奖励的最小版本开始，记录每个奖励分量、策略行为和失败类型，再逐步增加shaping。每次变更都在原始环境、隐藏测试和未见初始状态上评测。若奖励变高但真实成功率不升，就停止并回查捷径。好的奖励不是项越多越好，而是目标、证据和约束一致。

奖励在离线评测上有效，也可能在线上因用户或环境适应而失效。应监控奖励分量与真实成功的相关性，并定期抽样人工复核。若策略开始找到新的捷径，先暂停扩大训练，修复环境和验证器，再重新收集数据。持续治理比一次设计出复杂公式更现实。