Reward 函数设计关键因素?

奖励设计先分清四类信号

• ORM（Outcome Reward Model）：对完整输出或终局结果评分。
• PRM（Process Reward Model）：对中间步骤给出过程监督。
• Value model：估计给定状态后未来累计回报的期望。
• 搜索：MCTS 等方法使用策略、价值或环境模型选择分支；搜索本身不会自动把稀疏奖励变成稠密奖励。

关键设计维度

1. 可验证性：能用单元测试、规则或环境结果验证时，优先使用可验证奖励；主观质量再用人工偏好模型补充。
2. 稀疏与延迟：终局奖励可配合 PRM、价值估计、n-step/GAE 或搜索，但过程奖励必须防止代理目标被利用。
3. 多目标：正确性、安全、帮助性、格式和成本应分别监控，再用有业务含义的权重、约束或分层策略组合，不能只压成一个不可解释总分。
4. 偏好异质性：基础 Bradley-Terry 模型假设共享标量效用；不同人群偏好不一致时，要把 annotator、用户群或上下文纳入条件模型，或分层建模。
5. 稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定性。

Constitutional AI 不是用规则替代学习，而是用一组原则指导生成批评、修订和偏好监督，模型仍通过监督学习或偏好优化更新。