Long Horizon 训练环境怎么搭?

长视野环境的四层设计

1. 状态与观测

定义真实状态、Agent 可见观测、动作、终止与截断条件。部分可观测时，允许策略使用历史、RNN/Transformer memory 或 belief state；记录随机种子与环境版本。

2. 奖励与信用分配

先保留与最终任务一致的终局奖励，再谨慎加入势函数式 shaping 或可验证里程碑。提高近期奖励权重会改变优化目标，不能当作长期信用的标准修复。可按任务选择 n-step return、GAE、层级价值、return decomposition 或模型规划；HER 只适用于目标条件且能重标目标的任务。

3. Reset 与课程

同时覆盖初始状态、失败恢复和关键中间状态。课程难度与 reset 分布都是实验变量，不存在通用的成功率阈值；必须与原始初始分布上的最终评测并行。

4. 探索与评测

动作噪声、参数噪声、熵奖励、内在奖励或层级探索都需按动作空间和任务验证，不存在参数噪声天然更适合长视野的结论。评测至少报告成功率、回报、步数、约束违例、不同种子方差和分布外鲁棒性。

工程上还要支持向量化并行、可复现日志、状态快照、超时、异常动作处理和离线轨迹回放。