面试题 · 评估
在分层任务或复杂目标驱动的Agent系统中，如何评估一个子任务的完成是否对最终目标产生积极影响？请从奖励塑形、因果推断、状态价值估计等角度进行分析。
分层Agent的关键难点是信用分配问题——子任务完成得好，不代表对最终目标有用。需要从三个层面解决：
问题：稀疏的最终奖励无法指导子任务学习
方案：
按学习路线查看教程、项目和面试题。
核心：区分相关性与因果性
方法：
落地：离线评估时，用历史数据构建因果图，筛选真正有效的子任务策略
分层价值分解：
| 场景 | 推荐组合 |
|---|---|
| 数据充足 | 因果推断 + 分层价值估计 |
| 在线学习 | 奖励塑形 + 内在动机（好奇/困惑） |
| 可解释性要求高 | 显式因果图 + 人工规则约束 |
字节/百度的实际系统中，通常采用混合架构：离线阶段用因果分析筛选子任务，在线阶段用塑形奖励加速学习，同时保留最终目标的稀疏奖励作为"ground truth"校准。
场景切入
假设你做一个订单处理的Agent，它先查库存、再联系物流、最后生成发货单。中间某个子任务比如“查库存”查到了，但实际这个订单其实已经取消了。你怎么判断这个子任务的完成是不是真的对最终发货有帮助？
层层追问
Agent在执行复杂任务时，怎么知道某个子任务做对了？……如果只看它是否完成，会不会有误导？……比如它完成了但最终目标没达成，怎么归因？……你从奖励设计、因果推断或者价值估计方面想想。
直球架构
在分层Agent系统中，如何评估子任务对最终目标的因果贡献？请从奖励塑形、因果推断、状态价值估计三个角度分析，并给出一个具体的评估方案。
这道题问的是子任务对最终目标的影响评估，其实本质就是分层强化学习里的信用分配问题。子任务完成得好，不代表对最终目标有用，比如一个导航机器人绕远路到了目标点，中间每一步都走得稳，但效率很低。所以我会从三个角度来拆。
先说奖励塑形。稀疏的最终奖励没法指导子任务学习，所以我们会设计塑形奖励。最经典的是势能奖励，基于子任务前后状态的价值差来给奖励，这样能保证最优策略不变性，不会把模型带偏。具体到业务里，比如代码[[Agent]]的场景，修复bug这个子任务，我们会把通过单元测试作为中间奖励，而不是等整个项目跑通才给分。这里有个坑：如果子任务本身跟最终目标弱相关，比如一直写注释，但代码逻辑没修好，塑形奖励可能给虚假正反馈。所以我们会加动态权重，根据当前上下文调整奖励系数，避免无关子任务刷分。
再一个，因果推断的视角。光看相关性不行，得区分因果性。比如电商客服系统里，Agent执行了退款子任务，用户满意度提升了，但可能只是因为订单本身简单，而不是退款操作导致的。所以我们会用反事实评估，对比执行和没执行该子任务的轨迹，用Causal Forest或DoWhy估计平均处理效应。还要控制混淆变量，比如任务难度、环境状态，用后门调整把真实因果效应抽出来。离线阶段我们经常用历史数据构建因果图，筛选真正有效的子任务策略。
第三个是状态价值估计，在分层RL里特别重要。比如Option框架，上层策略选子任务，下层执行，价值函数分解成元价值加子任务价值。还有UVFA，学习目标条件化的价值函数，评估当前状态下完成子任务对最终目标的价值。这在机器人操作里很实用，比如抓取和放置两个子任务，价值估计能告诉你抓得稳不稳对后续放置的影响有多大。
那么落地怎么选？我的经验是，数据充足的时候，因果推断加分层价值估计效果最好；在线学习就用奖励塑形加内在动机，比如好奇心驱动探索；如果对可解释性要求高，比如金融风控场景，那就显式构建因果图，辅以人工规则约束。真正上线，我通常用混合架构：离线阶段用因果分析筛选子任务，在线阶段用塑形奖励加速学习，同时保留最终目标的稀疏奖励作为ground truth校准。
这里有个延伸点：因果推断在离线评估里很有效，但在线环境里，子任务的选择和最终目标之间存在动态反馈，因果图可能随时间漂移，这时怎么保证推断的时效性？比如电商大促期间，用户行为模式变了，之前筛选的子任务策略可能失效。这个问题我通常会结合在线A/B测试和时序因果模型来解决。
所以整体上，我更倾向于把子任务评估看成一套组合拳，而不是单一方法。边界划分很清楚：小规模在线场景用塑形，大规模离线数据用因果，混合架构做兜底。前提是数据质量要够，不然因果推断会引入偏差。常见失败场景是只堆方法不看场景，比如数据稀疏时硬上因果，结果方差太大。