Multi-Agent 训练流程关键阶段

这道题问的是[[多智能体]]系统的训练流程，我觉得本质上是问怎么在局部观测和全局协作之间做平衡。我一般会从环境建模、通信机制、训练范式和联合训练这几个环节来讲，最后落到评估。先说环境建模。这里最关键的是要明确状态空间，全局状态和局部观测的区分直接决定了后续的通信设计。比如在一个仓库机器人调度场景里，每个机器人只能看到自己周围的货架和路径，这就是局部观测；但整个仓库的订单分布是全局状态，只有中央调度能看到。奖励设计上，纯团队共享奖励容易导致懒汉问题，所以实际中我倾向混合奖励，团队目标加个体行为塑形。再一个就是通信机制。这里有两种思路，显式通信和隐式通信。显式通信像CommNet，[[智能体]]之间直接发消息，优点是可控，缺点是带宽受限；隐式通信像MADDPG，通过参数共享或者注意力机制隐式协调，扩展性好，但调试困难。落地时很少只用一种，比如机器人调度里，我会让相邻机器人显式交换位置信息，全局协调用隐式注意力，这样既高效又省带宽。接着说训练范式，现在最主流的就是集中训练分布式执行，也就是CTDE。训练时critic能看到全局信息，actor只用自己的局部观测；执行时完全分布式，这样既解决了非平稳问题，又保留了分布式部署的灵活性。典型算法像QMIX、MAPPO我都用过。但CTDE有个关键前提，就是信用分配必须做好，否则智能体不知道自己的贡献有多大。这里值分解方法比如VDN和QMIX很有效，QMIX用单调性约束保证全局最优和个体最优一致，比VDN更稳定。还有一个常见失败场景，就是智能体之间策略耦合太紧，一个智能体策略变化导致其他全部失效，所以我会用参数共享加个体头部来缓解。评估维度上，除了任务完成率，我特别关注协作效率，比如通信开销和队友适应性。比如在游戏对战场景里，团队胜率是核心指标，但也要看单个智能体的行为是否合理。最后说落地风险，前提是环境必须是部分可观测的，如果完全可观测，CTDE的优势就不明显了。另外，对抗训练或者自博弈也常用，比如让智能体和自己历史版本打，提升鲁棒性，避免策略崩溃。所以整体上，我会把多智能体训练看成是在通信代价和协作收益之间做权衡，没有一个范式能通吃，真正落地往往是CTDE加混合通信再加值分解。如果让我给个判断，我更倾向先选CTDE框架，再根据场景调整通信和奖励设计。说到信用分配，其实还有一个反事实基线的方法COMA，它通过对比实际动作和平均动作的差异来分配信用，在动作空间大的场景里比值分解更精确，但计算开销也大。这个取舍点我还在持续关注。