面向异质性模拟环境的联邦强化学习个性化观测归一化

异质环境的核心挑战

联邦强化学习在理论上的隐私优势，面临实际环境的严苛考验。文章指出，挑战根源在于智能体所处的**“异质环境”**，即不同的状态转移动态导致了两个关键问题：

• 输入分布不一致：各智能体接收的状态数据（观测）因其本地环境差异而服从不同分布。
• 参数更新失衡：在聚合各智能体更新的全局策略参数时，因输入分布差异而导致更新方向不均，影响最终模型的收敛与性能。

个性化归一化：一种局部解决方案

针对上述挑战，文章提出的个性化观测归一化方法，其核心设计思想是将数据标准化这一预处理步骤“本地化”与“个性化”。

• 工作机制：每个智能体独立维护一组统计量——持续更新的本地运行均值和方差，并仅使用这组统计量对自身的原始状态观测进行归一化。
• 设计目的：此举旨在确保所有智能体在向服务器发送更新前，其特征已被缩放到一致的量级，从而减少因尺度差异导致的聚合偏差，并避免强势智能体的特征“掩盖”弱势智能体。

个性化统计的必要性论证

文章通过一个关键的实证或分析发现，为上述方法提供了理论支撑：共享归一化参数是无效的。

• 由于本地输入分布具有多样性，使用从全局聚合而来的、单一的均值和方差进行归一化，无法准确适配每一个本地环境，甚至会扭曲本地特征。这反向凸显了保留并计算个性化本地统计信息的绝对必要性，是方法有效的基石。

方法验证与实践意义

在异质MuJoCo任务上的实验，构成了对本文核心主张的检验。

• 性能提升：与基线方法相比，PON不仅加速了训练过程，还达到了更优的最终性能。这表明，解决输入分布不一致问题对于在复杂、非同分布环境中部署联邦强化学习具有直接的工程价值。
• 洞察提炼：本文最具价值的洞察在于，它为联邦学习中处理“数据异质性”这一经典难题，在强化学习场景下提供了一个简单而有效的客户端本地预处理范式。它表明，与其在全局聚合阶段进行复杂的协调，不如让客户端在发送数据前，就先进行适合自身特点的标准化，这可能是比设计更复杂的聚合算法更为直接的路径。