Firm名:FIbonacci环模型聚合,用于隐私保护联邦学习
FIRMA(Fibonacci Ring Model Aggregation)是一种新的联邦学习协议,解决了现有联邦学习中的结构三难问题:中央服务器聚合虽然简化了过程但存在单点故障和梯度反转风险;去中心化的环形消息传递方法则暴露了分类头给半诚实的对等节点;而个性化方法又重新引入了中央聚合。FIRMA
深度分析
背景与问题
联邦学习(Federated Learning)通过分布式训练模型来保护用户隐私。但现有方法存在多种问题:传统的中央服务器聚合虽然简化了过程,但容易成为单点故障,并且存在梯度反转的风险;去中心化的环形消息传递方法尽管提高了系统的分散性,但由于使用了不加选择的均匀权重传播机制,可能暴露分类头给半诚实对等节点;个性化联邦学习则通过在不同客户端上训练个性化的模型来解决隐私问题,但又重新引入了中央聚合的问题。
核心内容
FIRMA(FIbonacci RIing Model Aggregation)是一个家族式的三种增强协议。首先,\fibfl(Fibonacci FL)建立基础:实现了无服务器的环形聚合,并通过斐波那契加权邻居融合来保持永久隐私分类头。其次,\fibflp 增强了这一方法,在准确性基础上增加邻近抑制机制,有针对性地降低收敛不良对等节点的权重同时保留斐波那契方向性偏见。最后,\fibflpp 完善了整个系统:使用2-Opt环形排列最大化相邻客户端类别多样性、通过K_g = ⌈N/2⌉次消息传递实现全局覆盖,并采用余弦退火自我保留校准。
意义与影响
FIRMA为解决联邦学习中的结构三难问题提供了有效方案,不仅实现了服务器无操作和永久隐私保护,还保持了环形拓扑结构和有偏向邻居加权。实验结果表明,在28种配置下(四种基准测试与七种异质性环境交叉),\fibflpp 在所有12种标签偏斜配置中均优于FedAvg,并在CIFAR-10数据集上取得了显著优势,尤其是在Dirichlet异质性环境中,\fibflpp 是所有无服务器协议中最优的方法之一。
免责声明:以上内容由 AI 生成,仅供参考。