一种改进的BMUF训练框架及联邦学习系统实现

[目的]在隐私保护日益严峻的环境下,联邦学习常被用于解决"数据孤岛"与"数据隐私"等问题,但传统的联邦学习架构受限于中心化特点,带来了额外的隐私风险与成本,基于区块链的去中心化联邦学习架构因其明显的应用优势得到了更多关注与研究.[方法]本文改进BMUF训练框架,使其在联邦学习中数据量分布不平衡(Unbalanced)、数据非独立同分布(Non-IID)场景下有较好效果;在客户端本地训练中加入差分隐私机制保护本地隐私;提出一种基于全局更新梯度的拜占庭检测鲁棒聚合算法,使聚合者可以检测出系统中存在的拜占庭客户端并完成鲁棒聚合.[结果]针对上述三点进行多组实验,实验结果表明改进的BMUF训练框架在Unbalanced与Non-IID场景下较FedAvg算法聚合效果更好;在客户端本地训练中加入差分隐私机制时,模型仍可收敛并获得较高准确率;在拜占庭攻击环境下,聚合者可以有效剔除拜占庭客户端并完成鲁棒聚合.[结论]本文改进BMUF训练框架,并实现了一个基于区块链的联邦学习系统,可以在去中心化架构下针对不同数据分布场景,有效保护客户端隐私,抵御拜占庭攻击,实现模型的高效训练.