计算机研究与发展

作者：郭松岳,王阳谦,柏思远,刘永恒,周骏,王梦鸽,廖清,

关键词：机器学习, 联邦学习, 非独立同分布, 信息熵, 自适应模型,

联邦学习作为一种新兴的分布式机器学习方法，保证了物联网（Internetofthings，IoT）设备在数据不出本地的前提下，仅通过传递模型参数来共同维护中央服务器模型，从而达到保护数据隐私安全的目的.传统的联邦学习方法常常在基于设备数据独立同分布的场景下进行联合学习.然而，在实际场景中各设备间的数据样本分布存在差异，使得传统联邦学习方法在非独立同分布（non-independentandidenticallydistributed，Non-IID）的场景下效果不佳.面向Non-IID场景下的混合数据分布问题，提出了新型的联邦自适应交互模型（federatedadaptiveinteractionmodel，FedAIM）框架，该框架可以同时对不同偏置程度的混合数据进行自适应地交互学习.具体来说，首先，通过引入陆地移动距离（earthmover'sdistance，EMD）对各客户端的数据分布进行偏置程度度量(biasmeasurement)，并设计极偏服务器和非极偏服务器2个模块分别处理不同偏置程度的数据分布.其次，提出了基于信息熵的模型参数交互机制，使得FedAIM可以有效地聚合极偏服务器和非极偏服务器产生的模型参数，从而有效提高模型的准确率和减少服务器之间的交互轮次.经实验表明，FedAIM在Non-IID混合数据分布场景下的MNIST，Fashion-MNIST，CIFAR-10，SVHN，FEMNIST数据集上准确率均优于已有方法.

来源：2023年第6期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2023年第6期