原创Synced机器之心
机器之心分析师网络
作者：仵冀颖
编辑：H4O
本文是我们联邦学习系列研究文章中的一篇，重点聚焦的是联邦学习中的通信开销问题（CommunicationCost）。
0.引言
联邦学习（FederatedLearning）允许用户在将数据保留在本地端不共享的前提下形成一个联合体训练得到全局模型，从而有效解决数据隐私和安全保护问题。同时，还可以有效应用联合体各方用户所掌握的标注数据，解决标注数据缺乏的问题。在联邦学习架构的每一轮学习过程中，中央服务器在当前全部客户端中选定一些客户端子集并将全局模型下发给这些客户端子集。然后，这些客户端子集在本地运行随机梯度下降（SGD）等优化处理步骤后生成本地模型。最后，客户端子集将本地模型发送回中央服务器。反复执行训练过程直到模型收敛，生成最终的全局模型。
目前，联邦学习的应用面临四个主要问题：通信开销问题、隐私保护问题、客户端无状态问题和客户端中数据非独立同分布问题。其中，通信开销问题主要是由客户端和中央服务器之间经由网络连接和传输数据（模型、参数）所造成的。隐私保护问题主要是指经由网络传输时用户信息、模型信息的隐私和安全保护问题。客户端无状态问题是指一般情况下在多轮训练期间，没有一个客户端会参与超过一次的训练。客户端中数据非独立同分布问题则是指不同客户端，特别是边缘设备，所收集到的数据通常不是独立的，也不具备相同的数据分布特性。本文重点