杨强-联邦学习综述

摘要

如今人工智能仍然存在两个重大挑战：

• 数据以孤岛的形式存在。
• 数据隐私和安全问题。

针对上述挑战提出可能的解决方法： 安全联邦学习（secure federated learning）

全面介绍了安全联邦学习的框架，包括

1）横向联邦学习（horizontal federated learning），

2）纵向联邦学习（vertical federated learning），

3）联邦迁移学习（federated transfer learning）

关键词：人工智能 联邦学习 联邦迁移学习

引言

更具体地，AI传统的数据处理模型通常参与简单的数据交易模型， 一方参与者收集和转移数据到另一方，其他参与者负责清洗和融合数据，最终一个第三方机构 将拿走整合的数据 建立模型models给其他参与者使用。 这些模型models通常是最终产品作为服务售卖。 这种传统的程序面临以上新数据法规的挑战。并且，因为用户可能不清楚模型的未来用途。

因此，我们面临着一个难题，即我们的数据是孤立的孤岛形式，但是在许多情况下，我们被禁止在不同地方收集、融合和使用数据进行AI处理。如何合法地解决数据碎片和隔离问题是当今AI研究人员和从业人员面临地主要挑战。

联邦学习概述

联邦学习的定义

联邦学习的隐私

隐私是联邦学习的基本属性之一。这需要安全模型和分析来提供有意义的隐私保障。在本节中，我们简要回顾和比较了用于联邦学习的不同隐私技术，并确定了防止间接泄漏的方法和潜在挑战。

• 安全多方计算（SMC）

SMC安全模型自然涉及多方，并在定义良好的模拟框架中提供安全证明，以保证完全零知识，即各方除了输入和输出之外什么都不知道。零知识是非常理想的，但这种理想的性质通常需要复杂的计算协议，并且可能无法有效地实现。在某些情况下，如果提供了安全保证，部分知识披露可能被认为是可以接受的。

• 差分隐私

另一条工作线使用技术Differential Privacy[18]或k-匿名[63]来保护数据隐私[1，12，42，61]。

差异隐私、k-匿名和多样化[3]的方法涉及在数据中添加噪声，或者使用泛化方法来模糊某些敏感属性，直到第三方无法区分个体，从而使数据无法恢复以保护用户隐私。然而，这些方法的根源仍然需要将数据传输到其他地方，这些工作通常涉及准确性和隐私之间的权衡。在[23]中，作者为联合学习引入了一种差分隐私方法，以便通过在训练期间隐藏客户端的贡献来增加对客户端数据的保护。

• 同态加密

在机器学习[24，26，48]期间，还采用了同态加密[53]，通过加密机制下的参数交换来保护用户数据隐私。与差异隐私保护不同，数据和模型本身是不传输的，也无法通过对方的数据进行猜测。因此，在原始数据级别泄漏的可能性很小。最近的工作采用了同态加密来集中和训练云上的数据[75，76]。

在实践中，加法同态加密[2]被广泛使用，并且需要进行多项式近似来评估机器学习算法中的非线性函数，从而导致准确性和隐私性之间的权衡[4，35]

间接信息泄露

联邦学习的先驱工作暴露了中间结果，例如来自随机梯度下降（SGD）[41，58]等优化算法的参数更新，然而，没有提供安全保证，并且当这些梯度的泄漏与数据结构一起暴露时，例如在图像像素的情况下，这些梯度的泄露实际上可能泄露重要的数据信息[51]。研究人员考虑了一种情况，即联邦学习系统的一个成员通过允许插入后门来学习他人数据，从而恶意攻击他人的情况。在[6]中，作者证明了在联合全局模型中插入隐藏后门是可能的，并提出了一种新的“约束-规模”模型中毒方法来减少数据中毒。在[43]中，研究人员发现了协作机器学习系统中的潜在漏洞，协作学习中各方使用的训练数据容易受到推理攻击。他们表明，敌对的参与者可以推断出成员以及与训练数据子集相关的属性。他们还讨论了针对这些攻击的可能防御措施。在[62]中，作者揭示了与不同各方之间的梯度交换相关的潜在安全问题，并提出了梯度下降方法的安全变体，并表明它可以容忍一小部分拜占庭工人。

研究人员也开始将区块链视为促进联合学习的平台。在[34]中，研究人员考虑了区块链联合学习（BlockFL）架构，其中移动设备的本地学习模型更新通过利用区块链进行交换和验证。他们考虑了最佳块生成、网络可扩展性和稳健性问题。

联邦学习的分类

在本节中，我们将讨论如何根据数据的分布特征对联合学习进行分类。

设矩阵 Di 表示每个数据所有者 i 所持有的数据。矩阵的每一行表示一个样本，每一列表示一个特征。同时，一些数据集也可能包含标签数据。我们将特征空间表示为 X ，将标签空间表示为 Y ，并使用 I 来表示样本ID空间。例如，在金融领域，标签可能是用户的信用；在营销领域，标签可能是用户的购买欲望。在教育领域， 标签可以是学生的学位。特征 X 、标签 Y 和样本ID I 构成完整的训练数据集 (I，X，Y) 。数据方的特征和样本空间可能不相同，我们根据数据在特征和样本ID空间中的分布情况，将联合学习分为水平联合学习、垂直联合学习和迁移联合学习。下面显示了两个场景的各种联合学习框架。

• 水平（横向）联邦学习（样本不同，特征相同）

即基于样本的联合学习，是数据集共享相同特征空间但样本不同的场景。例如，两个区域的银行可能各自区域的用户群非常不同，且用户交集非常小。但是，他们的业务非常相似，因此特征空间是相同的。文献[58]提出了一种协作深度学习方案，参与者独立训练，并仅共享参数更新的子集。本文还介绍了一种在联邦学习框架下保护聚合用户更新隐私的安全聚合方案[9]。文献[51]使用加法同态加密进行模型参数聚合，以提供针对中央服务器的安全性。

在[60]中，提出了一种多任务式的联合学习系统，允许多个站点完成单独的任务，同时共享知识并保持安全。他们提出的多任务学习模型还可以解决高通信成本、掉队和容错问题。在[41]中，作者提出构建一个安全的客户端-服务器结构，其中联邦学习系统按用户划分数据，并允许在客户端设备上构建的模型在服务器站点进行协作，以构建全局联邦模型。

建立模型的过程确保了没有数据泄露。同样，在[36]中，作者提出了提高通信成本的方法，以促进基于移动客户端上分布的数据的集中式模型的训练。最近，提出了一种称为深度梯度压缩的压缩方法[39]，以大大减少大规模分布式训练中的通信带宽。

我们将横向联合学习总结为： Xi=Xj,Yi=Yj,Ii≠Ij,∀Di,Dj,i≠j

最近，还提出了另一种考虑恶意用户的安全模型[29]，这带来了额外的隐私挑战。在训练结束时，将通用模型和整个模型参数暴露给所有参与者。

• 垂直（纵向）联邦学习（样本相同，特征不同）

针对垂直分割的数据提出了保护隐私的机器学习算法，包括合作统计分析[15]、关联规则挖掘[65]、安全线性回归[22, 32, 55]、分类[16]和梯度下降[68]。最近，参考文献[27，49]提出了一种垂直联合学习方案来训练隐私保护逻辑回归模型。作者研究了实体分辨率对学习性能的影响，并将泰勒近似应用于损失函数和梯度函数，以便可以采用同态加密进行隐私保护计算。

垂直联合学习或基于特征的联合学习适用于两个数据集共享相同样本ID空间但特征空间不同的情况。例如，考虑同一城市的两家不同的公司，一家是银行，另一家是电子商务公司。他们的用户集可能包含该地区的大多数居民，因此他们的用户空间的交集很大。然而，由于银行记录了用户的收支行为和信用评级，而电子商务保留了用户的浏览和购买历史，因此它们的特征空间非常不同。假设我们希望双方都有一个基于用户和产品信息的产品购买预测模型。

垂直联合学习是聚合这些不同特征并以保护隐私的方式计算训练损失和梯度的过程，以利用双方的数据协同构建模型。在这样的联邦机制下，每个参与方的身份和地位都是相同的，联邦系统帮助每个人建立“共同财富”战略，这就是为什么这个系统被称为“联邦学习”。因此，在这样的系统中，我们有：

Xi≠Xj,Yi≠Yj,Ii=Ij,∀Di,Dj,i≠j

安全定义：垂直联邦学习系统通常假设参与方诚实且好奇。例如，在两方不串通的情况下，最多其中一方收到对手的损害。安全定义是，对手只能从其损坏的客户端了解数据，但不能从其他客户端了解输入和输出之外的数据。为了促进双方之间的安全计算，有时会引入半诚实第三方（STP），在这种情况下，假设STP没有与任何一方勾结。SMC为这些协议提供了正式的隐私保护[25]。在学习结束时，各方只持有与其自身特征相关的模型参数，因此在推理时，双方还需要协作生成输出。

• 迁移联邦学习（样本不同，特征不同）

联合迁移学习适用于两个数据集不仅在样本上不同，而且在特征空间上不同的场景。考虑两个机构，一个是位于中国的银行，另一个是美国的电子商务公司。由于地理限制，两家机构的用户群体有一个小的交集。另一方面，由于业务不同，双方只有一小部分功能空间重叠。在这种情况下，可以应用迁移学习[50]技术为联邦下的整个样本和特征空间提供解决方案。特别地，使用有限的公共样本集来学习两个特征空间之间的公共表示，然后应用于获得仅具有一侧特征的样本的预测。FTL是对现有联邦学习系统的重要扩展，因为它处理的问题超出了现有联邦学习算法的范围：

Xi≠Xj,Yi≠Yj,Ii≠Ij,∀Di,Dj,i≠j

安全定义：一个联邦迁移学习系统通常涉及双方。

联邦学习系统的体系结构

在本节中，我们将举例说明联邦学习系统的通用架构。请注意，水平和垂直联邦学习系统的架构在设计上有很大不同，我们将分别介绍它们。

水平联邦学习

水平联邦学习系统的典型架构如下图所示。

在这个系统中，具有相同数据结构的k个参与者在参数或云服务器的帮助下协作学习机器学习模型。一个典型的假设是，参与者是诚实的，而服务器是诚实但好奇的，因此不允许任何参与者向服务器泄露信息[51]。这种系统的培训过程通常包括以下四个步骤：

• 步骤1：参与者本地计算训练梯度，用加密[51]、差分隐私[58]或秘密共享[9]技术屏蔽梯度的选择，并将屏蔽结果发送到服务器；
• 步骤2：服务器在不了解任何参与者信息的情况下执行安全聚合；
• 步骤3：服务器将聚合结果发送回参与者；
• 步骤4：参与者用解密的梯度更新他们各自的模型。

通过上述步骤的迭代继续进行，直到损失函数收敛，从而完成整个训练过程。该架构独立于特定的机器学习算法（逻辑回归、DNN等），所有参与者都将共享最终的模型参数。

安全分析。如果梯度聚合是用SMC[9]或同态加密[51]完成的，则上述体系结构被证明可以防止半诚实服务器的数据泄漏。

但在另一个安全模型中，它可能会受到恶意参与者在协作学习过程中训练生成对抗性网络（GAN）的攻击[29]。

垂直联邦学习

假设A和B公司希望联合训练一个机器学习模型，并且他们的业务系统都有自己的数据。此外，B公司还有模型需要预测的标签数据。出于数据隐私和安全原因，A和B不能直接交换数据。为了确保培训过程中数据的保密性，第三方合作者C参与其中。这里我们假设合作者C是诚实的，没有与A或B勾结，但A和B是诚实的但彼此好奇。可信的第三方C是一个合理的假设，因为第三方可以由政府等机构扮演，也可以由英特尔软件保护扩展插件（SGX）等安全计算节点取代[7]。垂直联邦学习系统由两部分组成，如下图所示。

第1部分：加密实体对齐。由于两家公司的用户组不相同，系统使用基于加密的用户ID比对技术，如[38，56]来确认双方的共同用户，而A和B不会暴露各自的数据。在实体对齐期间，系统不会公开彼此不重叠的用户。

第2部分：加密模型训练。在确定了共同实体之后，我们可以使用这些共同实体的数据来训练机器学习模型。培训过程可分为以下四个步骤（如图4所示）：

• 步骤1：合作者C创建加密对，向A和B发送公钥；
• 步骤2：A和B对中间结果进行加密和交换，用于梯度和损耗计算；
• 步骤3：A和B分别计算加密梯度并添加附加掩码，B也计算加密损失；A和B向C发送加密值；
• 步骤4：C解密并将解密后的梯度和损失发送回A和B；A和B取消对梯度的掩码，相应地更新模型参数。

垂直联邦学习的训练步骤——线性回归：

垂直联邦学习的评估步骤——线性回归：

在实体对齐和模型训练过程中，A和B的数据被保存在本地，训练中的数据交互不会导致数据隐私泄露。

请注意，向C泄露的潜在信息可能被视为侵犯隐私，也可能不被视为违反隐私。在这种情况下，为了进一步防止C从A或B学习信息，A和B可以通过添加加密的随机掩码来进一步向C隐藏它们的梯度。因此，双方在联合学习的帮助下合作训练出一个共同的模型。因为在训练过程中，各方接收到的损失和梯度与他们在没有隐私限制的情况下，用在一个地方收集的数据联合构建模型时所接收到的损耗和梯度完全相同，也就是说，该模型是无损的。该模型的效率取决于加密数据的通信成本和计算成本。在每次迭代中，在A和B之间发送的信息随着重叠样本的数量而缩放。因此，采用分布式并行计算技术可以进一步提高该算法的效率。

联邦迁移学习

假设在上面的垂直联合学习示例中，A和B只有一组非常小的重叠样本，我们有兴趣学习A中所有数据集的标签。到目前为止，上述部分中描述的体系结构仅适用于重叠的数据集。为了将其覆盖范围扩展到整个样本空间，我们引入了迁移学习。这并没有改变迁移联邦学习的整体架构(上面有图)，而是改变了A和B之间交换的中间结果的细节。具体而言，迁移学习通常涉及学习A和B特征之间的共同表示，以及通过利用源域方中的标签来最小化预测目标域方的标签时的误差（在这种情况下为B）。因此，A和B的梯度计算与垂直联合学习场景中的梯度计算不同。在推理时，它仍然需要双方计算预测结果。

激励机制

为了在不同组织之间充分商业化联合学习，需要开发一个公平的平台和激励机制。模型建立后，模型的性能将体现在实际应用中，这种性能可以记录在永久的数据记录机制（如区块链）中。提供更多数据的组织将会更好，模型的有效性取决于数据提供者对系统的贡献。这些模型的有效性基于联合机制分发给各方，并继续激励更多的组织加入数据联合。

上述架构的实现不仅考虑了多个组织之间协同建模的隐私保护和有效性，还考虑了如何奖励贡献更多数据的组织，以及如何用共识机制实现激励。因此，联邦学习是一种“闭环”学习机制。

相关工作

联邦学习使多方能够协作构建机器学习模型，同时保持其私有训练数据的私密性。作为一项新兴技术，联邦学习具有若干创新思路，其中一些创新根植于现有领域。下面我们将从多个角度解释联邦学习和其他相关概念之间的关系。

隐私保护机器学习

联邦学习可以看作是一种保护隐私的去中心化协同机器学习，因此它与多方保护隐私的机器学习紧密相关。过去对这一领域进行了许多研究。例如，文献[17,67]提出了垂直分区数据的安全多方决策树算法。Vaidya和Clifton针对垂直分割的数据提出了安全关联挖掘规则[65]、安全k-means[66]、朴素贝叶斯分类器[64]。Ref[31]提出了一种水平分区数据的关联规则算法。针对垂直分区数据[73]和水平分区数据[74]开发了安全支持向量机算法。文献[16]提出了多方线性回归和分类的安全协议。文献[68]提出了安全的多方梯度下降方法。以上作品均使用安全多方计算(SMC)[25,72]来保证隐私。

Nikolaenko等人[48]使用同态加密和姚的乱码电路在水平分割数据上实现了线性回归的隐私保护协议，参考文献[22，24]提出了垂直分割数据的线性回归方法。这些系统直接解决了线性回归问题。参考文献[47]探讨了随机梯度下降（SGD）的问题，他们还提出了用于逻辑回归和神经网络的隐私保护协议。最近，提出了一个三服务器模型的后续工作[44]。Aono等人[4]提出了一种使用同态加密的安全逻辑回归协议。Shokri和Shmatikov[58]提出了通过交换更新的参数来训练水平分割数据的神经网络。参考文献[51]使用了加法同态加密来保护梯度的私密性并增强系统的安全性。随着深度学习的最新进展，保护隐私的神经网络推理也受到了很多研究兴趣[10，11，14，28，40，52，54]。

联邦学习与分布式机器学习

横向联邦学习乍一看有点类似于分布式机器学习。分布式机器学习涵盖了多个方面，包括训练数据的分布式存储、计算任务的分布式操作、模型结果的分布式分布等。参数服务器[30]是分布式机器学习中的一个典型元素。作为加速训练过程的工具，参数服务器将数据存储在分布式工作节点上，通过中央调度节点分配数据和计算资源，从而更有效地训练模型。对于水平联合学习，工作节点代表数据所有者。它对本地数据具有完全的自主权，并可以决定何时以及如何加入联合学习。在参数服务器中，中心节点总是占据控制权，因此联合学习面临着更复杂的学习环境。其次，联邦学习强调在模型训练过程中对数据所有者的数据隐私保护。采取有效措施保护数据隐私，可以更好地应对未来日益严格的数据隐私和数据安全监管环境。

与分布式机器学习设置一样，联合学习也需要处理非IID数据。在[77]中表明，使用非iid本地数据，联合学习的性能可能会大大降低。作为回应，作者提供了一种类似于迁移学习的新方法来解决这个问题。

联邦学习与边缘计算

联邦学习可以被视为边缘计算的一种操作系统，因为它提供了协调和安全的学习协议。在[69]中，作者考虑了使用基于梯度下降的方法训练的通用类机器学习模型。他们从理论角度分析了分布式梯度下降的收敛范围，在此基础上，他们提出了一种控制算法，该算法确定了局部更新和全局参数聚合之间的最佳折衷，以在给定的资源预算下最小化损失函数。

联邦学习与联邦数据库系统

联邦数据库系统[57]是集成多个数据库单元并作为一个整体管理集成系统的系统。提出联邦数据库概念是为了实现与多个独立数据库的互操作性。联邦数据库系统通常使用分布式存储作为数据库单元，并且在实践中，每个数据库单元中的数据是异构的。因此，在数据的类型和存储方面，它与联合学习有很多相似之处。然而，联邦数据库系统在相互交互的过程中不涉及任何隐私保护机制，所有数据库单元对管理系统都是完全可见的。此外，联邦数据库系统的重点是数据的基本操作，包括插入、删除、搜索和合并等，而联邦学习的目的是在保护数据隐私的前提下为每个数据所有者建立一个联合模型，使数据所包含的各种价值观和规律更好地为我们服务。

应用

作为一种创新的建模机制，联邦学习可以在不损害数据隐私和安全的情况下，在多方数据上训练统一模型，在销售、金融和许多其他行业中，由于知识产权、隐私保护和数据安全等因素，数据不能直接聚合用于训练机器学习模型，因此联邦学习在这些行业中具有很好的应用前景。

以智能零售为例。其目的是利用机器学习技术为客户提供个性化的服务，主要包括产品推荐和销售服务。智能零售业务涉及的数据特征主要包括用户购买力、用户个人偏好、产品特征等。在实际应用中，这三个数据特征很可能分散在三个不同的部门或企业中。例如，用户的购买力可以从其银行存款中推断出来，个人偏好可以从其社交网络中分析出来，而产品的特征可以通过电子商店记录下来。在这种情况下，我们面临两个问题。首先，为了保护数据隐私和数据安全，银行、社交网站、电子购物网站之间的数据壁垒难以打破。因此，不能直接汇总数据来训练模型。其次，三方存储的数据通常是异构的，传统的机器学习模型无法直接处理异构数据。目前，这些问题还没有通过传统的机器学习方法得到有效的解决，阻碍了人工智能在更多领域的普及和应用。

联邦学习和迁移学习是解决这些问题的关键。首先，利用联邦学习的特点，在不导出企业数据的情况下，为三方构建机器学习模型，既充分保护了数据隐私和数据安全，又为客户提供个性化、针对性的服务，从而实现互利共赢。同时，我们可以利用迁移学习来解决数据异构问题，突破传统人工智能技术的局限性。因此，联邦学习为我们构建跨企业、跨数据、跨领域的大数据和人工智能生态圈提供了很好的技术支撑。

可以使用联邦学习框架进行多方数据库查询，而不暴露数据。例如，假设在一个金融应用程序中，我们感兴趣的是检测多方借款，这是银行业的一个主要风险因素。当某些用户恶意从一家银行借钱到另一家银行支付贷款时，就会发生这种情况。多方借贷对金融稳定构成威胁，因为大量此类非法行为可能导致整个金融体系崩溃。为了在不暴露银行A和银行B之间的用户列表的情况下找到这样的用户，我们可以利用联邦学习框架。特别地，我们可以使用联邦学习的加密机制，对每一方的用户列表进行加密，然后取加密后的列表在联邦中的交集。最终结果的解密给出了多方借款人的列表，而不会将其他“好”用户暴露给另一方。正如我们将在下面看到的，这个操作对应于垂直联合学习框架。

智能医疗是另一个领域，我们预计将大大受益于联邦学习技术的兴起。疾病症状、基因序列、医疗报告等医疗数据是非常敏感和隐私的，但医疗数据很难收集，而且它们存在于孤立的医疗中心和医院。数据源的不足和标签的缺失导致机器学习模型的性能不理想，成为当前智能医疗的瓶颈。我们设想，如果所有医疗机构联合起来，共享他们的数据，形成一个大型医疗数据集，那么在该大型医疗数据集上训练的机器学习模型的性能将得到显著提高。联邦学习与迁移学习相结合是实现这一愿景的主要途径。迁移学习可以用来填补缺失的标签，从而扩大可用数据的规模，进一步提高训练模型的性能。

ENTERPRIS的联邦学习和数据一致性

联邦学习不仅是一种技术标准，也是一种商业模式。当人们意识到大数据的影响时，他们首先想到的是将数据汇总在一起，通过远程处理器计算模型，然后下载结果供进一步使用。在这样的需求下，云计算应运而生。然而，随着数据隐私和数据安全的日益重要，以及企业利润与数据之间的关系越来越密切，云计算模式受到了挑战。然而，联合学习的商业模式为大数据的应用提供了一个新的范例。当各机构所占用的孤立数据无法产生理想的模型时，联邦学习的机制使得机构和企业在没有数据交换的情况下共享统一的模型成为可能。此外，借助区块链技术的共识机制，联邦学习可以制定公平的利润分配规则。数据拥有者无论拥有多少数据，都会有动力加入数据联盟，为自己谋利。我们认为数据联盟的商业模式的建立和联邦学习的技术机制应该一起进行。我们还将制定各个领域的联邦学习标准，使其尽快投入使用。

结论和展望

近年来，数据的隔离和对数据隐私的重视正在成为人工智能的下一个挑战，但联邦学习给我们带来了新的希望。它可以在保护本地数据的同时，为多个企业建立统一的模型，使企业以数据安全为前提，共同取胜。本文概述了联邦学习的基本概念、体系结构和技术，并讨论了其在各种应用中的潜力。预计在不久的将来，联邦学习将打破行业之间的壁垒，建立一个数据和知识可以安全共享的社区，并根据每个参与者的贡献公平分配利益。人工智能的红利最终将被带到我们生活的每一个角落。