一种基于模型结构变换的联邦学习加密系统及方法

本发明涉及一种基于模型结构变换的联邦学习加密系统及方法，属于数据处理。

背景技术：

1、联邦学习(federated learning,fl)是一种允许多个设备或服务器协作训练机器学习模型的技术，同时不需要交换他们持有的本地数据。这种方法理想地保护了数据隐私，因为原始数据不离开其物理位置。然而，尽管数据未直接交换，通过分析从客户端上传的梯度信息，恶意服务器或攻击者仍有可能推断出或重建客户端的私有数据，这种方式称为梯度攻击。

2、梯度攻击通常利用参与者上传的梯度信息，通过逆向工程恢复出原始数据或者获取其他敏感属性。这不仅威胁到个人隐私，也可能导致整个联邦学习网络的信任基础受损。面对这一问题，现有的防御策略主要集中在加密技术、差分隐私、安全多方计算等领域，但这些方法各有局限性。例如，加密技术虽然可以保护数据不被未授权访问，但通常会增加计算复杂度和通信成本。差分隐私通过添加噪声来掩盖梯度，虽然能够有效防止数据泄露，但可能会牺牲模型的精确度。安全多方计算可以在不暴露各方输入的情况下进行联合计算，但其实现复杂，且难以在大规模联邦学习环境中高效部署。

3、本发明面向联邦学习中的梯度攻击问题，给出了一种基于模型结构变换的联邦学习加密系统及方法，通过在局部训练前后执行模型结构变换，实现了对于局部设备上训练模型的加密，从而有效的防范了中央服务器发起的梯度重建攻击，有效的保护设备的数据隐私，同时不影响本地模型训练的准确性。

技术实现思路

1、本发明为解决现有加密方法计算效率低以及对模型性能有损失的问题，进而提出一种基于模型结构变换的联邦学习加密系统及方法。

2、本发明为解决上述问题采取的技术方案是：本发明提出一种基于模型结构变换的联邦学习加密系统，包括：

3、参与训练的计算设备和中央服务器；

4、参与训练的计算设备与中央服务器采用无线通信方式连接。

5、可选的，参与训练的计算设备包括计算资源估计子模块、网络参数隐私敏感性估计子模块以及模型结构变换子模块；

6、计算资源估计子模块用于计算设备估计当前可使用的运行内存，显存，以及模型训练的计算速度；

7、网络参数隐私敏感性估计子模块用于计算设备估计网络中每一层对于梯度攻击的敏感度，反应该层暴露数据隐私的风险性；

8、模型结构变换子模块用于在计算设备完成计算资源估计以及网络参数隐私敏感性估计后，对于网络进行结构变换。

9、一种基于模型结构变换的联邦学习加密方法，包括：

10、步骤1：基于中央服务器获取初始模型结构与参数；

11、步骤2：每轮训练中，中央服务器向参与本轮训练的设备广播初始全局模型；

12、步骤3：参与训练的设备在收到初始全局模型后，将初始全局模型作为局部公开网络，并通过模型结构变换子模块将当前的局部公开网络结构转换成局部私有结构网络；

13、步骤4：参与训练的计算设备使用局部私有结构网络及参数在本地数据集上执行本地更新；

14、步骤5：本地更新完成后，参与训练的计算设备将更新后的局部私有结构网络通过模型结构变换子模块转换成与局部公开网络结构相同的网络模型，并将转换后的局部公开网络上传到中央服务器；

15、步骤6：中央服务器对接收到的局部公开网络执行全局聚合；

16、步骤7：重复步骤2-6，直至通讯次数或模型性能等预设指标达到预设要求时，输出加密结果。

17、可选的，步骤2中参与本轮训练的设备数量小于等于全部设备。

18、可选的，步骤3中模型结构变换子模块转换过程中根据计算资源估计子模块确定参与训练的设备的计算能力，并确定模型结构变换上限；

19、根据网络参数隐私敏感性估计子模块确定参与训练的设备的隐私需求与算力，并确定当前轮次模型结构变换幅度以及需要变换的模型结构。

20、可选的，步骤3通过模型结构变换子模块将当前的局部公开网络结构转换成局部私有结构网络具体包括：

21、将一个k×k卷积层转换为串联的k×k卷积以及bn层；

22、将一个k×k卷积层转换为并联的多个m×n卷积，其中m和n均小于或等于k；

23、将一个k×k卷积层转换为在特征上通过concat连接的的多个m×n卷积，其中m和n均小于等于k；

24、将一个池化层转换为k×k卷积层。

25、可选的，步骤3中在网络结构变换后，网络参数也相应发生变化，但网络结构变换前后，若网络输入不变，则两个网络的网络输出则一致。

26、可选的，步骤3中结构变换操作在不同客户端上执行时，所变换的结构无需保持一致。

27、本发明的有益效果是：

28、1、本发明通过模型变换在联邦学习本地训练前将全局模型转换为私有的本地模型结构，并在本地训练结束后将其转换回全局结构，使得在整个联邦学习训练过程中，本地训练的局部模型结构是高度保密的，从而使得中央服务器或外部攻击者无法通过上传的梯度信息反推出局部客户端的私有数据信息。

29、2、本发明用于提高联邦学习的隐私性，对于转换前后的网络，若网络输入相同，则输出保持一致，通过这种方式，既保证了本地模型的隐私性，也保证了联邦学习训练的准确性。

30、3、相比于传统的联邦学习加密方法，本发明利用轻量化的模型转换对本地模型信息加密进而隐式完成对梯度信息的加密，显著的提高了联邦学习的隐私性，具有很高的实用价值。

31、4、相比于基于同态加密的方法，本方法计算效率更高，因为本方法所采用的模型结构转换，仅需执行简单的加减法即可。

32、5、相比于基于差分隐私的方法，本方法对模型精度的损失近乎无损。因为本方法保障了在模型结构转换前后，模型的输入若相同，则输出完全一致。而差分隐私方法需要对模型参数加噪声，从而严重影响模型精度。

技术特征：

1.一种基于模型结构变换的联邦学习加密系统，其特征在于，所述一种基于模型结构变换的联邦学习加密的系统结构包括：

2.根据权利要求1所述的一种基于模型结构变换的联邦学习加密的系统，其特征在于，所述参与训练的计算设备包括计算资源估计子模块、网络参数隐私敏感性估计子模块以及模型结构变换子模块；

3.一种基于模型结构变换的联邦学习加密方法，应用于权利要求1-2任意一项所述的一种基于模型结构变换的联邦学习加密的系统，其特征在于：所述一种基于模型结构变换的联邦学习加密方法的步骤包括：

4.根据权利要求3所述的一种基于模型结构变换的联邦学习加密方法，其特征在于，步骤2中参与本轮训练的设备数量小于等于全部设备。

5.根据权利要求3所述的一种基于模型结构变换的联邦学习加密方法，其特征在于，步骤3中模型结构变换子模块转换过程中根据所述计算资源估计子模块确定参与训练的设备的计算能力，并确定模型结构变换上限；

6.根据权利要求3所述的一种基于模型结构变换的联邦学习加密方法，其特征在于，步骤3通过模型结构变换子模块将当前的局部公开网络结构转换成局部私有结构网络具体包括：

7.根据权利要求3所述的一种基于模型结构变换的联邦学习加密方法，其特征在于，步骤3中在网络结构变换后，网络参数也相应发生变化，但网络结构变换前后，若网络输入不变，则两个网络的网络输出则一致。

8.根据权利要求3所述的一种基于模型结构变换的联邦学习加密方法，其特征在于，步骤3中结构变换操作在不同客户端上执行时，所变换的结构无需保持一致。

技术总结
本发明提出一种基于模型结构变换的联邦学习加密系统及方法，其中系统包括：参与训练的计算设备和中央服务器；参与训练的计算设备与中央服务器采用无线通信方式连接。本发明通过模型变换在联邦学习本地训练前将全局模型转换为私有的本地模型结构，并在本地训练结束后将其转换回全局结构，使得在整个联邦学习训练过程中，本地训练的局部模型结构是高度保密的，从而使得中央服务器或外部攻击者无法通过上传的梯度信息反推出局部客户端的私有数据信息；相比于传统的联邦学习加密方法，本发明利用轻量化的模型转换对本地模型信息加密进而隐式完成对梯度信息的加密，显著的提高了联邦学习的隐私性，具有很高的实用价值。

技术研发人员：刘贤明,张飞龙,林诗昳,翟德明,江俊君,季向阳
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2025/1/28