一种D2D辅助的双阶段空中计算模型聚合方法

本发明属于无线通信，涉及一种d2d辅助的双阶段空中计算模型聚合方法

背景技术：

1、当前，日益增长的数据量促进了广泛的人工智能应用，如图像识别和自然语言处理，这要归功于最近机器学习技术的突破，尤其是深度学习以及前所未有的计算能力。目前，典型的机器学习过程包括训练过程和推理过程，这些过程都是由云计算支持的，即通过一个集中的云数据中心实现广泛的计算，存储和整个数据集的可访问性。然而，新兴的智能移动设备和高风险应用，如无人机，智能汽车和增强现实等，对低延迟和隐私保护有着关键要求，基于云计算的机器学习方法不再适用。因此，边缘设备直接利用本地数据进行训练和推理的方式愈发具有吸引力，而不再需要将数据发送到云或网络。这种新兴技术被称为边缘机器学习，由移动边缘计算支持，通过将云计算服务推到网络边缘来实现。虽然移动边缘智能服务具有诸多优点，但其主要瓶颈是有限的计算、存储、能源和带宽资源。为了解决这个问题，最近有越来越多的研究通过硬件和软件协同设计，使用模型压缩方法来减少推理过程中的存储开销，时间和功耗。此外，研究人员还提出了各种先进的分布式优化算法，利用分布在多个设备上的数据和计算能力，以加快训练过程。

2、联邦学习是一种分布式机器学习方法，允许多个参与方在保护数据隐私的前提下，共同建立一个全局模型。通过在本地设备上进行模型训练，参与方能够有效地合作，从而充分利用各方的数据资源，提高模型性能，同时保护敏感数据的安全。当在无线通信系统中实现联邦学习时，基站与设备之间模型交互是通过无线链路实现的，因此有限的无线资源成为这种大模型交互共享的瓶颈。在联邦学习中存在模型聚合的环节，即将不同设备训练的参数进行加权平均，考虑到这个操作与利用多址接入信道波形叠加特性的空中计算类似，因此，空中计算是一种实现无线网络中联邦学习模型聚合的高效通信方法。空中计算所需的带宽和通信延迟与设备数量无关，显著增强了系统的可扩展性，提高了通信效率。然而，空中计算不可避免地会受到噪声和无线信道衰落造成的失真的影响。为了使上传的本地模型更新在接收端对齐，信道较好的设备必须降低发射功率，导致模型聚合误差由信道最差的设备所主导(参见文献：lin z,liu h,zhang y j a.relay-assisted cooperativefederated learning[j].ieee transactions on wireless communications,2022,21(9):7148-7164.)。因此，如何设计基于空中计算的模型聚合方案，以提高联邦学习性能值得深入研究。

3、为了减小空中计算联邦学习的模型聚合误差，一种思路是放弃信道质量差的设备所训练出的模型：(1)一种基于信道条件的调度方案来排除信道条件最差的设备(参见文献：ma x,sun h,wang q,et al.user scheduling for federated learning throughover-the-air computation[c]//2021ieee 94th vehicular technology conference(vtc2021-fall).ieee,2021:1-5.)。(2)考虑联合设备选择和波束成形设计，在目标均方误差(meansquareerror，mse)约束下最大化所选设备的数量(参见文献：yang k,jiang t,shiy,et al.federated learning via over-the-air computation[j].ieee transactionson wireless communications,2020,19(3):2022-2035.)。(2)一种基于截断的功率控制方法来丢弃具有深度衰落信道的设备(参见文献：zhu g,wang y,huang k.broadband analogaggregation for low-latency federated edge learning[j].ieee transactions onwireless communications,2019,19(1):491-506.)。虽然这些方案在模型上传时丢弃信道质量差的设备可以有效控制空中计算的误差，然而，从训练中丢弃设备往往会减少参与模型训练的数据的数量，这不可避免地会降低联邦学习的收敛速度和所得模型的推理性能(参见文献：liu h,yuan x,zhang y j a.reconfigurable intelligent surface enabledfederated learning:a unified communication-learning design approach[j].ieeetransactions on wireless communications,2021,20(11):7595-7609.)。另一种思路是通过先进的通信技术来提高信道质量差的设备的通信质量：(1)一种两层中继辅助联邦学习框架，其中局部模型通过空中计算方式上传到中继节点，中继节点再将收到的模型通过空中计算的方式上传到基站(参见文献：qu z,guo s,wang h,et al.partialsynchronization to accelerate federated learning over relay-assisted edgenetworks[j].ieee transactions on mobile computing,2021,21(12):4502-4516.)。但是所提方案假设每个设备只连接一个中继节点，无法利用中继网络协同分集的优势。(2)的作者部署了多个半双工中继，以协同协助设备将本地模型更新上传到边缘服务器，并提出了一种基于交替优化的算法，优化接收端，中继和设备的收发参数以最小化模型失真(参见文献：lin z,liu h,zhang y j a.relay-assisted cooperative federated learning[j].ieee transactions on wireless communications,2022,21(9):7148-7164.)。然而引入中继设备会增加网络的复杂性，需要额外的设备和安装维护成本，特别是中继设备的数量和布置需要精心规划和管理。(3)构建终端直通(device-to-device，d2d)网络，以提高联邦学习的效率(参见文献：feng s,niyato d,wang p,et al.joint service pricingand cooperative relay communication for federated learning[c]//2019international conference on internet of things(ithings)and ieee greencomputing and communications(greencom)and ieee cyber,physical and socialcomputing(cpscom)and ieee smart data(smartdata).ieee,2019:815-820.)。其中，移动设备协同形成一个d2d网络，帮助彼此将模型更新上传到基站。但是该系统中每个设备的数据只传输给一个d2d设备，没有有效利用d2d网络的协同分集的优势，导致了较大的通信时延和基站模型聚合时延，将限制联邦学习的收敛速度。以上方案存在训练数据减少，无法利用中继网络协同分集优势，中继网络复杂度高，以及模型聚合时延大的劣势。

4、基于此，本发明提出一种d2d辅助的新型空中计算联邦学习方案，首先在第一阶段，信道质量差的用户同时向多个信道质量好的用户以及基站发送模型数据，在第二阶段，信道质量好的设备聚合本设备的模型数据和收到的模型数据，然后发送给基站，基站聚合两个阶段收到的模型数据得到本轮联邦学习的聚合模型，该方案充分利用了无线联邦学习系统的协作多样性，提高了通信效率和联邦学习模型训练速度。为了降低空中计算联邦学习的模型聚合误差，分析了影响最小均方误差的关键因素，形成了最小化mse的优化问题，并提出了一种交替优化算法，交替优化设备发射系数，加权因子和基站的降噪接收系数以有效降低模型聚合误差。降低模型聚合误差，提高联邦学习预测精度。

技术实现思路

1、在无线通信技术领域的联邦学习中，不同位置的设备信道质量差异性使得基于空中计算的联邦学习的模型聚合误差由信道质量最差的设备所主导。为此本发明提出了一种终端直通(device-to-device,d2d)辅助的空中计算联邦学习方案，其中选择信道质量好的近端设备辅助边缘设备将本地局部模型更新至服务器。形成了最小化均方误差的优化问题,提出了一种交替优化的算法，以低复杂度优化所有设备和基站的运行参数。所提算法能够很快收敛，该方案能够显著减小模型聚合误差，并提高联邦学习的预测精度。

2、为了达到上述目的，本发明采用的技术方案如下：

3、一种d2d辅助的双阶段空中计算模型聚合方法，包含以下五个内容：

4、第一步，全局模型分发，基站将当前全局模型通过无线链路广播给所有设备。

5、第二步，局部模型更新，在接收到全局模型的基础上，每个设备运行局部更新算法，如随机梯度下降算法，利用局部数据集(每个设备所拥有的数据)训练得到更新后的局部模型。

6、第三步，局部模型进行d2d辅助的双阶段空中计算模型聚合；首先在第一阶段，信道质量差的用户同时向多个信道质量好的用户以及基站发送局部模型数据；其次在第二阶段，信道质量好的设备聚合本设备的局部模型数据和收到的信道质量差的用户的局部模型数据，然后发送给基站；最后基站聚合两个阶段收到的局部模型数据得到本轮联邦学习的聚合模型。

7、第四步，全局模型更新，基站将当前聚合模型作为新的全局模型。

8、第五步，当满足预定的联邦学习训练终止条件时，停止训练。否则，重复第一步至第四步，进入下一轮训练。

9、下面将分步做详细说明。

10、步骤一：全局模型分发。

11、步骤1.1全局模型初始化：非首轮训练跳过此步骤。首先确定全连接神经网络模型的结构，即确定隐含层的层数、每个隐含层的节点个数、输入层的节点个数、输出层的节点个数、隐藏层的激活函数，以及输出层的形式，并随机生成初始化全局模型w[0]。

12、步骤1.2全局模型分发：基于空中计算的联邦学习需要多轮循环操作，假设当前为第r轮(r＝1,2,3...)，基站将当前全局模型w[r-1]通过无线链路广播给所有设备由于蜂窝系统下行资源丰富，假设下行传输总是成功的，即所有设备都能无差错地接收到全局模型参数进行局部训练。

13、步骤二：局部模型更新。

14、在接收到全局模型w[r-1]的基础上,每个设备运行随机梯度下降算法，借助每个设备所拥有的局部数据集生成更新后的局部模型具体过程如下：

15、步骤2.1进行前向传播得到当前全连接神经网络的预测结果。

16、步骤2.2得出损失函数。

17、步骤2.3进行反向传播计算损失函数关于局部模型的梯度。

18、步骤2.4根据梯度更新局部模型。

19、步骤三：局部模型进行d2d辅助的双阶段空中计算模型聚合。

20、步骤3.1局部模型归一化，在实际情况下，每个设备都需要调整其发射功率来抵抗路径损耗和小尺度衰落；因此，首先使用线性函数把归一化为具有零均值和单位方差的即其中，表示设备m第r轮的归一化局部模型；ψ表示线性归一化函数；表示设备m第r轮的局部模型；i表示单位矩阵；表示设备m'第r轮的归一化局部模型；表示求期望；m表示设备m；m'表示设备m'；

21、归一化的具体步骤如下：

22、步骤3.1.1设备的本地统计估计，每个设备估计局部模型参数的均值和方差，然后将局部估计的均值和方差传输到基站。

23、步骤3.1.2基站的全局统计估计，基站对各个设备的均值和方差进行加权平均得到全局统计估计的均值，方差和标准差，然后将全局的均值和标准差广播给每个设备。

24、步骤3.1.3设备的局部模型归一化，每个设备的局部模型通过减去全局均值然后再除以全局标准差进行归一化。

25、在每一轮中，假设每个参数需要一个时隙进行传输，每个时隙中空中计算链路的目标函数为：

26、

27、其中，表示设备m的权重，表示设备m中的数据集，d表示归一化局部模型的参数个数。为了便于分析，省略轮数和时间索引，将和分别简化为x和sm。

28、步骤3.2基站根据各个设备的信道质量将m个设备分为两类，即n个信道质量相对较好的设备和k个信道质量相对较差的设备，此处使用如下公式选取n个信道质量相对较好的设备分类。即

29、

30、其中，{h1,...,hm}为每个设备到基站的信道系数。设信道质量相对较好的设备集信和道质量相对较差的设备集分别为近端设备集和边缘设备集，并且假设所有设备都是半双工的。

31、步骤3.3基站收集当前网络信息并求解系统参数，具体如下所示。

32、步骤3.3.1基站收集当前无线网络的相关信道信息，其中表示边缘设备与基站之间的信道系数，表示边缘设备与近端设备之间的信道系数，表示近端设备与基站之间的信道系数，表示设备m的权重，p0表示每个设备的最大发射功率。

33、步骤3.3.2建立优化问题如下求解系统参数

34、

35、

36、

37、其中，ak表示第一阶段边缘设备的发射系数；bn表示第二阶段近端设备的发射系数；dn表示第一阶段近端设备的加权因子；p0表示设备最大发射功率；gk,n表示边缘设备与近端设备之间的信道系数；mse表示d2d辅助的双阶段空中计算模型聚合方法所得聚合模型x′与空中计算链路的目标函数x的均方误差，公式如下：

38、

39、其中，c1表示基站的第一阶段降噪接收系数；c2表示第二阶段降噪接收系数；hk表示边缘设备k与基站之间的信道系数；fn表示近端设备n与基站之间的信道系数；ρk表示边缘设备k的权重；

40、步骤3.3.3求解优化问题，交替优化第一阶段边缘设备的发射系数{ak}与第二阶段近端设备的发射系数{bn}，第一阶段近端设备的加权因子{dn},基站的第一阶段降噪接收系数{c1}与第二阶段降噪接收系数{c2}，实现耦合变量的解耦。具体步骤如下。

41、步骤3.3.3.1初始化最大迭代次数jmax(取正整数)和算法阈值ε(取0，1之间的实数)。

42、步骤3.3.3.2初始化

43、步骤3.3.3.3计算此时的mse(0)。

44、步骤3.3.3.4初始化迭代计数变量j＝0。

45、步骤3.3.3.5对于给定的优化第一阶段中边缘设备上的发射系数和近端设备的信号加权因子在这种情况下，将mse最小化问题简化为：

46、

47、

48、

49、该问题是关于{ak,dn}的一个凸二次约束二次规划(qcqp)问题，可以使用标准的凸优化求解工具,如cvx进行求解.

50、步骤3.3.3.6对于给定的通过求解以下简化的mse最小化问题来优化第二阶段近端设备上的发射系数,即

51、

52、

53、该问题是一个凸二次约束二次规划(qcqp)问题,可以使用cvx进行求解.

54、步骤3.3.3.7对于给定通过求解以下简化的mse最小化问题来优化基站的第一阶段和第二阶段去噪接收系数

55、

56、该问题是一个双变量无约束二次规划(qp)问题。当关于{c1,c2}的梯度为0时，得到最优解，即：

57、

58、

59、其中，表示hk的共轭；表示fn的共轭；表示bn的共轭；表示dn的共轭；表示gk,n的共轭；表示ak的共轭。求解以上两个等式组成的二元一次方程组即可得到和

60、步骤3.3.3.8计算此时的mse(j)。

61、步骤3.3.3.9如果或者j≥jmax则优化结束，退出循环。输出此时系统参数ak,bn,dn,c1,c2。

62、步骤3.3.3.10迭代计数变量j++，进入下一轮循环，重复步骤3.3.3.5至3.3.3.10。

63、步骤3.4在第一阶段，所有边缘设备将其信号sk调整发射功率后同时发送给所有近端设备和基站，设为第一阶段设备k处的复值发射系数，在近端设备n处的接收信号和自有信号的混合信号为：

64、

65、其中，dn为近端设备n处自有信号的放缩因子；是近端设备n处的加性高斯白噪声；sk表示设备k的归一化局部模型；sn表示设备n的归一化局部模型。此时，基站处第一阶段接收到的信号为：

66、

67、其中，是第一阶段的加性高斯白噪声。

68、步骤3.5在第二阶段，每个近端设备n将混合信号rn乘以复值系数进行放大后发送给基站，则基站处第一阶段的接收信号为：

69、

70、其中，是第二阶段的加性高斯白噪声。

71、步骤3.6基站第一阶段和第二阶段接受的信号叠加，在接收到两阶段的信号y1和y2后，基站对y1和y2分别施加去噪接收系数和得到加权和x的估计为表示为：

72、

73、则可得x的估计为x'。

74、步骤四：基站将全局模型更新为w'[r]＝ψ-1(x'[r])，ψ-1(·)表示去归一化，具体操作为局部模型乘以全局标准差后再加上全局平均值。

75、步骤五：当训练达到预设的固定轮数时，停止训练。否则，r＝r+1，重复步骤一至步骤五，进入下一轮循环，最终得到联邦学习模型。

76、本发明的有益效果为：

77、(1)本发明所提出的d2d辅助的双阶段空中计算模型聚合方法在保证无线网络中联邦学习模型预测精度的前提下，能够有效减小模型聚合误差，显著提高联邦学习的无线通信效率。

78、(2)本发明充分利用了无线联邦学习系统的协作多样性，提高了通信效率和联邦学习模型训练速度。

79、(3)同时，本发明基于网络中的现有设备，无需部署新的设备。

80、(4)此外，本发明使用的算法能够很快收敛，有效提高联邦学习训练效率。