一种Cloud-RAN架构下空中计算联邦学习设计方法

本发明属于信息与通信，涉及一种cloud-ran(cloud radio accessnetworks)架构下的空中计算(over-the-air)联邦学习(federated learning)设计方法。

背景技术：

1、移动边缘设备上数据收集和计算能力的快速增长继续刺激着对提供人工智能服务的兴趣，例如计算机视觉和自然语言处理。传统的集中式学习(centralized learning，cl)方法需要将本地数据上传到中央节点进行模型训练，这会产生显着的通信成本，并引起数据隐私方面的担忧。为解决这些问题，联邦学习(federated learning，fl)已成为分布式和保密模型训练的有前途的框架。在fl框架中，每个边缘设备使用其本地数据进行模型优化，并将其模型更新发送到云服务器(cloud server，cs)(称为上行传输)。cs聚合本地模型更新以进行全局模型更新，然后将更新后的全局模型分发给边缘设备(称为下行传输)。与cl相比，fl显著减少了通信负担和数据泄露的风险，因此成为无线边缘机器学习应用的一个引人注目的选择。

2、fl上行传输涉及将模型更新从分布式边缘设备发送到cs，由于上行通道资源(例如带宽、时间和空间)有限，这会产生关键的通信瓶颈。通过支持来自大量边缘设备的模拟传输，空中计算(over-the-air computation，oa)已成为fl上行传输中的一种高效技术。与分配正交资源以避免干扰不同，通过部署模拟传输进行模型聚合，空中计算联邦学习(oa-fl)使设备能够在模型上传期间共享无线电资源。开创性的工作已经证实了它在噪声容忍度和与传统正交多址(oma)协议相比降低的延迟方面的优越性。

3、fl面临另一个挑战，即单个服务覆盖范围有限的cs通常无法获取所需的大量数据进行模型训练。在这方面，云无线接入网络(cloud radio access network，cloud-ran)是一个有吸引力的替代方案。该架构由多个接入点(access point，ap)组成，每个ap服务于一组特定的移动设备。这些ap通过无线接入网络向移动设备发送(或接收)信号，并通过前传网络(fronthaul network)将数据负载上传(或下载)到(或从)cs。cloud-ran提供了灵活的网络部署，从而以低成本显著增加了系统覆盖范围。

4、在这项工作中，结合了cloud-ran和oa-fl的概念，并引入了多输入多输出(multiple-input multiple-output，mimo)技术，以增强无线链路质量。提出了一个mimocloud-ran oa-fl(mimocrof)框架，该框架在每个训练轮中包括三个阶段。边缘聚合的第一阶段允许每个ap从边缘设备收集本地更新，并使用mimo多址构建边缘更新。在全局聚合的第二阶段，cs通过前传网络汇总来自ap的边缘更新，形成全局更新。在模型更新和广播的第三阶段，cs将更新后的全局模型参数发送到ap，然后ap将参数广播到它们服务的设备。

5、已经观察到，fl中的本地更新通常是相关的，导致边缘更新相关。这种ap之间的相关性可以被利用来显著减少全局聚合的通信成本。为了更好地利用ap之间的相关性，提出将全局聚合阶段建模为有损分布式源编码(lossy distributed source coding，l-dsc)问题。基于此，从速率失真理论的角度出发进一步分析了mimocrof框架的性能。接着制定了一个通信-学习的联合优化问题，通过考虑ap之间的相关性来改善系统性能。为高效求解该问题，使用交替优化(alternating optimization，ao)开发了一个求解算法，以有效地提高fl学习性能。

6、接着提出了一种实用的l-dsc设计，即practical l-dsc编解码器，利用ap之间的相关性，在每个ap和cs分别部署编码和解码功能。在每个ap上，编码器使用随机压缩矩阵压缩和量化边缘更新，然后通过前传网络将其发送到cs。在cs上，解码器使用所提出的神经网络结构从通道观测数据中重建全局更新，从而利用ap之间的相关性。数值结果表明，所提出的实用设计有效地利用了ap之间的相关性，并优于其他基线方案。

7、本发明将详细阐述上述解决方案。

技术实现思路

1、本发明提出一种mimo cloud-ran oa-fl(mimocrof)系统的通信设计方案。该方案包括引入cloud-ran技术和mimo技术到空中计算联邦学习中，旨在解决上述提到的空中计算联邦学习的服务范围有限的问题。本发明提出一种新颖的有损信源编码视角(lossydistributed source coding，l-dsc)建模思路和基于神经网络的编解码方案，即practical l-dsc编解码器，旨在利用上述提到的mimocrof系统下的ap间相关性。

2、本发明采用的技术方案包括以下步骤：

3、s1、本发明考虑一个fl系统，其中有nd个边缘设备和一个cs，根据分布在nd个边缘设备上的训练数据协作地学习共享模型。目标是最小化全局损失函数即

4、

5、其中向量是具有长度n的全局模型参数向量，是设备k的经验损失，定义为

6、

7、其中l(θ，b)是逐个样本的损失函数，是设备k的本地数据集，b是的数据样本。

8、s2、如图1所示，本发明假定云服务器(cs)通过na个ap接入nd个设备。cs随机地初始化模型参数θ并将其通过fronthaul链路广播至na个ap。cs初始化设备发端波束赋形矢量为其中nt是每个设备的发射天线数量。cs初始化ap收端波束赋形矢量为其中nt是每个ap的接收天线数量。cs初始化l-dsc参数矩阵为∑v＝o。cs初始化l-dsc聚合系数矢量为c＝0。cs初始化ap间相关矩阵为∑s＝o。

9、s3、每一个api将接收到的模型参数θ通过mimo信道全局广播给其服务的设备，即时。注意到表示ap i的服务设备集合，满足目.假设fl任务训练的最大训练轮次为t。在训练轮次t内，执行如下步骤：

10、s4、每个设备k在本地进行梯度下降，计算本地更新，也就是本地梯度

11、s5、每个设备k通过以下方式对其本地更新进行归一化

12、

13、其中有方差和均值

14、s6、每个设备k将映射到一个复向量为

15、

16、其中是的第m个元素，c＝n/2。

17、s7、每一个设备k测量其对每个符号的发送功率预算并将其无损发送给其接入的ap。每一个设备k将梯度均值和梯度方差无损发送给其接入的ap。

18、s8、假设在每一训练轮次中梯度上传时信道保持不变。每个api与其服务设备进行信道信息(csi)的估计，并将估计后的信道信息矩阵上传至云服务器cs。每个api将从其服务设备接收到的参数上传至云服务器cs。在每个api通过期望最大化算法估计其收端噪声功率并将其上传至云服务器cs。

19、s9、服务器cs对每个k∈[nd]，优化设备发端波束赋形固定住其他设备发端波束赋形矢量收端波束赋形矢量和l-dsc聚合矢量c(t)，优化如下问题：

20、

21、

22、其中为矢量e(t)的第i个元素。该问题是一个凸的qcqp(quadratically constrained quadratic programming)问题，可以被现有的工具求解。

23、s10、服务器cs对每个i∈[na]，优化ap收端波束赋形固定住其他ap收端波束赋形矢量设备发端赋形矢量和l-dsc聚合矢量c(t)，优化如下问题：

24、

25、该问题为一个凸问题。给出其解析解(简化上标t)为

26、

27、若优化收敛则转s11。若未收敛则转s9。

28、s11、服务器cs发送和βi给每一个ap i。

29、s12、每一个ap i将接收到的设备端发端波束赋形矢量αk发送给其服务的设备，即时。

30、s13、然后每个设备k使用c个信道时隙传输即设备k的发送信号矩阵为

31、

32、设为的第c个元素，为的第c列。设备k在第c个信道使用上发送其更新信号，使得需满足功率约束条件

33、

34、其中

35、s14、所有设备同步地发送信号矩阵到mimo信道中。此时每个api可以观测到的信号矩阵为

36、

37、其中是加性高斯白噪声矩阵且每一个元素都独立同分布地服从于可以使用现有的技术来实现同步，例如4g lte中用于上行同步的时序提前机制。

38、s15、所有api利用接收波束赋形矢量来聚合观测矩阵为

39、

40、s16、所有api构建边缘更新为

41、

42、s17、如图3所示，所有api调用提出的practical l-dsc编码器，先将边缘更新压缩为低维向量，如下所示：

43、

44、其中是一个随机的压缩矩阵，其压缩比为σ∈(0，1]。

45、s18、所有api调用practical l-dsc编码器在中加入一个误差累积项，得到：

46、

47、其中误差累积项来自于第t-1轮。

48、s19、所有api调用practical l-dsc编码器在对向量进行量化得到

49、

50、其中是编码函数的码本大小满足传输速率约束∈是一个很小的预先设定的常量，是预先设定的api到cs的rate上限有着单位bit/符号，并且是一个均匀量化器将的每个元素离散化为一个量化数字。

51、s20、所有api调用practical l-dsc编码器计算误差累积向量如下：

52、

53、s21、所有api发送的子向量到服务器cs。所有api设置压缩比为σ＝1并通过步骤s11-s12得到压缩比为σ＝1时的矢量记作并发送其子向量到服务器cs。

54、s22、服务器cs根据接收到的的子向量和的子向量，估计并更新l-dsc参数矩阵∑v和ap间相关矩阵∑s。

55、s23、服务器cs优化l-dsc聚合矢量c(t)。固定住设备发端波束赋形矢量收端波束赋形矢量优化如下问题：

56、

57、其中是半正定的。该问题是一个二阶凸问题，提供解析解(简化上标t)如下

58、

59、其中是一个对角矩阵，的第i行j列的元素被定义为并且

60、s24、所有api发送到服务器cs，通过fronthaul链路。

61、s25、在接收到所有的后，服务器cs调用提出的practical l-dsc解码器。如图3所示，该解码器有k层，其中每一层由na个神经网络和一个辅助信息模块组成。cs初始化第一层的辅助信息向量为初始化计数标量k＝1。

62、s26、服务器cs调用practical l-dsc解码器的第k层的神经网络计算得到

63、

64、其中是来自第k-1层的辅助信息模块。第k层通过收集来生成辅助信息向量，如下所示：

65、

66、cs使计数标量k自增1。

67、s27、如果k≤k，则转至s26。

68、s28、服务器cs构建估计量为

69、

70、s29、服务器cs构建全局更新为

71、

72、s30、服务器cs更新全局模型参数

73、

74、其中η是学习率。

75、s31、服务器cs将更新后的全局模型θ通过fronthaul链路广播至na个ap。

76、s32、每一个api将接收到的模型参数θ通过mimo信道全局广播给其服务的设备，即时。假设下行fronthaul和下行mimo无线传输是误差可忽略的。

77、s33、若达到通信轮次t＞t则结束，否则转s4。上述流程被图例化为图2。

78、本发明的改进可作如下总结：首先，本发明将cloud-ran和oa-fl的概念结合，且引入了多输入多输出(mimo)技术，从而解决传统oa-fl服务范围有限的问题。为此本发明提出了一个mimo cloud-ran oa-fl(mimocrof)框架，包括三个阶段：边缘聚合、全局聚合和模型更新和广播。其次，为了利用mimocrof下梯度之间的相关性来增强学习性能，本发明提出将全局聚合阶段建模为有损分布源编码(l-dsc)问题，并从速率失真理论的角度出发进一步分析了mimocrof的性能。基于这样的分析，本发明制定了一个通信-学习的联合优化问题以及利用了交替优化(alternating optimization，ao)的求解算法以提高系统性能。最后本发明提出了一个新颖的基于神经网络的编解码器作为l-dsc问题的通信方案。数值结果表明，所提出的实用设计有效地利用了ap之间的相关性，并优于其他基准方案。