基于联邦AI计算的物联网模型训练方法与流程

本发明属于数据处理，尤其涉及基于联邦ai计算的物联网模型训练方法。

背景技术：

1、随着物联网(iot)技术的快速发展，各种智能设备，如智能家居设备、门锁传感器和家居监控装置，被广泛应用，并生成大量的数据，这些数据对于训练机器学习模型和提高设备的智能化水平具有巨大的价值。

2、物联网设备产生的数据具有其特殊性，各用户端的数据来源于物联网设备通过传感器在多种环境中收集数据，智能家居设备、门锁传感器、家居监控装置等，这些数据是由众多的传感器在多种环境中收集而来，这些设备每秒生成大量数据，这些数据可能具有多种属性，且大多数数据是未标注的，而未标注的数据无法用于参数模型的训练。

技术实现思路

1、本技术针对上述技术问题提出基于联邦ai计算的物联网模型训练方法及装置，具体技术方案如下：

2、本发明提出一种基于联邦ai计算的物联网模型训练方法，其中，采用联邦学习分布式框架进行模型的训练方法，由中心服务器和若干用户组成，可以实现物联网设备安全防护任务中每个参与训练的用户在不用共享数据的情况下，训练在全局数据集上的模型。

3、基于联邦ai计算的物联网模型训练方法，包括如下步骤：

4、设置中央服务器及与中央服务器通信连接的分布式用户端；

5、用户端利用数据训练参数模型后发送至中央服务器；

6、中央服务器判断迭代是否结束，若是则执行结束，否则执行聚合参数模型，并于执行聚合参数模型后判断损失函数是否收敛，若是则执行结束；

7、中央服务器执行聚合参数模型后同时将执行聚合参数模型后获得的全局模型发送至用户端，用户端接收全局模型后更新参数模型；

8、用户端训练参数模型所用的数据通过下式进行标注：

9、

10、上式中，是中央服务器为某数据样本确定的标签，yi是第i个设备为该样本伪标记的标签，wi是第i个设备的权重，n是参与伪标记的设备数量，是指示函数。

11、优选的，完成标注的数据通过如下方法进行处理：

12、确定数据向量x＝[x1,x2,...,xn]，n为数据属性的个数；

13、确定阈值向量t＝[t1,t2,...,tn]；

14、采用下式进行数据清洗

15、

16、上式中，x'i为清洗后的数据，tmin,i和tmax,i分别为属性i的最小和最大阈值；采用下式对数据清洗后的缺失值进行填充

17、xj＝f(x1,x2,...,xj-1,xj+1,...,xn)；

18、采用下式定义权重函数

19、

20、上式中，h是带宽参数，j是数据点x'i的一个缺失属性；

21、采用下式进行数据标准化

22、

23、上式中，μi和σi分别是属性i的均值和标准差。

24、优选的，通过如下方法对数据集进行扩充：

25、对真实的数据样本xa进行量子编码

26、q(xa)＝α|0>+β|1>；

27、上式中，α和β是复数，且满足|α|2+|β|2＝1；

28、确定生成对抗网络的目标函数为

29、

30、上式中，g为生成对抗网络的生成器，d为生成对抗网络的判别器，pdata(xa)是真实数据的分布，pz(z)是噪声的分布，q是量子编码函数；

31、确定生成对抗网络的损失函数为

32、

33、上式中，q(xa)是真实数据的量子编码，||·||2表示l2范数，λ是预设的超参数；

34、重复执行步骤(1)～(4)，直至收敛：

35、(1)训练判别器

36、使用真实的量子编码样本训练判别器，并将其标记为1；使用生成的量子编码样本训练判别器，并将其标记为0；更新判别器的权重以最大化以下目标函数：

37、

38、(2)训练生成器

39、使用随机噪声生成量子编码样本，以欺骗判别器为目标，更新生成器的权重，使得生成的样本被判别器判断为真实样本的概率增大，使用负反馈调整生成器的权重，使得生成的样本与真实数据更为接近，更新生成器的权重以最小化以下目标函数：

40、

41、(3)进行负反馈调整

42、根据基于量子编码的生成对抗网络算法的总体目标函数进行训练，即

43、

44、上式中，λ是预设的负反馈的权重；

45、(4)生成新样本

46、通过量子解码将生成的量子编码样本转化为物联网数据格式。

47、优选的，用户端利用数据训练参数模型的过程中，采用如下方法进行特征提取：

48、定义特征提取模型包括输入层、隐藏层和输出层；

49、定义wij为第i个神经元和第j个神经元之间的权重，bi为第i个神经元的偏置；

50、重复执行步骤(2)～(6)，直至达到预设的迭代次数或满足停止条件：

51、(1)初始化权重和偏置

52、wij＝random(-∈,∈)；

53、bi＝random(-∈,∈)；

54、上式中，∈是一个小的正数；

55、(2)定义能量函数，所述能量函数表示神经网络的输出与期望输出之间的误差

56、

57、上式中，n是数据点的数量，yi和分别表示期望的输出和网络的实际输出；

58、(3)局部探索相变模拟，定义变量“温度”参数t，在每次调整时，权重和偏置的更新公式为：

59、

60、

61、上式中，δwij和δbi是根据能量函数e(w,b)计算出的权重和偏置的调整量，random()为随机取值函数，wij为更新前的权重；为更新后的权重，bi为更新前的偏置；为更新后的偏置，aij为权重活跃度，ai为偏置活跃度；

62、δwij和δbi的计算方式为：

63、

64、

65、上式中，α是预设的学习率参数；

66、(4)全局探索相变模拟，参数更新如下：

67、

68、

69、上式中，β是因子，γ控制随机扰动的范围，为更新前的权重；为更新后的权重，为更新前的偏置；为更新后的偏置，aij为权重活跃度，ai为偏置活跃度；

70、(5)引入一个衰减机制，定义如下：

71、t＝t×ρ；

72、γ＝γ×ρ；

73、上式中，ρ是衰减因子，随着迭代次数的增加逐渐减小；

74、(6)通过下式调整活跃度

75、

76、

77、上式中，ζ为预设的常数，aij为更新前的权重活跃度；为更新后的权重活跃度，ai为更新前的偏置活跃度；为更新后的偏置活跃度；

78、优选的，将特征提取后的数据输入到分类器中进行数据分类，数据分类的方法为：

79、定义特征提取后物联网数据集为xb＝{xb1,xb2,...,xbi,...,xbn}，每个数据样本xbi有对应的分类标签yi；

80、利用黎曼流形学习，获得一个嵌入函数f，它将原始数据点xbi映射到流形空间中的点f(xbi)：

81、f:xbi→f(xbi)；

82、在hopfield网络中，定义能量函数e为：

83、

84、上式中，si是第i个神经元的状态，wij是权重矩阵中的元素，表示第i个和第j个神经元之间的连接权重，θi是第i个神经元的阈值；

85、使用黎曼流形学习方法从物联网数据集中提取流形结构m；

86、基于流形结构m和原始数据样本xb计算一个新的距离矩阵d，表示为：

87、dij＝d(xbi,xbj；m)；

88、上式中，d是基于流形结构m的黎曼距离，在黎曼流形中，两点之间的距离d(f(xbi),f(xbj))用以下公式表示：

89、d2(f(xbi),f(xbj))＝||logm(<f(xbi)-1f(xbj)>)||2；

90、上式中，<·>表示在流形上的内积，logm表示在流形的某一点m处的对数映射；

91、用距离矩阵d来调整hopfield网络的权重矩阵w，表示为：

92、

93、上式中，σ是一个高斯核的宽度参数；

94、定义网络的迭代更新规则为：

95、

96、上式中，sgn()是符号函数；

97、通过迭代更新，网络会逐渐收敛，直到达到能量函数的最小值。

98、优选的，中央服务器与用户端通信过程中采用如下方法加密：

99、定义通信过程中新的区块的哈希值为：

100、hcurrent＝hash(t+hprev)；

101、上式中，hprev为区块链上前一个区块的哈希值，t为交易信息；

102、使用密钥k对通信数据m进行加密，表示为：

103、mencrypted＝encrypt(m,k)；

104、将加密后的通信数据m和相关的交易信息t打包到一个新的区块中。

105、优选的，使用密钥k对参数模型m进行加密的方法为：

106、定义参数模型m为一个向量，其元素是从模型的权重中提取的浮点数使用生成的密钥k进行加密，每个浮点数都可以表示为二进制形式，对于模型中的每个二进制位使用生成的密钥k进行加密：

107、

108、上式中，是按位异或操作；

109、为每一个参数模型m的权重wi创建其量子叠加表示：

110、

111、上式中，将wi归一化到[0,1]区间，|0>和|1>是量子比特的基态；

112、应用叠加状态进行扰动，使用一个量子门(如hadamard门)来扰动该权重：

113、

114、提取叠加状态的权重，通过多次测量，获得wi的近似值，表示为：

115、

116、将模型放入区块链，模型mencrypted和其它相关信息打包为一个新的区块b，区块链的结构中，每一个区块b包括：上一个区块的哈希值hprev、交易数据t、当前区块的哈希值hcurrent，其中t＝mencrypted，hcurrent＝hash(mencrypted+hprev)结合权重与其他信息，表示为：

117、hcurrent＝hash(mencrypted+hprev+wi+其他信息)。

118、优选的，解密方法为：

119、通过qkd协议获取与加密相同的量子密钥k；

120、使用获取的量子密钥k进行解密：

121、

122、上式中，是按位异或操作。

123、本发明的有益效果：

124、(1)隐私保护：通过联邦学习和加密技术，确保用户数据的隐私；

125、(2)高效的数据标注：利用分布式标注策略，实现了大规模、高效且准确的数据标注；

126、(3)数据质量提升：通过数据预处理、数据清洗以及基于量子编码的生成对抗网络，确保数据的完整性、准确性和多样性；

127、(4)模型优化：使用基于相态转换的神经网络优化方法，提高了模型的训练效果；

128、(5)高精度分类：结合黎曼流形学习的hopfield网络分类算法，对物联网数据进行精确分类；

129、(6)数据和模型的安全性：采用基于区块链和量子加密的技术，确保了数据和模型的完整性、安全性和防篡改能力。