基于自适应的差分隐私的高效物联网联邦学习方法和系统与流程

本发明提出了基于自适应的差分隐私的高效物联网联邦学习方法和系统，属于联邦学习。

背景技术：

1、物联网传感器和通信技术的发展，物联网设备会产生大量的数据，为了在用户数据隐私被保护的情况下，充分利用数据价值，当前常用的方法是使用联邦学习加上一些常用的加密方法进行学习训练模型。一般的联邦学习方法仍然存在隐私泄露的风险，攻击者可以通过模型的梯度反推出用户数据信息。而联邦学习加上一般的加密算法，通常会造成通信压力增加，同时如果加密程度不好控制，如果太低失去加密意义，太高训练难以收敛。

技术实现思路

1、本发明提供了基于自适应的差分隐私的高效物联网联邦学习方法和系统，用以解决现有技术加密程度无法很好进行控制的问题，所采取的技术方案如下：

2、基于自适应的差分隐私的高效物联网联邦学习方法，所述基于自适应的差分隐私的高效物联网联邦学习方法包括：

3、提取客户端的本地模型，并实时监测所述本地模型对应的迭代过程；

4、在所述本地模型对应的迭代过程中收集模型的参数信息，并通过参数信息构建量化模型参数重要性的机制；

5、根据量化模型参数重要性的机制在模型迭代的参数中添加噪声扰动。

6、进一步地，提取客户端的本地模型，并实时监测所述本地模型对应的迭代过程，包括：

7、提取客户端的本地模型以及本地模型训练的预设的迭代循环次数；

8、根据所述本地模型训练的预设的迭代循环次数设置迭代缓冲次数；

9、实时监测本地模型是否进行训练迭代启动；

10、当所述训练迭代启动时，调取迭代缓冲次数；

11、实时监测本地模型的迭代情况，当本地模型从迭代启动之后经历的迭代次数达到迭代缓冲次数时，对迭代次数达到迭代缓冲次数之后的本地模型的迭代过程进行参数信息的实时监测和采集。

12、进一步地，所述迭代缓冲次数通过如下公式获取：

13、n＝int[(1+ε)×n0/10]

14、其中，n表示迭代缓冲次数；ε表示局部差分隐私中用于衡量随机噪声的尺度的隐私参数；n0表示预设完成模型训练的迭代总次数。

15、进一步地，在所述本地模型对应的迭代过程中收集模型的参数信息，包括：

16、在所述本地模型对应的迭代过程中收集模型迭代的梯度更新大小；

17、在所述本地模型对应的迭代过程中收集模型迭代的权重参数大小；

18、在所述本地模型对应的迭代过程中收集模型迭代的局部更新和全局更新趋势的关系；

19、通过模型迭代的梯度更新大小、权重参数大小以及局部更新和全局更新趋势的关系构建量化模型参数重要性的机制。

20、进一步地，量化模型参数重要性的机制包括噪声注入、局部差分隐私和全局差分隐私；所述量化模型参数重要性的机制如下：

21、噪声注入为：

22、对于每个客户端在计算梯度时，向每个梯度添加一个噪声采纳数，以防止恶意攻击者从单一梯度中推断敏感信息；

23、局部差分隐私为：

24、设置隐私参数，其中，所述隐私参数用于控制差分隐私的隐私级别；

25、在每次迭代后，通过隐私参数设置随机噪声；

26、将所述随机噪声添加至本地模型的下一次跌点训练中；

27、全局差分隐私：

28、将带有噪声的模型参数传输到中央服务器；

29、利用差分隐私的聚合算法获取全局差分对应的随机噪声，将所述全局差分对应的随机噪声添加至本地模型的下一次跌点训练中。

30、基于自适应的差分隐私的高效物联网联邦学习系统，所述基于自适应的差分隐私的高效物联网联邦学习系统包括：

31、本地模型提取模块，用于提取客户端的本地模型，并实时监测所述本地模型对应的迭代过程；

32、参数信息收集模块，用于在所述本地模型对应的迭代过程中收集模型的参数信息，并通过参数信息构建量化模型参数重要性的机制；

33、扰动信息添加模块，用于根据量化模型参数重要性的机制在模型迭代的参数中添加噪声扰动。

34、进一步地，所述本地模型提取模块包括：

35、迭代循环次数提取模块，用于提取客户端的本地模型以及本地模型训练的预设的迭代循环次数；

36、迭代缓冲次数设置模块，用于根据所述本地模型训练的预设的迭代循环次数设置迭代缓冲次数；

37、实时监测模块，用于实时监测本地模型是否进行训练迭代启动；

38、次数调取模块，用于当所述训练迭代启动时，调取迭代缓冲次数；

39、迭代情况监测模块，用于实时监测本地模型的迭代情况，当本地模型从迭代启动之后经历的迭代次数达到迭代缓冲次数时，对迭代次数达到迭代缓冲次数之后的本地模型的迭代过程进行参数信息的实时监测和采集。

40、进一步地，所述迭代缓冲次数通过如下公式获取：

41、n＝int[(1+ε)×n0/10]

42、其中，n表示迭代缓冲次数；ε表示局部差分隐私中用于衡量随机噪声的尺度的隐私参数；n0表示预设完成模型训练的迭代总次数。

43、进一步地，所述参数信息收集模块包括：

44、梯度更新大小信息获取模块，用于在所述本地模型对应的迭代过程中收集模型迭代的梯度更新大小；

45、权重参数大小信息获取模块，用于在所述本地模型对应的迭代过程中收集模型迭代的权重参数大小；

46、更新关系获取模块，用于在所述本地模型对应的迭代过程中收集模型迭代的局部更新和全局更新趋势的关系；

47、机制构建模块，用于通过模型迭代的梯度更新大小、权重参数大小以及局部更新和全局更新趋势的关系构建量化模型参数重要性的机制。

48、进一步地，量化模型参数重要性的机制包括噪声注入、局部差分隐私和全局差分隐私；所述量化模型参数重要性的机制如下：

49、噪声注入为：

50、对于每个客户端在计算梯度时，向每个梯度添加一个噪声采纳数，以防止恶意攻击者从单一梯度中推断敏感信息；

51、局部差分隐私为：

52、设置隐私参数，其中，所述隐私参数用于控制差分隐私的隐私级别；

53、在每次迭代后，通过隐私参数设置随机噪声；

54、将所述随机噪声添加至本地模型的下一次跌点训练中；

55、全局差分隐私：

56、将带有噪声的模型参数传输到中央服务器；

57、利用差分隐私的聚合算法获取全局差分对应的随机噪声，将所述全局差分对应的随机噪声添加至本地模型的下一次跌点训练中。

58、本发明有益效果：

59、本发明提出的基于自适应的差分隐私的高效物联网联邦学习方法和系统客户端在本地模型训练的迭代过程中，首先，通过综合分析梯度更新大小、权重参数大小以及局部更新和全局更新趋势的关系，设计一种量化模型参数重要性的机制；然后，根据各模型参数重要性大小，差异化地为模型参数添加噪声扰动。在保护隐私性的前提下，提高了训练模型的可用性，使得物联网联邦学习训练更加容易。