一种基于差分隐私和联邦学习的模型参数优化方法和系统与流程

本发明涉及智能驾驶领域，尤其涉及一种基于差分隐私和联邦学习的模型参数优化方法和系统。

背景技术：

1、传统众包制图已经应用到众多领域，随着软硬件技术不断发展，任意环节发展变化都将呈现多元化的地图表现形式，因此不同用户域需要通过各种采集设备和数据传感器系统收集跨域、多模态(包括图像、轨迹)地图数据。传统众包制图着重在任务分配、激励机制和开销模型等策略优化上，难以处理跨域多模态地图数据，进而无法学习和抽取足够地理信息用于构建高精地图。此外，众包制图过程中用户数据的直接传递，也带来数据合规性风险。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种基于差分隐私和联邦学习的模型参数优化方法和系统，通过差分隐私保护和联邦框架，从车端到云端的交互内容是各种参数的相互传递，而非原始轨迹数据或图像数据，极大的保证了用户隐私和数据安全。

2、本发明解决上述技术问题，第一方面，本发明实施例提供技术方案如下：一种基于差分隐私和联邦学习的模型参数优化方法，所述方法包括：

3、步骤s1、获取各车端采集的多模态地图数据，并基于所述多模态地图数据对预设的全局表征学习模型进行模型训练，提取训练后的所述全局表征学习模型的本地参数更新量；基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征，得到差分隐私参数，并将所述差分隐私参数上传至云端；

4、步骤s2、云端对所述查分隐私参数进行聚合，以重构全局表征学习模型的各个模型参数的参数更新量；基于重构的各个模型参数的参数更新量进行全局表征学习模型更新，基于更新后的所述全局表征学习模型作为下一模型训练的全局表征学习模型发送至个车端。

5、作为优选的，所述多模态地图数据包括图像数据和轨迹数据，所述全局表征学习模型包括图像表征模型和轨迹征模型。

6、作为优选的，所述步骤s1中，基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征，得到差分隐私参数，具体包括：

7、提取所述本地参数更新量的表征向量，对所述表征向量进行剪裁，对剪裁后的表征向量添加符合松弛差分隐私的高斯噪声表征。

8、作为优选的，所述松弛差分隐私为(∈，δ)差分隐私，其中，ε表示隐私预算，δ表示松弛项；对于算法输出的值域为若在与上任意分割结果如果满足下式：

9、

10、则满足(∈，δ)差分隐私；其中，表示本地参数更新量；与相差一个数据点；为表征模型；多模态地图数据xi为第i个车端的地图数据。

11、作为优选的，所述高斯噪声表征为：

12、

13、

14、上式中，n(0，σ2)表示均值为0，方差为σ2的高斯分布；hn为本地参数更新量的表征向量；c(hn)表示剪裁后的表征向量，u为裁剪阈值。

15、作为优选的，所述全局表征学习模型为：

16、

17、

18、上式中，xi为第i个车端的采样原始数据；di表示第i个车端存储的数据库；[n]表示有多个车端用户；由于不同参与终端之间可能存在异构性，所存储的数据库也不同，从不同设备中提取的样本具有不同的期望值。

19、作为优选的，基于重构的各个模型参数的参数更新量进行全局表征学习模型更新，具体包括：

20、接收任一车端发回的本地训练的全局表征学习模型，通过加权平均更新全局表征学习模型：

21、mt＝(1-α)m(t-1)+mnew

22、其中，t表示全局训练周期中的第t个循环，α∈(0，1)为混合超参数，mnew为本地训练的全局表征学习模型的本地参数更新量；

23、基于联邦平均算法更新全局表征学习模型。

24、第二方面，本发明实施例提供技术方案如下：一种基于差分隐私和联邦学习的模型参数优化系统，包括：

25、车端差分隐私保护模块，获取各车端采集的多模态地图数据，并基于所述多模态地图数据对预设的全局表征学习模型进行模型训练，提取训练后的所述全局表征学习模型的本地参数更新量；基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征，得到差分隐私参数，并将所述差分隐私参数上传至云端；

26、云端联邦学习模块，云端对所述查分隐私参数进行聚合，以重构全局表征学习模型的各个模型参数的参数更新量；基于重构的各个模型参数的参数更新量进行全局表征学习模型更新，基于更新后的所述全局表征学习模型作为下一模型训练的全局表征学习模型发送至个车端。

27、第三方面，本发明实施例提供技术方案如下：一种电子设备，包括：

28、存储器，用于存储计算机软件程序；

29、处理器，用于读取并执行所述计算机软件程序，进而实现第一方面实施例所述的基于差分隐私和联邦学习的模型参数优化方法。

30、第四方面，本发明实施例提供技术方案如下：一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现如第一方面实施例所述的基于差分隐私和联邦学习的模型参数优化方法的计算机软件程序。

31、本发明的有益效果是：采用传参方式替代传递原始数据方式，保障数据安全：通过差分隐私保护和联邦框架，从车端到云端的交互内容是各种参数的相互传递，而非原始轨迹数据或图像数据，极大的保证了用户隐私和数据安全；云端参数构建可个性化适配多个车端设备：通过参数交换的方式，联邦学习框架在云端实现多个终端设备的全局参数优化，参数反馈至车端后，不同车辆终端实现差异化的模型构建和多模态数据处理；对于众包高精度制作中的不同任务需求，能够同时适用于图像、轨迹两种不同模态数据的处理。

技术特征：

1.一种基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述多模态地图数据包括图像数据和轨迹数据，所述全局表征学习模型包括图像表征模型和轨迹表征模型。

3.根据权利要求2所述的基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述步骤s1中，基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征，得到差分隐私参数，具体包括：

4.根据权利要求3所述的基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述松弛差分隐私为(∈,δ)差分隐私，其中，ε表示隐私预算，δ表示松弛项；对于算法输出的值域为若在与上任意分割结果如果满足下式：

5.根据权利要求4所述的基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述高斯噪声表征为：

6.根据权利要求4所述的基于差分隐私和联邦学习的模型参数优化方法，其特征在于，所述全局表征学习模型为：

7.根据权利要求6所述的基于差分隐私和联邦学习的模型参数优化系统，其特征在于，基于重构的各个模型参数的参数更新量进行全局表征学习模型更新，具体包括：

8.一种基于差分隐私和联邦学习的模型参数优化系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有用于实现权利要求1-7任一项所述的基于差分隐私和联邦学习的模型参数优化方法的计算机软件程序。

技术总结
本发明涉及一种基于差分隐私和联邦学习的模型参数优化方法和系统，采用传参方式替代传递原始数据方式，保障数据安全：通过差分隐私保护和联邦框架，从车端到云端的交互内容是各种参数的相互传递，而非原始轨迹数据或图像数据，极大的保证了用户隐私和数据安全；云端参数构建可个性化适配多个车端设备：通过参数交换的方式，联邦学习框架在云端实现多个终端设备的全局参数优化，参数反馈至车端后，不同车辆终端实现差异化的模型构建和多模态数据处理；对于众包高精度制作中的不同任务需求，能够同时适用于图像、轨迹两种不同模态数据的处理。

技术研发人员：潘银,秦峰,尹玉成,张志军
受保护的技术使用者：武汉中海庭数据技术有限公司
技术研发日：
技术公布日：2024/1/13