对抗样本生成方法、装置、计算机设备和存储介质与流程

本申请涉及人工智能，特别是涉及一种对抗样本生成方法、装置、计算机设备和存储介质。

背景技术：

1、随着人工智能的大规模应用，人工智能的安全问题逐渐成为限制人工智能应用规模的瓶颈，而人工智能安全中的对抗样本生成问题，是保障人工智能安全中的关键问题。因此，充分并高效的实现对抗样本的生成是实现人工智能安全的前提与要义。

2、为了更高效地生成神经网络中的对抗样本，需要通过一些算法对原始样本进行修改。现有技术中，基于进化算法对原始样本进行基因优化的方法，是一种有效的对抗样本生成算法，通过不断的基因优化、选择和交叉配对，生成具有迷惑性的对抗样本。然而，这种生成对抗样本的方式需要进行多次迭代优化，并对参数进行配置和调整，存在计算成本较高、稳定性和可靠性较低等问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够高效、可靠的生成对抗样本的对抗样本生成方法、装置、计算机设备和存储介质。

2、第一方面，本申请提供了一种对抗样本生成方法，包括：

3、对目标样本添加扰动，得到目标样本对应的扰动样本；

4、基于样本生成模型，根据扰动样本，生成对抗样本；其中，样本生成模型是目标客户端和其他客户端，对原始模型进行联邦学习得到。

5、在其中一个实施例中，样本生成模型通过如下过程得到：

6、根据目标样本和原始模型，确定原始模型的第一初始模型梯度，并将第一初始模型梯度发送至中央服务器，以指示中央服务器对第一初始模型梯度和第二初始模型梯度进行聚合得到目标模型梯度，并将目标模型梯度发送至目标客户端和其他客户端；其中，第二初始模型梯度是其他客户端根据其他样本和原始模型确定的；

7、获取中央服务器发送的目标模型梯度，并根据目标模型梯度，对原始模型进行更新，得到样本生成模型。

8、在其中一个实施例中，根据目标原始样本和原始模型，确定原始模型的第一初始模型梯度之前，该方法还包括：

9、向中央服务器发送第一样本生成需求，以指示中央服务器根据第一样本生成需求和其他客户端发送的第二样本生成需求，确定原始模型，并将原始模型发送至目标客户端和其他客户端；

10、获取中央服务器发送的原始模型。

11、在其中一个实施例中，对目标样本添加扰动，得到目标样本对应的扰动样本，包括：

12、根据目标样本的类型，确定目标算法；

13、采用目标算法，对目标样本添加扰动，得到目标样本对应的扰动样本。

14、在其中一个实施例中，基于样本生成模型，根据扰动样本，生成对抗样本，包括：

15、将扰动样本输入至样本生成模型中，得到扰动样本的目标标签；

16、确定目标标签与原始标签的一致性比对结果；其中，原始标签为扰动样本对应的目标样本的标签；

17、根据一致性比对结果和扰动样本，确定对抗样本。

18、在其中一个实施例中，根据一致性比对结果和扰动样本，确定对抗样本，包括：

19、若一致性比对结果为不一致，则将扰动样本作为对抗样本；

20、若一致性比对结果为一致，则对扰动样本重新添加扰动，并根据重新添加扰动的扰动样本，生成对抗样本。

21、在其中一个实施例中，若目标样本为图像，则该方法包括：

22、对原始样本进行灰度化、几何变换和像素缩放处理，得到目标样本。

23、第二方面，本申请还提供了一种对抗样本生成装置，包括：

24、样本扰动模块，用于对目标样本添加扰动，得到目标样本对应的扰动样本；

25、样本生成模块，用于基于样本生成模型，根据扰动样本，生成对抗样本；其中，样本生成模型是目标客户端和其他客户端，对原始模型进行联邦学习得到。

26、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

27、对目标样本添加扰动，得到目标样本对应的扰动样本；

28、基于样本生成模型，根据扰动样本，生成对抗样本；其中，样本生成模型是目标客户端和其他客户端，对原始模型进行联邦学习得到。

29、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

30、对目标样本添加扰动，得到目标样本对应的扰动样本；

31、基于样本生成模型，根据扰动样本，生成对抗样本；其中，样本生成模型是目标客户端和其他客户端，对原始模型进行联邦学习得到。

32、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

33、对目标样本添加扰动，得到目标样本对应的扰动样本；

34、基于样本生成模型，根据扰动样本，生成对抗样本；其中，样本生成模型是目标客户端和其他客户端，对原始模型进行联邦学习得到。

35、相较于现有技术中通过一些算法对原始样本进行修改，得到对抗样本的方法而言，上述对抗样本生成方法、装置、计算机设备和存储介质，通过对目标样本添加扰动，能够高效的得到目标样本对应的扰动样本；进而，引入由目标客户端和其他客户端对原始模型进行联邦学习得到的样本生成模型，基于该样本生成模型，根据扰动样本，能够实现更加高效、可靠的生成对抗样本的效果。

技术特征：

1.一种对抗样本生成方法，其特征在于，由目标客户端执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述样本生成模型通过如下过程得到：

3.根据权利要求2所述的方法，其特征在于，根据目标原始样本和原始模型，确定所述原始模型的第一初始模型梯度之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述对目标样本添加扰动，得到所述目标样本对应的扰动样本，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于样本生成模型，根据所述扰动样本，生成对抗样本，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述一致性比对结果和所述扰动样本，确定对抗样本，包括：

7.根据权利要求5所述的方法，其特征在于，若所述目标样本为图像，则所述方法包括：

8.一种对抗样本生成装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种对抗样本生成方法、装置、计算机设备和存储介质。所述方法包括：对目标样本添加扰动，得到所述目标样本对应的扰动样本；基于样本生成模型，根据所述扰动样本，生成对抗样本；其中，所述样本生成模型是所述目标客户端和其他客户端，对原始模型进行联邦学习得到。采用本方法能够高效、可靠的生成对抗样本。

技术研发人员：李盼盼,云雷,沈鹏飞,马燕娇
受保护的技术使用者：中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室））
技术研发日：
技术公布日：2024/2/6