一种基于数据增强和步长调整的单步对抗训练方法及系统

本发明涉及人工智能安全，尤其涉及一种基于数据增强和步长调整的单步对抗训练方法及系统。

背景技术：

1、近年来，人工智能技术在许多领域飞速发展，给人们的生活带来了巨大的便利，这种迅速发展的背后离不开深度学习理论和技术的突破。尽管深度学习技术极大地提高了人工智能的性能，但也常常被批评存在脆弱性和不可解释性的问题。特别是在计算机视觉领域，只需向原始图像样本添加精心设计且人眼难以察觉的细微扰动，就能使深度神经网络产生错误分类，这类样本被称为对抗样本。因此，现在许多计算机视觉领域的“安全关键场景”，如自动辅助驾驶和人脸识别等等，面临着对抗攻击和模型不可解释性的严重挑战，在将神经网络部署到现实高风险场景中时，保证其鲁棒性和安全性成为了关注的焦点。

2、对抗训练是目前提升模型鲁棒性的最有效途径，根据迭代次数的不同，可以将对抗训练方法分为单步对抗训练方法和多步对抗训练方法。单步对抗训练只需要进行一次前向传播和反向传播，运算成本较低。但现有对抗训练方法相对简单，训练一定的周期后，会发生灾难性过拟合，使得该方法训练的模型对除了fgsm之外多种对抗攻击不具有鲁棒性。

技术实现思路

1、为了解决上述技术问题，本发明的目标是提供一种基于数据增强和步长调整的单步对抗训练方法及系统，可以防止单步对抗训练陷入灾难性过拟合，能够有效提升深度神经网络的鲁棒性能，提高训练效率。

2、本发明所采用的第一技术方案是：一种基于数据增强和步长调整的单步对抗训练方法，包括以下步骤：

3、获取训练集并对训练集样本进行数据增强，得到噪声样本；

4、构建目标分类模型及模型的损失函数；

5、基于目标分类模型对噪声样本及其对应标签进行fgsm对抗攻击，得到第一对抗样本；

6、对第一对抗样本的对抗扰动步长进行自适应调整，得到最终对抗样本；

7、基于目标分类模型对最终对抗样本进行对抗训练，直至模型的损失函数收敛，得到优化的目标分类模型。

8、进一步，所述获取训练集并对训练集样本进行数据增强，得到噪声样本这一步骤，其具体包括：

9、获取训练集并对训练集样本进行随机初始化，得到初始化样本；

10、计算训练集样本与初始化样本的梯度信息并进行归一化处理；

11、基于扰动预算对归一化处理后的梯度信息进行乘积运算，得到样本中每个像素需要的噪声强度；

12、对样本中每个像素添加每个像素需要的噪声强度，并进行裁剪，得到噪声样本。

13、通过该优选步骤，基于训练集样本在神经网络中的梯度信息对该样本不同像素添加不同强度的高斯噪声，考虑了神经网络对该样本不同像素的敏感性，对梯度信息较大的像素上添加较强的噪声，对梯度信息较小的像素上添加较弱的噪声，可以降低网络模型对于输入图像像素变化的敏感性，同时提高模型对干净样本的分类精度。

14、进一步，所述通过目标分类模型对噪声样本及其对应标签进行fgsm对抗攻击，得到第一对抗样本这一步骤，其具体包括：

15、将噪声样本输入目标分类模型，根据损失函数反向传播求解噪声样本的梯度；

16、使用符号函数求得噪声样本的梯度方向，并与预设的攻击步长相乘，生成对抗扰动；

17、对噪声样本和对抗扰动进行和运算，得到第一对抗样本。

18、通过该优选步骤，使用预设的攻击步长e来控制对抗扰动扰动的大小，使得生成对抗样本的对抗扰动值的l∞范数被限制在ε领域之内，以保证对抗扰动足够细微且人眼难以察觉，l∞范数指的是向量中各个元素绝对值中的最大值。

19、进一步，所述对第一对抗样本的对抗扰动步长进行自适应调整，得到最终对抗样本这一步骤，其具体包括：

20、将第一对抗样本的对抗扰动分成若干份对抗扰动；

21、将若干份对抗扰动分别添加到噪声样本中，得到第二对抗样本；

22、按照添加对抗扰动由小到大的顺序对第二对抗样本进行对抗攻击，得到目标分类模型输出的预测结果；

23、基于目标分类模型输出的预测结果选取能够成功攻击模型的最小扰动样本作为最终对抗样本。

24、通过该优选步骤，对fgsm对抗攻击所产生的对抗扰动大小进行适当的调整，选取对抗扰动更小，但足以成功攻击模型的对抗样本用于模型对抗训练，使得对抗样本更多样化，有效的避免单步对抗训练中的灾难性过拟合现象。

25、进一步，所述噪声样本，其表达式如下：

26、

27、

28、其中，表示噪声样本，ε表示扰动预算，ki表示需要的噪声强度，n(0，ki2)表示以0为中心ki2为平方差的高斯噪声，clip(0，1)表示进行裁剪，范围限制在(0，1)中。

29、进一步，所述对抗扰动，其表达式如下：

30、

31、

32、其中，σ表示对抗扰动，ε表示预设的攻击步长，sign()表示符号函数，用于获取梯度的方向，表示根据损失函数反向传播求得的梯度，l()表示损失函数，η表示数据初始化。

33、进一步，所述第二对抗样本，其表达式如下：

34、

35、

36、……

37、

38、其中，b表示常数，σ表示对抗扰动，表示噪声样本，表示第二对抗样本。

39、本发明所采用的第二技术方案是：一种基于数据增强和步长调整的单步对抗训练系统，包括：

40、数据增强模块，用于获取训练集并对训练集样本进行数据增强，得到噪声样本；

41、模型构建模块，用于构建目标分类模型及模型的损失函数；

42、fgsm对抗攻击模块，基于目标分类模型对噪声样本及其对应标签进行fgsm对抗攻击，得到第一对抗样本；

43、步长调整模块，用于对第一对抗样本的对抗扰动步长进行自适应调整，得到最终对抗样本；

44、对抗训练模块，基于目标分类模型对最终对抗样本进行对抗训练，直至模型损失函数收敛，得到目标分类模型。

45、本发明方法及系统的有益效果是：本发明通过使用训练样本在模型中的梯度信息来判断模型对其每个像素的敏感度，根据敏感度进行自适应的数据增强，使得网络模型对图像的像素变化不敏感，增强模型的鲁棒性；并根据模型训练情况进行扰动步长的自适应调整，可以生成更适用于模型对抗训练的对抗样本，从而使得模型更加鲁棒；最终实现避免单步对抗训练方法中的灾难性过拟合问题，从而使模型可以抵抗多种对抗攻击，并且能够大幅缩短对抗训练所需的时间。

技术特征：

1.一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述获取训练集并对训练集样本进行数据增强，得到噪声样本这一步骤，其具体包括：

3.根据权利要求1所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述通过目标分类模型对噪声样本及其对应标签进行fgsm对抗攻击，得到第一对抗样本这一步骤，其具体包括：

4.根据权利要求1所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述对第一对抗样本的对抗扰动步长进行自适应调整，得到最终对抗样本这一步骤，其具体包括：

5.根据权利要求2所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述噪声样本，其表达式如下：

6.根据权利要求3所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述对抗扰动，其表达式如下：

7.根据权利要求3所述一种基于数据增强和步长调整的单步对抗训练方法，其特征在于，所述第二对抗样本，其表达式如下：

8.一种基于数据增强和步长调整的单步对抗训练系统，其特征在于，包括：

技术总结
本发明公开了一种基于数据增强和步长调整的单步对抗训练方法及系统，该方法包括：利获取训练集并对训练集样本进行数据增强，得到噪声样本；构建目标分类模型及模型的损失函数；基于目标分类模型对噪声样本及其对应标签进行FGSM对抗攻击，得到第一对抗样本；对第一对抗样本的对抗扰动步长进行自适应调整，得到最终对抗样本并对最终对抗样本进行对抗训练，直至模型的损失函数收敛，得到优化的目标分类模型。该系统包括：数据增强模块、模型构建模块、FGSM对抗攻击模块、步长调整模块和对抗训练模块。通过使用本发明，防止单步对抗训练陷入灾难性过拟合，能够有效提升深度神经网络的鲁棒性能，提高训练效率。本发明可广泛应用于人工智能安全技术领域。

技术研发人员：柳毅,吴锦富,罗玉,孙宇平,李斯
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/1/15