一种基于博弈交互的对抗样本检测方法及系统与流程

1.一种基于博弈交互的对抗样本检测方法及系统，用于对抗样本检测方法，属于对抗样本识别技术领域。


背景技术：

2.基于深度神经网络的深度学习模型在多种应用场景得到了越来越广泛的使用，与此同时深度模型的自身安全性风险也引发了持续关注。深度学习模型受到的一种主要威胁是对抗样本攻击，即攻击者通过对输入样本进行微小的修改，使得修改后的样本与原样本在人类视觉上无法察觉差异，却能使深度学习模型以较高的概率输出错误的结果。因此提高深度学习模型对对抗样本的鲁棒性是进一步扩大深度学习模型应用范围的保障。现有方法通常采用对抗训练的方式提高深度学习模型对对抗样本的鲁棒性，然而这种方法通常对深度学习模型在正常样本的性能上有较大的影响，同时不能检测到攻击的发生，不利于在实际应用环境中检测对抗样本攻击并预警。
3.综上所述，采用现有的对抗训练进行对抗样本检测存在如下技术问题：
4.1.采用对抗训练会降低深度学习模型在正常样本数据集上的性能，如针对图片分类模型，性能是指图片分类的准确率，针对图片生成模型，性能是指图片生成的质量；
5.2.采用现有技术不能检测到攻击的发生，不利于在实际应用环境中检测对抗样本攻击并预警。

技术实现要素：

6.针对上述研究的问题，本发明的目的在于提供一种基于博弈交互的对抗样本检测方法及系统，解决现有技术采用对抗训练会降低深度学习模型在正常样本数据集上的性能。
7.为了达到上述目的，本发明采用如下技术方案：
8.一种基于博弈交互的对抗样本检测方法，包括如下步骤：
9.步骤1、将图像或视频在空间域上划分为n个区域；
10.步骤2、对n个区域依次进行编号，得到所有编号组成的集合φ，同时定义θ为集合φ所有子集构成的超集；
11.步骤3、根据超集θ计算超集θ中每个元素对应的沙普利中间值，并基于所有沙普利中间值得到沙普利矩阵；
12.步骤4、基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值，最终得到n-1个组合沙普利值；
13.步骤5、基于n-1个组合沙普利值计算沙普利均值，若沙普利值均值大于给定的边界阈值，则判定图像或视频为对抗样本，否则判断为正常样本。
14.进一步，所述步骤1的具体步骤为：将图像或视频在空间域上按照长和高进行划分，其中，视频的不同帧的相同位置属于同一区域，其中，视频在空间域上划分，视频中所有的视频帧视为一个整体，且和图像一样具有长宽，而在时间域上，则视为一系列视频帧。
15.进一步，所述步骤3的具体步骤为：
16.步骤3.1、初始化向量mask的形状大小与图像或视频相同，且将mask的每个像素点的值置为1；
17.步骤3.2、取超集θ的一个元素，并将元素对应区域的mask的像素点值置为0；
18.步骤3.3、基于给定的图像/视频分类模型c，得到该元素对应的沙普利中间值c(x
·
mask，y)，其中，
·
表示点乘，即对应像素点相乘；
19.步骤3.4、若超集θ中每个元素都计算出了沙普利中间值，则所有沙普利中间值共同组成了一个沙普利矩阵，否则，转到步骤3.2遍历超集θ的下一个元素进行沙普利中间值计算。
20.进一步，所述步骤4中基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值的具体为：
21.步骤4.1、对任一相邻的两个区域，获取沙普利矩阵中不包含此相邻两个区域的所有区域，并计算所得区域的所有元素的沙普利中间值之和；
22.步骤4.2、在步骤4.1得到的各区域加入此相邻两个区域，并计算最终所得区域的所有元素的沙普利中间值之和；
23.步骤4.3、将步骤4.1得到的结果减去步骤4.2得到的结果，即得到此相邻两个区域的组合沙普利值。
24.一种基于博弈交互的对抗样本检测系统，包括：
25.划分模块：将图像或视频在空间域上划分为n个区域；
26.定义模块：对n个区域依次进行编号，得到所有编号组成的集合φ，同时定义θ为集合φ所有子集构成的超集；
27.沙普利矩阵计算模块：根据超集θ计算超集θ中每个元素对应的沙普利中间值，并基于所有沙普利中间值得到沙普利矩阵；
28.沙普利值计算模块：基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值，最终得到n-1个组合沙普利值；
29.判断模块：基于n-1个组合沙普利值计算沙普利均值，若沙普利值均值大于给定的边界阈值，则判定图像或视频为对抗样本，否则判断为正常样本。
30.进一步，所述划分模块的具体实现为：将图像或视频在空间域上按照长和高进行划分，其中，视频的不同帧的相同位置属于同一区域，其中，视频在空间域上划分，视频中所有的视频帧视为一个整体，且和图像一样具有长宽，而在时间域上，则视为一系列视频帧。
31.进一步，所述沙普利矩阵计算模块的具体实现为：
32.步骤3.1、初始化向量mask的形状大小与图像或视频相同，且将mask的每个像素点的值置为1；
33.步骤3.2、取超集θ的一个元素，并将元素对应区域的mask的像素点值置为0；
34.步骤3.3、基于给定的图像/视频分类模型c，得到该元素对应的沙普利中间值c(x
·
mask，y)，其中，
·
表示点乘，即对应像素点相乘；
35.步骤3.4、若超集θ中每个元素都计算出了沙普利中间值，则所有沙普利中间值共同组成了一个沙普利矩阵，否则，转到步骤3.2遍历超集θ的下一个元素进行沙普利中间值计算。
36.进一步，所述沙普利值计算模块中基于沙普利矩阵中各沙普利中间值计算相邻两
个区域的组合沙普利值的具体为：
37.步骤4.1、对任一相邻的两个区域，获取沙普利矩阵中不包含此相邻两个区域的所有区域，并计算所得区域的所有元素的沙普利中间值之和；
38.步骤4.2、在步骤4.1得到的各区域加入此相邻两个区域，并计算最终所得区域的所有元素的沙普利中间值之和；
39.步骤4.3、将步骤4.1得到的结果减去步骤4.2得到的结果，即得到此相邻两个区域的组合沙普利值。
40.本发明同现有技术相比，其有益效果表现在：
41.一、本发明利用沙普利值(shapley value)评估输入样本(图像或视频)各区域的组合对分类结果的贡献程度，评估各个区域之间的合作竞争关系，并依据对抗样本和正常样本在各区域合作竞争关系上的不同表现对对抗样本进行检测，比通过深度学习模型在正常样本数据集上得到的对抗样本的性能更高，即误报率和漏报率都有所降低，实践表明，对抗训练会导致约20％的性能下降，而发明案对性能无影响，即提高了约20％的准确率；
42.二.本发明能检测到攻击的发生，利于在实际应用环境中检测对抗样本攻击并预警，即本发明可识别对抗样本和正常样本，因此可以对对抗样本攻击事件做出识别和预警。
附图说明
43.图1为本发明的流程框架示意图。
具体实施方式
44.下面将结合附图及具体实施方式对本发明作进一步的描述。
45.本发明提出了一种基于博弈交互的对抗样本检测方案，用以检测图片和视频分类模型中的对抗样本，方案利用沙普利值(shapley value)评估输入样本各区域的组合对分类结果的贡献程度，评估各个区域之间的合作竞争关系，并依据对抗样本和正常样本在各区域合作竞争关系上的不同表现对对抗样本进行检测。
46.现有图片/视频分类模型c，给定一个输入样本x，y＝c(x)是模型对x的分类结果，判断x是否为为对抗样本具体如下。
47.一种基于博弈交互的对抗样本检测方法，包括如下步骤：
48.步骤1、将图像或视频在空间域上划分为n个区域；，其中n的值决定了计算复杂程度，通常取较小的整数如4或9。
49.具体步骤为：将图像或视频在空间域上按照长和高进行划分，其中，视频的不同帧的相同位置属于同一区域，其中，视频在空间域上划分，视频中所有的视频帧视为一个整体，且和图像一样具有长宽，而在时间域上，则视为一系列视频帧。
50.步骤2、对n个区域依次进行编号，得到所有编号组成的集合φ，同时定义θ为集合φ所有子集构成的超集，如n＝4，从0开始编号，则φ＝{0，1，2，3}。θ表示φ的所有子集组成的超集，如φ＝{0，1，2，3}，则θ＝{{}，{0，1，2，3}，{0}，{1}，{2}，{3}，...}；编号方式不影响流程，但为了方便的，通常采用从上往下、从左往右的方式进行编号。
51.步骤3、根据超集θ计算超集θ中每个元素对应的沙普利中间值，即初始化遮罩(遮住{}一次，遮住{0，1}一次
……
)，利用初始化好的遮罩遮蔽输入样本的对应区域并计算
沙普利矩阵值，直到计算完成，并基于所有沙普利中间值得到沙普利矩阵；
52.具体步骤为：
53.步骤3.1、初始化向量mask的形状大小与图像或视频相同，且将mask的每个像素点的值置为1；
54.步骤3.2、取超集θ的一个元素，并将元素对应区域的mask的像素点值置为0；
55.步骤3.3、基于给定的图像/视频分类模型c，得到该元素对应的沙普利中间值c(x
·
mask，y)，其中，
·
表示点乘，即对应像素点相乘，c表示图像/视频分类模型的分类过程，输出为数值，表示图片或视频为目标类别的可能性大小，图像/视频分类模型c是指基于深度学习的分类模型，包括cnn或lstm；
56.步骤3.4、若超集θ中每个元素都计算出了沙普利中间值，则所有沙普利中间值共同组成了一个沙普利矩阵，否则，转到步骤3.2遍历超集θ的下一个元素进行沙普利中间值计算。
57.步骤4、基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值，最终得到n-1个沙普利值；
58.基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值的具体为：
59.步骤4.1、对任一相邻的两个区域，获取沙普利矩阵中不包含此相邻两个区域的所有区域，并计算所得区域的所有元素的沙普利中间值之和；
60.步骤4.2、在步骤4.1得到的各区域加入此相邻两个区域，并计算最终所得区域的所有元素的沙普利中间值之和；
61.步骤4.3、将步骤4.1得到的结果减去步骤4.2得到的结果，即得到此相邻两个区域的组合沙普利值。
62.具体为：如n＝4，k＝0，k+1＝1，则{k，k+1}对应的组合沙普利值等于{}，{2}，{3}，{2，3}对应的沙普利中间值之和减去{0，1}，{0，1，2}，{0，1，3}，{0，1，2，3}对应的沙普利中间值之和。
63.步骤5、基于n-1个沙普利值计算沙普利均值，若沙普利值均值大于给定的边界阈值，则判定图像或视频为对抗样本，否则判断为正常样本，边界阈值根据图像和视频样本以及分类模型的不同选取不同的值，在实际环境中可以通过对一组正常样本的沙普利均值求平均得到。
64.以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。