一种针对图像分类模型的后门触发器检测方法

本发明属于人工智能，涉及一种针对图像分类模型的后门触发器检测方法，可应用于信息安全行业、人脸识别等领域。

背景技术：

1、随着人工智能科学的发展，机器学习技术已经渗透在生活的各个方面。深度学习在图像识别领域，如门禁系统、自动驾驶和医疗诊断，得到了广泛的应用。

2、现阶段最常见的后门攻击是攻击者通过添加触发器和标签来修改一部分训练样本，再输入到神经网络模型中进行训练，后门触发器是攻击者激发已埋藏在模型中的后门的必要媒介，在后门未被激发时，被攻击的模型具有和正常模型类似的表现；而当模型中埋藏的后门被攻击者指定的后门触发器激活时，模型的输出就变为攻击者预期的标签以达到恶意的目的。如果向人脸识别的门禁系统中注入这样一个后门，把戴着黑色帽子的人的权限识别为可随意进出的权限，这样就会存在巨大的安全隐患。通过对后门进行检测，可以预防攻击者在模型中埋藏后门或可以及时发现触发器的图像。

3、为了减轻后门威胁，现阶段提出了不同的防御方法。总的来说，这些方法可以分为两大类，包括经验后门防御和认证后门防御。经验后门防御是在对现有攻击的一些观察或理解的基础上提出的，在实践中表现良好；认证后门防御的有效性在理论上是在一定的假设下得到保证的，但在实践中其有效性普遍弱于经验抗辩。在用户采用第三方数据集训练和部署模型时，只能操作数据集发起后门攻击，而防御者可以操纵数据、模型，训练计划和推理管道，因为防御者可以清理有毒数据集，以减轻后门威胁。

4、中国科学院信息工程研究所在其申请的专利文献“一种针对图像分类模型的后门检测及修复方法及系统”(专利申请号：202110796626，申请公布号：cn113609482a)中公开一种针对图像分类模型的后门检测方法。该方法采用模型剪枝、迁移学习和浅层模型训练的方法，获得与后门模型的任务相同但没有后门的一系列对照模型；借助对照模型通过优化目标函数对后门模型的每一个类别进行逆向，获得一系列潜在触发器；利用贡献度热力图对潜在触发器进行精炼，只保留影响模型分类结果的关键特征；基于后门触发器和对抗补丁在对照模型上可迁移性的差异，区分出精炼后的潜在触发器的后门触发器和对抗补丁。该方法在生成潜在触发器时，需要先生成一系列对照模型，存在计算量大，耗时长的问题，且该方法通过优化目标函数的方式实现对每个类别的潜在后门触发器的恢复，导致恢复的潜在触发器精度低的问题。

技术实现思路

1、本发明的目的是针对上述现有技术存在的不足，提出了一种针对图像分类模型的后门触发器检测方法，用于解决现有技术中存在的恢复后门触发器精度较低和检测效率较低的技术问题。

2、为实现上述目的，本发明采取的技术方案包括如下步骤：

3、(1)获取训练样本集：

4、将包含y个目标类别且每个类别包含q幅图像、其中的一个类别中部分图像带有后门触发器的总共n幅图像及其类别标签作为训练样本集，其中，y≥2，q≥100，n≥500；

5、(2)获取每个类别的高熵数据集和低熵数据集：

6、通过训练样本集对深度卷积神经网络模型进行迭代训练，并根据训练好的深度卷积神经网络模型m输出的每个训练样本xn置信向量pn计算xn的熵en，再选取每个目标类别的k幅最大熵值、最小熵值对应的图像组成包含y×k幅高熵图像的高熵图像集、包含y×k幅低熵图像的低熵图像集，得到y个目标类别的高熵图像集的集合和低熵图像集的集合，其中10≤k≤50；

7、(3)获取候选后门触发器的位置：

8、将每个目标类别包含的k幅低熵图像的均值图像bay中异常值像素点置为1，将其余的像素点置为0，并将得到y个由0和1组成的像素点矩阵mask＝[mask1,mask2,......,masky,...,masky]作为候选后门触发器的位置矩阵；

9、(4)确定候选后门触发器：

10、计算每个类别对应的候选后门触发器的位置矩阵masky与该类别对应的任意一幅低熵图像b哈达玛积ty，并将其作为第y类目标的候选后门触发器；

11、(5)获取每类高熵图像的标签转换检测图像：

12、将除第y类以外的其余类高熵图像集全部作为第y类的标签转换检测图像，得到包含y×k(y-1)幅高熵图像的标签转换检测图像集；

13、(6)获取后门触发器的检测结果：

14、将步骤(4)中获取的第y类的候选后门触发器ty添加到步骤(5)中获得的第y类标签转换检测图像集的每幅高熵图像hi上，并将修改后每幅高熵图像hi′的作为训练好的深度卷积神经网络m的输入并预测每幅高熵图像的类别标签，计算预测类别标签是y的数量count占第y类标签转换检测图像集的比例ratio，ratio最大值所对应的类的候选后门触发器即为最终检测到存在于图像分类模型中的后门触发器。

15、本发明与现有技术相比，具有以下优点：

16、本发明通过对每个目标类别的多幅低熵图像的均值图像像素点的设置，获取每个类别的候选后门触发器位置矩阵，并通过该位置矩阵与该类别对应的任意一幅低熵图像确定候选后门触发器，避免了现有技术需要生成多个对照模型导致的计算量大耗时长的缺陷，且在对每个类别的潜在后门触发器进行恢复的过程中不需要优化目标函数，有效提高了检测效率和所恢复触发器的精度。

技术特征：

1.一种针对图像分类模型的后门触发器检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的深度卷积神经网络模型，包括层叠的输入层、多个卷积层和一个全连接层，每两个卷积层之间各加载有一个最大池化层。

3.根据权利要求2所述的方法，其特征在于，步骤(2)中所述的对深度卷积神经网络模型进行迭代训练，实现步骤为：

4.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的计算每个训练样本xn的熵en，计算公式为：

5.根据权利要求1所述的方法，其特征在于，步骤(3)中所述的k幅低熵图像的均值图像bay，计算公式为：

6.根据权利要求1所述的方法，其特征在于，步骤(3)中所述的异常值像素点，是指采用三倍标准差法，求出bay与均值上满足的像素点，是bay的均值，σ表示bay的标准差。

7.根据权利要求1所述的方法，其特征在于，步骤(4)中所述的计算每个类别对应的候选后门触发器的位置矩阵masky与该类别对应的任意一幅低熵图像b哈达玛积ty，计算公式为：

8.根据权利要求1所述的方法，其特征在于，步骤(6)中所述的将步骤(4)中获取的第y类的候选后门触发器ty添加到步骤(5)中获得的第y类标签转换检测图像集的每幅高熵图像hi上，计算公式为：

9.根据权利要求1所述的方法，其特征在于，步骤(6)中所述的预测标签是y的数量count占第y类标签转换检测图像集的比例ratio，计算公式为：

技术总结
本发明提出了一种针对图像分类模型的后门触发器检测方法，实现步骤为：获取训练样本集；获取每个类别的高熵数据集和低熵数据集；获取候选后门触发器的位置；确定候选后门触发器；获取每类高熵图像的标签转换检测图像；获取后门触发器的检测结果。本发明通过对每个目标类别的多幅低熵图像的均值图像像素点的设置，获取每个类别的候选后门触发器位置矩阵，并通过该位置矩阵与该类别对应的任意一幅低熵图像确定候选后门触发器，避免了现有技术需要生成多个对照模型导致的计算量大耗时长的缺陷，且在对每个类别的潜在后门触发器进行恢复的过程中不需要优化目标函数，有效提高了检测效率和所恢复触发器的精度。

技术研发人员：马卓,李怡华,杨易龙,刘洋,李腾,张俊伟
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/4/17