基于Defense-GAN的交通标志识别方法

基于defense
‑
gan的交通标志识别方法
技术领域
1.本发明属于交通标志识别技术领域，尤其涉及一种基于defense
‑
gan神经网络的交通标志识别方法。


背景技术：

2.近年来，机器学习深度学习快速发展，计算机视觉技术与自动驾驶逐渐成为人们生活中不可或缺的关键技术。交通标志识别(traffic sign identification)也称为交通标志目标检测，是利用深度学习技术中的卷积神经网络(cnn)训练图片集来判断图像或者视频序列中交通标志类别的技术，有很多特征可以提高卷积神经网络的准确性，需要在大型数据集上对这些特征的组合进行实际测试，并需要对结果进行理论证明。大多数基于cnn的物体检测器仅适用于推荐系统。提高实时物体检测器的精度不仅可以将它们用于提示生成推荐系统，还可以用于独立的过程管理和减少人工输入。交通标志识别技术逐渐成熟，识别精度也在不断提高，成功应用于只能驾驶、智能交通等领域。为城市的道路安全做出了极大的贡献。
3.虽然交通标志识别技术能够给我们的交通生活带来很大的便利和安全保障，但是科学研究表明，基于深度学习的图片分类神经网络系统存在缺陷，极易受到对抗样本攻击。在真实无噪声的图片加入一些微小扰动噪声之后，由于神经网络学习的不连续性，就会影响深度学习模型的识别，导致正确图像的错误分类预测。在实际场景交通标志识别中，这些扰动可能让交通标志识别系统出现错误分了你，将造成十分严重的后果，因此对抗样本会对交通标志识别系统造成威胁。
4.目前基于交通标志识别的攻击都是白盒攻击，知道交通标志分类模型内部参数的情况下对系统进行攻击。可是在实时场景中，提前获得交通标志模型的内部参数是十分困难的，但是基于黑盒模型的交通标志攻击可以在不知道模型参数的情况下，模拟物理场景，对交通标志进行攻击，会引起更大的隐患。
5.因为深度学习图像分类过程中的对抗安全威胁，研究了一种基于defense
‑
gan神经网络的交通标志识别，针对交给你标志识别模型的对抗样本，通过对抗训练实现对对抗攻击的防御，其主要目的是利用生成模型的表达能力去防御深度神经网络会遭受到的对抗攻击。
6.国内专利cn111241916a提出一种交通标志识别模型的建立方法，
⑴
训练集构成，获取交通视频图像，截取交通标志图片，汇总成训练集；
⑵
训练集增广，模拟实际场景中出现的交通标志识别情况，通过多种图像处理操作对训练集中的图片进行人为步长；
⑶
图片预处理，对训练集进行预处理操作；
⑷
模型构建，建立用于交通标志识别的ssd模型；
⑸
模型训练，将训练集输入ssd模型中、完成对模型的训练，使用测试集进行性能检验，最终得到交通标志识别模型。
7.国内专利cn102024152b公开一种基于稀疏表达和字典学习进行交通标志识别的方法，包括：(1)收集包含交通标志的自然场景图像，并按其中交通标志的类别手工分成c个
图像样本类，然后对于每个图像样本类中的每幅图像，以每幅图像的每个像素为中心，提取大小为n
×
n的图像块，先按行再按列对每幅图像中的所有像素都进行图像块的提取，形成对应图像样本类的c个训练图像块集合；其中，n小于等于图像大小；(2)利用所有c个训练图像块集合，自动学习出一个视觉字典d；(3)计算出每个类的训练图像块集合在视觉字典d上的稀疏表达，并统计稀疏表达系数沿字典原子的平均概率分布{p1，p2，
…
，pc}，作为描述c个图像样本类的特征表达；(4)对于一幅包含未知交通标志的测试图像，以测试图像的每个像素为中心，提取大小为n
×
n的图像块，先按行再按列对图像中的所有像素都进行图像块的提取，从而构成了测试图像块的集合其中，n小于等于图像大小，m为图像块的总数；然后计算测试图像块集合在视觉字典d上的稀疏表达，统计稀疏表达系数沿字典原子的概率分布pt；(5)计算pt与{p1，p2，
…
，pc}的相似度，选择最相似的图像样本类作为测试图像的交通标志识别结果。
8.国内专利cn108564048a公开一种应用于交通标志识别的深度卷积神经网络方法，该方法通过深度卷积神经网络对交通标志进行训练，建立应用于交通标志识别的深度卷积神经网络模型。经过测试选出最优的深度卷积神经网络模型，利用彩色摄像机采集交通标志，由最优的深度卷积神经网络模型对交通标志进行识别。


技术实现要素：

9.针对现有深度学习图像分类的缺陷，本发明提供一种基于defense
‑
gan神经网络的交通标志识别方法。
10.本发明的基于defense
‑
gan神经网络的交通标志识别方法，包括以下步骤：
11.步骤1：采集交通标志图像，对图片进行预处理后分为训练集、测试集和用于生成对抗样本的对抗集。
12.步骤2：使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型。
13.步骤3：使用对抗集训练defense
‑
gan模型，获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片。
14.步骤4：将对抗样本图片输入交通标志分类模型进行评估，获取高置信度的对抗样本图片。
15.步骤5：将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型，实现模型的对抗防御优化。
16.步骤6：利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别，以实现交通标志识别模型的对抗防御。
17.进一步的，步骤1中，在采集交通标志图像时，采集不同物理场景下的交通标志图像，即包含光影变化、有雾无雾变化、角度变化以及距离变化下的交通标志图像，具体的：
18.光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内室外；
19.有雾无雾变化包括有雾白天、有雾夜晚、有雾夜晚灯照；
20.角度变化包括图像在偏左90
°
到偏右90
°
之间的变化；
21.所述距离变化包括图像在实际交通场景中5米到100米的变化。
22.进一步的，步骤2具体为：用训练集训练深度神经网络获得交通标志识别模型，交通标志识别模型由三个卷积层，一个全连接层和一个激活函数组成；再利用测试集对交通
标志识别模型进行测试优化，提高交通标志的识别准确率。
23.进一步的，步骤3具体为：
24.利用随机噪声生成器生成r个噪声再使用固定l步长的梯度下降法gd计算出最优噪声z
*
，其中使用的是公式(1)，
[0025][0026]
再放入生成器生成和真实无噪声的原始交通标志图像分布类似的对抗样本图片g(z
*
)。
[0027]
进一步的，使用梯度下降法gd迭代计算最优噪声，迭代的终止条件为，经过梯度下降得到的噪声值输入到生成器中得到的分布和真实图像分布近似，当不满足迭代终止条件时，则按照公式(1)继续进行计算。
[0028]
进一步的，步骤5中，优化的终止条件为：判别器无法区分对抗样本与真实样本的区别。
[0029]
本发明的有益技术效果为：
[0030]
(1)本发明基于defense
‑
gan的防御策略，在不清楚交通表示识别模型内部参数的情况下生成能够使交通标志识别模型错误分类的对抗样本用于对抗训练，提高交通标志识别模型的防御能力；
[0031]
(2)本发明生成的对抗样本在物理世界中，人眼可识别，不影响人对交通标志类别的正常判断，使得对抗样本可物理化；
[0032]
(3)本发明基于defense
‑
gan的防御策略，可以和任何分类器一起使用，并且不修改分类器结构本身，提高了对抗防御的泛化性；
[0033]
(4)本发明基于defense
‑
gan的防御策略，可以在任何对抗攻击下进行防御，它不假设攻击的类型，而是利用gan的生成能力来重建对抗样本；
[0034]
(5)由于深度学习图像分类的过程存在缺陷，本发明通过defense
‑
gan的生成器生成对抗样本，再进行对抗训练，提高交通标志识别模型防御对抗样本攻击的能力，为智能交通的安全提供了保障。
附图说明
[0035]
图1为本发明基于defense
‑
gan神经网络的交通标志识别方法的流程示意图。
[0036]
图2为本发明提供的defense
‑
gan生成和真实无噪声交通标志图片分布相似的对抗样本集的流程图。
[0037]
图3为本发明提供的defense
‑
gan利用生成器的l步长获取最佳梯度的流程图。
具体实施方式
[0038]
下面结合附图和具体实施方法对本发明做进一步详细说明
[0039]
本发明的基于defense
‑
gan神经网络的交通标志识别方法流程如图1所示，具体为：
[0040]
步骤1：采集交通标志图像，对图片进行预处理后分为训练集、测试集和用于生成对抗样本的对抗集。
[0041]
在采集交通标志图像时，采集不同物理场景下的交通标志图像，即包含光影变化、有雾无雾变化、角度变化以及距离变化下的交通标志图像，具体的：
[0042]
光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内室外；
[0043]
有雾无雾变化包括有雾白天、有雾夜晚、有雾夜晚灯照；
[0044]
角度变化包括图像在偏左90
°
到偏右90
°
之间的变化；
[0045]
所述距离变化包括图像在实际交通场景中5米到100米的变化。
[0046]
在获得交通标志图像之后，还要对图像进行预处理，以获得训练样本。具体地，使用labelimg图像标注工具对图像进行定位，标注标签加以分类，这样获得的图像作为用于训练交通标志分类器的训练样本，测试样本以及用于生成对抗样本的对抗集。
[0047]
步骤2：使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型。
[0048]
用训练集训练深度神经网络获得交通标志识别模型，交通标志识别模型由三个卷积层，一个全连接层和一个激活函数组成；再利用测试集对交通标志识别模型进行测试优化，提高交通标志的识别准确率。
[0049]
步骤3：使用对抗集训练defense
‑
gan模型，获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片。如图2所示。
[0050]
生成器包括多个残差块，先经过全连接层之后，接过一个relu函数，后跟一个5*5的卷积层，经过三个残差块的操作后，连接一个sigmoid激活函数函数。
[0051]
分类器是由三个5*5的卷积层，一个全连接层，最后连接一个sigmoid激活函数组成。
[0052]
利用随机噪声生成器生成r个噪声再使用固定l步长的梯度下降法gd计算出最优噪声z
*
，其中使用的是公式(1)，
[0053][0054]
再放入生成器生成和真实无噪声的原始交通标志图像分布类似的对抗样本图片g(z
*
)。
[0055]
使用的是goodfellow在gan中的最小
‑
最大博弈方式，如公式(2)所示；
[0056][0057]
使用梯度下降法gd迭代计算最优噪声，迭代的终止条件为，经过梯度下降得到的噪声值输入到生成器中得到的分布和真实图像分布近似，当不满足迭代终止条件时，则按照公式(1)继续进行计算。
[0058]
步骤4：具体如图3所示，随机输入若干扰动z，利用公式(3)迭代l步得到的最佳扰动z
l
与原始干净样本相结合，生成后的对抗图片g(z)重新输入交通标志分类模型进行评估，获取高置信度的对抗样本图片，具体评估公式如公式(3)所示；
[0059][0060][0061]
步骤5：将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型，实现模型的对抗防御优化。
[0062]
步骤6：利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别，以实
现交通标志识别模型的对抗防御。
[0063]
本发明采用基于defense
‑
gan的对抗防御方法，能够在任何分类模型之间学习迁移，并且不修改分类器的结构和训练过程，训练成本低，也可以用来防御任何他不知道的生成对抗样本的攻击，使用范围广，不影响原始无噪声样本分类精度，预处理速度快，并且输出图像质量接近于原始无噪声图像，提高交通标志是被模型防御对抗样本攻击的能力，同时又考虑了光影、角度和距离等因素，增强了对抗样本的鲁棒性。适用于先进的辅助驾驶以及无人驾驶等多方面应用。