一种基于CAM-GAN的迷彩伪装图案生成方法和装置与流程

本发明属于图像生成领域，尤其涉及一种基于cam-gan的迷彩伪装图案生成方法和装置。

背景技术：

1、自动驾驶自一提出便引起世界关注，自动驾驶是指汽车在驾驶过程中可通过车载传感器接收外界驾驶环境的相关信息，将所探测到的道路、车辆位置和障碍物等信息输入到车载处理器进行逻辑推理和运算，然后将结果指令输出到执行器，进而通过改变汽车转向、速度等控制车辆的运行，实现汽车在限定或非限定条件下代替人类驾驶员，进行部分自动或全自动安全、可靠地驾驶。自动驾驶车辆可通过自主感知交通行驶环境，进行全局轨迹和局部预期轨迹的理想规划，减少驾驶员的驾驶负担，有效提升车辆行驶安全性，降低交通安全事故的发生率。而自动驾驶的核心技术为对行车过程中的行人以及其他物体的检测与分类，为驾驶决策提供依据。

2、自动驾驶中的目标检测是指找出图像中所有车辆或行人，确定它们的类别和位置。目标检测分为两大系列——rcnn系列和yolo系列，rcnn系列是基于区域检测的代表性算法，yolo是基于区域提取的代表性算法，其中yolo v3在自动驾驶中较为常见，它是一个卷积神经网络（cnn），用于实时进行目标检测，通过将图像分割为网格，并在每个网格单元预测一定数量的边界框，再使用1*1卷积的卷积层进行预测, 使用多尺度提取特征来进行目标检测。

3、因此，目标检测对拍摄的图片有较高的要求，图像中出现一些可见或不可见的扰动都有可能导致目标检测系统的出错，一些能够迷惑人眼的迷彩伪装也能够在手动驾驶时对驾驶员造成干扰。现有的迷彩图案生成方法可分为传统迷彩与智能迷彩。传统迷彩图案伪装生成通过主色特征提取与纹理特征提取，通过最后赋色来生成迷彩图案。其中，主色提取的方法主要包括k-均值聚类算法、峰值点算法、fcm 聚类算法等，纹理特征提取的方法主要包括阈值分割法、区域分割法、边缘分割法等。贾其等提出了一种基于马尔科夫随机场和金字塔模型的迷彩生成方法，通过计算马尔科夫随机场来得到二维纹理矩阵。李园园等提出了一种基于曲线融合特性的数码迷彩纹理的生成方法，分水岭算法提取背景轮廓，利用视觉原理计算马赛克尺寸，将背景轮廓与马赛克方块进行曲线融合生成纹理。蔡云骧等提出了一种基于分形布朗模型的数码迷彩伪装图案的生成方法，将图像转化为灰度图，再进行低分辨率化，通过金字塔结构逐层fcm算法提取图像纹理，在lab颜色空间，用逐层fcm算法提取背景主色及其面积比例，通过d-s算法生成纹理与纹理赋色。虽然生成的数码迷彩伪装图案较为优秀，但仍然存在针对目标背景无法进行快速地、有针对性的、端对端的迷彩图案生成。并且生成的数码迷彩伪装图案大多都具有时效性，即便是在同一地点，当发生季节变换时，需要按照上述步骤重新生成迷彩伪装图案。同时，传统迷彩主要针对图像对于人眼的伪装，在面对神经网络图像分类模型时，可能无法保证有效的伪装效果。

4、智能迷彩主要是通过智能生成系统进行风格迁移来生成目标图案。滕旭等提出了一种基于生成对抗网络的数码迷彩生成方法，在生成模型中，使用densenet代替resnet进行特征提取，指数线性单元作为生成器的激活函数，缩放指数线性单元作为判别器的激活函数，优化迷彩生成的端对端问题。滕旭等提出一种基于解缠表示的对抗性数码迷彩生成方法，两个图像通过各自的内容编码器和样式编码器，得到内容和样式特征，通过共享内容特征来进行多种迷彩的生成。传统迷彩生成方法，它能有效地对智能识别模型进行干扰，但对于人眼的识别问题上并不十分具有针对性，同时，由gan生成的图像过于平滑。

5、本发明提出了一种方法，通过引入生成式对抗网络以及传统数码检测，提出了一种新的生成式对抗网络架构，利用生成器与两个不同的鉴别器的三方博弈，保证输出的照片既可以降低人眼的识别率，同时又能提高对智能识别系统的伪装成功率，本方法兼顾了传统迷彩和智能迷彩两者的优势，具有良好的兼容性，在实际应用中能够兼容物理域与数字域的伪装能力。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供了一种基于cam-gan的迷彩伪装图案生成方法和装置。

2、本发明的目的是通过以下技术方案来实现的：一种基于cam-gan的迷彩伪装图案生成方法，包括以下步骤：

3、（1）以生成对抗网络为框架构建迷彩伪装图案生成模型，所述模型的训练网络包括生成器、第一判别器和第二判别器；

4、（2）获取真实图像集合和对应的标签集合；

5、（3）生成为随机噪声；随后将真实图像集合中每一张真实图像和随机噪声分别输出至生成器中，得到传统迷彩图像集合；

6、（4）针对真实图像集合中每一张真实图像生成相对应的灰度图，随后对灰度图进行高斯滤波后得到滤波后的图像；随后通过计算滤波后的图像中的梯度幅值和梯度方向，并根据非极大值抑制方法遍历滤波后的图像中所有的像素点，得到更新梯度幅值的图像；然后应用双阈值检测方法对更新梯度幅值的图像进行处理得迷彩图像，得到智能迷彩图像集合；

7、（5）随后对彩伪装图案生成模型进行训练，训练中，首先固定生成器的参数以更新第一判别器和第二判别器的参数，然后固定第一判别器和第二判别器的参数以更新固定生成器的参数，通过真实图像集合、传统迷彩图像集合和智能迷彩图像集合对生成器以及第一判别器和第二判别器通过交替优化进行训练，当第一判别器和第二判别器的置信度均稳定时，束对彩伪装图案生成模型的训练，得到优化后的彩伪装图案生成模型；

8、（6）最后使用优化后的彩伪装图案生成模型中的生成器对待测图像生成对应的迷彩图像。

9、进一步地，所述生成器由卷积神经网络组成。

10、进一步地，所述步骤（2）具体为：获取真实图像集合：和对应的标签集合： ，其中，表示任意一张真实图像，表示真实图像集合中总共有张真实图像；表示真实图像对应的图像标签；；每一张真实图像的图像大小均为32*32。

11、进一步地，所述步骤（3）具体为：通过专业摄像机摄取随机路况景象或者环境图像作为随机噪声；分别将任意一个图像标签与随机噪声输入到生成器，生成相应的传统迷彩图像：，其中，表示生成器的输出，得到传统迷彩图像集合：。

12、进一步地，所述步骤（4）具体包括以下子步骤：

13、（4.1）针对真实图像集合中任意一张真实图像，通过对rgb三个通道的值进行处理，生成相对应的灰度图，计算公式如下：

14、；

15、其中，表示灰度图中第行、第列的像素点的灰度值，表示真实图像中第行、第列的像素点的通道的数值，表示真实图像中第行、第列的像素点的通道的数值，表示真实图像中第行、第列的像素点的通道的数值，，；

16、（4.2）随后对灰度图进行滤波处理，通过高斯滤波函数得到灰度图中每一个像素点的权重值，所述高斯滤波函数为：

17、；

18、其中，表示灰度图中第行、第列的像素点的权重值，为标准差；

19、然后使用大小为3*3的高斯核并结合权重值对像素值进行滤波，得到滤波后的图像；

20、（4.3）设置sobel算子水平方向的3*3核为，并设置sobel算子垂直方法的3*3核为；

21、随后计算得到滤波后的图像中每一个像素点的梯度幅值为 ，计算公式如下：

22、；

23、；

24、；

25、其中，为滤波后的图像中第行、第列的像素点的像素值；表示滤波后的图像中第行、第列的像素点在水平方向上的梯度值；表示滤波后的图像中第行、第列的像素点在垂直方向上的梯度值；

26、并计算得到对滤波后的图像计算每一个像素点的梯度方向为：；

27、（4.4）根据非极大值抑制方法遍历滤波后的图像中所有的像素点：对于每个像素点，根据该像素点的梯度方向，找到该像素点在边缘方向上的两个相邻像素点，如果该像素点的梯度值不是这三个该像素点中的最大值，则将该像素点的梯度幅值设为0，反正则该像素点的梯度幅值不变；完成本次遍历后，得到更新梯度幅值的图像；

28、（4.5）设置最大灰度值阈值和最小灰度值阈值，随后应用双阈值检测方法遍历更新梯度幅值的图像中所有的像素点：对于每个像素点，如果该像素点的梯度幅值大于最大灰度值阈值则将该像素点的像素值设为1，如果该像素点的梯度幅值小于最小灰度值阈值则将该像素点的像素值设为0；反之则检测该像素点的8个周围像素点中是否存在梯度幅值大于最大灰度值阈值的像素点，若存在则将该像素点的像素值设为1，若不存在则将该像素点的像素值设为0；完成本次遍历后，得到智能迷彩图像；

29、（4.6）针对真实图像集合中每一张真实图像重复步骤（4.1）-步骤（4.5），得到智能迷彩图像集合：。

30、进一步地，所述步骤（5）具体包括以下子步骤：

31、（5.1）随后对彩伪装图案生成模型进行训练，训练中，首先固定生成器的权重，第一判别器和第二判别器使用sigmoid激活函数，通过最大化第一判别器和第二判别器以更新第一判别器和第二判别器的参数，本次训练的优化目标如下：

32、；

33、其中，表示智能迷彩图像中第行、第列的像素点的梯度幅值，表示真实图像中第行、第列的像素点的梯度幅值；表示第一判别器的判别结果；表示第二判别器的判别结果；表示在真实图像概率分布关于真实图像的期望值；表示在传统迷彩图像概率分布关于传统迷彩图像的期望值；表示在智能迷彩图像概率分布关于智能迷彩图像的期望值；

34、（5.2）然后固定第一判别器和第二判别器的参数，生成器使用线性激活函数，通过最小化生成器以更新固定生成器的参数，本次训练的优化目标如下：

35、；

36、（5.3）随后对生成器以及第一判别器和第二判别器通过交替优化进行训练，当第一判别器和第二判别器的置信度均稳定在0.45~0.55时，结束对彩伪装图案生成模型的训练，得到优化后的彩伪装图案生成模型。

37、本发明还包括一种基于cam-gan的迷彩伪装图案生成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于上述的一种基于cam-gan的迷彩伪装图案生成方法。

38、本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述的一种基于cam-gan的迷彩伪装图案生成方法。

39、本发明的有益效果是：本发明设计了基于cam-gan的迷彩生成，通过两个不同的判别器与生成器进行三方博弈，在生成针对目标检测系统的迷彩伪装图像的同时，兼顾对人眼的伪装性能。