一种改进ACGAN的钢轨表面缺陷数据增强方法

本发明涉及数据增强技术，尤其涉及一种改进acgan的钢轨表面缺陷数据增强方法。

背景技术：

1、钢轨是交通运输的重要基础，钢轨表面缺陷检测研究具有重要意义。随着深度学习的发展，基于深度学习的缺陷检测研究也更加深入。然而，深度学习的成功建立在三个因素之上：计算能力、数据集和算法，其中第二个因素是缺陷检测的难点。由于数据的缺乏，导致训练集的模型收敛困难、稳定性差，进一步阻碍钢轨表面缺陷检测取得良好的效果。因此，针对样本不足问题，如何有效地扩充数据显得非常重要。

2、基于图像的数据增强方法主要分为两种：传统机器视觉技术和机器学习方法。传统机器视觉的数据增强方法主要采用几何变换、颜色转换和像素变换等手段，尽管这些方法能在一定程度上缓解网络过拟合问题，但是并未能从根本上解决样本不足的困境。

3、在机器学习方法中，生成式模型生成的样本更加多样，受到很多研究者的关注。goodfellow等人最早提出了生成对抗网络(generative adversarial network，gan)，然而由于gan仅仅依赖于判别器的真假判别能力和初始参数的设定，其输入仅包含随机噪声和真实样本，因此很容易出现不收敛的问题。随着gan的快速发展，很多基于gan的改进模型被研究者提出。在gan的基础上提出的条件生成对抗网络(conditional generativeadversarial nets，cgan)，通过将条件约束(如类别标签)引入到生成器和判别器中，可以指导数据的生成过程。然而，该方法存在着训练模型不稳定和生成图像质量差等问题。之后提出的深度卷积生成对抗网络(deep convolution generative adversarial networks，dcgan)在减轻gan生成模糊图像的问题上取得了一定进展，但仍然存在模式崩溃和收敛困难等问题。guo等人提出了一种基于卷积神经网络(convolutional neural networks，cnn)和dcgan的结构，用于加速传感器故障的自诊断和故障信号的自恢复算法。这种方法可以提高故障信号的准确性并具有更好的抗噪性能。martin arjovsky等人提出了wgan(wasserstein gan)，用wasserstein距离替代js(jensen-shannon)散度和kl(kullback-leibler)散度，以解决gan在梯度下降训练中梯度消失的问题。然而，该方法存在参数两极化的问题，可能引发梯度爆炸。gulrajani等人提出了wgan-gp模型，在wgan的基础上使用惩罚梯度代替裁剪权值的方法，解决了wgan模型存在的梯度爆炸问题。然而，该模型仍然存在生成图像质量不高的问题。mao等人提出了最小二乘生成对抗网络(least squaresgenerative adversarial networks，lsgan)，通过将gan的损失函数替换为最小二乘损失函数，缓解了网络训练不稳定和生成图像质量差的问题，但仍存在训练动荡的问题。niu等人提出了一种基于自适应金字塔图和变异残差的新型生成对抗网络，以增强对弱纹理异常缺陷的检测,并能减少大量的人工标注，同时保证实时性和准确性。wu等人设计的重掩码生成对抗网络(resmask gan)包含全局鉴别器和局部鉴别器，以及由粗到细的模块，该模块使生成的缺陷与背景完美融合，并在样本量较少的情况下达到理想的检测精度。zhang等人提出了一种多尺度渐进生成对抗网络(multi-scale progressive generative adversarialnetwork，mas-gan)，结合了非泄漏数据增强和自注意机制，用于合成表面缺陷图像以辅助训练基于深度学习的目标检测算法，该方法明显提高了表面缺陷检测模型的训练收敛速度和检测精度。odena等人提出了辅助分类生成对抗网络(auxiliary classifiergenerativeadversarial network，acgan)，该模型可以判断生成图像的类别。tong等人提出了基于谱归一化的辅助分类生成对抗网络acgan-sn，在acgan的基础上对标签进行了光谱归一化约束，以实现判别器的输出满足lipschitz连续条件，解决了梯度爆炸的问题，但是模型稳定性的问题有待提高。

4、综上所述，大多数acgan模型都存在模式崩溃、图像模糊等问题。

技术实现思路

1、为解决现有技术中存在的不足，本发明的目的在于，提供一种改进acgan的钢轨表面缺陷数据增强方法。

2、为实现本发明的目的，本发明所采用的技术方案是：

3、一种改进acgan的钢轨表面缺陷数据增强方法，包括步骤：

4、(1)构建改进的acgan模型，在生成器和判别器中引入残差块和谱范数正则化，同时，采用上采样加卷积替代生成器残差块中的反卷积层，在判别器残差块中添加下采样层；

5、(2)采集钢轨表面缺陷通用数据集对改进的acgan模型进行训练；使用训练好的改进的acgan模型进行钢轨表面缺陷数据增强，得到更清晰的图像。

6、进一步地，改进的acgan模型包括生成器和判别器，随机向量与类别标签输入到生成器中，生成器生成缺陷样本与真实缺陷样本一起输入到判别器中，判别器识别样本的真伪并进行分类；生成器依次包括全连接层，多个残差块结构，bn+relu层，卷积层；判别器依次包括多个残差块结构，lrelu+全局池化层。

7、进一步地，生成器残差块的输出层使用tanh函数，其余层采用“bn+relu”的形式；判别器残差块的所有层采用leakyrelu激活函数。

8、进一步地，生成器和判别器残差块的卷积层添加谱范数正则化。

9、进一步地，生成器残差块中的上采样使用最近邻插值的方式，将特征图扩大两倍；判别器残差块中的下采样则采用步幅为2的平均池化操作。

10、进一步地，改进的acgan模型还包括对网络损失函数进行改进，将判别器的判别真伪视为pu学习方法，并添加基于最大最小后悔值法的梯度惩罚机制以限制判别器的梯度变化幅度。

11、进一步地，将判别器的判别真伪视为pu学习方法，则判别器的目标函数为：

12、

13、其中，max{}函数是为了避免出现负的损失函数，pr表示真实样本分布，pz表示生成样本分布，δ表示高质量样本占总生成样本之比，将高质量样本和真实样本看作一类。

14、进一步地，引入基于最大最小后悔值法的梯度惩罚机制到判别器的目标函数中，具体公式如下：

15、

16、其中，为噪声干扰，用来限制判别器在真实样本分布中的梯度；

17、通过公式(4)、(5)和真实样本类别损失，计算判别器的目标函数l(d)为：

18、

19、其中，λ为梯度惩罚的比重，γ为分类损失所占总损失函数的比重。

20、本发明的有益效果在于，与现有技术相比，本发明的主要优点如下：

21、(1)对生成器和判别器网络结构进行改进，通过添加残差块和谱范数正则化(spectral norm regularization，snr)解决网络梯度消失和梯度变化异常的问题。此外，将生成器中的反卷积替换为上采样加卷积，在判别器中加入下采样层以减少计算量。

22、(2)对网络损失函数进行改进，将判别器的判别真伪视为pu学习方法，并添加基于最大最小后悔值法的梯度惩罚机制以限制判别器的梯度变化幅度，使网络更加关注生成图像质量。

23、(3)改进后的模型不仅能够控制生成样本的类别，还能有效避免梯度消失、模式崩溃等问题。通过大量的实验，针对钢轨表面缺陷数据集验证了本发明方法的有效性。实验结果表明，本发明提出的方法能够生成更高质量且更接近真实图像的样本。