一种基于动态细粒度神经网络的销钉缺陷检测方法

本发明涉及图像识别，特别涉及一种基于动态细粒度神经网络的销钉缺陷检测方法。

背景技术：

1、近年来随着电力行业的不断发展，关于输电线路安全检测的需求也在不断扩大，销钉作为输电线路中不可缺少的一部分，在输电线路中起到固定螺母防止软连接部位错动的作用，销钉的缺失、松动等不正常状态可能会影响输电线路上其余部件的正常运行，造成大面积输电线路故障，严重威胁电网的安全性和稳定性，因此对输电线路上的销钉进行缺陷检测，对于保障输电线路的安全是十分有必要的。

2、传统的销钉缺陷检测主要通过技术人员实地检查销钉是否存在缺陷，但随着电网规模的扩大，这种人工检查的方式不仅会大幅度提升人力成本而且准确率也难以保证。近几年，随着深度学习的飞速发展，电网企业逐步使用基于深度学习的目标检测网络实现销钉的缺陷状态检测，但由于销钉缺陷检测具有如下难点：

3、1、松动的销钉和正常状态销钉十分相似；

4、2、销钉缺陷状态多样；

5、3、航拍图片一般背景大，目标小且一张图片中存在多个目标；

6、4、目前常用的单阶段网络(retinanet，yolo系列)和双阶段网络(rcnn系列)都难以对相似目标进行有效识别，因此当前对销钉的缺陷检测仍然是一个棘手的难题。

技术实现思路

1、本发明提供了一种基于动态细粒度神经网络的销钉缺陷检测方法，以解决现有技术中销钉缺陷检测一般通过技术人员进行现场判别，人工成本高、效率低的技术问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明提供了一种基于动态细粒度神经网络的销钉缺陷检测方法，包含如下步骤：

4、步骤s1、使用图像采集设备采集多张销钉图像，并使用多张销钉图像构建销钉图像数据集；

5、步骤s2、对销钉图像数据集中的销钉图像进行标注，并对标注后的销钉图像进行数据增强，得到数据增强后的销钉图像数据集；将增强后的销钉图像数据集划分为训练集和验证集；

6、步骤s3、建立retinanet-resnet50模型，以retinanet-resnet50模型为基础，构建改进的retinanet模型；

7、步骤s4、利用训练集训练改进的retinanet模型，得到训练后的retinanet模型；

8、步骤s5、将验证集输入到训练后的retinanet模型中，得到销钉缺陷识别结果。

9、优选的，所述步骤s2具体包含如下步骤：

10、步骤s21、利用数据标注软件对销钉图像数据集进行标注，得到标注后的销钉图像数据集；

11、步骤s22、对标注后的销钉图像数据集进行图像增强，得到图像增强后的销钉图像数据集；

12、步骤s23、按照指定的比例对增强后的销钉图像数据集进行划分，将其划分为训练集和验证集。

13、优选的，所述步骤s22中的图像增强包括缩放、水平翻转、倒置、剪裁。

14、优选的，所述步骤s3中改进的retinanet模型包括依次连接的骨干网络、改进的特征金字塔网络、检测头；

15、骨干网络由改进的resnet-50构成，骨干网络用于对销钉图像数据集中的销钉图像中的特征进行提取；

16、改进的特征金字塔网络用于对骨干网络提取的特征进行融合，并输出多个尺度不同的细粒度特征；

17、检测头包括分类头和回归头，分类头和回归头均与改进的特征金字塔网络连接，分类头和回归头用于对多个尺度不同的细粒度特征进行解耦，并分别预测目标的类别和位置。

18、优选的，改进的resnet-50包括五个依次连接的卷积模块，最后一个卷积模块包含二个bottleneck和一个改进的bottleneck，二个bottleneck和改进的bottleneck依次连接。

19、优选的，改进的特征金字塔网络包括依次连接的fpn结构和动态细粒度特征融合空间结构；

20、fpn结构用于对骨干网络提取的特征进行特征融合；

21、动态细粒度特征融合空间结构主要由细粒度通道选择器单元构成，细粒度通道选择器单元用于将融合的特征转换成多个尺度不同的细粒度特征。

22、优选的，所述步骤s4具体包含如下步骤：

23、步骤s41、将训练集输入到改进的retinanet模型中；

24、步骤s42、骨干网络将销钉图像中的特征进行提取；

25、步骤s43、将提取的特征输入到fpn结构中进行特征融合，并利用动态细粒度特征融合空间结构将融合的特征转换成多个尺度不同的细粒度特征；

26、步骤s44、利用分类头和回归头对多个尺度不同的细粒度特征进行解耦，并分别预测目标的类别和位置；

27、步骤s45、利用自适应训练样本的选择方法对预测的类别和位置进行正负样本分配；

28、步骤s46、建立focal loss损失函数，重复步骤s41至步骤s46，最小化损失函数，直至损失函数收敛。

29、优选的，所述步骤s45具体包含如下步骤：

30、步骤s451、对于目标的类别和位置，每张销钉图像均有若干个真实框，根据指定规则找出候选正样本；

31、步骤s452、计算候选正样本点与真实框之间的交并比；并计算其均值和标准差记为mg和vg，其中交并比指的是b1、b2分别代表候选正样本和真实框；

32、步骤s453、计算真实框的交并比阈值为tg，tg＝mg+vg；

33、步骤s454、选择交并比大于或等于阈值tg的候选样本作为最终的正样本。

34、优选的，所述步骤s46中的focal loss损失函数具体为：

35、

36、其中：p表示预测的目标概率，α是用来控制正负样本权重的因子，γ是用来控制难易样本的权重因子。

37、优选的，所述步骤s4还包括如下步骤：

38、步骤s47、对改进的retinanet模型进行微调，得到训练后的retinanet模型。

39、本发明的有益效果：

40、1、用图像采集设备进行图像采集，图像采集设备如无人机等，大大节省了人力物力；

41、2、acmix卷积的引入提高了骨干网络提取特征的能力，使得模型可以关注销钉图片中不同的区域，捕捉更多的特征；

42、3、fine-grained dynamic routing space结构(动态细粒度特征融合空间结构)为每个待检测的目标动态地选择不同尺度的fpn(特征金字塔网络)结构的像素级组合，加强了fpn结构的多尺度表示能力，使得模型能够提取销钉的细粒度特征，从而提高相似目标的检测精度；自适应训练样本的选择方法缓解了模型正负样本不平衡的问题；

43、4、改进的retinanet模型能够对销钉数据集中的相似目标进行有效的检测，对于销钉缺陷检测的ap0.5可达94.0％，可以满足销钉缺陷检测的需求。