一种基于r2cnn++算法的绝缘子自爆缺陷检测方法与流程

本发明涉及图像识别技术领域，具体涉及到一种基于r2cnn++的绝缘子自爆缺陷检测方法。

背景技术：

目标检测是计算机视觉领域的基本任务之一，学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。

目前绝缘子自爆的识别算法主要包括传统的方法和深度学习方法。传统方法：如基于绝缘子的轮廓、颜色、纹理等特征。这些方法识别精度不高，运算速度较慢，效率低，尤其是其识别效果严重依赖设定参数，算法对于不同背景适应性较差，识别率稳定性差。深度学习：分为one-stage方法和two-stage方法，one-stage方法依赖一次检测对目标同时进行定位和分类，two-stage方法首先通过一次检测对目标进行定位，然后再对目标进行第二次分类。目前常见的用于定位的是如faster-rcnn等基于正框标注的算法，相对于传统算法来说，精度有了很大的提升。对小目标的检测效果欠佳，对背景干扰严重的图片识别准确度还有待提高，同时只能输出正框的坐标信息，而绝缘子经常会在画面中呈倾斜状。直接使用正框就按测会引入较多的背景噪音，从而导致模型的识别准确率不高。

技术实现要素：

为解决上述现有技术问题，本发明的目的在于提供一种基于r2cnn++的斜框检测绝缘子自爆缺陷检测方法。

本发明采用的技术方案如下：一种输电杆塔金具锈蚀的智能识别方法，包括：

s1：定位模型数据采集步骤，通过无人机采集高清图片，建立绝缘子图形库，包括训练集，验证集和测试集；

s2：定位模型训练步骤，使用训练集和验证集训练基于r2cnn++的绝缘子定位模型；

s3：定位模型测试步骤，使用测试集测试定位模型，然后将定位模型用于定位绝缘子位置；

s4：分类模型数据采集步骤，对定位模型检测到的绝缘子进行仿射变换，并保存得到绝缘子分类图像库，包括训练集，验证集和测试集；

s5：分类模型训练步骤，使用训练集和验证集训练分类模型；

s6：分类模型测试步骤，使用测试集测试分类模型。s7：整合步骤：将定位模型和分类模型进行串联，用于绝缘子自爆缺陷识别检测。

进一步的，所述步骤s1中，利用无人机获取的高清图片保存为jpeg格式，所拍摄的图片应涵盖绝缘子，且绝缘子标注框体为斜框。

进一步的，所述步骤s2中使用的定位模型基于r2cnn++，该模型输出检测框体为斜框，可以更精准的定位目标绝缘子，同时通过融合多层特征和有效锚点采样技术，提高了对小目标的灵敏度，此外为了得到更精确的旋转估计，在光滑l1损失中加入iou常数因子解决了斜框边界旋转问题。

进一步的，所述步骤s3中定位模型检测出的绝缘子框体为斜框。

进一步的，所述步骤s4中为分类模型准备的数据来源于定位模型的检测结果，检测结果需要将斜框通过仿射变换转为正矩形框，并截图保存；训练集，验证集和测试集分别包含两类数据，分别是自爆的缺陷绝缘子和无自爆缺陷的绝缘子。

进一步的，所述步骤s5中分类模型使用resnest50作为骨干网络。

进一步的，所述步骤s6中分类模型的输出结果分别为有自爆的缺陷绝缘子和无自爆缺陷的绝缘子两种类别。

进一步的，所述步骤s7中将定位模型和分类模型进行串行连接，其中定位模型的输出作为分类模型的输入。

本发明的有益效果是：通过引入r2cnn++对绝缘子位置使用斜框进行定位，减少了背景区域的干扰，提高算法学习特征的性能，提高分类准确度；融合多层特征，提升了对小目标的检测性能，提高了输电线路绝缘子自爆隐患的检出几率，为避免绝缘子自爆造成的输电线安全事件提供支撑。

附图说明

图1是本发明现有技术的示意图。

图2是本发明实施例的训练流程示意图。

图3是本发明实施例的检测流程的示意图。

图4是本发明实施例中r2cnn++模型的结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本实例提供一种基于r2cnn++的绝缘子自爆缺陷检测方法，对绝缘子自爆缺陷进行精准定位与识别。如图3所示，该方法利用两个模型分别完成定位和分类的工作，其中特别利用r2cnn++输出斜框的特性，为后续的分类网络提供背景干扰更少的数据，还利用仿射变换将斜框绝缘子转为正框绝缘子，便于进行分类。

s1：定位模型数据采集步骤：通过无人机获取图片，所述无人机可以调节镜头焦距，并依据现场环境调整其拍摄位置，从而提供高质量的待检图片。即所述s1定位模型数据采集步骤为通过无人机获取高清图片。

s2：定位模型训练步骤：如图2所示示意图中，使用训练集和验证集训练基于r2cnn++的绝缘子定位模型。该步骤可以通过一台带有高性能显卡的服务器来实现。即所述s2定位模型训练步骤为通过s1采集的训练集基于r2cnn++算法进行模型训练。

s3：定位模型测试步骤：使用测试集测试定位模型，然后将定位模型用于定位绝缘子位置。即所述s3定位模型测试步骤为通过测试集对s2训练的模型进行测试，验证其有效性。

s4：分类模型数据采集步骤：对定位模型检测到的绝缘子进行仿射变换，并保存得到绝缘子分类图像库，包括训练集，验证集和测试集。即所述s4分类模型数据采集步骤为使用s3测试通过的模型对s1中采集的数据进行检测，对定位得到的绝缘子斜框进行仿射变换并截图保存，得新的训练数据。

s5：分类模型训练步骤：如图2所示示意图中，使用训练集和验证集训练分类模型。该步骤可以通过一台带有高性能显卡的服务器来实现。即所述s5分类模型训练步骤为通过s4得到的训练集进行分类模型的训练。

s6：分类模型测试步骤：使用测试集测试分类模型。即所述s6分类模型测试步骤为通过测试集对s5训练的模型进行测试，验证其有效性。

s7：整合步骤：将定位模型和分类模型进行串联，用于绝缘子自爆缺陷识别检测。即所述s7整合步骤为将s3和s6测试通过的定位和分类模型进行串联，使其输入为采集的高清图片，输出为图片中绝缘子是否存在缺陷的分类结果。

显然，本发明的上述实施例仅仅是为了说明本发明所作的举例，而并非对本发明的实施方式的限定。属于本发明的实质精神所引申出的显而易见的变化或变动仍属于本发明的保护范围。

技术特征：

1.一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于，包括以下步骤：

s1：通过无人机采集高清图片，建立绝缘子图形库，包括训练集，验证集和测试集；

s2：使用训练集和验证集训练基于r2cnn++的绝缘子定位模型；

s3：使用测试集测试定位模型，然后将定位模型用于定位绝缘子位置；

s4：对定位模型检测到的绝缘子进行仿射变换，并保存得到绝缘子分类图像库，包括训练集，验证集和测试集；

s5：使用训练集和验证集训练绝缘子自爆分类模型；

s6：使用测试集测试绝缘子自爆分类模型；

s7：将绝缘子定位模型和绝缘子自爆分类模型进行串联，用于绝缘子自爆缺陷识别检测。

2.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s1中，利用无人机获取的高清图片保存为jpeg格式，所拍摄的图片应涵盖绝缘子，且绝缘子标注框体为斜框。

3.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s2中使用的定位模型基于r2cnn++，该模型输出检测框体为斜框，可以更精准的定位目标绝缘子，同时通过融合多层特征和有效锚点采样技术，提高了对小目标的灵敏度，此外为了得到更精确的旋转估计，在光滑l1损失中加入iou常数因子解决了斜框边界旋转问题。

4.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s3中定位模型检测出的绝缘子框体为斜框。

5.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s4中为分类模型准备的数据来源于定位模型的检测结果，检测结果需要将斜框通过仿射变换转为正矩形框，并截图保存；训练集，验证集和测试集分别包含两类数据，分别是自爆的缺陷绝缘子和无自爆缺陷的绝缘子。

6.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s5中分类模型使用resnest50作为骨干网络。

7.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s6中分类模型的输出结果分别为有自爆的缺陷绝缘子和无自爆缺陷的绝缘子两种类别。

8.如权利要求1所述的一种基于r2cnn++的绝缘子自爆缺陷检测方法，其特征在于：所述步骤s7中将定位模型和分类模型进行串行连接，其中定位模型的输出作为分类模型的输入。

技术总结
本发明涉及一种基于r2cnn++算法的绝缘子自爆缺陷检测方法，包括以下步骤：采集绝缘子图片，建立用于定位模型训练的图片库，包括训练集，验证集和测试集；构建r2cnn++模型，使用训练集和验证集训练r2cnn++模型；使用测试集测试r2cnn++模型性能，然后将r2cnn++模型用于绝缘子定位检测和识别；对r2cnn++模型定位的绝缘子进行仿射变换，并建立用于分类模型训练的绝缘子图片库，包括训练集，验证集和测试集；构建绝缘子分类网络，使用训练集和验证集训练分类模型；使用测试集测试分类模型，然后将分类模型用于绝缘子分类，判断是否存在自爆缺陷。与现有技术相比，本发明在检测准确率方面优于传统方法,具有一定的应用价值。

技术研发人员：张一辰;张飞飞;陈双辉;籍天明;樊白川
受保护的技术使用者：南京土星信息科技有限公司
技术研发日：2020.11.09
技术公布日：2021.03.12