基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
本申请涉及输电线路销钉缺陷识别技术领域，具体涉及一种基于级联卷积神经网络的销钉缺陷识别方法、装置和设备。
背景技术：
电力金具作为电力系统中必不可少的金属元部件，在架空输电线路中承担着电力部件的固定、支撑、保护、连接等作用，对电力系统的稳定、安全、可靠的运行起着不可或缺的作用。然而由于大部分的电力金具不仅仅暴露在恶劣的户外环境下，而且还长期要承受外部其他电力设备的机械张力负荷以及内部电力系统电力传输所产生的负荷，在这种内外负荷的作用下，使电力金具上的销钉极易发生缺失等现象，造成电力系统的运行故障。
近年来，无人机巡检已广泛应用于输电线路的日常巡检当中，减少了电网运维人员攀爬检查的工作量和降低了工作的危险系数，且能够高效准确的判断电力设备的故障情况。由于电力系统的完善，输电设备的大量增加，航拍图像呈爆炸式增长，导致传统的人工识别检测效率低下。因此，销钉缺陷识别的检测方法迎来严峻挑战。
在现有的目标检测研究方法中，对背景复杂、大尺度的航拍输电线路图像中实现对销钉的缺陷检测还存在一定的难度。主要存在以下几个技术难点：①检测时由于图像模糊、图像背景复杂、目标小且呈现多形态、检测目标被部分遮挡等特点导致的误检、漏检；②在卷积神经网络中，高精度的网络一般都有较深的层数，由此产生的计算、存储开销极大；③较深的网络结构在训练时需要大量的标注数据，训练复杂、效率低下，在缺少数据集的情况下很难有较高的检测精度；④由于目标检测算法针对常规的图像进行设计的，进行训练和检测时图像大小得固定，这在航拍输电线路图像的目标检测中不能实现通用性、尺度自适应性。
技术实现要素：
有鉴于此，本申请的目的在于克服现有技术的不足，提供一种基于级联卷积神经网络的销钉缺陷识别方法、装置和设备。
本申请的上述目的是通过以下技术方案实现的：
第一方面，本申请实施例通过一种基于级联卷积神经网络的销钉缺陷识别方法，其包括：
改进算法模型：基于原始mtcnn算法进行改进，并构建改进后的mtcnn算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；mtcnn算法包括候选网络pnet、优化网络rnet和输出网络onet三层网络结构；
构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；
基于改进后的mtcnn算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；
利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。
可选的，所述改进卷积层结构包括：
在部分卷积层之后加入非线性多层感知器，并在原始卷积中对卷积核进行分解，同时去除全连接层；其中，非线性多层感知器中每张特征图的计算公式为：
式中，n表示第n层，
可选的，所述对多尺度特征图进行融合，包括：
将pnet中的12×12像素的检测窗口经过三层卷积后进行损失的计算，并将pnet的第一层与第三层进行特征图融合；
基于相同的原理，对rnet和onet的第二层和第三层进行特征图融合。
可选的，所述改进损失函数包括：
借助角度变量将损失函数化为关于角度的公式，并引入一个整数n来加大角度问题，得到改进后的损失函数为：
式中，l表示损失函数，θ为分类面与w的夹角角度，w为神经元的权重向量。
可选的，所述改进训练策略包括：
将训练过程分为预训练和离线困难样本训练两个步骤；
其中，在训练前，借助交并比iou的大小将图像样本划分为正样本、负样本及部分正样本；
在预训练阶段，采取在线困难样本挖掘的策略，即在训练过程中，将每个批量数据计算生成的传播损失进行排序，在传播损失最大的样本中按一定比例将样本划分为困难样本；在进行反向传播时，仅借助困难样本的损失来更新神经网络模型中的权重；
在离线困难样本训练阶段，针对输入不同尺度图像的网络模型，对获得的正样本、负样本及部分正样本均进行缩放为12×12像素、24×24像素，并将pnet、改进的rnet分别进行训练；最后再将获取的困难样本，正样本与部分正样本缩放为48×48像素以对改进的onet进行重新训练。
可选的，所述借助交并比的大小将图像样本划分正样本、负样本及部分正样本，包括：
借助滑动窗口法选取训练样本，即对训练图像金字塔化处理，利用设定好尺寸的滑动窗口在图像上进行区域选取；
对选取的区域与标注框的iou进行计算，将iou大于0.7的区域记为正样本，小于0.3的区域记为负样本，0.5-0.7之间的区域记为部分正样本。
可选的，利用所述训练模型对待识别图像进行销钉缺陷识别的检测过程为级联检测，其中包括：
对输入图像进行金字塔化处理，并借助pnet对处理后的每一级图像进行检测得到初步候选框；
将在每一级图像得到的候选框映射到原始的图像中，获得目标切片，再借助rnet对初步候选框进行分类和边界回归，得到次级候选框；
利用onet再一次将达到设定阈值的次级候选框进行分类和边界回归，得到检测结果。
可选的，级联检测过程中，利用非极大值抑制算法nms来减少各级候选框的冗余。
第二方面，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别装置，其包括：
改进模块，用于改进算法模型：基于原始mtcnn算法进行改进，并构建改进后的mtcnn算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；mtcnn算法包括候选网络pnet、优化网络rnet和输出网络onet三层网络结构；
构建模块，用于构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；
训练模块，用于基于改进后的mtcnn算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；
识别模块，用于利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。
第三方面，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别设备，其包括：
存储器与所述存储器相连接的处理器；
所述存储器用于存储程序，所述程序至少用于实现如第一方面任一项所述的方法；
所述处理器用于调用并执行所述存储器存储的所述程序。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请的实施例提供的技术方案中，首先，在处理大尺度图像时，借助小尺度浅层全卷积对航拍图像进行快速遍历和目标搜索，再采用较深层卷积对前面单尺度浅层全卷积处理出来的候选目标实现级联分类和精确定位。此外，在浅层全卷积神经网络中，可以输入任意尺度的航拍图像以及有较快的检测速度；由多个卷积神经网络组成的级联检测机制在精度上比单个神经网络有更强的优势。在此基础上，改进卷积层结构，同时将多尺度特征图进行融合，在分类交叉熵损失函数中加入角度变量；训练阶段利用多任务学习和离线困难样本挖掘策略，可与有效提高训练模型的效果。因此，本申请在识别速度和精度上都有较大的提高，模型在移动设备上的移植和应用也更具优势。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别方法的流程示意图；
图2为本申请实施例提供的模型训练过程示意图；
图3为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别装置的结构示意图；
图4为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
实施例
参照图1，图1为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别方法的流程示意图。如图1所示，该方法至少包括如下步骤：
s101：改进算法模型：基于原始mtcnn算法进行改进，并构建改进后的mtcnn算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；mtcnn算法包括候选网络pnet、优化网络rnet和输出网络onet三层网络结构；
具体的，mtcnn(multi-taskconvolutionalneuralnetwork，多任务卷积神经网络)算法，采用了三个级联的网络，采用候选框加分类器的思想进行检测。其中，候选网络pnet是浅层全卷积，用于快速生成候选窗口，优化网络rnet是较深层卷积，用于进行高精度候选窗口过滤选择，输出网络onet是更深层卷积，用于生成最终边界框。
一些实施例中，所述改进卷积层结构包括：
在部分卷积层之后加入非线性多层感知器，并在原始卷积中对卷积核进行分解，同时去除全连接层；其中，非线性多层感知器中每张特征图的计算公式为：
式中，n表示第n层，
具体的，由于传统的卷积对高度非线性的特征提取能力不够，于是利用非线性多层感知器对各个局部感受野的神经元实现更复杂的运算。这样不仅可以获取泛化能力更强、抽象性更高的特征，还能对数据实现降维。
而对网络结构进行修改(加入非线性多层感知器)后提升了目标检测的精度，增加了网络模型的复杂度，一般来说，这样会降低模型的检测速度。为了在一定程度上解决这个问题，将原始网络中的卷积核进行分解，可以显著降低计算量和在一定程度上减小模型。
为了进一步改善网络的表达能力，在mtcnn级联卷积神经网络中pnet、rnet、onet的第一层3×3卷积运算在多个尺度上对特征进行聚合再卷积。此外，去除全连接层，也即将传统cnn中的全连接层替换为全局池化，如此能够减少网络参数并降低过拟合的可能。
一些实施例中，所述对多尺度特征图进行融合，包括：
将pnet中的12×12像素的检测窗口经过三层卷积后进行损失的计算，并将pnet的第一层与第三层进行特征图融合；
基于相同的原理，对rnet和onet的第二层和第三层进行特征图融合。
具体的，多尺度特征图融合，也即将不同层的检测结果进行结合来提升检测性能的思想，采取对多尺度的特征分别进行预测，再对预测生成的结果进行融合。为了提升对销钉缺陷识别的性能，如分辨率、位置信息等，因此在mtcnn级联卷积神经网络中增加了特征图融合的改进。
一些实施例中，所述改进损失函数包括：
借助角度变量将损失函数化为关于角度的公式，并引入一个整数n来加大角度问题，得到改进后的损失函数为：
式中，l表示损失函数，θ为分类面与w的夹角角度，w为神经元的权重向量。
具体的，mtcnn模型中，借助交叉熵损失函数进行分类任务。由于函数把一个平面仅仅作为分类面，类间距离太小会导致对分类平面附近的样本分类效果差，也即一个优良的损失函数具有类内距离足够小、类间距离足够大。基于此，对损失函数进行上述改进。进行改进后，可以对类间距离进行有效增加，从而提升决策区域的可分度，同时压缩类内的角度分布。
一些实施例中，所述改进训练策略包括：
将训练过程分为预训练和离线困难样本训练两个步骤，从而在有限标注数据条件下最大限度增强模型的泛化性能。具体训练过程将在后续步骤中进行说明。
s102：构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；
其中，关于预处理，目的是便于后续训练。具体的，原始图像经过光照、镜像、颜色、环境变换等数据增广处理后得到多张(比如6000张)航拍图像，然后利用标注工具对其进行标注；进一步的，为了将训练数据的数量和多样性进行扩充，把训练样本区分为4个类别：正样本、负样本、部分正样本及困难样本。
其中，关于样本类别，首先在训练前，借助交并比iou(intersectionoverunion)的大小将图像样本划分为正样本、负样本及部分正样本。iou在目标检测任务中是用于评价定位精度的一种概念，具体定义为预测框和标注框面积的交集与并集的比值，其公式为：
具体的，一种可行的划分方法是：借助滑动窗口法选取训练样本，即对训练图像金字塔化处理，利用设定好尺寸的滑动窗口在图像上进行区域选取；对选取的区域与标注框的iou进行计算，将iou大于0.7的区域记为正样本，小于0.3的区域记为负样本，0.5-0.7之间的区域记为部分正样本。
此外，为了保证训练样本中正常销钉目标和销钉缺陷目标类别平衡，选取航拍图像训练集中的70％作为训练样本，剩余的30％图像作为测试集，以检验模型的泛化性与实用性。
s103：基于改进后的mtcnn算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；所述级联卷积神经网络包括候选网络pnet、优化网络rnet和输出网络onet三层网络结构；
其中，为了在有限标注数据条件下最大限度的增强模型泛化性能，将训练过程分为两个步骤即预训练和离线困难样本训练。
训练过程参照图2，具体的，在预训练阶段，采取在线困难样本挖掘(onlinehardexamplemining，ohem)的策略，即在训练过程中，将每个批量数据计算生成的传播损失进行排序，在传播损失最大的样本中按一定比例将样本划分为困难样本；在进行反向传播时，仅借助困难样本的损失来更新神经网络模型中的权重。其中，利用预训练完成的mtcnn模型检测训练图像，可得到大量的误检、漏检目标，这些目标即为困难样本。ohem策略在卷积神经网络反向传播时将部分易分样本的梯度忽略，选取到的样本大部分为简单样本，大量简单样本的存在造成模型不能高效的区分困难样本，这是造成误检、漏检的主要因素，在训练数据中加入困难样本能够改善检测结果的误检率和漏检率。
此外，在离线困难样本训练阶段，针对输入不同尺度图像的网络模型，对获得的正样本、负样本及部分正样本均进行缩放为12×12像素、24×24像素，并将pnet、改进的rnet分别进行训练；最后再将获取的困难样本，正样本与部分正样本缩放为48×48像素以对改进的onet进行重新训练。
s104：利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。
具体的，利用所述训练模型对待识别图像进行销钉缺陷识别的检测过程为级联检测，其中包括：
对输入图像进行金字塔化处理，并借助pnet对处理后的每一级图像进行检测得到初步候选框；pnet实质是借助了gpu加速的一种滑动窗口法，pnet在每一级图像上进行滑动的同时，也在对该窗口属于销钉目标的概率进行判断，因而得到该级图像的概率图；
将在每一级图像得到的候选框映射到原始的图像中，获得目标切片，再借助rnet对初步候选框进行分类和边界回归，得到次级候选框；
利用onet再一次将达到设定阈值的次级候选框进行分类和边界回归，得到检测结果。
此外，级联检测过程中，候选框的生成过程会有大量重叠框的生成，因此一些实施例中，利用非极大值抑制算法nms来减少各级候选框的冗余。
通过上述方法，即可得到准确的检测结果。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请的实施例提供的技术方案中，首先，在处理大尺度图像时，借助小尺度浅层全卷积对航拍图像进行快速遍历和目标搜索，再采用较深层卷积对前面单尺度浅层全卷积处理出来的候选目标实现级联分类和精确定位。此外，在浅层全卷积神经网络中，可以输入任意尺度的航拍图像以及有较快的检测速度；由多个卷积神经网络组成的级联检测机制在精度上比单个神经网络有更强的优势。在此基础上，改进卷积层结构，同时将多尺度特征图进行融合，在分类交叉熵损失函数中加入角度变量；训练阶段利用多任务学习和离线困难样本挖掘策略，可与有效提高训练模型的效果。因此，本申请在识别速度和精度上都有较大的提高，模型在移动设备上的移植和应用也更具优势。
此外，对应于上述实施例提供的基于级联卷积神经网络的销钉缺陷识别方法，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别装置。其中，该装置为应用执行上述方法的设备中的基于软件、硬件或其结合的功能模块。
参照图3，图3为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别装置的结构示意图。如图3所示，该装置至少包括：
改进模块21，用于改进算法模型：基于原始mtcnn算法进行改进，并构建改进后的mtcnn算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；mtcnn算法包括候选网络pnet、优化网络rnet和输出网络onet三层网络结构；
构建模块22，用于构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；
训练模块23，用于基于改进后的mtcnn算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；
识别模块24，用于利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。
其中，上述装置中各模块所执行的步骤的具体实现方法可以参照前述方法实施例，此处不再赘述。
此外，对应于上述实施例提供的基于级联卷积神经网络的销钉缺陷识别方法，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别设备。其中，该设备为应用执行上述方法的智能设备，比如pc或移动智能设备等。
参照图4，图4为本申请实施例提供的一种基于级联卷积神经网络的销钉缺陷识别设备的结构示意图。如图4所示，该设备至少包括：
存储器31和与存储器31相连接的处理器32；
存储器31用于存储程序，所述程序至少用于实现上述方法实施例所述的基于级联卷积神经网络的销钉缺陷识别方法；
处理器32用于调用并执行存储器31存储的所述程序。
其中，所述程序所实现的方法的各步骤的具体实现方法可以参照前述方法实施例，此处不再赘述。
上述方案中，在识别速度和精度上都有较大的提高，并且模型在移动设备上的移植和应用也更具优势。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
- 还没有人留言评论。精彩留言会获得点赞！