一种基于神经网络的电力巡线图像自动识别方法、装置与流程

本发明涉及电力巡线、图像处理领域，特别涉及基于神经网络的电力巡线图像自动识别方法、装置。

背景技术：

由于国内的电网规模不断扩大，长距离输电线路，如特(超)高压线路增长迅速。而很多输电线路分布在崇山峻岭之间，导致传统的人工巡线受地形环境、人员素质、天气状况等不确定因素的影响，效率低，复巡周期长，巡检数据准确率不高。因此，近年来国内开始逐步发展直升机智能巡检技术，可以不受地理环境的约束，极大的提高了效率。同时由于直升机巡线时的独特视野和多种先进机载巡线设备的使用，能够对输电线路器材作近距离观测，清晰记录下线路的缺陷，巡检质量也得到了一定的提高。

随着无人机航拍技术的发展，遥感技术的不断成熟，可以利用无人机获取极为清晰的数据，并且根据数据进行分析电路情况，这与人工巡检相比，完全是从手动流转向了技术流的节奏。而随之而来的是时间的节约，人们不用浪费大量的时间在巡线的途中，节约下来的时间就完全可以用到真正的线路维护上去，线路安全也将得到提高。

但是不论是直升机还是无人机检测，还是存在下述的问题：

对采集照片中存在的问题的判断方式是人力为主，这种方式即时性差，难以长期工作，长时工作会导致效率进一步下降，错误率提升。而传统的物体中兴趣物体的识别算法，如Selective Search算法。这些算法的主要缺点在于判别方法过于简单但计算逻辑复杂，导致识别准确性差，并且计算速度较慢(随图片尺寸提高、色彩差异降低，算法运行的时间呈指数上升，但准确率却是急剧下降)。并且采用上述算法很难有显著的效率的提升，在降低计算时间或者提高准确度方面，都很难做到突破。

技术实现要素：

本发明要解决的技术问题是，通过建立端到端的训练模型，达到自动识别图像中的目标物体，基于神经网络实现电力巡线图像自动识别，提高效率。

解决上述技术问题，本发明提供了一种基于神经网络的电力巡线图像自动识别方法，其特征在于，包括如下步骤：

1)获取电力巡线时采集的输入图像，将所述输入图像输入到卷积神经网络；

1-1)在所述卷积神经网络中的通过卷积滤波器对特征图像Feature Map进行卷积，得到特征分量；

1-2)根据非线性响应函数进行采样，得到特征响应；

1-3)对步骤1-1)～1-2)进行递归，提取得到预期被圈选物体的高层特征，及对应特征的加权值；

1-4)根据得到的高层特征，对所有高层特征加权求和，得到特征向量组；

2)利用1-4)得到的特征向量组，将输入图像依次应用该特征向量组中的特征向量，得到目标类型和目标位置的选框的数字描述；

3)通过对目标输入图片进行卷积操作得到目标物体、目标位置的选框，并得到置信度最高的预期被圈选的物体和位置。

更进一步，在所述步骤1)中包括如下的预处理步骤：将图像的像素信息直接转换为数值数据输入神经网络。

更进一步，所述步骤1-1)中的特征分量为一组线性相关或线性无关二维向量组，通过在所述卷积神经网络进行学习并更新。

更进一步，所述步骤1-2)中的特征响应进一步包括：将所述特征向量经过激活函数后得到的向量组。

更进一步，所述激活函数包括：S函数、指数函数、幂函数。

更进一步，通过多个不同的特征图像进行卷积操作后得到的高层特征加权求和即为特征向量组。

更进一步，在所述步骤2)中还包括：根据上一步得到的特征向量组，将目标输入图片按照同样的方式输入所述神经网络，并计算出该图像的特征向量组，对训练得到的特征向量组与所述目标输入图片经过计算后得到的特征向量组进行比对。

基于上述本发明还提供了一种电力巡线图像自动识别系统，包括：

预处理单元，用以获取电力巡线时采集的输入图像，将所述输入图像输入到卷积神经网络；

神经网络模型单元，用以在所述卷积神经网络中的通过卷积滤波器对特征图像Feature Map进行卷积，得到特征分量；根据非线性响应函数进行采样，得到特征响应；以及进行递归后，提取得到预期被圈选物体的高层特征，及对应特征的加权值；根据得到的高层特征，对所有高层特征加权求和，得到特征向量组；

还用以通过得到的特征向量组，将输入图像依次应用该特征向量组中的特征向量，得到目标类型和目标位置的选框的数字描述；

神经网络输出单元，用以通过对目标输入图片进行卷积操作得到目标物体、目标位置的选框，并得到置信度最高的预期被圈选的物体和位置。

更进一步，还包括测试模型单元，用以在所述神经网络输出单元输出的不能达到预期要求，则调整数据数量、质量，进行数据重新采集和标注；同时，修改神经网络模型。

更进一步，所述预处理单元还用以对输入图像进行调整尺寸、切割的预处理，用以得到可进行预测和标注操作的目标输入图片

本发明的有益效果：

1)采用本发明的基于神经网络的电力巡线图像自动识别方法，简化了训练过程，提高了执行速度，并且提高了检测的准确率。软件上，由于使用了端到端的训练方法，整个过程只需要神经网络，简化了训练过程。硬件上，由于可以用市售的图形加速卡进行计算加速，提高了运算速度，能满足电力巡线的工程上一些特殊的需要。

2)由于自动识别方法本身是纯基于神经网络的，其中算法的先进性使得对于电力巡线图像进行检测时的错误率(包括漏检率，误检率)降低。

3)本发明中的基于神经网络的电力巡线图像自动识别系统，通过简化训练过程，提高了执行速度，从而在客户端的计算机不会因为长时间工作而导致准确率、效率下降。

附图说明

图1是本发明一实施例中的基于神经网络的电力巡线图像自动识别方法流程示意图。

图2是本发明一实施例中的基于神经网络的电力巡线图像自动识别系统结构示意图。

图3是是本发明基于神经网络的电力巡线图像自动识别方法的优选示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明一实施例中的基于神经网络的电力巡线图像自动识别方法流程示意图。

在本实施例中的基于神经网络的电力巡线图像自动识别方法，包括如下步骤：

步骤S1获取电力巡线时采集的输入图像，将所述输入图像输入到卷积神经网络；本领域技术人员能够明了，所述卷积神经网络，包括但不限于：由一些滤波器组和一些非线性响应函数构成网络中的层；网络中的每个层又用于筛选和匹配一个层次的特征。

在所述步骤S1中包括如下的预处理步骤：将图像的像素信息直接转换为数值数据输入神经网络。

步骤S1-1在所述卷积神经网络中的通过卷积滤波器对特征图像Feature Map进行卷积，得到特征分量；所述步骤S1-1中的特征分量为一组线性相关或线性无关二维向量组，通过在所述卷积神经网络进行学习并更新。

步骤S1-2根据非线性响应函数进行采样，得到特征响应；所述步骤S1-2中的特征响应进一步包括：将所述特征向量经过激活函数后得到的向量组。所述激活函数包括：S函数、指数函数、幂函数。

步骤S1-3对步骤步骤S1-1～步骤S1-2进行递归，提取得到预期被圈选物体的高层特征，及对应特征的加权值；

步骤S1-4根据得到的高层特征，对所有高层特征加权求和，得到特征向量组；

在上述卷积网络运行过程中，每个卷积层与输入图像卷积后，提取出各个特征的分量；提取后再用非线性响应函数处理，得到这一层的特征响应。将该特征响应以同样的方式输入下一层，递归地提取特征。卷积神经网络能够提取图像中很高层次的特征，比如人，车。这些特征按不同滤波器的输出组合到一个特征向量的不同维度上，形成特征向量图。由于物体的平移操作很大程度上并不影响物体的性质判别和除平移因素外的圈画过程，因此卷积操作很好的适应了这一特点，并大量的削减了训练所需的计算量。

在神经网络中，包括但不限于采用下述的计算公式：

一维连续卷积公式:

二维连续卷积公式:

通过连续傅里叶变换,可以计算出类似的结果：

f*g＝F^-1(F(f)·F(g))

一维离散卷积公式:

其中L为滤波器序列的长度,序列长度不足的部分，补充0填满。

二维离散卷积公式:

其中L1，L2为对应维度滤波器序列的长度。

由上述公式可知，对于一维卷积，其序列A长度m，滤波器B长度为n，则卷积结果A*B长度为m+n-1。

由公式可知，卷积中滤波器序列的翻转在工程中是可以省略的，只需在还原滤波器时翻转即可。由于卷积神经网络的应用中往往并不关心滤波器学习的结果，因此翻转在计算时可以被忽略。

离散傅里叶变换有快速算法FFT,因此卷积运算有其对应的快速算法。

A*B＝IFFT(FFT(A)·FFT(B)).其计算复杂度为O(nlogn)，n为输入序列与滤波器序列中较长的一个的长度。工程上当网络训练好以后，可以用FFT做输入图像矩阵卷积结果的运算，从而大幅度加快运算的速度。

步骤S2利用1-4得到的特征向量组，将输入图像依次应用该特征向量组中的特征向量，得到目标类型和目标位置的选框的数字描述；在所述步骤2)中还包括：根据上一步得到的特征向量组，将目标输入图片按照同样的方式输入所述神经网络，并计算出该图像的特征向量组，对训练得到的特征向量组与所述目标输入图片经过计算后得到的特征向量组进行比对。

目标类型和目标位置，用以确定电力巡线中的实现感兴趣目标的检测定位。

步骤S3通过对目标输入图片进行卷积操作得到目标物体、目标位置的选框，并得到置信度最高的预期被圈选的物体和位置。

从特征向量图的每个点数据中，用一个训练好的全连接神经网络进行目标类型和位置的判别提取。由于实际图像中的兴趣物体个数是不定的，而且很大一块区域(对应着很多特征向量)是没有兴趣物体的，这些区域所对应的特征向量会被标为“背景”标签。全连接神经网络和卷积神经网络相似，会根据其训练时得到的经验，提取出特征向量中的有用信息，并构造选框和最可能的兴趣物体类型。

图2是本发明一实施例中的基于神经网络的电力巡线图像自动识别系统结构示意图。

本实施例中的一种电力巡线图像自动识别系统，包括：

预处理单元，用以获取电力巡线时采集的输入图像，将所述输入图像输入到卷积神经网络；

神经网络模型单元，用以在所述卷积神经网络中的通过卷积滤波器对特征图像Feature Map进行卷积，得到特征分量；根据非线性响应函数进行采样，得到特征响应；以及进行递归后，提取得到预期被圈选物体的高层特征，及对应特征的加权值；根据得到的高层特征，对所有高层特征加权求和，得到特征向量组；

还用以通过得到的特征向量组，将输入图像依次应用该特征向量组中的特征向量，得到目标类型和目标位置的选框的数字描述；

神经网络输出单元，用以通过对目标输入图片进行卷积操作得到目标物体、目标位置的选框，并得到置信度最高的预期被圈选的物体和位置。

作为本实施例中的优选，系统还包括测试模型单元，用以在所述神经网络输出单元输出的不能达到预期要求，则调整数据数量、质量，进行数据重新采集和标注；同时，修改神经网络模型。

作为本实施例中的优选，所述预处理单元还用以对输入图像进行调整尺寸、切割的预处理，用以得到可进行预测和标注操作的目标输入图片。

图3是是本发明基于神经网络的电力巡线图像自动识别方法的优选示意图。

步骤S100根据实际需求状况，设置神经网络模型结构；所述卷积神经网络，包括但不限于：由一些滤波器组和一些非线性响应函数构成网络中的层；网络中的每个层又用于筛选和匹配一个层次的特征。

步骤S101使用人工标注好的数据，及涉及的神经网络模型，训练神经网络。

步骤S102训练完成的模型

步骤S103采集首批数据

步骤S104进行人工标注输入数据及输入数据的预处理，将图像的像素信息直接的转换为数值数据输入神经网络，其中50％～90％的数据进入步骤S101。在训练模型时未使用到的数据进入步骤S105。

步骤S105测试模型，若测试结果满意，误差、准确率达到要求后则进入步骤S106。若输出的神经网络模型效果不能够达到预期要求，则进入步骤S110。

步骤S106得到可以投入实际应用的神经网络模型。

步骤S107将最终确定可以用于生产环境(即电力巡线图像检测)的网络进行一定程度的封装，使其易于运用。

步骤S108用以生产环境的系统。

步骤S109预期中的结果输出。

步骤S110调整数据数量、质量(包括但不限于重新采集、标注)，修改神经网络设计(包括但不限于参数、结构)。

步骤S111使用调整过的数据和神经网络设计重新训练神经网络模型，进入步骤S102中得到训练完成的模型。

还包括步骤S112采集数据，若神经网络模型设计对输入数据有要求，则进入步骤S113。

步骤S113调整尺寸、切割等简单图片处理，使其可以利用计算机进行预测、标注等操作，之后进入步骤S108。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。