基于图像处理融合网络权值的电网传输线检测方法及装置与流程

本发明涉及一种电网传输线检测方法，特别是涉及一种基于图像处理融合网络权值的电网传输线检测方法及装置，属于图像处理技术领域。

背景技术：

随着图像处理技术在工业领域的发展，以及智能电网的大力推进，远程监控已逐渐被运用于智能电网中。对于偏远山区或条件恶劣地区的高压传输线，采用机器代替人工检测，不仅降低了检测的费用和管理成本，还能降低巡检时工人的作业强度，降低户外作业风险。

然而由于高压传输线的图片是远程监控采集到的，受自然因素的影响，实际采集到的图片对比度不高，输电线跟天空的灰度值相差不多，再加上电塔、树木等背景，以及外界噪声的影响使得图片质量下降，势必会增加电线的检测难度。因此急需一种鲁棒性强，适用性广的高压传输线检测算法应用于智能电网中。

技术实现要素：

本发明的目的在于，克服现有技术中存在的不足，解决上述技术问题，提供基于图像处理融合网络权值的电网传输线检测方法，实现准确的检测出传输线并通过可视化验证其准确性。

为解决上述技术问题，本发明所采用的技术方案是：基于图像处理融合网络权值的电网传输线检测方法，包括如下步骤：

步骤ss1：读入待分析图片；

步骤ss2：将步骤ss1输入的所述待分析图片进行灰度化处理，得到灰度图像；

步骤ss3：对步骤ss2得到的所述灰度图像进行高斯模糊去噪，去除所述灰度图像的噪声，获得平滑图像；

步骤ss4：对步骤ss3得到的所述平滑图像进行算术运算，将所述平滑图像整体像素值降低；

步骤ss5：对步骤ss4算术运算后的平滑图像进行灰度线性变换；；

步骤ss6：对步骤ss5灰度线性变换后的平滑图像用canny算子边缘检测，在平滑图像中提取出传输线边缘的像素点；

步骤ss7：对步骤ss6用canny算子边缘检测后的平滑图像设定感兴趣区域roi，提取出传输线区域；

步骤ss8：将步骤ss7得到的感兴趣区域roi内的像素点进行分类，得到分类像素点；

步骤ss9：将步骤ss1输入的所述待分析图片通过深度网络模型计算电网传输线分布图；

步骤ss10：将步骤ss8得到的所述分类像素点与步骤ss9计算得到的电网传输线分布图进行融合，得到融合像素点；

步骤ss11：根据步骤ss10得到的融合像素点拟合传输线，实现对高压线的检测。

作为一种较佳的实施例，所述步骤ss1中的待分析图片是智能设备巡检过程中产生的关于电网传输线的图像数据；所述智能设备包括但不限于以下所列中任意一项或几项：直升机、无人机、机器人、固定摄像机。

作为一种较佳的实施例，所述步骤ss2具体包括：将采集到的24位真彩色图像转化为8位灰度图，得到灰度图像。

作为一种较佳的实施例，所述步骤ss3具体包括：利用高斯算子对灰度图像进行模糊平滑，将高斯分布权值矩阵与原始图像矩阵做卷积运算，减少图像噪声。

作为一种较佳的实施例，所述步骤ss4具体包括：

步骤ss41：将图像进行加法运算，其运算公式如公式(1)所示，

其中，a(x,y)表示加法运算后的图像像素值，f(x,y)表示去噪图像像素值；

步骤ss42：进行除法运算，将a(x,y)除以2得到d(x,y)，其中d(x,y)表示除法运算后的图像像素值；

步骤ss43：进行减法运算，将f(x,y)减去d(x,y)得到s(x,y)，其中s(x,y)表示减法运算后的图像像素值；

算术运算结果表示如公式(2)所示：

其中，若计算结果超出灰度级最大值，则使计算结果为灰度级最大值；若计算结果小于灰度级最小值，则使计算结果为灰度级最小值。

作为一种较佳的实施例，所述步骤ss5中的线性变换公式如公式(3)所示，

其中l(x,y)表示线性变换后的图像，[a,b]和[c,d]分别表示图像d(x,y)和l(x,y)的灰度值范围；对于减法运算后的图像，a和c都为0，d/b根据实验效果设置为3。

作为一种较佳的实施例，所述步骤ss6中的canny算子边缘检测包括如下步骤：

步骤ss61：使用高斯滤波器进行平滑图像，滤除噪声；

步骤ss62：计算图像中每个像素点的梯度强度和方向；

步骤ss63：应用非极大值抑制，消除边缘检测带来的杂散响应；

步骤ss64：应用双阈值检测来确定真实的和潜在的边缘；

步骤ss65：滞后边缘跟踪，通过抑制孤立的弱边缘最终完成边缘检测。

作为一种较佳的实施例，所述步骤ss7中的感兴趣区域roi是由交互式点击的方式来设定，在图中点击获取多边形的顶点，从而形成一个多边形区域，为图像分析区域。

作为一种较佳的实施例，所述步骤ss8具体包括：由于高压线分为横向和纵向两种，像素点的搜索也分为两种：横向搜索、纵向搜索；

所述横向搜索包括：从起点开始横向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的右、右下、下和左下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其右、右下、下和左下，以此循环往复直到一条边缘结束；

一条边缘搜索完成以后，再回到横向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成；

所述纵向搜索包括：从起点开始纵向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的上、右上、右、右下和下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其上、右上、右、右下和下，以此循环往复直到一条边缘结束；

一条边缘搜索完成以后，再回到纵向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成。

作为一种较佳的实施例，所述步骤ss8中的像素点分类时，以检测每条线的两条边缘为一次循环；分别进行横向搜索和纵向搜索来寻找每一个边缘的起点，再循环搜索出一条边缘的所有像素点坐标放入点集中，即以两条边缘的像素点分为一类，存放于一个点集中。

作为一种较佳的实施例，所述步骤ss9中计算电网传输线分布图采用的是深度网络模型，具体包括：

整个网络包含三个网络分支，用于适应不同的感受野；

第一个分支采用9×9、7×7、7×7和7×7的卷积核；

第二个分支采用7×7、5×5、5×5和5×5的卷积核；

第三个分支采用5×5、3×3、3×3和3×3的卷积核；

三个网络分支的输出通过一个卷积核大小为1×1的卷积层进行融合，得到最后的电网传输线分布输出。

作为一种较佳的实施例，所述步骤ss10具体包括：将分类像素点与电网传输线分布图进行融合，得到融合像素点；运算结果如公式(4)所示：

其中，像素分类点集为m，深度网络模型输出权值图为n，融合输出为p。

作为一种较佳的实施例，所述步骤ss11中拟合方法是最小二乘法，具体包括：

步骤ss111：以最小二乘法拟合点集中的像素点，得到一条传输线；

步骤ss112：输出传输线二次方程；完成后，传输线的数量加1；

步骤ss113：以集合中最大的和最小的y值为起点和终点，代入拟合的方程中算出一系列坐标点(x,y)，并描绘出曲线，将算法功能可视化，以验证算法可靠性；

步骤ss114：所有传输线搜索完成后，输出传输线数量。

本发明还提出基于图像处理融合网络权值的电网传输线检测装置，包括：

图片读取模块，用于执行：读入待分析图片；

灰度化模块，用于执行：将所述待分析图片进行灰度化处理，得到灰度图像；

高斯模糊去噪模块，用于执行：对得到的所述灰度图像进行高斯模糊去噪，去除所述灰度图像的噪声，获得平滑图像；

算术运算模块，用于执行：对得到的所述平滑图像进行算术运算，将所述平滑图像整体像素值降低；

灰度线性变换模块，用于执行：对算术运算后的平滑图像进行灰度线性变换；

算子边缘检测模块，用于执行：对灰度线性变换后的平滑图像用canny算子边缘检测，在平滑图像中提取出传输线边缘的像素点；

传输线区域提取模块，用于执行：对用canny算子边缘检测后的平滑图像设定感兴趣区域roi，提取出传输线区域；

分类像素点生成模块，用于执行：将得到的感兴趣区域roi内的像素点进行分类，得到分类像素点；

分布权值图生成模块，用于执行：将所述待分析图片通过深度网络模型计算电网传输线分布权值图；

融合模块，用于执行：将得到的所述分类像素点与得到的电网传输线分布权值图进行融合，得到融合像素点；

传输线拟合模块，用于执行：根据得到的融合像素点拟合传输线，实现对电网传输线的检测。

本发明所达到的有益效果：本发明针对如何解决现有技术存在高压传输线的图片是远程监控采集到的，受自然因素的影响，实际采集到的图片对比度不高，输电线跟天空的灰度值相差不多，再加上电塔、树木等背景，以及外界噪声的影响使得图片质量下降，势必会增加电线的检测难度的技术需求，提出基于图像处理融合网络权值的电网传输线检测方法及装置，经过一系列图像预处理之后，能精确地将边缘检测出来，并且基于像素点搜索的方式对每条传输线的边缘像素点进行分类，且具有很高的精确性。第二，本发明采用深度神经网络模型计算电网传输线分布图，能够有效的减少道路、杆塔等具有直线特征的背景干扰。第三，本发明通过将边缘像素点与电网传输线分布融合，保证了边缘检测效果的同时又排除了背景干扰。第四，本发明运用最小二乘法对每条传输线的像素点进行拟合，从而检测出传输线。第五，本发明同时输出传输线的二次方程及其数量，并将其检测效果可视化，精确度高，可视性强。

附图说明

图1为本发明基于图像处理融合网络权值的电网传输线检测方法的步骤流程图；

图2为本发明像素点分类中横向搜索方法的流程图；

图3为本发明像素点分类中纵向搜索方法的流程图；

图4为本发明像素点分类的流程图；

图5为本发明输电线分布权计算流程图；

图6为本发明分类像素点与电网传输线分布融合流程图；

图7为本发明输电线拟合流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：本发明提供一种基于图像处理融合网络权值的电网传输线检测方法，如图1所示，包括以下步骤：

1)读入直升机、无人机、机器人、固定摄像机等智能设备巡检过程中产生的关于电网传输线的图像；

2)将输入的图片灰度化处理，即将采集到的24位真彩色图像转化为8位灰度图，得到灰度图像；

3)利用高斯算子对灰度化图像进行高斯模糊去噪，将高斯分布权值矩阵与原始图像矩阵做卷积运算，减少图像噪声平滑图像；

4)对平滑后的图像进行算术运算，将图像整体像素值降低，便于后续进行线性变换。算术运算分为三步：

4-1)将图像进行加法运算，其运算公式如公式(1)所示，其中a(x,y)表示加法运算后的图像像素值，f(x,y)表示去噪图像像素值。

4-2)再进行除法运算，将a(x,y)除以2，其中d(x,y)表示除法运算后的图像像素值。

4-3)最后进行减法运算，将f(x,y)减去d(x,y)，其中s(x,y)表示除法运算后的图像像素值。

其中，若计算结果超出灰度级最大值，则使计算结果为灰度级最大值；若计算结果小于灰度级最小值，则使计算结果为灰度级最小值。算术运算结果表示如如公式(2)所示。

5)对算数运算后的图像进行灰度线性变换，增强图像的对比度，扩大传输线和背景之间的差值，这有利于提升边缘检测的效果。

线性变换公式如公式(3)所示，其中l(x,y)表示线性变换后的图像，[a,b]和[c,d]分别表示图像d(x,y)和l(x,y)的灰度值范围。对于减法运算后的图像，a和c都为0，d/b根据实验效果设置为3。

6)对线性变换后后的图像用canny算子边缘检测，提取出传输线边缘的像素点，去除无效信息。

canny算子包括5个步骤：

6-1)使用高斯滤波器，以平滑图像，滤除噪声。

6-2)计算图像中每个像素点的梯度强度和方向。

6-3)应用非极大值(non-maximumsuppression)抑制，以消除边缘检测带来的杂散响应。

6-4)应用双阈值(double-threshold)检测来确定真实的和潜在的边缘。

6-5)滞后边缘跟踪，通过抑制孤立的弱边缘最终完成边缘检测。

7)在图像中以交互式点击的方式来设定感兴趣区域(roi)，在图中点击获取多边形的顶点，从而形成一个多边形区域，以提取出传输线区域，抑制背景干扰，增强算法的鲁棒性；

8)将roi内的像素点分类，用于电网传输线的拟合。

由于高压线分为横向和纵向两种，像素点的搜索也分为两种：横向搜索、纵向搜索。

8-1)横向搜索：

如图2所示，从起点开始横向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的右、右下、下和左下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其右、右下、下和左下，以此循环往复直到一条边缘结束。

一条边缘搜索完成以后，再回到横向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成。

8-2)纵向搜索：

如图3所示，从起点开始纵向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的上、右上、右、右下和下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其上、右上、右、右下和下，以此循环往复直到一条边缘结束。

一条边缘搜索完成以后，再回到纵向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成。

如图4所示，像素点分类时，以检测每条线的两条边缘为一次循环。分别进行横向搜索和纵向搜索来寻找每一个边缘的起点，再由8-1)和8-2)中的方法搜索出一条边缘的所有像素点坐标放入点集中，即以两条边缘的像素点分为一类，存放于一个点集中。其中i表示同一点集中边缘的数量。

9)采用深度网络模型计算电网传输线分布图，流程如图5所示。

整个网络包含三个网络分支，用于适应不同的感受野。第一个分支采用9×9、7×7、7×7和7×7的卷积核。第二个分支采用7×7、

5×5、5×5和5×5的卷积核。第三个分支采用5×5、3×3、3×3和3

×3的卷积核。三个网络分支的输出通过一个卷积核大小为1×1的卷积层进行融合，得到最后的电网传输线分布输出。

10)将分类像素点与电网传输线分布图进行融合，得到融合像素点，融合流程如图6所示。像素分类点集为m，深度网络模型输出权值图为n，融合输出为p，运算结果如公式(4)所示。

11)根据分类的像素点拟合传输线，实现对高压线的检测，流程如图7所示。

拟合方法是最小二乘法。

11-1)以最小二乘法拟合点集中的像素点，得到一条传输线。

11-2)输出传输线二次方程。完成后，传输线的数量加1。

11-3)以集合中最大的和最小的y值为起点和终点，代入拟合的方程中算出一系列坐标点(x,y)，并描绘出曲线，将算法功能可视化，以验证算法可靠性。

11-4)所有传输线搜索完成后，输出传输线数量。

实施例2：本发明还提出基于图像处理融合网络权值的电网传输线检测装置，包括：

图片读取模块，用于执行：读入待分析图片；

灰度化模块，用于执行：将所述待分析图片进行灰度化处理，得到灰度图像；

高斯模糊去噪模块，用于执行：对得到的所述灰度图像进行高斯模糊去噪，去除所述灰度图像的噪声，获得平滑图像；

算术运算模块，用于执行：对得到的所述平滑图像进行算术运算，将所述平滑图像整体像素值降低；

灰度线性变换模块，用于执行：对算术运算后的平滑图像进行灰度线性变换；

算子边缘检测模块，用于执行：对灰度线性变换后的平滑图像用canny算子边缘检测，在平滑图像中提取出传输线边缘的像素点；

传输线区域提取模块，用于执行：对用canny算子边缘检测后的平滑图像设定感兴趣区域roi，提取出传输线区域；

分类像素点生成模块，用于执行：将得到的感兴趣区域roi内的像素点进行分类，得到分类像素点；

分布权值图生成模块，用于执行：将所述待分析图片通过深度网络模型计算电网传输线分布权值图；

融合模块，用于执行：将得到的所述分类像素点与得到的电网传输线分布权值图进行融合，得到融合像素点；

传输线拟合模块，用于执行：根据得到的融合像素点拟合传输线，实现对电网传输线的检测。

可选的，所述待分析图片是智能设备巡检过程中产生的关于电网传输线的图像数据；所述智能设备包括但不限于以下所列中任意一项或几项：直升机、无人机、机器人、固定摄像机。

可选的，所述将所述待分析图片进行灰度化处理，得到灰度图像具体包括：将采集到的24位真彩色图像转化为8位灰度图，得到灰度图像。

可选的，所述对得到的所述灰度图像进行高斯模糊去噪，去除所述灰度图像的噪声，获得平滑图像具体包括：利用高斯算子对灰度图像进行模糊平滑，将高斯分布权值矩阵与原始图像矩阵做卷积运算，减少图像噪声。

可选的，所述对得到的所述平滑图像进行算术运算，将所述平滑图像整体像素值降低具体包括：

步骤ss41：将图像进行加法运算，其运算公式如公式(1)所示，

其中，a(x,y)表示加法运算后的图像像素值，f(x,y)表示去噪图像像素值；

步骤ss42：进行除法运算，将a(x,y)除以2得到d(x,y)，其中d(x,y)表示除法运算后的图像像素值；

步骤ss43：进行减法运算，将f(x,y)减去d(x,y)得到s(x,y)，其中s(x,y)表示减法运算后的图像像素值；

算术运算结果表示如公式(2)所示：

其中，若计算结果超出灰度级最大值，则使计算结果为灰度级最大值；若计算结果小于灰度级最小值，则使计算结果为灰度级最小值。

可选的，所述对算术运算后的平滑图像进行灰度线性变换中的线性变换公式如公式(3)所示，

其中l(x,y)表示线性变换后的图像，[a,b]和[c,d]分别表示图像d(x,y)和l(x,y)的灰度值范围；对于减法运算后的图像，a和c都为0。

可选的，所述对灰度线性变换后的平滑图像用canny算子边缘检测，在平滑图像中提取出传输线边缘的像素点包括如下步骤：

步骤ss61：使用高斯滤波器进行平滑图像，滤除噪声；

步骤ss62：计算图像中每个像素点的梯度强度和方向；

步骤ss63：应用非极大值抑制，消除边缘检测带来的杂散响应；

步骤ss64：应用双阈值检测来确定真实的和潜在的边缘；

步骤ss65：滞后边缘跟踪，通过抑制孤立的弱边缘最终完成边缘检测。

可选的，所述对用canny算子边缘检测后的平滑图像设定感兴趣区域roi，提取出传输线区域具体包括：感兴趣区域roi是由交互式点击的方式来设定，在图中点击获取多边形的顶点，从而形成一个多边形区域，为图像分析区域。

可选的，所述将得到的感兴趣区域roi内的像素点进行分类，得到分类像素点具体包括：由于高压线分为横向和纵向两种，像素点的搜索也分为两种：横向搜索、纵向搜索；

所述横向搜索包括：从起点开始横向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的右、右下、下和左下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其右、右下、下和左下，以此循环往复直到一条边缘结束；

一条边缘搜索完成以后，再回到横向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成；

所述纵向搜索包括：从起点开始纵向搜索每条边缘第一个像素点，搜索到边缘第一个像素点之后，以该像素点为中心，搜索该像素点的上、右上、右、右下和下，寻找下一个像素点，找到之后再以下一个像素点为中心，搜索其上、右上、右、右下和下，以此循环往复直到一条边缘结束；

一条边缘搜索完成以后，再回到纵向搜索的下一条边缘第一个像素点完成搜索，直到所有边缘搜索完成；

可选的，所述将得到的感兴趣区域roi内的像素点进行分类，得到分类像素点中的像素点分类时，以检测每条线的两条边缘为一次循环；分别进行横向搜索和纵向搜索来寻找每一个边缘的起点，再循环搜索出一条边缘的所有像素点坐标放入点集中，即以两条边缘的像素点分为一类，存放于一个点集中。

可选的，所述将所述待分析图片通过深度网络模型计算电网传输线分布权值图具体包括：

整个网络包含三个网络分支，用于适应不同的感受野；

第一个分支采用9×9、7×7、7×7和7×7的卷积核；

第二个分支采用7×7、5×5、5×5和5×5的卷积核；

第三个分支采用5×5、3×3、3×3和3×3的卷积核；

三个网络分支的输出通过一个卷积核大小为1×1的卷积层进行融合，得到最后的电网传输线分布输出。

可选的，所述将得到的所述分类像素点与得到的电网传输线分布权值图进行融合，得到融合像素点具体包括：将分类像素点与电网传输线分布图进行融合，得到融合像素点；运算结果如公式(4)所示：

其中，像素分类点集为m，深度网络模型输出权值图为n，融合输出为p。

可选的，所述根据得到的融合像素点拟合传输线，实现对电网传输线的检测具体包括：

步骤ss111：以最小二乘法拟合点集中的像素点，得到一条传输线；

步骤ss112：输出传输线二次方程；完成后，传输线的数量加1；

步骤ss113：以集合中最大的和最小的y值为起点和终点，代入拟合的方程中算出一系列坐标点(x,y)，并描绘出曲线，将算法功能可视化，以验证算法可靠性；

步骤ss114：所有传输线搜索完成后，输出传输线数量。

本发明的创新点在于，在经过一系列图像预处理之后，能精确地将边缘检测出来，并且基于像素点搜索的方式对每条传输线的边缘像素点进行分类，且具有很高的精确性。采用深度神经网络模型计算电网传输线分布图，能够有效的减少道路、杆塔等具有直线特征的背景干扰。通过将边缘像素点与电网传输线分布融合，保证了边缘检测效果的同时又排除了背景干扰。然后运用最小二乘法对每条传输线的像素点进行拟合，从而检测出传输线。同时输出传输线的二次方程及其数量，并将其检测效果可视化，精确度高，可视性强。

以上显示和描述了本发明的基本原理、主要特征及优点。本领域的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。