基于阴影辅助与旋转框检测的输电塔识别方法及系统与流程

本发明属于电力设备目标识别，具体涉及一种基于阴影辅助与旋转框检测的输电塔识别方法及系统。

背景技术：

1、输电塔是架空线路中电缆等电气部件的主要支撑结构，是供电企业最常见、最重要的电力资产之一。对输电塔进行检测将为电力供应公司的资产计算和电力基础设施项目管理提供有用的信息。然而传统的人工检测方法存在效率低、劳动强度大等弊端，而无人机巡检拍摄范围小且飞行时间有限，同样无法满足大范围输电杆塔检测的需求。高分辨率卫星遥感成像不受地形地貌限制、拍摄范围广且拍摄精度高，可用于大范围内输电塔的检测。

2、基于深度卷积神经网络的目标检测技术发展提高了利用光学遥感图像检测输电塔的能力。已有相关研究使用基于dcnn的多种目标检测方法对光学遥感图像中的输电塔进行检测，然而大多数研究没有区分输电塔的类别，而是将所有的输电塔作为一个统一的类别进行检测。在实际应用中，输电塔的种类繁多，在结构、外观、尺寸上都有明显的差异。因此，对输电塔类别的准确检测也是必要的。而光学遥感影像来源于高空，输电塔的形状信息不完整，识别输电塔类别面临很大的挑战。

3、研究如何利用深度卷积神经网络从高分辨率卫星遥感影像中提取关键信息划分杆塔类别和定位杆塔位置具有重要的实际价值。

4、现有的输电塔识别方法仍存在一系列问题：1.常见目标检测网络通过水平框检测目标，对于长而窄、方向任意的物体，水平框无法精确定位目标；2.现有方法将所有的输电塔作为一个统一的类别进行检测，没有区分输电塔的具体类别。3.光学遥感影像来源于高空，输电塔的形状信息不完整，识别输电塔类别面临很大的挑战。

技术实现思路

1、针对现有方法的局限性，本发明提出一种基于阴影辅助与旋转框检测的输电塔识别方法，基于目标检测模型，通过旋转框检测确定输电塔位置信息、阴影位置信息和阴影类别信息；通过计算每对阴影和输电塔角点之间的最短欧式距离实现输电塔和阴影的匹配，以对输电塔的类别和位置进行有效检测。

2、本发明是这样来实现的。一种基于阴影辅助与旋转框检测的输电塔识别方法，步骤如下：

3、步骤一：将待检测的遥感图像输入轻量化特征提取网络，轻量化特征提取网络依次通过子模块m2、子模块m3、子模块m4和子模块m5提取相应的特征图s2、特征图s3、特征图s4和特征图s5，特征图s2、特征图s3、特征图s4和特征图s5在空间尺寸上依次减小，包含的图像细节信息依次减少，包含的高级语义信息依次增多；取特征图s3、特征图s4和特征图s5作为特征提取网络输出的特征图，并将特征图s5下采样两次得到特征图s6和特征图s7；

4、步骤二：采用双向加权特征融合网络对各个分辨率的特征图进行融合；

5、步骤三：利用融合后的特征图，通过旋转框检测确定输电塔位置信息、阴影位置信息和阴影类别信息；

6、步骤四：通过计算每对阴影和输电塔角点之间的最短欧式距离实现输电塔和阴影的匹配，并将匹配的阴影类别赋予输电塔，实现输电塔类别的划分。

7、进一步优选，采用双向加权特征融合网络对各个分辨率的特征图进行融合的过程如下：将特征图s7上采样后与特征图s6在通道维上拼接，然后利用卷积核对拼接后的特征图进行卷积得到特征图s’6；将特征图s’6上采样后与特征图s5在通道维上拼接，并利用卷积核对拼接后的特征图进行卷积得到特征图s’5；将特征图s’5上采样后与特征图s4在通道维上拼接，并利用卷积核对拼接后的特征图进行卷积得到特征图s’4；将特征图s’4上采样后与特征图s3在通道维上拼接，并利用卷积核对拼接后的特征图进行卷积得到特征图s’3；在得到特征图s'4和s’3后，将特征图s’3下采样后与特征图s'4和特征图s4拼接，然后利用卷积核对拼接后的特征图进行卷积得到特征图s”4；将特征图s”4下采样后与特征图s'5和特征图s5拼接，然后利用卷积核对拼接后的特征图进行卷积得到特征图s”5；将特征图s”5下采样后与特征图s'6和特征图s6拼接，然后利用卷积核对拼接后的特征图进行卷积得到特征图s”6，之后将特征图s”6下采样后与特征图s7拼接，然后利用卷积核对拼接后的特征图进行卷积得到特征图s'7，最终将特征图s'7、特征图s”6、特征图s”5、特征图s”4和特征图s'3作为融合后的特征图进行输出。

8、进一步优选，利用融合后的特征图s'7、特征图s”6、特征图s”5、特征图s”4和特征图s'3，通过1×1卷积层预测得到输电塔位置、阴影位置和阴影类别。

9、进一步优选，输电塔位置、阴影位置用(cx,cy,w,h,θ)表示，cx、cy、w、h和θ分别表示旋转框中心点的横纵坐标、旋转框的宽高以及旋转的角度。

10、进一步优选，(xi,yi)i＝1,2,3,4表示输电塔4个角点的位置坐标，(xj,yj)j＝1,2,3,4表示阴影4个角点的位置坐标，通过计算输电塔和阴影间的最短欧式距离如果输电塔和阴影间的最短距离小于阈值则视为目标阴影匹配。

11、本发明还提供了一种基于阴影辅助与旋转框检测的输电塔识别系统，包括目标检测模型和输电塔阴影匹配模块，目标检测模型由融合注意力机制的轻量化特征提取网络、双向加权特征融合网络和预测网络组成，通过融合注意力机制的轻量化特征提取网络提取特征图s2、特征图s3、特征图s4和特征图s5，特征图s2、特征图s3、特征图s4和特征图s5在空间尺寸上依次减小，包含的图像细节信息依次减少，包含的高级语义信息依次增多；取特征图s3、特征图s4和特征图s5作为特征提取网络输出的特征图，并将特征图s5下采样两次得到特征图s6和特征图s7，然后双向加权特征融合网络对不同尺度的特征图s3、特征图s4、特征图s5、特征图s6和特征图s7进行融合，预测网络基于融合后的特征图进行旋转框检测，确定输电塔位置信息、阴影位置信息和阴影类别信息；输电塔阴影匹配模块通过计算每对阴影和输电塔角点之间的最短欧式距离实现输电塔和阴影的匹配。

12、进一步优选，所述融合注意力机制的轻量化特征提取网络包括依次串联的四个用于特征提取的子模块，分别为子模块m2、子模块m3、子模块m4和子模块m5；子模块m2、子模块m3、子模块m4和子模块m5结构类似，子模块m2包括3组残差块+注意力模块，子模块m3包括4组残差块+注意力模块，子模块m4包括6组残差块+注意力模块，子模块m5包括3组残差块+注意力模块，所述注意力模块由空间注意力模块和通道注意力模块组成。

13、进一步优选，每个残差块对自身的输入特征图先通过1×1的卷积核降维，再通过32个3×3的分组卷积提取特征，并将各分组卷积输出结果按通道并联拼接在一起后经过1×1的卷积升维，最后加上残差连接得到自身的输出特征图其中cin代表输入特征图的通道数，cout代表输出特征图的通道数，co'ut代表分组卷积的通道数，h代表特征图的，w代表特征图的宽。

14、进一步优选，利用空间注意力模块和通道注意力模块进行特征增强：输出特征图首先和通道注意力图mc∈rc×1×1逐通道相乘得到融合通道注意力特征图融合通道注意力特征图fo'ut再和空间注意力图ms∈r1×h×w逐位置相乘得到融合，得到融合通道注意力和空间注意力特征图

15、进一步优选，采用衰减热启动随机梯度下降训练策略训练目标检测模型。

16、进一步优选，本发明提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述基于阴影辅助与旋转框检测的输电塔识别方法。

17、进一步优选，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述基于阴影辅助与旋转框检测的输电塔识别方法。

18、进一步优选，本发明提供一种电子设备，包括：一个或多个处理器以及存储器，电子设备还包括：输入装置和输出装置；处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的基于阴影辅助与旋转框检测的输电塔识别方法。

19、考虑上述特征提取网络输出的不同分辨率特征图在表达能力上的差异，本发明提供一种双向加权特征融合网络对各个分辨率的特征图进行融合以增强各个特征图的表达能力。具体地，按分辨率由低到高的顺序依次将上述特征提取网络输出的低分辨率的特征图上采样后与相邻的高分辨率的特征图融合，之后按分辨率由高到低的顺序依次将高分辨率的特征图下采样后与相邻低分辨率的特征图融合，最终得到融合后的多尺度特征图。为了有效避免网络在训练过程中陷入局部最优，本发明提供一种衰减热启动随机梯度下降训练策略。

20、遥感图像中多为俯视视角，输电塔本体在图像中往往较小，而且俯视视角下其形状无法完全展现，而俯视视角下输电塔的阴影则可以完全保留输电塔的形状信息，因此可以借助输电塔的阴影类别辅助输电塔类型的识别。本发明针对水平矩形框的目标检测方法对于已发生旋转的固定形状电力设备检测精度较低的问题，提出基于旋转框检测的，实现针对高分辨率遥感图像中输电塔及其阴影的高精度识别。针对当前检测算法通常将输电塔作为一个统一的类别进行检测，没有区分输电塔的具体类别的问题，基于欧式距离的目标与目标阴影匹配，通过阴影辅助的方式实现输电塔类别的划分。