一种多类型高压电塔三粒度姿态估计系统及方法与流程

本发明属于图像处理，涉及高压电塔姿态估计和安全检测，尤其涉及一种多类型高压电塔三粒度姿态估计系统及方法。

背景技术：

1、高压输电塔在现代社会的电力传输中发挥着至关重要的作用，是重要的基础设施。高压输电塔的安全状态会对大片区域产生重大影响，因此需要经常对其进行安全检查。这些检查通常利用无人机辅助视觉图像检查的方法进行。一般来说，电塔的设计是为了容纳输电线路、防雷线路并提供支撑结构，因此其安全检查的关键节点往往和电塔的姿态结构存在很强的关联性。例如：输电线路、绝缘子、阻尼器等关键部位分布和电塔姿态设计相关。鉴于此，高压电塔的安全检查无需无人机对每一个关键节点分别进行拍摄检查，而可以对无人机拍摄的电塔全景图像先预测所有的关键节点，然后再建立关键节点的联系以构造电塔姿态，最后将预测出的关键节点图像截取再进行安全检查即可。因此，可以将其视为多对象姿态估计任务；重点是估计高压电塔的不同部分的姿态。

2、传统的姿态估计模型无论是遵循自上而下还是自下而上的框架，还是采用热图软回归或直接坐标点回归，都会专门命名物体的所有关键节点。在预测过程中使用专用的热图通道确定特定的关键节点。然而在高压电塔的姿态估计任务中，一方面，电塔的多种类型导致该任务存在异构问题，对姿态估计模型泛化能力提出挑战；另一方面，姿态估计模型如何充分利用无人机拍摄的高压电塔全景图像，解决关键节点的混淆问题也存在挑战。

3、目前国内传统的高压输电塔的姿态估计和关键点安全检查方法以无人机拍摄的单一电塔图像进行姿态估计为主，且需要分别对每种类型的关键节点进行标注进而完成电塔姿态估计。gianfranco f等提出了一种高压电塔的姿态估计方法，通过单独标记每种特定类型的关键点并相应预测相应的铁塔类型，完成了对5类铁塔进行了姿态估计(参见gianfranco f,dall’asta elisa,fabrizio d,et al.quality assessment of dsmsproduced from uav flights georeferenced with on-board rtk positioning[j].remote sensing,2018,10(2):311.doi:10.3390/rs10020311)。xu l等基于所提出的匹配原理实现了一种多类物体姿态估计方法，该方法需具体定义数据集中每类物体的关键点类型，通过数据训练完成对多类型物体的姿态估计(参见xu l,jin s,zeng w,et al.posefor everything:towards category-agnostic pose estimation[j].springer,cham,2022.doi:10.48550/arxiv.2207.10387)。

4、然而，上述现有技术均存在以下问题：(1)由于传统的姿态估计方法，模型的训练过程中仅对关键节点的位置和类别进行分别的标记；且在将预测出的关键节点估计电塔姿态的过程中，没有考虑关键节点之间的联系；这使得这些传统姿态估计模型仅能预测单一简单的物体姿态；面对多类型、异构情况显著的高压电塔时，模型的泛化能力不足，难以处理电塔异构问题；(2)传统的姿态估计方法，没有充分考虑无人机拍摄的电塔图像中的粒度信息存在编码困难的问题，高压电塔的关键点密集且相似，模型很容易混淆相似的关键节点。

技术实现思路

1、本发明目的旨在针对上述现有技术中的不足，提供一种多类型高压电塔三粒度姿态估计系统，可对无人机拍摄电塔图像从电塔结构的主干、横向支架、整体结构细节三个不同粒度下进行关键节点检测，解决关键节点混淆问题；并结合部分亲和场(part affinityfields，paf)为关键点之间的连接提供位置方向信息，使模型在预测多类型电塔结构的姿态时，克服模型泛化能力不足、难以处理电塔异构的困难。

2、本发明另一目的旨在提供上述多类型高压电塔三粒度姿态估计系统的训练方法。

3、本发明第三个目的旨在提供一种多类型高压电塔三粒度姿态估计方法。

4、本发明的发明思路为：对无人机拍摄电塔图像按照电塔结构的主干、横向支架、整体结构细节对关键节点进行三种粒度的区分标注，并使用带增强颈部结构的hrnet的特征金字塔结构实现三种粒度关键点分类；在此基础之上，该方法为解决传统姿态估计方法面对电塔异构情况泛化能力不足的问题，利用paf(部分亲和场)为分类的关键点之间的连接提供位置方向信息，从而实现多类型塔的姿态估计；最终将关键节点的三粒度高斯热图和关键点连接的paf，生成目标结构化信息。

5、针对第一个发明目的，本发明所提供的多类型高压电塔三粒度姿态估计系统，包括：

6、姿态估计模型，用于对待测高压输电塔图像进行三种指定粒度下的关键点识别；所述姿态估计模型使用的是改进的hrner模型；所述关键点识别结果包括关键点位置信息和关键点的位置方向信息；

7、基于paf的关键点连接模块，用于依据每种粒度下的关键点及位置方向信息构建关键点连接；所述基于paf的关键点连接模块包括连接线构建单元、连接线得分计算单元和连接线筛选单元；

8、连接线构建单元，依据识别出的关键点，构建若干由起点和终点组成的连接点对，起点与终点之间连线即为连接线；

9、连接线得分计算单元，对任意连接点对的起点和终点之间的位置进行估计，并将各位置的paf向量与相应连接线的单位方向向量相乘得到该位置的paf得分，再对所有估计位置的paf得分求平均得到连接线得分；

10、连接线筛选单元，筛选出得分超过设定阈值的连接线；

11、高压输电塔姿态生成模块，用于依据不同粒度下得到的连接线构成高压输电塔的姿态。

12、上述多类型高压输电塔三粒度姿态估计系统，所述三种粒度为基于高压输电塔主干结构的第一粒度、基于高压输电塔主干和横向支架结构的第二粒度及基于高压输电塔整体结构的第三粒度。

13、上述多类型高压输电塔三粒度姿态估计系统，改进的hrnet模型由四个阶段组成，第一个阶段分为四层，分别包含1、1、4和3个卷积模块；第二个阶段分为三层，分别包含1、4和3个卷积模块；第三个阶段分为两层，分别包含4和3个卷积模块；第四个阶段包含3个卷积模块；四个阶段的相应层对齐，各阶段前一层的输出作为所有阶段后一层的输入；所有卷积模块均为resnet残差模块；四个阶段的输出特征通过特征金字塔进行融合得到模型的最终输出，所述特征金字塔包括三层，前一层的输出同时作为下一层的输入。

14、四个阶段的输出特征分别为c1、c2、c3和c4；所述特征金字塔包括三层：

15、第一层中，所述特征c4经上采样得到特征c4′；所述特征c3和特征c4′拼接后得到特征c34；所述特征c34经卷积操作得到第一输出特征；

16、第二层中，所述特征c34与第一输出特征拼接后得到特征c34-3；所述特征c34-3经上采样得到特征c3′；所述特征c3′与特征c2拼接后得到特征c23；所述特征c23经卷积操作得到第二输出特征；

17、第三层中，所述特征c23与第二输出特征拼接后得到特征c23-2；所述特征c23-2经上采样得到特征c2′；所述特征c2′与特征c1拼接后得到特征c12；特征c12经卷积操作得到第三输出特征。

18、所述第一输出特征对应第一粒度下的关键点识别结果；所述第二输出特征对应第二粒度下的关键点识别结果；所述第三输出特征对应第三粒度下的关键点识别结果。所述关键点识别结果包含关键点位置信息和关键点的位置方向信息，还包括每个关键点的概率。

19、上述基于paf的关键点连接模块，用于获取作为高压输电塔骨架的连接线。

20、对于连接线得分计算单元，假设候选的连接线为p1p2，起点为p1(x1,y1)，终点为p2(x2,y2)，单位方向向量为lp1p2，在p1p2线段间插值n个点，假设插值点为pn(xn,yn)，通过姿态估计模型预测pn点的paf向量pafpn为则pn点在线段p1p2的paf得分计算公式如下：

21、

22、

23、则，连接线得分计算如下：

24、

25、上述多类型高压输电塔三粒度姿态估计系统，所述高压输电塔姿态生成模块，对于不同粒度下同一关键点相关的连接线，保留得分最高的连接线。

26、针对第二个发明目的，本发明还提供了上述多类型高压输电塔三粒度姿态估计系统训练方法，包括以下步骤：

27、s1构建高压输电塔的三粒度关键点数据集；该步骤包括以下分步骤：

28、s11获取若干高压输电塔图像样本；

29、s12对每一张高压输电塔图像样本按照设定的三种粒度分别标注关键点得到相应粒度的标签；利用所有高压输电塔图像样本及相应三种粒度的标签构成高压输电塔的三粒度关键点数据集；

30、s2利用高压输电塔的三粒度关键点数据集对姿态估计模型进行训练，识别得到样本每种粒度下的关键点；

31、s3依据样本各粒度下的标签和步骤s2确定的关键点计算相应粒度下的损耗，再对不同粒度下的损耗进行加权相加得到模型损失；

32、s4依据模型损失对姿态估计模型参数进行优化，然后返回步骤s2；

33、重复步骤s2-s4，直至姿态估计模型收敛。

34、上述步骤s2包括以下分步骤：

35、s21将高压输电塔的三粒度关键点数据集中样本原始图像输入姿态估计模型，输出得到各样本每种粒度下的候选关键点；

36、s22对于样本各粒度下的候选关键点，生成各候选关键点相应的热图；

37、s23对各候选关键点的热图进行滤波，从滤波后的热图中提取具有峰值的区域作为候选连接点，从而获得多个候选起点和终点；

38、s24构建若干由起点和终点组成的连接点对，起点与终点之间连线即为连接线，并确定paf向量；

39、s25对任意起点和终点之间的位置进行估计，并计算各插值位置的paf向量，然后与相应连接线的单位方向向量相乘得到该位置的paf得分，再对所有估计位置的paf得分求平均得到连接线得分；

40、s26筛选出得分超过设定阈值的连接线，进而确定若干关键点。

41、上述步骤s24中，paf向量计算公式如下：

42、

43、

44、

45、式中，坐标(x,y)表示矢量场中的点；x1、y1、x2和y2表示连接的起点和终点的横坐标和纵坐标；将连接方向与x轴方向对齐，并以起点为原点，即可得到变换后的坐标(x',y')；θ表示该连接的角度；l表示连接长度，w表示连接宽度范围，需要额外的配置。

46、上述步骤s25中，通过上述paf向量公式计算得到各估计位置的paf向量。

47、步骤s3中，模型损失表示为：

48、

49、其中，λi表示第i个粒度的损耗系数；li表示与第i个粒度相关的损耗。

50、针对第三个发明目的，本发明还提供了一种基于多类型高压输电塔三粒度姿态估计方法，使用上述系统按照以下步骤进行包括以下步骤：

51、l1将待测高压输电塔图像输入姿态估计模型识别得到三种指定粒度下的关键点；

52、l2依据每种粒度下的关键点，通过基于paf的关键点连接模块构建关键点连接；该步骤包括以下分步骤：

53、l21通过连接线构建单元，依据识别出的关键点，构建若干由起点和终点组成的连接点对，起点与终点之间连线即为连接线；

54、l22通过连接线得分计算单元，对任意连接点对的起点和终点之间的位置进行估计，并将各插值位置的paf向量与相应连接线的单位方向向量相乘得到该位置的paf得分，再对所有估计位置的paf得分求平均得到连接线得分；

55、l23通过连接线筛选单元，筛选出得分超过设定阈值的连接线；

56、l3通过高压输电塔姿态生成模块，依据不同粒度下得到的连接线构成高压输电塔的姿态。

57、与现有技术相比，本发明具有以下有益效果：

58、1)本发明所提出的姿态估计模型，能够实现三种粒度下高压输电塔的关键点识别，再通过基于paf的关键点连接模块，对不同粒度下的关键点进行筛选、连接，然后通过高压输电塔姿态生成模块得到高压输电塔的姿态估计；通过本发明不仅能够对高压输电塔姿态的有效估计，而且具有较好的泛化能力；

59、2)本发明所提出的姿态估计模型按照电塔结构的主干、横向支架、整体结构细节对关键节点进行三种粒度的分类标注，可以更清晰标注复杂结构中每个关键点，从而解决相似关键点混淆问题；

60、3)本发明所提出的带增强颈部结构的hrnet的特征金字塔结构，考虑了三粒度输出之间存在的明显的递进关系，并利用特征金字塔结构进行特征信息融合，实现三种粒度关键点精准识别；

61、4)本方法提出用paf为分类的所有关键点之间的连接提供位置方向信息，从而避免了关键点的位置编码，并且在面对电塔异构时有较好的泛化能力。