一种基于人工智能的无人机树障识别方法与流程

本技术涉及无人机电力巡检，具体而言，涉及一种基于人工智能的无人机树障识别方法。

背景技术：

1、无人机电力巡检技术是一种利用无人机进行输电线路及电力设施检查的新技术，利用先进的无人机自动飞行技术、无线连接技术、图像识别技术等，通过搭载高清摄像头等设备，无人机能够自动完成对电线和电力设备的巡检任务。这项技术依赖于先进的传感器和图像处理技术，对物体进行高精度可视化和数据采集，利用传感器如红外线测温仪、高清摄像头、激光雷达等，对物体进行全方位的检测和监控。

2、传统的树障识别，是依赖人工巡检时的判断，这种判断依赖于各种辅助形式的测量和估计，以便识别和清楚潜在的树障隐患。而无人机电力巡检技术的发展，使得智能化地实现树障识别具备了技术基础。当然，树障识别技术，还有利用光学影像、定位技术进行识别的，但这种识别方案效率相对较低。

3、据此，我们提出一种基于无人机进行电力巡检后的三维重建模型的树障识别方案，依托于三维重建技术，设计基于人工智能的树障识别方案，能够对巡检路段上几乎所有的树障进行有效识别，以便及时清除隐患。

技术实现思路

1、本技术实施例的目的在于提供一种基于人工智能的无人机树障识别方法，以通过三维重建技术，结合人工智能，对输电线路沿线的树障隐患进行识别，报告风险，以便及时清除树障隐患。

2、为了实现上述目的，本技术的实施例通过如下方式实现：

3、第一方面，本技术实施例提供一种基于人工智能的无人机树障识别方法，包括：获取无人机在电力巡检任务中采集的lidar数据、影像数据和飞行数据；基于lidar数据、影像数据和飞行数据进行三维重建，得到三维重建模型；从三维重建模型中识别出电力设施单元和树木模型单元；基于电力设施单元和树木模型单元，确定是否存在树障。

4、结合第一方面，在第一方面的第一种可能对的实现方式中，三维重建模型中包含多个模型单元，每个模型单元为若干连续的网格元素形成，从三维重建模型中识别出电力设施单元和树木模型单元，包括：针对三维重建模型中的每个模型单元：对模型单元进行特征提取，确定出模型单元的整体特征和元素特征，其中，整体特征包括模型单元的模型位置和网格元素数量，元素特征包括模型单元中每个网格元素的角点位置、法线方向、网格形状、网格曲率、网格面积和二面角；将模型单元的整体特征和元素特征作为输入数据，输入至识别模型中，得到每个模型单元的识别结果，从而确定出电力设施单元和树木模型单元。

5、结合第一方面的第一种可能对的实现方式，在第一方面的第二种可能对的实现方式中，元素特征的提取方式为：针对当前模型单元的每个网格元素：获取当前网格元素的角点位置、法线方向、网格形状、网格曲率、网格面积和二面角；获取邻边网格元素的角点位置、法线方向、网格形状、网格曲率、网格面积和二面角，其中，邻边网格元素为与当前网格元素具有公共边的三个网格元素；获取邻点网格元素的角点位置、法线方向、网格形状、网格曲率、网格面积和二面角，其中，邻点网格元素为与当前网格元素具有公共角点但非邻边网格元素的三个网格元素；基于当前网格元素、三个邻边网格元素和三个邻点网格元素的角点位置、法线方向、网格形状、网格曲率、网格面积和二面角，生成当前网格元素的元素特征。

6、结合第一方面的第一种可能对的实现方式，在第一方面的第三种可能对的实现方式中，识别模型包括输入层、特征提取层、全连接层和输出层，所述输入层，用于接收输入数据，其中，元素特征为n×r的序列，n为模型单元中网格元素的数量，不同模型单元的网格元素数量不等，且n≥nt，nt为网格元素数量阈值，r为每个网格元素需要提取的特征数量，记为网格元素的特征维度；所述特征提取层，用于对模型单元的元素特征进行处理，确定出设定长度的整合特征，再将模型单元的整体特征与整合特征进行拼接融合，得到模型单元的模型特征；所述全连接层，用于对模型单元的模型特征进行特征映射，得到模型单元的综合特征向量；所述输出层，用于基于综合特征向量进行模型单元的分类识别，得到每个模型单元的识别结果。

7、结合第一方面的第一种可能对的实现方式，在第一方面的第四种可能对的实现方式中，所述特征提取层为基于注意力机制的序列网络，具体用于：对模型单元的元素特征进行序列特征处理，得到对应n个时间步的隐藏特征和注意力权重，其中，每个隐藏特征的维度为1×s，s为设定长度；基于n个时间步的隐藏特征和注意力权重，计算出模型单元的整合特征。

8、结合第一方面的第四种可能对的实现方式，在第一方面的第五种可能对的实现方式中，采用以下公式计算模型单元的整合特征：

9、

10、其中，c为模型单元的整合特征，n为模型单元中网格元素的数量，ai为模型单元在第i个时间步的注意力权重，hi为模型单元在第i个时间步的隐藏特征。

11、结合第一方面的第四种可能对的实现方式，在第一方面的第六种可能对的实现方式中，所述序列网络为rnn或rnn的变体模型、lstm或lstm的变体模型、gru或gru的变体模型。

12、结合第一方面的第一种可能对的实现方式，在第一方面的第七种可能对的实现方式中，基于电力设施单元和树木模型单元，确定是否存在树障，包括：在每相邻两个电力设施单元之间进行线性检测，确定出位于相邻两个电力设施单元之间的若干输电线缆；基于电力设施单元和输电线缆确定出电力设施辐射区域；基于树木模型单元，确定出树木摇摆可达区域；基于电力设施辐射区域和树木摇摆可达区域，确定存在区域重合的目标树木模型单元为树障。

13、结合第一方面的第七种可能对的实现方式，在第一方面的第八种可能对的实现方式中，相邻两个电力设施单元和输电线缆形成一段输电线路，基于电力设施单元和输电线缆确定出电力设施辐射区域，包括：针对每段输电线路：获取当前输电线路的电压等级，以确定出电压等级对应的安全距离；以电力设施单元和输电线缆为基础，确定出当前输电线路的本体区域；以当前输电线路的本体区域为基础，在各个方向上向外扩散安全距离，得到当前输电线路的电力设施辐射区域。

14、结合第一方面的第七种可能对的实现方式，在第一方面的第九种可能对的实现方式中，基于树木模型单元，确定出树木摇摆可达区域，包括：针对每个树木模型单元：获取当前树木模型单元的树木位置、树木高度、树冠半径和网格元素数量；基于树木高度、树冠半径和网格元素数量，预估当前树木模型单元在理论上的最大风偏延展系数；基于最大风偏延展系数、树木位置和树木高度，确定出当前树木模型单元的树木摇摆可达区域。

15、本发明的有益效果在于，与现有技术相比：

16、1.本方案通过获取无人机在电力巡检任务中采集的lidar数据、影像数据和飞行数据，进行三维重建，得到三维重建模型(三维重建技术目前已经发展得很成熟了，针对本技术，为了更好地分析树木模型单元，我们推荐采用三角网格形式的重建模型技术)。lidar数据、影像数据和飞行数据，能够更全面地反映巡检现场的环境信息，包括高度、形状、位置等，能够保证三维重建模型的精度。从三维重建模型中识别出电力设施单元和树木模型单元，再基于电力设施单元和树木模型单元，确定是否存在树障，以便及时清理树障隐患。在三维重建模型的基础上，针对每个模型单元，可以从每个模型单元中提取出包括角点位置、法线方向、网格形状、网格曲率、网格面积和二面角等在内的丰富特征，这些特征能够准确反映模型单元的三维结构和几何属性。将提取出的特征输入到预先训练好的识别模型中，能够基于特征学习到的模式进行智能分类识别，从而准确识别出电力设施单元和树木模型单元(当然三维重建模型中还有许多其他单元，例如杂草灌木、动物、建筑、地形等)。并且，在三维重建模型中，通过将整体模型细分为多个独立的模型单元，而每个模型单元由若干网格元素(三角网格)组成，可以更精确地控制每个单元的特征提取和识别过程，使得识别算法能够更加关注于局部细节，提高识别的准确性。并且，识别过程可以采用并行计算的方式对多个模型单元进行识别，有效提高处理效率。

17、2.在三维重建或图像识别任务中，元素特征的提取是至关重要的。传统的特征提取方法可能仅关注单个网格元素(如像素、体素或网格面)的局部特征，往往忽略元素之间的相互作用和整体结构信息。本方案引入丰富的“元素特征”，不仅考虑了当前网格元素自身的特征，还结合了其邻边网格元素和邻点网格元素的特征。这种多尺度、多层次的特征融合方式，能够更全面地反映模型单元在三维空间中的真实状态。例如，在树木识别任务中，当前网格元素可能代表树叶的一部分，而邻边和邻点网格元素则可能包含树干、树枝或其他树叶的信息。而在三维空间中，元素之间的空间关系对于识别和理解整体结构至关重要。通过对元素特征的空间关系考量(结合了邻边网格元素和邻点网格元素的特征)，即考虑网格元素之间的公共边、公共角点等空间连接关系，来捕捉模型单元的形状、结构和上下文信息，便于识别模型中所采用的能够处理不定长序列数据的特征提取层(序列网络)更好地提取特征，也有利于在识别过程中形成更完整的认知框架。

18、3.由于三维重建模型中的模型单元的网格元素数量是不定的，识别模型中的输入层能够接收不同长度的序列，将其按照时间步(每个时间步实际对应每个网格元素)输入给特征提取层，能够适应不同规模和复杂度的模型单元(即网格元素数量不同的模型单元)。特征提取层采用基于注意力机制的序列网络(如在rnn、lstm、gru等模型或变体模型的基础上引入注意力机制)，通过计算不同时间步的注意力权重，动态调整不同网格元素对整合特征的影响程度，从而能够自动关注模型单元中更重要的特征信息，忽略不相关或冗余的信息，提高特征提取的效率和准确性。再采用加权求和的方式计算整合特征，使得整合特征更加精确和具有代表性。并且，整合特征的维度，取决于序列网络中隐藏层的数量(输出的隐藏特征的维度)，因此能够实现对不定长度的输入数据的处理，使得输出的整合特征具有统一的维度，再通过整合网格元素的特征并与整体特征进行拼接融合，可以得到更加全面和综合的模型特征，利用全连接层将模型特征映射为综合特征向量，便于输出层进行分类识别，有利于提高识别准确性。

19、4.通过在每相邻两个电力设施单元之间进行线性检测，能够精确地确定输电线缆的位置和走向，为后续的电力设施辐射区域划定提供了坚实的数据基础。在确定电力设施辐射区域的过程中，考虑输电线路的输电电压，设定不同的安全距离，从而划定相应的电力设施辐射区域，这种方法能够快速、准确地划分出电力设施辐射区域。通过预估树木模型单元在理论上的最大风偏延展系数，能够较为准确地评估树木在极端天气条件下的摇摆范围和可能达到的位置，为树障识别提供了重要的风险评估依据。在树木摇摆可达区域的预估过程中，考虑了树木模型单元的实际情况(如位置、高度、树冠半径等)，能够适应不同状态下的树木，具有较强的动态适应性和灵活性，同时，还考虑网格元素数量(能够在一定程度上反映树叶量，从而评估树木受风力影响的程度)，有利于更准确地预估树木模型单元的树木摇摆可达区域。

20、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。