基于人工智能的无人机巡检路径规划方法、介质及服务器与流程

本技术涉及电力巡检，具体而言，涉及一种基于人工智能的无人机巡检路径规划方法、介质及服务器。

背景技术：

1、无人机电力巡检过程中，无人机的电力巡检路径规划是非常重要的一个环节。输电线路主要由输电塔和输电线缆两大部分组成，输电线缆连接在两个输电塔之间，通常具有一定的弧垂，而输电塔之间的距离越远，由弧垂导致的线路高度差越大。对于输电线路的电力巡检，需要无人机巡检过程中保持安全距离，又要考虑无人机巡检过程中拍摄图像的清晰度。

2、而现有的无人机电力巡检，通常需要工作人员进行巡检路径规划，若要实现精细化的巡检，就免不了人工进行更精准的巡检路径设计，这对工作人员来说是一个较大的负担。因此，如何实现智能化的巡检路径规划，是本领域需要解决的一个技术问题。

3、要实现智能化的巡检路径规划，目前有两个可以考虑发展的方向，一个是进行实时的数据处理和路径调节，依赖于数据处理能力和通信能力。另一个是进行精准的位置测量和空间估计，依赖于高精度的定位和空间估计(例如精准估计任意相邻两个输电塔之间的弧垂导致的输电线缆高度分布特点)，但无法应对实时状况，灵活性较差。本专利采用第一种思路，来解决问题，实现智能化的无人机巡检路径规划。

技术实现思路

1、本技术实施例的目的在于提供一种基于人工智能的无人机巡检路径规划方法、介质及服务器，以初始路径为基础，通过人工智能的方式，对无人机在巡检过程中实时采集的各种数据进行快速处理，以对无人机的电力巡检路径进行实时的调节。

2、为了实现上述目的，本技术的实施例通过如下方式实现：

3、第一方面，本技术实施例提供一种基于人工智能的无人机巡检路径规划方法，包括：获取电力巡检区域内的初始巡检路径，其中，初始巡检路径为双侧巡检路径，每侧输电线缆对应一个单侧巡检路径，每个单侧巡检路径中包含若干对输电塔进行电力巡检的i类巡检路径分段和沿相邻两个输电塔之间的输电线缆进行电力巡检的ii类巡检路径分段，i类巡检路径分段和ii类巡检路径分段依次连接；针对无人机所在的当前巡检路径分段：获取无人机在当前时段的电力巡检数据，并基于当前时段的电力巡检数据，对当前巡检路径分段进行调节，使得无人机基于调节后的巡检路径分段进行电力巡检，其中，电力巡检数据包括无人机的位置数据、姿态数据、状态数据和无人机拍摄的影像数据。

4、结合第一方面，在第一方面的第一种可能的实现方式中，无人机所在的当前巡检路径分段为ii类巡检路径分段时，基于当前时段的电力巡检数据，对当前巡检路径分段进行调节，包括：针对当前时段t：对电力巡检数据中的影像数据进行检测，确定出影像数据中本侧输电线缆的位置和方向，得到本侧输电线缆对应的线缆特征；基于本侧输电线缆对应的线缆特征，结合无人机的位置数据、姿态数据、状态数据，确定出当前时段t对应的巡检路径调节量；基于当前时段t对应的巡检路径调节量，对当前巡检路径分段中下一时段t+1的分段路径进行调节。

5、结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，影像数据包含n个高清图像，每侧输电线缆数量为6，对电力巡检数据中的影像数据进行检测，确定出影像数据中本侧输电线缆的位置和方向，得到本侧输电线缆对应的线缆特征，包括：对电力巡检数据的影像数据中每个高清图像进行预处理和边缘检测，确定出每个高清图像中的本侧输电线缆；针对每个高清图像：对高清图像中每个本侧输电线缆进行编号，并对编号的本侧输电线缆进行位置识别和方向识别，形成每个本侧输电线缆对应的线缆分量；整合所有高清图像中每个本侧输电线缆对应的线缆分量，得到影像数据中本侧输电线缆对应的线缆特征。

6、结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，对编号的本侧输电线缆进行位置识别和方向识别，形成每个本侧输电线缆对应的线缆分量，包括：针对每个编号的本侧输电线缆：确定出此编号的本侧输电线缆在当前高清图像中的像素坐标组，并进一步确定出线缆起始坐标、线缆起始宽度、线缆结束坐标和线缆结束宽度；根据此编号的本侧输电线缆的像素坐标组、线缆起始坐标、线缆起始宽度、线缆结束坐标和线缆结束宽度，生成此编号的本侧输电线缆对应的线缆分量。

7、结合第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，基于本侧输电线缆对应的线缆特征，结合无人机的位置数据、姿态数据、状态数据，确定出当前时段t对应的巡检路径调节量，包括：基于当前时段t内的每个数据采集时间节点，将本侧输电线缆对应的线缆特征、无人机的位置数据、姿态数据和状态数据进行处理，得到包含6组输入向量的输入数据，其中，每个编号对应一组输入向量；将输入数据输入至阶段性路径规划模型中，得到当前时段t对应的巡检路径调节量。

8、结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，阶段性路径规划模型包括输入层、lstm模块、全连接层和输出层，所述输入层，用于接收输入数据；所述lstm模块，包含6个并行的lstm层，每个lstm层用于接收输入层输入的一组输入向量，并对输入向量进行特征提取，得到对应的特征向量；所述全连接层，包含3个全连接单元，每个全连接单元用于接收6个lstm层提取出的特征向量，并对6个特征向量进行预测，预测出对应的巡检路径调节分量，其中，3个全连接单元分别用于预测巡检路径调节量中的x轴调节分量、y轴调节分量和z轴调节分量；所述输出层，用于输出当前时段t对应的巡检路径调节量。

9、结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，在lstm模块与全连接层之间，插入一个注意力模块，注意力模块包含3个注意力单元，每个注意力单元分别连接一个全连接单元，用于为全连接单元在进行相应调节分量的预测时分配每个特征向量的权重。

10、结合第一方面的第一种可能的实现方式，在第一方面的第七种可能的实现方式中，基于当前时段t对应的巡检路径调节量，对当前巡检路径分段中下一时段t+1的分段路径进行调节，包括：获取当前巡检路径分段中时段t的分段路径的终点坐标和时段t+1的分段路径的终点坐标；基于巡检路径调节量更新时段t+1的分段路径的终点坐标，得到时段t+1的分段路径的更新坐标；基于时段t的分段路径的终点坐标和时段t+1的分段路径的更新坐标，生成平滑的分段路径，得到调节后的下一时段t+1的分段路径。

11、第二方面，本技术实施例提供一种存储介质，所述存储介质设置在无人机或服务器内，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在无人机或服务器执行第一方面或第一方面的可能的实现方式中任意一项所述的基于人工智能的无人机巡检路径规划方法。

12、第三方面，本技术实施例提供一种服务器，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任意一项所述的基于人工智能的无人机巡检路径规划方法的步骤。

13、有益效果：

14、1.本方案通过获取电力巡检区域内的初始巡检路径，在巡检过程中获取无人机在当前时段的电力巡检数据(包括无人机的位置数据、姿态数据、状态数据和无人机拍摄的影像数据)，并基于当前时段的电力巡检数据，对当前巡检路径分段进行调节，使得无人机基于调节后的巡检路径分段进行电力巡检。此种方案可以利用初始巡检路径(若该路段是初次巡检，则可以通过定位输电塔以设定输电塔的巡检路径、输电塔之间的输电线缆的巡检路径；若不是初次巡检，则可以利用历史巡检路径作为初始巡检路径)，再利用无人机巡检过程中实时采集的数据，对巡检路径进行实时的调节，减轻了工作人员的负担，而自动化路径规划能够迅速响应环境变化，如输电线缆的弧垂变化、风力影响等，使得无人机能够沿着最优路径进行巡检，提高了巡检效率。

15、2.本方案采用实时数据处理和路径调节的方式，根据无人机当前时段的巡检数据(包括位置、姿态、状态及影像等)动态调整后续巡检路径(例如根据当前时段t的数据调节下一时段t+1的分段路径)，能够提高无人机对复杂巡检环境的适应能力。并且，通过实时调整巡检路径，可以确保无人机始终保持与输电线缆的安全距离，优化拍摄距离，提高拍摄图像的清晰度，从而提升巡检质量。而在特征提取过程中，利用高清图像进行预处理和边缘检测，可以提取出每个本侧输电线缆(并对每个本侧输电线缆进行编号)的相关特征(例如反映位置和方向的特征)，整合所有高清图像中每个本侧输电线缆对应的线缆分量，得到影像数据中本侧输电线缆对应的线缆特征(如每个编号的本侧输电线缆在当前高清图像中的像素坐标组、线缆起始坐标、线缆起始宽度、线缆结束坐标和线缆结束宽度)。结合无人机的位置数据(如无人机的实时位置坐标)、姿态数据(如无人机的偏航角、俯仰角、滚转角等)和状态数据(如飞行速度、加速度、所受风力风向等)进行处理。最终处理为包含6组输入向量的输入数据，输入至阶段性路径规划模型中，预测当前时段t对应的巡检路径调节量。这种特征提取方案，能够考虑到多种因素，能够综合地反映无人机沿输电线缆巡检的各种要素，而针对当前时段内每个数据采集节点都有记录和反映，能够考虑数据的精度，有利于提高当前时段对应的巡检路径调节量的预测精度。

16、3.自主研发的阶段性路径规划模型，利用输入层接收输入数据；lstm模块包含6个并行的lstm层，每个lstm层用于接收输入层输入的一组输入向量，并对输入向量进行特征提取，得到对应的特征向量；全连接层包含3个全连接单元，每个全连接单元用于接收6个lstm层提取出的特征向量，并对6个特征向量进行预测，预测出对应的巡检路径调节分量，3个全连接单元分别用于预测巡检路径调节量中的x轴调节分量、y轴调节分量和z轴调节分量；输出层则输出当前时段t对应的巡检路径调节量。并且，考虑到无人机拍摄视角下的不同输电线缆的位置关系和能够反映的重点(例如，中间的线缆在x、y轴坐标上的分量具有更好的反映能力，因为，位于中间的，倾向于向前的一条直线，而位于两边的输电线缆，则对z轴坐标上的分量具有更好的反映能力，因为位于两边的输电线缆在无人机拍摄视角下能够在一定程度上反映出输电线缆的弧垂)，因此在lstm模块与全连接层之间，插入一个注意力模块，注意力模块包含3个注意力单元，每个注意力单元分别连接一个全连接单元，用于为全连接单元在进行相应调节分量的预测时分配每个特征向量的权重。这样，使得训练后的阶段性路径规划模型能够更有效地考虑到高度方向的距离，以预测出更准确合适的巡检路径调节量，从而使得无人机的巡检路径可以实现智能化的规划，确保无人机适应各种复杂环境下的输电线缆的弧垂，始终与输电线缆保持安全且高质量巡检的距离。

17、4.在对下一阶段的巡检路径进行更新时，获取当前巡检路径分段中时段t的分段路径的终点坐标和时段t+1的分段路径的终点坐标；基于巡检路径调节量更新时段t+1的分段路径的终点坐标，得到时段t+1的分段路径的更新坐标；基于时段t的分段路径的终点坐标和时段t+1的分段路径的更新坐标，生成平滑的分段路径，得到调节后的下一时段t+1的分段路径。这样的方式可以实现平滑的巡检路径规划，可以确保无人机在飞行过程中的稳定性和安全性，减少因路径突变导致的飞行风险。并且，此种方案可以在通信不佳时优先保证无人机安全，例如，当前时段因无法接收到实时处理后的巡检路径调节量，那么，无人机就会向初始路径过渡(例如在3个时段内逐步恢复到初始路径上)，避免无人机在弧垂上升段依然保持低空飞行而进入输电线缆的安全距离之内所导致的危险。

18、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。