一种电力巡检复杂环境的无人机自主避障方法与流程

本发明涉及电力巡检领域，尤其涉及一种电力巡检复杂环境的无人机自主避障方法。

背景技术：

1、在现代电力输送系统中，电力线路的巡检是维护电网稳定性和可靠性的关键环节。传统的人工巡检方法效率低、成本高，并伴随着一定的安全风险。近年来，随着无人驾驶技术和人工智能的发展，无人机逐渐成为电力巡检领域的有效工具之一。然而，电力线路通常穿过各种复杂多变的环境，包括山区、森林和城市区域，这给无人机的自主飞行和避障能力带来了严峻挑战。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种电力巡检复杂环境的无人机自主避障方法，有效提高无人机在电力巡检复杂环境中的避障能力和路径规划效率。

2、为实现上述目的，本发明采用以下技术方案：

3、一种电力巡检复杂环境的无人机自主避障方法，其特征在于，包括以下步骤：

4、s1:通过机载的摄像头和传感器获取巡检路径上的图像、lidar、光流传感器和imu数据，使用高频段同步机制，确保摄像头、lidar、光流传感器和imu的数据时间同步；

5、s2:通过ekf滤波算法对多源数据进行融合，经过ekf融合后的状态向量即为最终的无人机位置、速度、和姿态估计结果；

6、s3：使用tiny yolo模型进行实时障碍物检测和识别，所述tiny yolo模型引入双流网络，增强tiny yolo模型在资源受限场景下的检测能力；

7、s4：利用深度学习对图像进行语义分割，获取不同类别物体的位置和状态，并与lidar生成的几何地图结合，通过icp算法更新全局地图，使用g2o进行连续位姿图优化，减少路径估计中的漂移，得到语义地图；

8、s5：基于语义地图和融合后的状态向量，利用d*lite算法，计算新的安全路径，并动态调整无人机飞行策略，以适应不断变化的环境。

9、进一步的，s2具体为：

10、根据获取的图像、lidar、光流传感器和imu数据，构建无人机的状态表示：

11、

12、其中，p为位置向量，v为速度向量，θ为姿态角；

13、状态转移方程：

14、

15、其中，f是非线性状态转移函数，uk-1是控制输入，wk-1是过程噪声；为对当前时刻k状态的预测；xk-1为上一时刻的状态；

16、状态预测的误差协方差矩阵为：

17、

18、其中，fk-1是雅可比矩阵；pk-1为上一时刻的状态估计误差协方差矩阵；qk-1为过程噪声协方差矩阵；

19、计算预测的测量值：

20、

21、其中,h为测量函数；

22、获取卡尔曼增益：

23、

24、其中，hk为测量函数h对状态的雅可比矩阵；rk为测量噪声协方差矩阵，表示测量不确定性；

25、基于卡尔曼增益，进行状态更新：

26、

27、其中，zk为实际测量值；

28、协方差更新：

29、pk|k＝(i-kkhk)pk|k-1；

30、其中，i为单位矩阵；

31、经过ekf融合后的状态向量xk|k为最终的无人机位置、速度、和姿态估计结果。

32、进一步的，使用tinyyolo轻量化模型进行实时障碍物检测和识别，具体如下：

33、将摄像头获取的图像转换为rgb图像；使用tinyyolo的标准卷积架构处理输入rgb图像，在tinyyolo每个卷积层后面嵌入se模块对特征图进行加权，以增强特征图的表达能力，获取空间流的特征图；

34、并行引入一个浅层卷积网络，计算当前帧与前一帧之间的光流，提取运动特征，得到时间流的特征图；

35、将空间流和时间流的特征图进行融合；

36、

37、其中，α是融合权重；为空间流的特征图；ftime为时间流的特征图；ffused为融合后的特征图；

38、使用融合后的特征图继续进行推理，基于tinyyolo输出层进行边界框回归和类别预测。

39、进一步的，se模块对每个卷积层输出的特征图进行加权，突出关键区域的信息，所述se模块包括squeeze操作、excitation操作和scale操作；

40、squeeze操作，对每个通道进行全局平均池化，生成通道描述向量，捕捉每个通道的全局空间信息：

41、

42、其中，zc为生成的通道描述向量；f(i,j,c)为输入特征图在位置(i,j)和通道c的像素值；h,w为特征图的高度和宽度；

43、excitation操作，生成每个通道的权重，通过全连接层对通道的全局信息进行建模并分配重要性：

44、sc＝σ(w2δ(w1zc))；

45、其中，sc为每个通道的权重，表示该通道的重要性；w1,w2为全连接层的权重矩阵，其中w1将通道向量缩减到较小的维度，w2将缩减后的向量恢复到原始通道数；δ为relu激活函数；σ为sigmoid激活函数；

46、scale操作，使用生成的权重调整输入特征图的每个通道，把注意力集中在有意义的特征上，得到空间流的特征图：

47、

48、进一步的，使用融合后的特征图继续进行推理，基于tinyyolo输出层进行边界框回归和类别预测：

49、根据空间流与时间流的特征图进行融合后的特征图ffused，输入到tinyyolo输出模块；

50、tiny yolo的输出层由卷积层组成，以预测每个网格内的边界框信息和类别概率；

51、卷积层，使用1x1卷积，调整特征图的通道数以适应输出要求：

52、

53、输出层，使用一组卷积在由s×s网格，由融合后的特征图特征图形成，上的每个网格位置，预测b个边界框信息。

54、每个边界框的信息包括：4个边界框坐标(bx,by,bw,bh)、1个置信度、和c个类别概率；

55、

56、根据网格坐标与框的相对坐标解码真实的矩形框：

57、bx＝σ(tx)+cx

58、by＝σ(ty)+cy

59、

60、其中，tx,ty,tw,th为网络的输出；cx,cy为网格单元坐标，pw,ph为锚框的预定义宽度和高度，σ为sigmoid函数；

61、输出最终的目标检测结果，包括物体的位置和边界框的位置及大小。

62、进一步的，s4具体为：

63、使用深度神经网络deeplab对每帧图像进行语义分割，获得精确的物体级别和每个像素的类别信息；

64、从语义分割提取的类别信息以及tiny yolo的检测结果与lidar的点云进行空间对齐，通过投影关系将图像中的类别标签映射到对应的点云中，生成局部语义几何地图；

65、利用imu提供初始位姿用于粗略对齐，基于icp算法，将新采集的lidar点云与现有的全局地图对齐；

66、使用节点和边表示连续帧之间的运动关系，其中节点表示设备的位姿，边表示估计出的运动；使用g2o优化，最小化每条边的误差与观测的差异，最小化位姿图中的累积误差；

67、将经过调整的lidar点云与类别信息结合，生成完整的3d语义地图。

68、进一步的，利用imu提供初始位姿用于粗略对齐，基于icp算法，将新采集的lidar点云与现有的全局地图对齐，具体如下：

69、将imu提供的旋转矩阵rimu和位移向量timu用于将从局部坐标系变换到全局坐标系：

70、将imu提供的初始位姿作用于新采集的lidar点云，以获得粗略的全局对齐：

71、paligned＝rimu*p+timu

72、其中p是原始lidar点云的坐标矩阵，paligned是经过初始位姿估算后的点云；

73、定义icp目标函数是最小化源点云p和目标地图点云q之间的平方误差：

74、minr,t∑||r·pi+t-qi||2

75、其中，pi是源点云的点，qi是目标地图中与pi最近的点；

76、对每个源点pi，在目标地图中找到最近邻点qi，并使用k-d树数据结构加速最近邻搜索；

77、使用奇异值分解方法求解旋转矩阵r和平移向量t

78、将计算得到的旋转矩阵r和平移向量t应用到整个源点云上

79、pnew＝r·paligned+t。

80、进一步的，使用奇异值分解方法求解旋转矩阵r和平移向量t，具体如下：

81、首先，计算两个点云的质心：

82、

83、其中，n为点云数量；

84、并对每个点计算去中心化坐标：

85、

86、计算协方差矩阵h：

87、

88、然后，对协方差矩阵进行svd分解：

89、u，∑，vt＝svd(h)

90、其中，uu和v是正交矩阵，σ是对角矩阵；

91、旋转矩阵r通过如下公式计算：

92、r＝vut若det(r)<0，通过反转最小奇异值方向修正：

93、v[:,-1]＝-v[:,-1]

94、r＝vut；

95、计算平移向量t：

96、

97、最后，输出旋转矩阵r和平移向量tt用于将源点云对齐到目标点云。

98、进一步的，d*lite算法具体为：

99、数据结构初始化，设节点表示网格地图中的格子，边表示相邻格子之间的路径；

100、初始化所有节点的代价、优先级，以及到目标节点的估计代价；

101、从起点开始，不断选择估计代价最低的下一个节点，并移动；

102、如果检测到新障碍物或环境变化，更新对应节点的代价：

103、g(s)＝min(g(s),c(s,s′)+g(s′))

104、其中g(s)是当前节点到起点的估计代价，c(s,s′)是从节点s到节点s′的路径成本；

105、从目标节点开始反向更新路径，确保改变量传递至所有受影响节点；

106、选择从起点到目标点的最优路径，应用该路径来指导无人机的飞行策略。

107、通过传感器融合，持续更新语义地图，并检测环境的显著变化，包括新增或移动的障碍物；

108、根据新地图信息，触发d*lite算法的更新机制，重新计算并更新安全路径。

109、本发明具有如下有益效果：

110、1、本发明针对电力巡检对可靠性和实时性要求较高的应用情境，利用语义地图的感知深度和d*lite算法的动态性，无人机更智能地在复杂环境中自主导航，完成巡检任务；

111、2、本发明使用轻量化的tiny yolo模型，实现了对飞行路径中障碍物的实时检测和识别，确保无人机能够快速响应突发情况，并引入双流网络有效结合了空间和时间信息，提升了tiny yolo在复杂环境下的目标检测性能，同时保持了计算效率，并通过se模块在保持计算复杂性适中的同时，有效地增强了特征表达能力，使网络能够更好地关注关键特征，改进了网络精度而未显著增加计算量，非常适合在实时和资源有限的无人机场景中；

112、3、本发实现了语义信息与几何信息的结合及优化，不仅可以为动态环境提供详尽的位置信息，还能补充路径估计中的语义上下文，提高整体系统的鲁棒性和稳定性。