用于无人机电网巡检的图像去雨方法及设备与流程

本发明属于无人机航拍图像去雨，具体涉及一种用于无人机电网巡检的图像去雨方法及设备。

背景技术：

1、复合翼无人机结合了固定翼无人机和旋翼无人机的特点，既可以像固定翼无人机那样高速巡航，又能像旋翼无人机一样垂直起降。在电网巡检领域，常常需要使用复合翼无人机拍摄获取目标区域的高清正射投影图像，但是，当无人机在雨天作业时，图像中会包含大量的雨纹。另一方面，由于复合翼无人机飞行高度较高，速度较快，许多巡检对象在图像中覆盖的面积较小，现有的算法应用到该场景时，还无法得到较好的去雨效果。

技术实现思路

1、有鉴于此，本发明提供了一种用于无人机电网巡检的图像去雨方法及设备，以解决上述技术问题。

2、其技术方案如下：用于无人机电网巡检的图像去雨方法，包括以下步骤：

3、获取无人机采集的航拍图像，对所述航拍图像进行逐级地信息挖掘运算，得到去噪子图；在至少一级所述信息挖掘运算过程中，包括先后进行的空间维度缩减操作和空间维度扩展操作；

4、基于所述去噪子图构建去掉雨纹后的目标图像，从而完成图像去雨操作。

5、进一步地，利用串联设置的多个特征挖掘机构对所述航拍图像进行逐级地信息挖掘运算。

6、进一步地，所述特征挖掘机构内部设有空间缩减单元、空间扩展单元和校引单元：所述特挖掘机构内部运算过程包括：

7、利用空间缩减单元对接收到的子图进行空间维度缩减操作，产生第一适配子图；

8、利用空间扩展单元对所述第一适配子图进行空间维度扩展操作，产生第二适配子图；

9、所述校引单元以所述第一适配子图和所述第二适配子图作为输入，经过计算产生校引子图；

10、将所述校引子图与所述第二适配子图融合，产生优化子图。

11、进一步地，所述去噪子图为最后一个所述特征挖掘机构运算生成的优化子图。

12、进一步地，所述空间缩减单元内部运算过程包括：

13、利用最大池化层和第一激活函数依次对空间缩减单元接收到的子图处理，产生第一缩减子图；

14、利用第一卷积层和第二激活函数依次对所述第一缩减子图处理，产生第二缩减子图；

15、利用平均池化层和第三激活函数依次对空间缩减单元接收到的子图处理，产生第三缩减子图；

16、将所述第二缩减子图减去所述第三缩减子图，产生第四缩减子图；

17、利用第二卷积层和第四激活函数依次对所述第四缩减子图处理，产生第五缩减子图；

18、将所述第一缩减子图与所述第五缩减子图做hadamard乘积，得到所述第一适配子图。

19、采用上述方案后，在空间缩减单元内部构建了特征错配自调节机制，通过最大池化层、平均池化层、第一卷积层、第二卷积层和四个激活函数的配合，空间维度缩减操作过程中，可以根据图像的特征进行针对性地、有选择性地信息筛选，与现有的降维操作相比，具有更好的灵活性和更精准的去噪能力。

20、进一步地，所述空间扩展单元包括依次设置的反卷积层和第五激活函数。

21、进一步地，所述校引单元内部运算过程包括：

22、分别对所述第一适配子图做全通道平均池化处理和全通道最大池化处理，对应产生第一矩阵和第二矩阵；

23、对所述第一矩阵做第一反卷积处理，产生第三矩阵，对所述第二矩阵做第二反卷积处理，产生第四矩阵；

24、分别对所述第二适配子图做全通道最大池化和全通道平均池化处理，对应产生第五矩阵和第六矩阵；

25、利用所述第四矩阵减去所述第五矩阵，产生第七矩阵，利用所述第三矩阵与所述第六矩阵相加，产生第八矩阵；

26、将所述第五矩阵、第六矩阵、第七矩阵和第八矩阵拼接起来，产生组合矩阵；

27、对所述组合矩阵依次进行第一卷积计算和第一激活计算，得到所述校引子图。

28、采用上述方案后，校引单元以第一适配子图和第二适配子图作为输入，通过内部的分解转换机制映射空间维度扩展前后的关系，并通过生成的校引子图与第二适配子图融合，使得算法能够更好地学习各种复杂的图像特征模式，并将其适配地扩展到原本雨纹覆盖的区域。

29、进一步地，所述校引单元内部运算过程还包括：所述第三矩阵与所述第四矩阵做hadamard乘积，产生第九矩阵，所述第九矩阵经过sigmoid函数激活后产生附加子图。

30、进一步地，基于所述去噪子图构建目标图像的过程，包括：

31、将所有校引单元中生成的附加子图拼接起来，产生第一过渡子图；

32、所述第一过渡子图依次经过第二卷积计算和第二激活计算，产生第二过渡子图；

33、所述去噪子图与所述第二过渡子图融合，产生第三过渡子图；

34、所述第三过渡子图依次经过第三卷积计算和第三激活计算，产生得到所述目标图像。

35、采用上述方案后，通过附加子图产生的第二过渡子图与去噪子图融合后再生成目标图像，由于附加子图的信息来自空间扩展操作前的第一适配子图，这样可以极大地降低多次叠加的空间维度扩展操作使得目标图像出现图像扭曲和互相干涉的概率，提升生成目标图像质量的稳定性。

36、本发明还提供了一种用于无人机电网巡检的图像去雨设备，包括计算机程序/指令，当所述计算机程序/指令被执行时，实现如上所述的方法。

37、与现有技术相比，本发明的有益效果是：

38、本发明对航拍图像进行特征信息挖掘过程中，先进行空间维度缩减操作，由于单个的雨纹在图像中覆盖面积远小于其他对象，空间维度缩减操作可以大幅度压缩雨纹噪音的含量，同时对图像中其他对象的影响相对较小，然后再进行空间维度扩展操作，通过对有用信息进行拟合扩展，进一步提高残留雨纹信息的稀疏性和离散程度，高效去除雨纹的同时，很好地保留了其他的图像特征。

技术特征：

1.用于无人机电网巡检的图像去雨方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的用于无人机电网巡检的图像去雨方法，其特征在于，利用串联设置的多个特征挖掘机构对所述航拍图像进行逐级地信息挖掘运算。

3.根据权利要求2所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述特征挖掘机构内部设有空间缩减单元、空间扩展单元和校引单元，所述特挖掘机构内部运算过程包括：

4.根据权利要求3所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述去噪子图为最后一个所述特征挖掘机构运算生成的优化子图。

5.根据权利要求3所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述空间缩减单元内部运算过程包括：

6.根据权利要求3所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述空间扩展单元包括依次设置的反卷积层和第五激活函数。

7.根据权利要求4所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述校引单元内部运算过程包括：

8.根据权利要求7所述的用于无人机电网巡检的图像去雨方法，其特征在于，所述校引单元内部运算过程还包括：所述第三矩阵与所述第四矩阵做hadamard乘积，产生第九矩阵，所述第九矩阵经过sigmoid函数激活后产生附加子图。

9.根据权利要求8所述的用于无人机电网巡检的图像去雨方法，其特征在于，基于所述去噪子图构建目标图像的过程，包括：

10.用于无人机电网巡检的图像去雨设备，其特征在于，包括计算机程序/指令，当所述计算机程序/指令被执行时，实现如权利要求1-9任一项所述的方法。

技术总结
本发明公开了一种用于无人机电网巡检的图像去雨方法及设备，属于无人机航拍图像去雨技术领域。本发明提供的图像去雨方法包括：获取无人机采集的航拍图像，对航拍图像进行逐级地信息挖掘运算，得到去噪子图；在至少一级信息挖掘运算过程中，包括先后进行的空间维度缩减操作和空间维度扩展操作；基于去噪子图构建去掉雨纹后的目标图像，从而完成图像去雨操作。本发明对航拍图像进行特征信息挖掘过程中，先进行空间维度缩减操作，大幅度压缩雨纹噪音的含量，同时对图像中其他对象的影响相对较小，然后再进行空间维度扩展操作，提高残留雨纹信息的稀疏性和离散程度，高效去除雨纹的同时，很好地保留了其他的图像特征。

技术研发人员：李宏斌,张捷,陈彦州,潘可达,吴俊臣,苏超,周经中,张裕,陈翀,邓百川,高堃植,陈静川,包若愚,田家霖,罗超玮,张涵飞,陈博帆,李俊,范兴凯,靳函通,李昌彬
受保护的技术使用者：南方电网通用航空服务有限公司
技术研发日：
技术公布日：2025/4/6