基于深度神经网络的配网无人机拍照点确认方法及系统与流程

本发明涉及无人机领域，尤其基于深度神经网络的配网无人机拍照点确认方法及系统。

背景技术：

1、随着无人机技术的不断发展，无人机在电力系统中的应用也越来越广泛，通过无人机对配网设施的监测和拍摄，获取图像数据信息，为配网运维和管理提供重要管理基础，通过拍摄杆塔、线路、变压器等设备的图像信息，分析相关设备的状态和运行情况，从而实现对配网设施的监测和评估。因此基于无人机拍照点确认获取准确图像信息可以实现对配网设施的定期巡检和维护。

2、在电力巡检中，需要拍摄清晰的图片来识别杆塔、绝缘子等配网设施的状况，现有的拍照点确定方法通常基于传统的图像处理技术，在面对复杂的自然环境和不同的应用场景时，会出现识别精度不高、鲁棒性不强等问题。因此，本技术提出一种基于深度神经网络的配网无人机拍照点确认方法及系统，以提高拍照点的精度和鲁棒性。

技术实现思路

1、本技术提出一种基于深度神经网络的配网无人机拍照点确认方法及系统，以提高拍照点的精度和鲁棒性，确定拍照目标的图像质量为配网运维提供安全保障；

2、第一方面，本技术提供一种基于深度神经网络的配网无人机拍照点确认方法，具体包括：

3、步骤1，获取待拍照目标区域内的图像，基于所述待拍照目标区域内的图像结合预设时间段的目标图像进行特征点分析，确定第一特征点组合和第二特征点组合，基于所述第一特征点组合和所述第二特征点组合确定所述待拍照目标区域内是否存在拍照目标；

4、步骤2，所述待拍照目标区域内存在所述拍照目标时，无人机执行拍照指令对所述拍照目标进行拍摄，确定拍照目标的具体图像信息，记为目标图像；对于所述目标图像基于特征融合后通过图像质量评估模型做质量分析；

5、步骤3，基于质量分析结果进行判断所述目标图像是否合格，若存在不合格目标图像，所述无人机执行重新拍照指令重新对所述拍照目标进行拍照处理获取重拍目标图像；

6、步骤4，基于所述重拍目标图像结合所述图像质量评估模型进行质量分析，若所述重拍目标图像质量不合格，所述无人机进行自适应调整后执行重新拍照指令重复步骤3和步骤4直至重拍目标图像合格。

7、具体地，所述步骤1具体包括：

8、2.1获取预设历史时间内的目标图像确定目标参考图像；获取待拍照目标区域内的图像记为待确定目标图像；

9、2.2获取所述目标参考图像中的特征点确定目标特征点集；获取所述待确定目标图像中的特征点确定第一特征点集；

10、2.3基于所述目标特征点集中任意一点a1确定在所述第一特征点集中的第一参考点a2，基于所述a1和所述a2确定第一特征点组合；

11、基于所述第一特征点集中任意一点b1确定在所述目标特征点集中的第二参考点b2，基于所述b1和所述b2确定第二特征点组合；

12、2.4基于所述第一特征点组合和所述第二特征点组合确定第三特征点组合；

13、2.5重复上述步骤2.3和2.4得到若干个第三特征点组合，将所述第三特征点组合的个数记为待确定值；

14、2.6判断所述待确定值与预设参考值的大小，若所述待确定值大于预设参考值，则确定该待确定目标图像存在拍照目标。

15、具体地，所述步骤2.2中获取特征点确定所述目标特征点集和所述第一特征点集具体包括：

16、2.2.1获取待提取特征图像的图像信息，基于所述图像信息作灰度化处理，得到灰度图像；

17、2.2.2在所述灰度图像中以任意像素点为中心构建第一区域范围；基于该像素点的灰度信息和所述第一区域范围内的灰度信息确定灰度阈值；

18、2.2.3在所述第一区域范围内任选n个像素点，将所述第一区域范围内的所述n个像素点的灰度信息与所述灰度阈值进行判断；

19、2.2.4若在所述第一区域范围内的任选的n个像素点中大于或小于所述灰度阈值的像素点存在m个时，若所述n与所述m的比例关系满足预设比例阈值，将该像素点记为候选特征点；

20、2.2.5基于所述像素点和该像素点的所述第一区域范围确定该像素点的第一相邻区域范围和第二相邻区域范围；

21、基于步骤2.2.3和步骤2.2.4判断所述像素点在所述第一相邻区域范围和所述第二相邻区域范围内是否为候选特征点；

22、2.2.6若所述像素点在所述第一区域范围、所述第一相邻区域范围和所述第二相邻区域范围均判断为候选特征点，将该像素点记为特征点；

23、2.2.7遍历所述图像信息中的像素点，得到若干个特征点确定为特征点集。

24、具体地，所述步骤2.3中确定第一特征点组合和确定第二特征点组合具体包括：

25、对于所述目标特征点集中任意一个特征点基于曼哈顿距离计算在所述第一特征点集中距离该特征点距离最小的对应特征点，记为参考点；

26、对于所述目标特征点集中的特征点进行遍历得到在所述第一特征点集中无数个相对参考点；

27、基于所述目标特征点集中的每个特征点与在所述第一特征点集中对应的每个参考点确定阈值；

28、获取所述目标特征点集中的任意一特征点a1,确定所述第一特征点集中的第一参考点a2；

29、若所述a1和a2的比例关系小于所述阈值，将所述a1和所述a2作为第一待定特征点组合；

30、对于所述第一待定特征点组合中的a1和a2，分别基于所述a1和所述a2建立以r为半径的圆形区域，得到圆形区域a1和圆形区域a2；

31、在所述圆形区域a1中任意选取两个特征点，得到在所述圆形区域a1中的第一特征图形；基于所述圆形区域a1中选取的两个特征点确定在所述圆形区域a2中对应的两个参考点，得到在所述圆形区域a2中的第一参考图形；

32、若所述第一特征图形和所述第一参考图形相似，则所述a1和所述a2确定为第一特征点组合；重复上述步骤确定第二特征点组合。

33、具体地，所述步骤2具体包括：

34、对于所述目标图像进行预处理后得到待评估图像；基于所述待评估图像获取特征多通道特征因子；

35、对于所述多通道特征因子做全局池化处理后确定第一权重系数，基于所述第一权重系数对所述多通道特征因子进行第一增强处理；

36、对于所述多通道特征因子获取特征信息确定第二权重系数，基于所述第二权重系数对所述多通道特征因子进行第二增强处理；

37、基于第一增强处理和第二增强处理对所述多通道特征因子进行融合处理确定待评估特征因子；

38、基于所述待评估特征因子输入图像质量评估模型确定所述待评估图像的质量得分。

39、具体地，所述图像质量评估模型具体包括：

40、获取某图像的特征信息，调用第一神经网络对于所述特征信息进行融合处理确定融合特征信息；

41、对于所述融合特征信息调用第二神经网络确定所述融合特征信息的第一权重参数；

42、基于权重参数确定所述图像质量评估模型的第一层和第二层；

43、基于卷积网络与全连接层确定第二权重参数得到所述图像质量评估模型的第三层和第四层；

44、基于所述第一层和第二层结合所述第三层和第四层确定所述初始图像质量评估模型；

45、获取无数个图像信息并进行预处理后对所述初始图像质量评估模型进行训练得到图像质量评估模型。

46、具体地，所述图像质量评估模型中评估结果用评估得分e表征，所述评估得分存在第一评估得分，第二评估得分，第三评估得分，…第n评估得分，所述e＝a1e1+a2e2+a3e3+…anen，所述e1、e2、e3…en分别表征第一评估得分，第二评估得分，第三评估得分，…第n评估得分，所述a1、a2、a3、an分别表征所述第一评估得分，第二评估得分，第三评估得分，…

47、第n评估得分的对应的权重系数。

48、具体地，所述步骤3和步骤4具体包括：

49、预设评估等级，基于所述图像质量评估模型确定的评估得分处于第一评估等级时，则所述无人机拍照完成；

50、所述评估得分位于第二评估等级时，所述无人机发出重新拍照指令对于所述拍照目标进行重新拍摄；

51、基于重新拍摄获取重拍目标图像并确定重拍目标图像的评估得分，所述重拍图像的评估得分位于第二评估等级时，所述无人机自适应调整重新拍照直到获取评估得分位于第一评估等级的目标图像信息。

52、第二方面，本技术提供一种基于深度神经网络的配网无人机拍照点确认系统，所述系统包括：

53、拍照目标识别模块，获取待拍照目标区域内的图像，基于所述待拍照目标区域内的图像结合预设时间段的目标图像进行特征点分析，确定第一特征点组合和第二特征点组合，基于所述第一特征点组合和所述第二特征点组合确定所述待拍照目标区域内是否存在拍照目标；

54、图像信息分析模块，所述待拍照目标区域内存在所述拍照目标时，无人机执行拍照指令对所述拍照目标进行拍摄，确定拍照目标的具体图像信息，记为目标图像；对于所述目标图像基于特征融合后通过图像质量评估模型做质量分析；

55、图像判断模块，基于所述质量分析结果进行判断所述目标图像是否合格，若存在不合格目标图像，所述无人机执行重新拍照指令重新对所述拍照目标进行拍照处理获取重拍目标图像；

56、图像补拍模块，基于所述重拍目标图像结合所述图像质量评估模型进行质量分析，若所述重拍目标图像质量不合格，所述无人机进行自适应调整后执行重新拍照指令重复执行图像判断模块和图像补拍模块直至重拍目标图像合格。

57、本发明的基于深度神经网络的配网无人机拍照点确认方法及系统，具备如下有益效果：

58、1.本技术基于待拍照目标区域内的图像结合预设时间段的目标图像进行特征点分析，通过特征点组合的方式确定存在拍照目标，减少了冗余数据处理的时间，提高图像处理速率，通过精准确定特征点及多重判断实现特征点之间的精准匹配，降低特征点选取和匹配的误差，提高无人机识别拍照目标的准确性，从而进一步提高无人机拍摄的清晰度和精度，为配网的智能运维提供保障。

59、2.本技术中基于神经网络对数据模型进行训练，优化了图像质量评估模型，实现对拍照目标图像质量的实时评估，对于拍摄的不合格图像重新执行补拍指令实现重新拍照，从而确保获取清晰合格的图像信息，保障无人机的拍照质量，为配网作业巡检提供理论依据。