针对电力高空作业的目标检测方法及系统与流程

本发明属于数字图像处理领域，具体涉及一种针对电力高空作业的目标检测方法及系统。

背景技术：

1、随着经济技术的发展和人们生活水平的提高，电能已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。因此，保障电能的稳定可靠供应，就成为了电力系统最重要的任务之一。

2、目前，电力系统高空作业是保障电能供应的重要手段。在电力系统高空作业过程中，作业人员坠落是较为常见但极为严重的问题，需要着重防控这一风险。在高空作业过程中，作业人员需要站在悬空的位置进行作业，例如站在电力杆顶部或输电线路上；如果作业人员失足或者操作不当，就有可能发生坠落事故。近年来，计算机视觉技术具有无接触、高精度和连续性等优势，能够有效保证作业时的规范性；因此，计算机视觉技术逐渐成为了施工安全监管的主流研究方向。而随着深度学习技术的发展，利用深度学习对电力高空作业进行检测也逐步成为了主流的检测方式。

3、当前，电力高空作业的目标检测算法可分为双阶段检测算法和单阶段检测算法，其任务就是找出电力作业图像中所有感兴趣的目标，确定它们的类别和位置。双阶段检测算法在实际应用中，虽然能达到较高的检测精度，但是需要较长的推理时间，不适合于电力作业中的实时监测。单阶段算法目前在电力高空作业应用较多，但还存在以下两个问题：(1)实际电力高空作业环境受天气和光照等影响，且实际电力检测中目标大小尺度不一，在实际检测中存在误检和漏检的问题；(2)时效性差，无法满足边缘设备的实时检测需求。

技术实现思路

1、本发明的目的之一在于提供一种可靠性高、精确性好且实时性好的针对电力高空作业的目标检测方法。

2、本发明的目的之二在于提供一种实现所述针对电力高空作业的目标检测方法的系统。

3、本发明提供的这种针对电力高空作业的目标检测方法，包括如下步骤：

4、s1.获取现有的电力高空作业的数据信息；

5、s2.对步骤s1获取的数据信息进行数据扩展，从而得到电力高空作业数据集；

6、s3.基于ghost卷积和nam注意力机制，构建电力高空作业目标检测初步模型；

7、s4.采用步骤s2得到的电力高空作业数据集，对步骤s3构建的电力高空作业目标检测初步模型进行训练，得到电力高空作业目标检测模型；

8、s5.对步骤s4得到的电力高空作业目标检测模型进行模型优化，得到电力高空作业目标检测最优模型；

9、s6.采用步骤s5得到的电力高空作业目标检测最优模型，进行实际的电力高空作业的目标检测。

10、步骤s2所述的对步骤s1获取的数据信息进行数据扩展，具体包括如下步骤：

11、对步骤s1获取的数据信息进行数据扩展，所述的数据扩展包括随机裁剪、旋转和缩放。

12、步骤s3所述的基于ghost卷积和nam注意力机制，构建电力高空作业目标检测初步模型，具体包括如下步骤：

13、所述的电力高空作业目标检测初步模型包括backbone层、neck层和output层；backbone层、neck层和output层依次串接；

14、backbone层用于提取图像中的特征图；

15、neck层用于融合不同层次的特征信息；

16、output层用于预测图像中目标的位置和类别；

17、backbone层包括依次串接的bb卷积层、bb第一ghost卷积层、bb第一c3ghost卷积层、bb第二ghost卷积层、bb第一2倍c3ghost卷积层、bb第三ghost卷积层、bb第一3倍c3ghost卷积层、bb第四ghost卷积层、bb第二c3ghost卷积层、bb第一nam层和bb第一sppf层；其中，bb第一2倍c3ghost卷积层包括2个串接的c3ghost卷积层；bb第一3倍c3ghost卷积层包括3个串接的c3ghost卷积层；

18、neck层包括依次串接的nk第一ghost卷积层、nk第一上采样层、nk第一连接层、nk第一c3ghost卷积层、nk第二ghost卷积层、nk第二上采样层、nk第二连接层、nk第二c3ghost卷积层、nk第一nam层、nk第三ghost卷积层、nk第三连接层、nk第三c3ghost卷积层、nk第二nam层、nk第四ghost卷积层、nk第四连接层、nk第四c3ghost卷积层和nk第三nam层；同时，nk第一连接层的输入端还连接bb第一3倍c3ghost卷积层的输出端，nk第二连接层的输入端还连接bb第一2倍c3ghost卷积层的输出端，nk第三连接层的输入端还连接nk第二ghost卷积层的输出端，nk第四连接层的输入端还连接nk第一ghost卷积层的输出端；

19、output层将nk第二nam层的输出信号、nk第三nam层的输出信号和nk第四nam层的输出信号作为最终的输出信号。

20、所述的nam层，具体包括如下内容：

21、nam层使用批量归一化bn中的比例因子γi和λi来衡量每个通道和空间的方差并，比例因子越大表示空间或者通道的特征越重要；

22、bn计算采用如下算式：

23、

24、式中bout为输出数值集合；bin为输入数值集合；γ和β为可训练的参数；μb为输入数据的均值；σb为输入数据的方差；ε和β为极小常量。

25、nam层中包含通道注意力层cam和空间注意力层sam，cam和sam计算采用如下算式：

26、

27、

28、mc＝sigmoid(wγ(bn(f1)))

29、ms＝sigmoid(wλ(bns(f2)))

30、式中wγ为通道权重；wλ为空间权重；f1表示cam输入特征图；mc表示cam输出特征图；γi为每个通道的比例因子；f2表示sam输入特征图；ms表示sam输出特征图；λi为每个空间的比例因子；bn()为通道批量归一化操作；bns()为空间批量归一化操作。

31、步骤s4所述的训练，具体包括如下步骤：

32、训练过程中，采用如下算式作为训练过程的损失函数l：

33、l＝rlll

34、

35、

36、

37、ll＝1-iouθ

38、式中rl为回归损失，b为预测框的质心，bgt为真实框的质心，ρ代表两个质心之间的欧几里得距离，d是同时包含预测框和真值框最小封闭区域的对角线距离，*表示最小边界框的维度与计算图分离，β为离群度，α、δ和θ是超参数，iou为交并比；ll为交并比损失。

39、步骤s5所述的进行模型优化，具体包括如下步骤：

40、采用知识蒸馏的方式，实现对模型的优化。

41、(1).将步骤s4训练得到的电力高空作业检测模型作为学生模型。

42、(2).基于ghost卷积和nam注意力机制构建教师模型；所述的教师模型包括backbone层、neck层和output层；backbone层、neck层和output层依次串接；

43、backbone层用于提取图像中的特征图；

44、neck层用于融合不同层次的特征信息；

45、output层用于预测图像中目标的位置和类别；

46、backbone层包括依次串接的bb卷积层、bb第一ghost卷积层、bb第一2倍c3ghost卷积层、bb第二ghost卷积层、bb第一4倍c3ghost卷积层、bb第三ghost卷积层、bb第一6倍c3ghost卷积层、bb第四ghost卷积层、bb第二2倍c3ghost卷积层、bb第一nam层和bb第一sppf层；其中，bb第一2倍c3ghost卷积层包括2个串接的c3ghost卷积层；bb第一4倍c3ghost卷积层包括3个串接的c3ghost卷积层；bb第一6倍c3ghost卷积层包括6个串接的c3ghost卷积层；

47、neck层包括依次串接的nk第一ghost卷积层、nk第一上采样层、nk第一连接层、nk第一2倍c3ghost卷积层、nk第二ghost卷积层、nk第二上采样层、nk第二连接层、nk第二2倍c3ghost卷积层、nk第一nam层、nk第三ghost卷积层、nk第三连接层、nk第三2倍c3ghost卷积层、nk第二nam层、nk第四ghost卷积层、nk第四连接层、nk第四2倍c3ghost卷积层和nk第三nam层；同时，nk第一连接层的输入端还连接bb第一6倍c3ghost卷积层的输出端，nk第二连接层的输入端还连接bb第一4倍c3ghost卷积层的输出端，nk第三连接层的输入端还连接nk第二ghost卷积层的输出端，nk第四连接层的输入端还连接nk第一ghost卷积层的输出端；

48、output层将nk第二nam层的输出信号、nk第三nam层的输出信号和nk第四nam层的输出信号作为最终的输出信号；

49、(3).对步骤(2)的电力高空作业检测模型采用与步骤s4相同的方式训练；

50、(4).使用软标签的方法，得到步骤(3)训练教师模型的logits，然后教师模型在设定温度下对输出的logits进行蒸馏，经过softmax层得到类别预测概率分布作为软标签，同时学生模型输出logits经过同样温度的蒸馏，在softmax层得到类别预测概率分布作为软预测；使用lsoft损失函数进行优化：

51、

52、式中为教师网络在温度t下softmax输出概率，为学生网络在温度t下softmax输出概率；

53、(5).使用步骤(4)方法对模型进行知识蒸馏，最终调整得到的学生模型为电力高空作业目标检测最优模型。

54、本发明还提供了一种实现所述针对电力高空作业的目标检测方法的系统，具体包括数据获取模块、数据扩展模块、模型构建模块、模型训练模块、模型优化模块和目标检测模块；数据获取模块、数据扩展模块、模型构建模块、模型训练模块、模型优化模块和目标检测模块依次串联；数据获取模块用于获取现有的电力高空作业的数据信息，并将数据上传数据扩展模块；数据扩展模块用于根据接收到的数据，对获取的数据信息进行数据扩展，从而得到电力高空作业数据集，并将数据上传模型构建模块；模型构建模块用于根据接收到的数据，基于ghost卷积和nam注意力机制，构建电力高空作业目标检测初步模型，并将数据上传模型训练模块；模型训练模块用于根据接收到的数据，采用得到的电力高空作业数据集，对构建的电力高空作业目标检测初步模型进行训练，得到电力高空作业目标检测模型，并将数据上传模型优化模块；模型优化模块用于根据接收到的数据，对得到的电力高空作业目标检测模型进行模型优化，得到电力高空作业目标检测最优模型，并将数据上传目标检测模块；目标检测模块用于根据接收到的数据，采用电力高空作业目标检测最优模型，进行实际的电力高空作业的目标检测。

55、本发明提供的这种针对电力高空作业的目标检测方法及系统，采用创新的轻量化检测网络设计，以及创新的模型训练和模型优化方法，不仅实现了电力高空作业的目标检测，而且检测精度较高，检测速度较快，检测效果更好，实时性更好。