一种变电站现场人员吸烟行为检测方法与流程

本发明属于计算机视觉，具体涉及一种变电站现场人员吸烟行为检测方法。

背景技术：

1、随着计算机技术的快速发展，人工智能已经成为当今世界科技革命创新的核心引擎和关键性战略技术，将智能化技术应用于工业发展是一个不断发展的大趋势。计算机视觉是对生物视觉的模拟，主要任务是让计算机像人一样能够理解图像或视频中的内容，相当于给计算机装上“眼睛”和“大脑”，让计算机自行感知环境。计算机视觉又包括许多分支，其中包括目标检测和人体姿态估计，目前这几种技术在工业中应用非常广泛，但是由于技术的局限性导致效果时常不理想。

2、通过目标检测可以识别出变电站现场中的各种物体，比如人体、烟头，通过人体姿态估计可以获得人体关节点坐标信息，通过这两种技术结合可以有效识别变电站现场人员吸烟行为，但同时运行两个模型会导致检测速度慢和资源占用率高。因此，设计一种多任务学习模型，可以同时完成以上两种任务，既能提升检测速度，又能节约硬件成本。

技术实现思路

1、为了克服现有技术中的问题，本发明提出了一种变电站现场人员吸烟行为检测方法。

2、本发明解决上述技术问题的技术方案如下：

3、本发明提供了一种变电站现场人员吸烟行为检测方法，包括如下步骤：

4、步骤s1：采集变电站现场人员吸烟行为图像，形成数据集；对所述数据集中图像中的人、烟头进行目标检测类别框标注，对图像中的人体关节点进行关键点标注；

5、步骤s2：将标注后的数据集输入至预设的吸烟行为检测模型中进行训练，得到训练后的吸烟行为检测模型；

6、所述预设的吸烟行为检测模型基于yolo-pose模型构建，yolo-pose模型包括依次连接的主干网络、颈部网络及解耦检测头；

7、所述颈部网络为路径聚合网络panet，通过设置不同的融合因子调整来自不同图层的特征比例，多尺度融合因子在panet由浅层特征向深层特征传递的过程中加入；

8、步骤s3：使用训练好的吸烟行为检测模型检测变电站现场中的烟头检测框和人体关节点位置信息，根据烟头检测框和人体关节点的相对位置判断是否发生吸烟行为。

9、进一步地，所述步骤s2中，多尺度融合因子在panet由浅层特征向深层特征传递的过程中加入，具体步骤为：

10、步骤s201：主干网络对图像进行多尺度特征提取，从浅层传入到深层，得到四种不同尺度的第一特征图{f3，f4，f5，f6}；

11、步骤s202：通过上采样逐步放大特征图，并通过横向连接与主干网络提取的特征进行相加，得到四种不同尺度的第二特征图{c3，c4，c5，c6}，其中，finner为横向连接，fdownsample为二倍下采样的卷积操作，ci为i层第二特征图，ci+1为i+1层第二特征图，fi为i层第一特征图；

12、步骤s203：将第二特征图ci进行二倍上采样操作，并加入融合因子控制特征从浅层到深层的传递，得到融合后的四种尺度的第三特征图{p3，p4，p5，p6}，其中，flayer为卷积运算，finner为横向连接，fdownsample为二倍下采样的卷积操作，pi为i层第三特征图；pi-1为i-1层第三特征图，为第i-1层向第i层特征传递的融合因子。

13、进一步地，所述融合因子α计算公式为：

14、

15、其中，表示第i层尺度下的ground truth数量，表示第i-1层尺度下的ground truth数量。

16、进一步地，所述步骤s2中，所述解耦检测头包括三个平行的分支，第一条分支通过卷积操作得到类别信息；第二条分支得到回归和置信度信息；第三条分支首先通过6个深度卷积单元加强关节点的特征，接着通过混合多头注意力获取关节点之间的关联度，最后通过1×1的卷积输出关节点坐标信息。

17、进一步地，所述步骤s2中，对吸烟行为检测模型中进行训练采用五种损失函数；目标检测损失函数包括分类损失、定位损失及目标置信度损失；关节点检测损失函数包括关节点损失和关节点置信度损失。

18、进一步地，所述步骤s3具体包括：

19、获取训练好的吸烟行为检测模型输出的烟头检测框，及手腕、鼻子关节点坐标；

20、将烟头检测框向周围扩展预设距离；

21、根据烟头与手腕、鼻子的相对距离判断是否发生吸烟行为，若手腕、鼻子位于烟头检测框范围内，则判定发生了吸烟行为，否则，判定人员未吸烟。

22、与现有技术相比，本发明具有如下技术效果：

23、本发明为了检测变电站现场人员是否存在吸烟行为，将yolo-pose模型进行改进，提出了一种多任务学习方法，可以同时执行目标检测和关节点检测两种任务。一方面，本发明在颈部网络加入了多尺度融合因子，平衡大目标和小目标之间的样本数量，提升烟头的准确率；另一方面，将传统的检测头解耦成三个分支，每个分支之间的信息相互独立，降低耦合，避免两个任务之间信息的相互干扰。本发明联立目标检测和关节点检测两种技术，大大降低误检，另外本发明将两个模型压缩为一个模型，不仅提高了推理速度，节约了时间开销，并且能减少资源消耗，降低硬件成本。

技术特征：

1.一种变电站现场人员吸烟行为检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种变电站现场人员吸烟行为检测方法，其特征在于，所述步骤s2中，多尺度融合因子在panet由浅层特征向深层特征传递的过程中加入，具体步骤为：

3.根据权利要求2所述的一种变电站现场人员吸烟行为检测方法，其特征在于，所述融合因子α计算公式为：

4.根据权利要求3所述的一种变电站现场人员吸烟行为检测方法，其特征在于，所述步骤s2中，所述解耦检测头包括三个平行的分支，第一条分支通过卷积操作得到目标检测类别信息；第二条分支得到回归和置信度信息；第三条分支首先通过6个深度卷积单元加强关节点的特征，接着通过混合多头注意力获取关节点之间的关联度，最后通过1×1的卷积输出关节点坐标信息。

5.根据权利要求1所述的一种变电站现场人员吸烟行为检测方法，其特征在于，所述步骤s2中，对吸烟行为检测模型中进行训练采用五种损失函数；目标检测损失函数包括分类损失、定位损失及目标置信度损失；关节点检测损失函数包括关节点损失和关节点置信度损失。

6.根据权利要求1所述的一种变电站现场人员吸烟行为检测方法，其特征在于，所述步骤s3具体包括：

技术总结
本发明属于计算机视觉技术领域，具体涉及一种变电站现场人员吸烟行为检测方法。采集变电站现场人员吸烟行为图像，形成数据集；对数据集中图像中的人、烟头进行目标检测类别框标注，并对图像中的人体关节点进行关键点标注；将标注后的数据集输入至预设的吸烟行为检测模型中进行训练，得到训练后的吸烟行为检测模型；使用训练好的吸烟行为检测模型检测变电站现场中的烟头检测框和人体关节点位置信息，根据烟头检测框和人体关节点的相对位置判断是否发生吸烟行为。本发明吸烟行为检测模型中将检测头进行解耦，可以同时完成目标检测和人体关节点检测两种任务，能够降低误检，解决了传统方法中使用两个模型导致检测速度慢和资源占用率高的问题。

技术研发人员：梁其耀,李天赋,高博,童彦淇,梁钊董,刘呈祥,孙梦丽
受保护的技术使用者：东方电子股份有限公司
技术研发日：
技术公布日：2024/8/15