吊臂下站人的违规行为检测方法、系统、介质及电子设备与流程

本申请涉及计算机视觉领域，尤其是涉及一种吊臂下站人的违规行为检测方法、系统、介质及电子设备。

背景技术：

1、在一些工业园区、工地场景中，吊物臂、起重机的应用十分常见，而吊物臂、起重机下站人是十分危险的行为，存在安全隐患。为了避免这种危险行为，当前场景中通常会安排监督人员在现场进行监督，但一是人力的浪费，二是人工监督受到光照、视野、监督人员注意力等问题存在漏判和误判。

2、随着人工智能深度学习的发展，尤其是计算机视觉方面取得的重大进展，通过现场监控画面实时判断是否存在吊臂下站人这一违规行为成为一项可以实现的技术。

3、然而现有技术中采用特定角度的双路摄像机作为视频源来进行行人的违规行为检测，算力资源消耗较多；且需要检测两种物体的关键点，标注和训练难度较大，同时需要两个关键点模型，消耗了更多的算力资源。

技术实现思路

1、本申请的目的在于提供一种吊臂下站人的违规行为检测方法、系统、介质及电子设备，用于解决上述技术问题。

2、第一方面，本申请提供一种吊臂下站人的违规行为检测方法，所述方法包括：获取视频流数据，将所述视频流数据解码以获取待检测图像；将所述待检测图像输入吊臂及行人检测模型，以获取对应的吊臂检测框及行人检测框；判断所述行人检测框在图像中的坐标是否在所述吊臂检测框在图像中的坐标下方；若是，则根据所述吊臂检测框及所述行人检测框获取行人在吊臂正下方的概率；对所述行人进行跟踪并获取连续帧的待检测图像中的行人在吊臂正下方的平均概率值；当所述平均概率值大于预设阈值时，输出所述行人违规警告。

3、在第一方面的一种实现方式中，所述视频流数据通过设置于现场的任一可拍摄吊臂及吊臂下方地面的摄像设备获取。

4、在第一方面的一种实现方式中，所述吊臂及行人检测模型的具体训练过程包括：获取现场视频数据和/或图片素材中包含行人及吊臂、公开数据集中包含行人的图片数据集；对所述图片数据集进行行人及吊臂标注，以获取对应的标注数据集；将所述标注数据集按照4:1的比例设置训练集和验证集；将所述训练集输入目标检测网络中进行训练，并将在验证集上性能最优的模型作为吊臂及行人检测模型。

5、在第一方面的一种实现方式中，所述根据所述吊臂检测框及所述行人检测框获取所述行人在吊臂正下方的概率，包括：获取所述吊臂的真实宽度与所述行人的真实宽度比值；根据所述吊臂检测框及所述行人检测框获取所述吊臂在所述待检测图像中的像素宽度及所述行人在所述待检测图像中的像素宽度；将所述比值、所述吊臂在所述待检测图像中的像素宽度输入吊臂正下方行人像素宽度计算公式，以获取行人处于吊臂正下方时的像素宽度；根据所述行人在所述吊臂正下方时的像素宽度及所述行人在所述待检测图像中的像素宽度获取所述行人在吊臂正下方的概率。

6、在第一方面的一种实现方式中，所述行人在所述吊臂正下方时的像素宽度计算公式为：

7、

8、其中，k为所述吊臂的真实宽度与所述行人的真实宽度比值，p吊为所述吊臂在所述待检测图像中的像素宽度，p人为所述行人在所述吊臂正下方时的像素宽度，p吊采为提前采集的一组数据中吊臂在图像中的像素宽度，p人采为提前采集的一组数据中吊臂正下方行人在图像中的像素宽度。

9、在第一方面的一种实现方式中，所述根据所述行人在所述吊臂正下方时的像素宽度及所述行人在所述待检测图像中的像素宽度获取所述行人在吊臂正下方的概率的公式为：

10、m为可调节系数

11、其中，score为所述行人在吊臂正下方的概率，p′人为所述行人在当前图像中的实际像素宽度，p人为计算得到的所述行人在所述吊臂正下方时的像素宽度。

12、在第一方面的一种实现方式中，所述方法还包括，若所述行人检测框在图像中的坐标不在所述吊臂检测框在图像中的坐标下方，则停止对当前所述待检测图像进行吊臂下站人判断，并继续进行下一帧所述待检测图像的吊臂下站人判断。

13、第二方面，本申请提供一种吊臂下站人的违规行为检测系统，所述吊臂下站人的违规行为检测系统包括：获取模块，用于获取视频流数据；将所述视频流数据解码以获取待检测图像；目标检测模块，用于将所述待检测图像输入吊臂及行人检测模型，以获取对应的吊臂检测框及行人检测框；判断模块，用于判断所述行人检测框在图像中的坐标是否在所述吊臂检测框在图像中的坐标下方；第一数据处理模块，用于根据所述吊臂检测框及所述行人检测框获取行人在吊臂正下方的概率；第二数据处理模块，用于对所述行人进行跟踪并获取连续帧的待检测图像中的行人在吊臂正下方的平均概率值；输出模块，用于当所述平均概率值大于预设阈值时，输出所述行人违规警告。

14、第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被电子设备执行时实现本申请第一方面任一项所述的吊臂下站人的违规行为检测方法。

15、第四方面，本申请提供一种电子设备，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行本申请第一方面任一项所述的吊臂下站人的违规行为检测方法。

16、如上所述，本申请所述的吊臂下站人的违规行为检测方法、系统、存储介质及电子设备，具有以下有益效果：

17、第一，本申请关注吊臂和行人在空间中位置和画面中大小的相对变化，无需计算吊臂和行人的绝对位置，无需特定视角的多路相机，利用目标场景现有监控就可以完成吊臂下站人判断，避免安装新的设备。

18、第二，本申请每个吊臂只需一路相机，多个吊臂在同一画面中可以共享同一路相机，大大减少数据源，降低算力资源消耗。

19、第三，本申请只需单阶段进行吊臂及行人的目标检测，网络体量小，标注及训练简单，计算快速，降低了行人违规行为检测的资源消耗。

技术特征：

1.一种吊臂下站人的违规行为检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的吊臂下站人的违规行为检测方法，其特征在于，所述视频流数据通过设置于现场的任一可拍摄吊臂及吊臂下方地面的摄像设备获取。

3.根据权利要求1所述的吊臂下站人的违规行为检测方法，其特征在于，所述吊臂及行人检测模型的具体训练过程包括：

4.根据权利要求1所述的吊臂下站人的违规行为检测方法，其特征在于，所述根据所述吊臂检测框及所述行人检测框获取所述行人在吊臂正下方的概率，包括：

5.根据权利要求4所述的吊臂下站人的违规行为检测方法，其特征在于，所述行人在所述吊臂正下方时的像素宽度计算公式为：

6.根据权利要求4所述的吊臂下站人的违规行为检测方法，其特征在于，所述根据所述行人在所述吊臂正下方时的像素宽度及所述行人在所述待检测图像中的像素宽度获取所述行人在吊臂正下方的概率的公式为：

7.根据权利要求1所述的吊臂下站人的违规行为检测方法，其特征在于，所述方法还包括，若所述行人检测框在图像中的坐标不在所述吊臂检测框在图像中的坐标下方，则停止对当前所述待检测图像进行吊臂下站人判断，并继续进行下一帧所述待检测图像的吊臂下站人判断。

8.一种吊臂下站人的违规行为检测系统，其特征在于，所述系统包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至7中任一项所述的吊臂下站人的违规行为检测方法。

10.一种电子设备，其特征在于，包括处理器及存储器；

技术总结
本申请提供一种吊臂下站人的违规行为检测方法、系统、介质及电子设备，包括：获取单路摄像设备采集的待检测图像；将所述待检测图像输入吊臂及行人检测模型，以获取对应的吊臂检测框及行人检测框；当所述行人检测框在图像中的坐标在所述吊臂检测框在图像中的坐标下方时，获取行人在吊臂正下方的概率；对所述行人进行跟踪并获取连续帧的待检测图像中的行人在吊臂正下方的平均概率值；当所述平均概率值大于预设阈值时，输出所述行人违规警告。本申请每个吊臂只需一路相机，多个吊臂在同一画面中可以共享同一路相机，大大减少数据源；只需单阶段进行吊臂及行人的目标检测，网络体量小，标注及训练简单，计算快速，降低了行人违规行为检测的资源消耗。

技术研发人员：余宗杰,张军,王朔,张昭智
受保护的技术使用者：上海湃道智能科技有限公司
技术研发日：
技术公布日：2024/5/12