基于AI的智慧工地的危险违规动作识别方法及系统与流程

本发明具体涉及施工安全，具体是一种基于ai的智慧工地的危险违规动作识别方法及系统。

背景技术：

1、目前，针对安全隐患绝大部分的工地还是依靠人工利用传统的监测方法，多为接触式测量或者为人工巡检等，这种检测方式存在许多的缺点：无法对全部作业面进行覆盖，存在诸多盲区；无法实现对于工人全天候的有效监管，不仅耗时耗力，对于某些隐蔽工程的安全隐患还很难发现。

2、为改变这种情况，施工企业也在积极探索，创新管理模式建设信息化工地，但目前相关技术还不够成熟，现有技术中利用神经网络模型对施工现场的图像进行识别处理以得到危险动作的识别结果，例如公开号为：cn112613476a的发明专利公开了 一种基于机器视觉自动检测工人不安全行为的方法，通过建立工人不安全行为数据库，通过深度学习算法自动识别工人的不安全动作并显示结果，从而降低工人不安全行为的发生率。虽然该发明专利相比于传统的监测方法具有自动化、监测效果好、操作简单等优点，但由于施工人员动作的多样性、多变性和难识别性，仅依靠神经网络模型对多种类型的施工人员动作信息进行统一识别的方式误差较大，无法满足智慧工地对危险违规动作准确识别的要求，导致施工现场仍然存在较大的安全隐患。

技术实现思路

1、本发明的目的在于提供一种基于ai的智慧工地的危险违规动作识别方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于ai的智慧工地的危险违规动作识别方法，包括以下步骤：

4、s10、获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；

5、s20、识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；

6、s30、基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；

7、s40、对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警。

8、作为本发明进一步的方案：所述二维彩色图像数据用于识别实体的特征信息，三维点云数据用于识别实体的动作信息；所述实体包括施工现场的人员和物体，施工现场的人员包括施工人员、管理人员和参观人员；施工现场的物体包括动态机械和静态构筑物。

9、作为本发明再进一步的方案：所述实体的特征信息为辨识实体的信息；所述实体的动作信息包括人员和动态机械的施工动作，人员的施工动作包括状态行为和动作行为，其中，状态行为包括采取主动安全措施的状态、与危险源之间的距离状态；动作行为即为执行施工动作的行为。

10、作为本发明再进一步的方案：步骤s20中，识别图像序列数据中的实体的特征信息的方法，包括以下步骤：

11、s21、构建识别模型，将训练图像序列数据输入识别模型中对该模型进行训练，以获取具有实体识别能力的识别模型；

12、s22、在训练过程中，通过不断改变模型参数，以获得更高质量的模型；

13、s23、将待识别的图像序列数据输入训练后的识别模型中，以得到识别结果。

14、作为本发明再进一步的方案：步骤s20中，识别图像序列数据中的实体的动作信息的方法，包括以下步骤：

15、步骤一、根据实体信息选取三维点云数据中的目标实体；

16、步骤二、获取构建目标实体的要素点，所述要素点包括人员的关节点以及物体的外围轮廓点；

17、步骤三、基于要素点生成目标实体的要素点图，在预设图库中查找该要素点图，根据查找结果确定目标实体的动作信息。

18、作为本发明再进一步的方案：所述人员状态类别包括人员采取主动安全措施的状态、与危险源之间的距离状态以及执行施工动作的状态；所述人、物交互状态包括处于运动状态的人员与物体的交互状态，该交互状态的特征包括人员与物体的实时空间位置、运动方向、运动速度和运动范围。

19、作为本发明再进一步的方案：步骤s40中，对分类后的动作信息依次进行危险判断的方法为：

20、s41、获取分类后的动作信息，首先对动作类别为人员状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警；

21、s42、接着对动作类别为人、物交互状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警。

22、作为本发明再进一步的方案：步骤s41中，对动作类别为人员状态类别的动作信息进行危险判断的方法为：

23、s411、获取人员状态类别的动作信息，选取目标人员作为判断主体；

24、s412、对判断主体依次进行采取主动安全措施、与危险源之间的距离以及执行施工动作的危险判断，当判断结果为是，即存在危险时进行报警。

25、作为本发明再进一步的方案：步骤s42中，对动作类别为人、物交互状态类别的动作信息进行危险判断的方法，包括以下步骤：

26、s421、获取人、物交互状态类别的动作信息，识别该动作信息中包含的人员实体与物体实体；

27、s422、基于包含该动作信息的图像序列数据中的时序特征计算人员实体与物体实体的运动数据，该运动数据包括运动方向、加速度和持续运动时间；

28、s423、根据人员实体与物体实体的运动数据判断两者是否存在交互区域，当存在交互区域时进行预警。

29、一种基于ai的智慧工地的危险违规动作识别系统，包括：

30、数据采集模块，用于获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；

31、数据识别模块，用于识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；

32、数据分类模块，用于基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；

33、数据判断模块，用于对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警。

34、与现有技术相比，本发明的有益效果是：本发明通过获取施工现场的图像序列数据，并对图像序列进行识别以得到实体数据，接着根据实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，最后对分类后的动作信息依次进行危险判断，在判断结果存在危险时进行预警，从而对施工现场的场内人员进行有效的安全性监控，确保人员的人身安全，并对安全隐患进行前置预警，减少安全事故的发生率，确保了施工现场的安全性。

技术特征：

1.一种基于ai的智慧工地的危险违规动作识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，所述二维彩色图像数据用于识别实体的特征信息，三维点云数据用于识别实体的动作信息；所述实体包括施工现场的人员和物体，施工现场的人员包括施工人员、管理人员和参观人员；施工现场的物体包括动态机械和静态构筑物。

3.根据权利要求2所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，所述实体的特征信息为辨识实体的信息；所述实体的动作信息包括人员和动态机械的施工动作，人员的施工动作包括状态行为和动作行为，其中，状态行为包括采取主动安全措施的状态、与危险源之间的距离状态；动作行为即为执行施工动作的行为。

4.根据权利要求1所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，步骤s20中，识别图像序列数据中的实体的特征信息的方法，包括以下步骤：

5.根据权利要求1所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，步骤s20中，识别图像序列数据中的实体的动作信息的方法，包括以下步骤：

6.根据权利要求1所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，所述人员状态类别包括人员采取主动安全措施的状态、与危险源之间的距离状态以及执行施工动作的状态；所述人、物交互状态包括处于运动状态的人员与物体的交互状态，该交互状态的特征包括人员与物体的实时空间位置、运动方向、运动速度和运动范围。

7.根据权利要求1所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，步骤s40中，对分类后的动作信息依次进行危险判断的方法为：

8.根据权利要求7所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，步骤s41中，对动作类别为人员状态类别的动作信息进行危险判断的方法为：

9.根据权利要求7所述的基于ai的智慧工地的危险违规动作识别方法，其特征在于，步骤s42中，对动作类别为人、物交互状态类别的动作信息进行危险判断的方法，包括以下步骤：

10.一种基于ai的智慧工地的危险违规动作识别系统，其特征在于，包括：

技术总结
本发明涉及施工安全技术领域，具体公开了一种基于AI的智慧工地的危险违规动作识别方法及系统，该方法包括获取施工现场的图像序列数据；识别图像序列数据以得到实体数据；对实体的动作信息进行分类；对分类后的动作信息依次进行危险判断。本发明通过获取施工现场的图像序列数据，并对图像序列进行识别以得到实体数据，接着根据实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，最后对分类后的动作信息依次进行危险判断，在判断结果存在危险时进行预警，对施工现场的场内人员进行有效的安全性监控，确保人员的人身安全，并对安全隐患进行前置预警，减少安全事故的发生率，确保了施工现场的安全性。

技术研发人员：汤云祥,朱广,李宝金,徐晋超
受保护的技术使用者：青岛润邦泽业信息技术有限公司
技术研发日：
技术公布日：2024/1/13