一种面向工厂作业人员的姿态识别管理系统及方法

本发明涉及工厂作业安全管理，具体为一种面向工厂作业人员的姿态识别管理系统及方法。

背景技术：

1、随着工业和智能制造的发展，工厂自动化和智能化程度不断提升，但相应的工厂作业人员安全管理问题也愈加突出；传统的安全管理方法主要依赖人工监控和被动的防护措施，如佩戴防护设备、设置安全标识等，这些方法虽然在一定程度上减少了事故的发生率，但仍然存在诸多不足，尤其是在复杂、多变的工厂环境中，人工监控容易受到主观判断和疲劳等因素的影响，导致监控效果不理想；

2、随着计算机视觉技术和人工智能的快速发展，基于视频监控的姿态识别和行为分析技术逐渐被应用于工业安全管理中，这些技术可以通过对工厂作业人员的实时行为进行监控和分析，从而及时发现异常情况并进行预警；

3、然而，目前的姿态识别系统在准确性和实时性方面还存在一定的挑战，尤其是在处理复杂场景和多种行为模式时，传统算法往往难以满足高精度的识别需求；此外，随着工厂内部自动化设备的广泛应用，如agv车（自动导引运输车）等，工人与设备之间的协同操作成为了另一个安全管理的关键点；如何有效地识别工厂人员与设备的互动情况，并在可能发生危险时及时作出反应，已经成为智能工厂安全管理中的重要课题。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种面向工厂作业人员的姿态识别管理系统及方法，该系统具有更加智能化、实时性更高的姿态识别和行为分析功能，能够在复杂工厂环境中精确监控作业人员的行为，识别潜在的安全隐患，并有效地与工厂的自动化设备进行协同操作，从而提升整体安全管理水平，解决了背景技术中提出的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种面向工厂作业人员的姿态识别管理系统，该系统包括：

6、视频图像采集模块，选定目标工厂，在关键区域内部署摄像头，获取视频数据；

7、目标检测模块，基于yolov8算法，对各关键区域的视频数据进行预处理，识别出目标工厂内，作业人员的相关信息和自动化设备的轨迹信息，并将相关信息和轨迹信息输出；

8、行为识别模块，利用slowfast算法同步对各关键区域的视频数据进行处理，分析作业人员的动作和姿态，在作业人员与自动化设备进行交互的条件下，触发行为识别模块内置的关键点子模块，识别作业人员的交互行为，并将交互行为输出；

9、违规行为检测模块，接收目标检测模块和行为识别模块的输出结果，判断作业人员是否存在违规操作，并在判定存在违规操作时，提取违规操作的类型；在自动化设备处于移动状态下，则同步触发风险预测机制，当预测结果达标时，则发出提示指令；

10、报警模块，当判定作业人员存在违规操作时，则根据违规操作的类型发出对应等级的预警信号；在接收到提示指令的条件下，发出提示信号。

11、进一步的，对视频数据进行预处理的过程如下：

12、对视频数据中的图像或视频帧进行处理，包括去噪和增强对比度。

13、进一步的，作业人员的相关信息包括：身份信息和仪容状态；

14、身份信息包括对应每个作业人员的姓名、职位以及坐标；

15、仪容状态包括厂服、安全帽以及安全带的穿戴情况；

16、自动化设备包括agv车，且自动化设备的轨迹信息包括运动轨迹、速度和位置。

17、进一步的，利用slowfast算法搭建模型分析作业人员动作和姿态，该模型被训练用于识别若干种不同的交互行为，输入视频数据后模型得到对于作业人员行为所属类别的预测概率分布，计算得出一个包含多个概率值的向量，每个概率值对应一个交互行为类别，通过比较若干概率值，选取其中概率值最大的对应交互行为类别，将其作为分类结果输出。

18、进一步的，在关键点子模块中，结合关键点捕捉技术，作业人员人体的关键点数量为15个，且15个关键点所处位置分别为：头部、颈部、两个肩部、两个肘部、两个手腕、髋部、两个腰部、两个膝盖以及两个脚踝；交互行为表示：对应作业人员的关键点进入标定操作界面的框选区域时关键点的类型。

19、进一步的，判断作业人员是否存在违规操作的过程如下：

20、提取作业人员的相关信息中的仪容状态，若厂服、安全帽以及安全带中的任一或任几物未穿戴，则判定对应作业人员存在违规操作，标定穿戴异常；

21、搭建规则引擎，调取对应类别交互行为的规范，分析交互行为；

22、当处于设备调整时刻时，两个手腕关键点未与标定操作界面的框选区域重合，则判定对应作业人员存在违规操作，标定操作异常；任一关键点与自动化设备上标定的危险区域重合，则判定对应作业人员存在违规操作，标定接触异常。

23、进一步的，触发风险预测机制的过程如下：

24、以移动状态下的自动化设备作为中心，获取i个与自动化设备运动轨迹重合的作业人员坐标，从距离中心最近的作业人员开始，依据自动化设备的轨迹信息，计算自动化设备抵达最近的作业人员所需的时长；采用自动化设备上配套的探头，检测是否能够采集到距离中心最近的作业人员的人脸图像；

25、若是，则标记为1；

26、若否，则标记为0；

27、如此重复，直至第i个与自动化设备运动轨迹重合的作业人员；

28、结合所需的时长和标记数值作为参数，构建风险评估模型，生成每个与自动化设备运动轨迹重合的作业人员对应的风险评估值，提取其中的最大值作为预测结果。

29、进一步的，构建风险评估模型时，所依据的公式如下：

30、；

31、定义变量：

32、：自动化设备抵达第i个作业人员所需的时长；

33、：探头是否能检测到第i个作业人员的人脸，1表示检测到，0表示未检测到；

34、n：与自动化设备运动轨迹重合的作业人员总数；

35、r：风险评估值；

36、τ：预设的时间系数，取值范围在[2，4]；

37、θ：预设的风险阈值；

38、w1、w2：权重系数，取值范围均在[0，1]；

39、当r＜θ时表示预测结果达标。

40、进一步的，根据违规操作的类型发出对应等级预警信号的过程如下：

41、当违规操作类型为：穿戴异常时，发出一号预警信号；

42、当违规操作类型为：操作异常时，发出二号预警信号；

43、当违规操作类型为：接触异常时，发出三号预警信号；

44、预警信号的表现形式包括声音和灯光；

45、提示信号的表现形式为：采用安装于对应自动化设备上的播放器，播放“请注意闪避”的提示信息。

46、一种面向工厂作业人员的姿态识别管理方法，包括如下步骤：

47、s1、选定目标工厂，在关键区域内部署摄像头，获取视频数据；

48、s2、基于yolov8算法，对各关键区域的视频数据进行预处理，识别出目标工厂内，作业人员的相关信息和自动化设备的轨迹信息，并将相关信息和轨迹信息输出；

49、s3、利用slowfast算法同步对各关键区域的视频数据进行处理，分析作业人员的动作和姿态，在作业人员与自动化设备进行交互的条件下，触发识别作业人员的交互行为，并将交互行为输出；

50、s4、接收s2和s3的输出结果，判断作业人员是否存在违规操作，并在判定存在违规操作时，提取违规操作的类型；在自动化设备处于移动状态下，则同步触发风险预测机制，当预测结果达标时，则发出提示指令；

51、s5、当判定作业人员存在违规操作时，则根据违规操作的类型发出对应等级的预警信号；在接收到提示指令的条件下，发出提示信号。

52、（三）有益效果

53、本发明提供了一种面向工厂作业人员的姿态识别管理系统及方法，具备以下有益效果：

54、1）本方案提供了检测工厂人-物交互违规行为的系统，该系统集成了目标检测和行为识别算法，能够实时监控工厂作业人员与设备之间的交互情况，准确识别可能存在的违规行为，并及时发出报警信号，以提升工厂的安全管理水平；

55、2）本方案能够精确地识别作业人员的仪容状态、交互行为以及与自动化设备的接触情况，从而准确判断是否存在违规操作，这一功能的实现依赖于先进的目标检测、行为识别和关键点捕捉技术，确保了监控的准确性和及时性；

56、3）本方案引入了风险预测机制，针对自动化设备移动过程中可能产生的风险进行预测和评估，通过计算自动化设备与作业人员之间的相对位置和所需时间，结合人脸检测技术，系统能够生成风险评估值，并在预测结果达标时发出提示指令，这一机制有助于提前发现潜在风险，为作业人员的安全提供有力保障；

57、此外，系统还具备完善的报警功能，能够根据违规操作的类型发出不同等级的预警信号，以及针对自动化设备移动风险的提示信号；这些信号以声音、灯光形式呈现，既能够引起现场作业人员的注意，又能够准确传达违规操作的类型和风险等级，便于作业人员快速做出响应；综上所述，本技术方案通过集成多种先进技术，实现了对工厂作业人员和自动化设备行为的全面监控和智能管理；系统不仅提高了监控的准确性和及时性，还增强了作业环境的安全性和可靠性，为工厂的智能化转型和安全生产提供了有力支持。