一种基于人工智能视频检测的安全工作流程管控系统的制作方法

1.本发明涉及生产安全管控，具体涉及一种基于人工智能视频检测的安全工作流程管控系统。


背景技术：

2.随着社会的发展和城市智能化的推进，视频监控的应用也越来越广泛，逐渐被应用到家庭、商场、交通路口、银行、车站、学校，以及生产施工等场所，以保障监管区域中人员的人身、财产安全。
3.对监管区域进行视频监控的主要目的之一是利用相关视频对监管区域中发生的事件进行实时记录及事后追溯，确定监管区域中的人员是否存在异常行为。目前，对监管区域的视频监控基本还是通过人工值守的方式进行实时异常监管，并通过回溯查看来追溯异常，这样的监管方式效率极低，并且非常容易出现监管不到位的情况。
4.近年来，随着人工智能、计算机视觉、大数据、云计算、芯片等技术的迅速发展，人工智能图形识别技术取得了长足的进步，并且在众多场景中得以成功应用，得到大规模商业化普及，为经济社会发展以及人们日常生活带来便捷。
5.就市场发展趋势而言，视频图形识别的应用场景虽然渗透各个行业，但市场规模增长趋势出现较大分化，国内市场呈现从算法竞争到芯片全产业链激烈竞争的状态；就技术发展层面，由于视频图形识别属于非接触性辨识，所以受到相关技术领域的日益重视。但是，在实际应用过程中，受到光线、亮度等因素的影响，会大大增加识别难度。
6.现有技术中，主要还是集中在人体、人脸、表情等方面的识别，针对将场景与人形、动作等结合在一起，识别工作流程中的安全状态情况，并进行自动化管控的应用场景，还没有较为完善的技术方案，亟待改进突破。


技术实现要素：

7.(一)解决的技术问题
8.针对现有技术所存在的上述缺点，本发明提供了一种基于人工智能视频检测的安全工作流程管控系统，能够有效克服现有技术所存在的无法将图像场景与人物动作结合对工作流程安全状态进行有效识别的缺陷。
9.(二)技术方案
10.为实现以上目的，本发明通过以下技术方案予以实现：
11.一种基于人工智能视频检测的安全工作流程管控系统，包括视频数据采集模块、中心处理系统和控制系统，所述视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像，所述中心处理系统对工作图像进行分析，并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别，同时根据识别结果对工作流程安全状态进行判定，所述控制系统基于判定结果对现场设备进行自动化控制。
12.优选地，所述视频采集设备设有多个，所述视频采集设备采集的工作图像中至少
包含一个人物。
13.优选地，所述中心处理系统包括人工智能单元、业务逻辑层和数据存储模块；
14.人工智能单元，包括用于存储人物动作特征数据、图像场景特征数据的特征数据库，以及用于对工作图像中的人物动作、图像场景进行识别的分类识别模块；
15.业务逻辑层，根据分类识别模块的识别结果对工作流程安全状态进行判定；
16.数据存储模块，用于对业务逻辑层的判定结果进行存储。
17.优选地，所述分类识别模块对工作图像中的人物动作进行识别，包括：
18.对各工作图像中目标区域进行关键点提取，并基于各工作图像中对应目标区域提取的关键点构建运动模型，以运动模型作为该目标区域的全局特征；
19.采用基于注意力机制的特征热图，分别提取各工作图像中对应目标区域的局部特征，并对全局特征及对应的局部特征进行融合，得到融合特征；
20.利用分类器对各工作图像及融合特征进行动作序列分类，得到多组人物动作分类识别结果。
21.优选地，分别提取各工作图像中对应目标区域的局部特征，包括：
22.基于各工作图像中目标区域提取的关键点，采用基于注意力机制的特征热图，获取目标区域对应的特征热图；
23.通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理，得到目标区域的局部特征。
24.优选地，通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理，得到目标区域的局部特征，包括：
25.通过gabor滤波器分别在时间、空间维度对关键点及特征热图进行滤波，获取多个兴趣点；
26.基于各兴趣点的每一维低通、高通滤波响应，通过离散小波变换得到多个时空显著点，作为目标区域的局部特征。
27.优选地，所述利用分类器对各工作图像及融合特征进行动作序列分类，得到多组人物动作分类识别结果，包括：
28.第一神经网络基于特征数据库中的图像场景特征数据对工作图像进行分类，输出第一分类值；
29.第二神经网络基于特征数据库中的人物动作特征数据对融合特征进行分类，输出第二分类值；
30.分类融合网络对第一分类值、第二分类值进行融合，最终得到多组人物动作分类识别结果；
31.其中，所述分类器基于深度卷积神经网络模型构建，包括第一神经网络、第二神经网络和分类融合网络。
32.优选地，通过multi
‑
stage目标检测方法对工作图像中的目标区域进行识别、定位，获取目标区域。
33.优选地，所述业务逻辑层将判定结果发送至控制系统、数据存储模块，所述控制系统基于判定结果进行声光提示预警、设备开关控制。
34.优选地，还包括与中心处理系统相连的客户端，所述客户端能够通过连接中心处
理系统查看系统实时状态、查询历史记录，并基于授权权限进行远程控制。
35.(三)有益效果
36.与现有技术相比，本发明所提供的一种基于人工智能视频检测的安全工作流程管控系统，人工智能单元的分类识别模块利用深度学习算法，可以对来自多个场景的工作图像进行分析，分辨出图像场景特征以及人物形态，再依据人物形态对人物动作特征进行分类，反过来结合图像场景建立分类关系，依据人物动作分类识别结果对工作流程安全状态进行判定，以此实现对现场设备的自动化控制。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明的系统示意图；
39.图2为本发明中分类识别模块对工作图像中的人物动作进行识别的流程示意图；
40.图3为本发明中安全工作流程管控系统具体应用场景的示意图。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.一种基于人工智能视频检测的安全工作流程管控系统，如图1所示，包括视频数据采集模块、中心处理系统和控制系统，视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像，中心处理系统对工作图像进行分析，并与存储的人物动作特征数据、图像场景特征数据对比进行分类识别，同时根据识别结果对工作流程安全状态进行判定，控制系统基于判定结果对现场设备进行自动化控制。
43.本技术技术方案中，视频采集设备设有多个，视频采集设备采集的工作图像中至少包含一个人物。视频数据采集模块是指通过视频输入设备采集具备视频流格式的数据，以及视频流数据中转分发设备，如nvr或nas，该装置连接中心处理系统。
44.中心处理系统包括人工智能单元、业务逻辑层和数据存储模块；
45.人工智能单元，包括用于存储人物动作特征数据、图像场景特征数据的特征数据库，以及用于对工作图像中的人物动作、图像场景进行识别的分类识别模块；
46.业务逻辑层，根据分类识别模块的识别结果对工作流程安全状态进行判定；
47.数据存储模块，用于对业务逻辑层的判定结果进行存储。
48.如图2所示，分类识别模块对工作图像中的人物动作进行识别，包括：
49.对各工作图像中目标区域进行关键点提取，并基于各工作图像中对应目标区域提取的关键点构建运动模型，以运动模型作为该目标区域的全局特征；
50.采用基于注意力机制的特征热图，分别提取各工作图像中对应目标区域的局部特
征，并对全局特征及对应的局部特征进行融合，得到融合特征；
51.利用分类器对各工作图像及融合特征进行动作序列分类，得到多组人物动作分类识别结果。
52.本技术技术方案中，需要对工作图像进行处理，识别工作图像中的任务目标，以及该人物目标在连续帧工作图像中所处的目标区域；可以通过multi
‑
stage目标检测方法对工作图像中的目标区域进行识别、定位，获取目标区域。
53.分别提取各工作图像中对应目标区域的局部特征，包括：
54.基于各工作图像中目标区域提取的关键点，采用基于注意力机制的特征热图，获取目标区域对应的特征热图；
55.通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理，得到目标区域的局部特征。
56.其中，通过gabor滤波器、离散小波变换对目标区域的关键点及特征热图进行处理，得到目标区域的局部特征，包括：
57.通过gabor滤波器分别在时间、空间维度对关键点及特征热图进行滤波，获取多个兴趣点；
58.基于各兴趣点的每一维低通、高通滤波响应，通过离散小波变换得到多个时空显著点，作为目标区域的局部特征。
59.利用分类器对各工作图像及融合特征进行动作序列分类，得到多组人物动作分类识别结果，包括：
60.第一神经网络基于特征数据库中的图像场景特征数据对工作图像进行分类，输出第一分类值；
61.第二神经网络基于特征数据库中的人物动作特征数据对融合特征进行分类，输出第二分类值；
62.分类融合网络对第一分类值、第二分类值进行融合，最终得到多组人物动作分类识别结果；
63.其中，分类器基于深度卷积神经网络模型构建，包括第一神经网络、第二神经网络和分类融合网络。
64.业务逻辑层将判定结果发送至控制系统、数据存储模块，控制系统基于判定结果对现场设备进行自动化控制(包括进行声光提示预警、设备开关控制等)。
65.本技术技术方案中，还包括与中心处理系统相连的客户端，客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录，并基于授权权限进行远程控制。
66.如图3所示，为安全工作流程管控系统的具体应用场景，视频数据采集模块从视频采集设备处获取连续的包含有人物、场景的工作图像，视频采集设备设有多个，视频采集设备采集的工作图像中至少包含一个人物。
67.通过视频数据采集模块将工作图像发送至中心处理系统，中心处理系统对对工作图像进行处理，识别工作图像中的任务目标，以及该人物目标在连续帧工作图像中所处的目标区域。人工智能单元的分类识别模块利用深度学习算法，可以对来自多个场景的工作图像进行分析，分辨出图像场景特征以及人物形态，再依据人物形态对人物动作特征进行分类，反过来结合图像场景建立分类关系，并得到人物动作分类识别结果。
68.业务逻辑层根据分类识别模块的识别结果对工作流程安全状态进行判定，并将判定结果发送至控制系统、数据存储模块，数据存储进行数据持久化操作，而控制系统基于判定结果对现场设备进行自动化控制(包括进行声光提示预警、设备开关控制等)。客户端能够通过连接中心处理系统查看系统实时状态、查询历史记录，并基于授权权限进行远程控制。
69.本技术技术方案中，分类识别模块对工作图像中的人物动作进行识别，可以应用的场景包括：
70.(1)人员倒地，人员在工作场景中长时间呈卧姿伏地状态；
71.(2)未佩戴安全装置设备，如识别人员是否未佩戴安全帽等；
72.(3)场景工作人员数目，对必需保证一定数量工作人员在工作场景中进行识别；
73.(4)人员特殊动作识别，主要用于判断工作流程的开始、节点和结束等；
74.(5)人员的主动告警，通过特殊动作判断人员的主动告警，如双手交叉挥舞五次以上等；
75.(6)禁区闯入，对移动物体进行工作场景内划定禁区的判断。
76.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。