一种公共场景下的异常行为识别方法

本发明涉及识别行为识别，具体涉及一种公共场景下的异常行为识别方法。

背景技术：

1、近年来，伴随着信息技术的飞速发展，每天都会有数亿小时视频产生，视频已成为当今社会一种重要且有效的信息载体。计算机视觉领域的视频分析也受到了越来越多的关注，在这个领域中，人体行为识别已经成为研究热点。准确的识别出场景中的人体行为，对理解整个场景具有重要意义。

2、行为识别技术旨在从记录或采集到的视觉数据中，提取有用的特征，预测出人物正在进行的行为类型。开放集行为识别技术是一种基于计算机视觉和机器学习的行为识别技术，其基本原理是通过计算机识别视频中的人体动作，并将其分类为不同的动作类型。该技术的特点是可以自动学习和自适应识别，具有较高的准确率和鲁棒性。

3、目前，开放集行为识别已经被广泛的应用于各种领域，如智能家居、智能交通、智能安防等领域。随着监控摄像头在交通路口、车站、商场等场景的普及，智能安防的发展也得到了大力推进。

4、监控摄像头的普及为智能安防的发展提供了基础设备和数据来源，同时伴随着行为识别技术的不断提升，开放集行为识别在智能安防领域已经得到了广泛的应用。例如：(1)人脸识别，开放集行为识别技术可以结合人脸识别技术，实现智能安防系统中的人脸识别功能。通过识别视频中的人体行为和人脸信息，系统可以确定人员的身份并进行记录，从而提高安全性和管理效率。(2)突发事件识别，开放集行为识别技术可以通过识别视频中的人体行为来判断是否发生了突发事件，如火灾、地震等。一旦发现异常行为，系统会立即发出警报并通知相关人员处理，从而提高了反应速度和安全性。(3)监控和追踪，开放集行为识别技术可以实现对区域内的人员进行监控和追踪。通过识别视频中的人体动作和行为轨迹，系统可以实时监控人员的行踪和活动，从而提高了安全性和管理效率。

5、但是，现在大部分行为识别方法都是基于封闭集假设，无法处理现实开放集场景中不可避免的未知行为。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，期望提供一种公共场景下的异常行为识别方法。

2、本申请实施例提供了一种公共场景下的异常行为识别方法，该方法包括：

3、s1：获取原始的视频数据；

4、s2：将原始的视频数据输入到预设网络中，经过openpose算法对视频数据进行处理，生成骨架序列数据；

5、s3：将骨架序列数据输入到st-gcn网络中处理，对视频中出现的动作进行训练以及分类；

6、s4：将分类后的数据经过openmax算法处理，得到异常行为和正常行为。

7、在其中一个实施例中，在获取原始的视频数据之后，该方法还包括：

8、通过python cv2库中的videocapture函数读取原始的视频数据；

9、按帧保存视频帧图像。

10、在其中一个实施例中，所述s2包括：将视频帧图像输入到vgg19网络中，经过vgg19网络处理后生成一组特征图；

11、将特征图通过openpose算法处理生成预设组身体关节点空间位置信息的热力图和关键点的亲和力场；

12、将预设组的热力图和关键点的亲和力场与视频帧图像进行合并、优化、组合后得到骨架序列数据。

13、在其中一个实施例中，所述将骨架序列数据输入到st-gcn网络中处理，包括：

14、将骨架序列数据输入到九层st-gcn单元中，其中，第一、二、三层单元中有64个输出通道；第四、五、六层单元中有128个输出通道；第七、八、九层单元中有256个输出通道；而且每一层单元的时间卷积核大小都为9，每一个st-gcn单元均使用残差结构和概率为0.5的dropout。

15、在其中一个实施例中，在步骤s3之后，该方法还包括：判断分类是否正确，若正确，则进入到步骤s4中，若不正确，则重新进行分类。

16、在其中一个实施例中，所述判断分类是否正确，包括：将骨架序列数据输入到九层st-gcn单元中后，对生成的张量进行全局池化，以获得每个序列的256维的特征向量；

17、根据特征向量计算平均激活向量mav；

18、计算mav到正确分类的图像之间的距离；

19、使用openmax算法对距离进行处理得到修正后的分数，根据分数判断分类是否正确。

20、在其中一个实施例中，所述根据分数判断分类是否正确，包括：将各类分数通过softmax函数的映射，得到每个类的概率；当概率大于预设值时，则判定分类正确。

21、本申请的有益效果包括：

22、本申请提供的公共场景下的异常行为识别方法，该方法通过获取原始的视频数据，将原始的视频数据输入到预设网络中，经过openpose算法对视频数据进行处理，生成骨架序列数据，将骨架序列数据输入到st-gcn网络中处理，对视频中出现的动作进行训练以及分类，将分类后的数据经过openmax算法处理，得到异常行为和正常行为。本申请提供的上述方案，可以在开放集上利用时空图卷积神经网络来进行行为识别，给人体行为的识别带来了极大的方便。

技术特征：

1.一种公共场景下的异常行为识别方法，其特征在于，该方法包括：

2.根据权利要求1所述的公共场景下的异常行为识别方法，其特征在于，在获取原始的视频数据之后，该方法还包括：

3.根据权利要求2所述的公共场景下的异常行为识别方法，其特征在于，所述s2包括：

4.根据权利要求3所述的公共场景下的异常行为识别方法，其特征在于，所述将骨架序列数据输入到st-gcn网络中处理，包括：

5.根据权利要求4所述的公共场景下的异常行为识别方法，其特征在于，在步骤s3之后，该方法还包括：

6.根据权利要求5所述的公共场景下的异常行为识别方法，其特征在于，所述判断分类是否正确，包括：

7.根据权利要求6所述的公共场景下的异常行为识别方法，其特征在于，所述根据分数判断分类是否正确，包括：

技术总结
本申请公开了一种公共场景下的异常行为识别方法，该方法通过获取原始的视频数据，将原始的视频数据输入到预设网络中，经过OpenPose算法对视频数据进行处理，生成骨架序列数据，将骨架序列数据输入到ST‑GCN网络中处理，对视频中出现的动作进行训练以及分类，将分类后的数据经过OpenMax算法处理，得到异常行为和正常行为。本申请提供的上述方案，可以在开放集上利用时空图卷积神经网络来进行行为识别，给人体行为的识别带来了极大的方便。

技术研发人员：魏倩茹,许博菡,郑江滨
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/5/8