监控视频的群体行为识别方法以及系统与流程

本发明涉及图像处理，特别是涉及一种监控视频的群体行为识别方法以及系统。

背景技术：

1、近年来，随着城市化进程不断加快，车辆保有量数量逐渐增加，但由于停车泊位严重不足，随之带来停车难、交通拥堵等问题。为规范化路侧停车的管理，高位视频技术随之发展起来，通过在路侧安装高位视频摄像头，可对车辆的泊车进行判断与管理，从而对于城市的交通管理具有积极地促进作用。基于现有的高位视频监控设备、所得到的监控数据以及利用目前的视觉处理算法等，不单可以实现路侧泊位的收费和管理，同时还可以进行车辆违章行为的判别、套牌车、限行车的识别等，能够更加有效的利用高位视频技术促进城市交通的良好发展，并且还可以实现对路侧行人的行为进行识别，及时对违法、具有危险行为的、扰乱公共治安的、突发摔倒的等行为进行识别，从而有助于智能化的交通管理和公共治安等。

2、然而，传统方法在进行人体行为识别时，仅仅依靠单个行人在时间维度上的特征来进行识别，使得对于多个行人之间的一些群体行为缺乏准确识别，容易遗漏掉关键性的特征，导致传统方法的识别准确性偏低。

技术实现思路

1、本发明的目的是解决传统方法识别准确性偏低的技术问题。为实现上述目的，本发明提供一种监控视频的群体行为识别方法以及系统。

2、本发明提供一种监控视频的群体行为识别方法，包括：

3、对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；

4、将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；

5、将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；

6、将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系特征；

7、将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；

8、将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；

9、对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；

10、将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；

11、根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；

12、根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。

13、在一个实施例中，所述将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征，包括：

14、将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；

15、根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。

16、在一个实施例中，所述将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征，包括：

17、将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。

18、在一个实施例中，所述将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征，包括：

19、将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。

20、在一个实施例中，所述根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，包括：

21、根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；

22、根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；

23、根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。

24、在一个实施例中，本发明提供一种监控视频的群体行为识别系统，包括：

25、行人群体数据模块，用于对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；

26、行人动作特征网络模块，用于将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；

27、时间动作演化网络模块，用于将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；

28、空间关系网络模块，用于将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系特征；

29、第一分支模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；

30、第二分支模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；

31、双分支特征获取模块，用于对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；

32、行人群体分类网络模块，用于将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；

33、模型训练模块，用于根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；

34、行为获取模块，用于根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。

35、在一个实施例中，所述行人动作特征网络模块包括：

36、图像特征获取模块，用于将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；

37、动作位置特征获取模块，用于根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。

38、在一个实施例中，所述第一分支模块包括：

39、第一融合特征获取模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。

40、在一个实施例中，所述第二分支模块包括：

41、第二融合特征获取模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。

42、在一个实施例中，所述模型训练模块包括：

43、第一损失函数模块，用于根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；

44、第二损失函数模块，用于根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；

45、模型损失函数模块，用于根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。

46、上述监控视频的群体行为识别方法以及系统中，通过行人动作特征网络获得连续时间内每个行人的动作特征与位置特征，并分别经过时间动作演化网络与空间关系网络进行进一步特征提取，获得连续时间内每个行人的动作演化特征与单个时间内视频图像中所有行人的空间关系特征。行为表征了在相对较长时间段内单人或者多人的行为，动作表征了在相对较短时间内单人的动作。进一步，构建了先时间后空间以及先空间后时间的双分支结构，获得双分支特征，实现了每个视频帧中的多个行人进行空间特征的建模，也实现了每个行人在多个视频帧中的特征建模，能够更加清晰地理解到多人的行人动作。经过行人群体分类网络对双分支特征进行行人与群体的动作分类，能够更加全面的且准确的对视频中的行人行为进行理解。

47、因此，通过本发明提供的监控视频的群体行为识别方法，实现了在连续时间的视频序列内的每个行人的行为识别，进而实现了对一段时间内的多人的行为识别理解。当识别有危险行为或是其他突发的不安全行为时，能够及时向相关部门预警，进而对相关行为进行处理，能够实现智能化的交通管理和社会治安管理等，也避免了在深夜等特殊时段或是人流量较少的特殊路段发生危险情况。