一种异常行为检测方法、系统、设备、介质及程序产品

本发明涉及行为识别，特别是涉及一种异常行为检测方法、系统、设备、介质及程序产品。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着监控摄像头的覆盖，可以实现在公共场所对行人异常行为等各种行为的检测和识别，智能视频监控能够利用智能视频分析技术从海量的监控视频中检测并识别行人的各种行为，有利于降低公共安全突发事件的危害和发生比例。

3、随着深度学习技术的发展，可以应用深度学习方法进行行人异常行为的检测。但基于深度学习的方法大多将关注点集中于准确率的提升上，但对于实时监测的应用要求而言，模型的计算成本和时效性也需要进一步的改善。

4、比如，有研究基于2d卷积神经网络(convolutional neural networks，cnn)对视频中的行为进行检测，具体是利用稀疏采样的方式将视频分成几段，从每段中提取视频帧的方式利用2d cnn对视频中的行为进行预测。但是，2d cnn无法提取视频中时间尺度上的运动信息，对于视频中的运动信息检测有限制，因而会对检测精度造成影响。

5、另一种是对视频进行行为检测的网络是将具有编码能力的循环神经网络(recurrent neural network，rnn)与能够提取图像空间特征的cnn结合起来，如卷积长短时记忆(convlstm)网络，是一种结合卷积神经网络和长短时记忆网络的模型，用于处理时间序列上的图像数据，但是这种方法并不能实现对长程时间信息的捕捉和编码。

6、为了在视频的时间尺度上提取特征，当前提出了许多利用3d cnn进行行为识别的方法。但是3d cnn模型存在模型体积大、运算量大的问题，难以部署到实时检测的应用当中。

7、此外，还有一些利用双流输入来进行行为检测的模型，如flow gated network(流门控网络)，但双流输入中的光流计算复杂，数据处理过程繁琐，难以满足实时检测的要求。

8、还有一些通过提取人体关键点进行人体姿态估计的方法，但是这种方法需要从图像中过滤掉过多的信息，并且在提取关节点时可能产生附加的错误导致对于暴力行为的判断失误。

技术实现思路

1、为了解决上述问题，本发明提出了一种异常行为检测方法、系统、设备、介质及程序产品，设计一个对监控视频中异常行为进行实时检测的端到端模型，在2d cnn架构中引入双向长时运动注意力模块和时序位移模块，实现对长期运动特征的提取和时域特征的交互，且不增加额外计算成本，具有轻量化特点。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种异常行为检测方法，包括：

4、获取待处理行为视频流的连续帧图像序列；

5、对当前帧图像和其下一帧图像，计算二者之间的前向特征差和后向特征差，基于前向特征差和后向特征差，分别计算前向注意力权重和后向注意力权重，由此得到注意力特征图；

6、根据当前帧图像对注意力特征图进行加权，并将加权后的注意力特征图与当前帧图像进行连接，得到当前帧图像的运动特征图；

7、将连续帧图像序列对应的所有运动特征图重塑为单特征图，对单特征图沿时间维度进行通道位移，基于通道位移处理后的单特征图进行异常行为的识别。

8、作为可选择的实施方式，连续帧图像序列为：对待处理行为视频流进行等间隔采样，将采样的3t个图像转化为灰度图像，形成灰度图像序列；将灰度图像序列进行分组，以连续的三帧灰度图像为一组，并在通道维度上进行拼接，得到三通道伪图像，由此将t个三通道伪图像转换为连续帧图像序列。

9、作为可选择的实施方式，前向特征差和后向特征差分别为：

10、

11、其中，mf(t)是前向特征差；mb(t+1)是后向特征差；conv2为3×3的卷积；fr(t)和fr(t+1)为当前帧图像的特征图和其下一帧图像的特征图；t为连续帧图像序列的图像个数。

12、作为可选择的实施方式，在计算前向特征差和后向特征差之前，对连续帧图像序列的特征图进行下采样，将通道数按通道衰减比例进行缩减；

13、在得到前向特征差和后向特征差之后，对前向特征差和后向特征差均采用1×1的卷积层和连接层进行恢复，通过sigmoid函数分别生成前向注意力权重和后向注意力权重；

14、对前向注意力权重和后向注意力权重进行均值加权得到注意力特征图；

15、将注意力特征图与当前帧图像的特征图行哈达玛积乘积处理，以对注意力特征图进行加权，对加权后的注意力特征图进行drop-connect操作后再与当前帧图像的特征图进行残差连接，得到当前帧图像的运动特征图。

16、作为可选择的实施方式，对单特征图沿时间维度进行通道位移的过程包括：将t个三通道的运动特征图重塑成维度为[h×w，t，c]的单特征图，c为通道数，h和w分别为宽和高；将单特征图中的部分通道沿时间维度移动，其中将选中的部分通道中的一半通道向后移动一个步长，另一半通道向前移动一个步长，且移动后上下的空位用零填充；将通道位移处理后的单特征图进行重塑，以恢复t个特征图。

17、作为可选择的实施方式，对异常行为进行识别的过程中，采用并行的主分类器和辅助分类器，对主分类器和辅助分类器的分类结果进行平均池化得到总分类结果，连续帧图像序列中的每帧图像都得到一个总分类结果，基于多个总分类结果，利用平均池化得到待处理行为视频流对应的异常行为检测结果。

18、第二方面，本发明提供一种异常行为检测系统，包括：

19、获取模块，被配置为获取待处理行为视频流的连续帧图像序列；

20、注意力模块，被配置为对当前帧图像和其下一帧图像，计算二者之间的前向特征差和后向特征差，基于前向特征差和后向特征差，分别计算前向注意力权重和后向注意力权重，由此得到注意力特征图；

21、运动提取模块，被配置为根据当前帧图像对注意力特征图进行加权，并将加权后的注意力特征图与当前帧图像进行连接，得到当前帧图像的运动特征图；

22、时序位移与分类模块，被配置为将连续帧图像序列对应的所有运动特征图重塑为单特征图，对单特征图沿时间维度进行通道位移，基于通道位移处理后的单特征图进行异常行为的识别。

23、第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

24、第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

25、第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现完成第一方面所述的方法。

26、与现有技术相比，本发明的有益效果为：

27、本发明提出一个对监控视频中异常行为进行实时检测的端到端模型，在2dcnn架构中引入双向长时运动注意力模块和时序位移模块，双向长时运动注意力模块可以引入到任意2d cnn结构中，使其在提取动态特征的基础上增加额外的动态特征提取能力，实现对长期运动特征的提取；时序位移模块将相邻时间段的特征融合在单个特征图中来表征运动信息，实现时域特征的交互；通过两个模块的配合，使得单一时间片段的特征图能够涵盖与行为检测相关的长时运动信息。

28、本发明针对视频中行为检测的计算复杂度高的问题提出一种轻量化架构，2d cnn作为骨干网络通常比3d cnn的计算量要小得多。设计的双向长时运动注意力机制仅引入较少的计算量，设计的时序位移模块在不增加额外计算成本的情况下有效扩展时域感知范围，因此模型具有轻量级的架构，便于进行实时检测部署。

29、本发明在分类阶段通过主分类器和辅助分类器来提高模型分类能力，且为了使主分类器和辅助分类器的优化方向具有一致性，辅助分类器结构与主分类器结构类似，两个分类器并行操作，最后通过平均池化的方式得到视频片段对应的异常行为检测结果。

30、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。