基于时间多尺度自适应特征聚合的骨架行为识别方法

本发明属于深度学习，具体涉及一种基于时间多尺度自适应特征聚合的骨架行为识别方法。

背景技术：

1、目前，在深度学习领域，人体行为识别方法可以划分为基于rgb视频的行为识别方法和基于骨架的行为识别方法；其中，基于rgb视频的行为识别方法通常以rgb图像序列、视频或者这些模态的特定融合如rgb图像和光流作为模型输入，相比于人体骨架数据，前述模态会产生更多的计算消耗，并且在面对复杂背景以及人体尺度变化、视角变化和运动速度变化时鲁棒性不足。因此，基于骨架的行为识别方法逐渐成为如今的主流算法。

2、基于骨架的行为识别方法中，时空图卷积网络将骨架序列数据作为识别模型的输入，在空间上使用图卷积提取特征，然后在时间上使用二维卷积提取特征。但是，人体的行为动作持续时间有长有短，既存在短期的时序关系、也存在一个长时依赖关系，比如扔东西这一行为，短期看仅是手部动作，只有结合长期东西掉落的画面才能对动作进行判断。针对基于骨架序列数据的时空图卷积网络，时序特征的提取采用简单的二维卷积操作，虽然对于骨架序列的短时特征提取效果较好，但是无法有效地解决骨架序列的长时依赖问题。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于时间多尺度自适应特征聚合的骨架行为识别方法及装置。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供一种基于时间多尺度自适应特征聚合的骨架行为识别方法，包括：

3、从待处理视频中获取人体的骨架序列数据；

4、将所述骨架序列数据输入预先训练好的时空图卷积网络；其中，所述时空图卷积网络包括依次连接的多级时空图卷积层，每级时空图卷积层包括：空间卷积模块、时间卷积模块和多尺度自适应特征聚合模块，所述空间卷积模块的输出端分别与所述时间卷积模块、所述多尺度自适应特征聚合模块的输入端相连；

5、根据时间卷积模块输出的时间特征图与多尺度自适应特征聚合模块输出的第一输出特征图，确定每级时空图卷积层的输出特征图，并将所述输出特征图作为下一级时空图卷积层的输入数据；

6、根据最后一级时空图卷积层的输出特征图，输出所述骨架序列数据的行为识别结果。

7、在本发明的一个实施例中，所述多尺度自适应特征聚合模块包括池化层、局部分支和全局分支；

8、每级时空图卷积层按照如下步骤对输入数据进行处理：

9、利用空间卷积模块提取输入数据的空间特征，获得空间特征图；

10、将所述空间特征图分别输入时间卷积模块和多尺度自适应特征聚合模块，以使所述时间卷积模块提取输入数据的时间特征，获得时间特征图，使所述池化层将所述空间特征图在空间上进行压缩，并利用所述局部分支基于压缩后的空间特征图生成时序敏感度图后，根据所述时序敏感度图生成第二输出特征图，并利用所述全局分支基于所述压缩后的空间特征图生成自适应卷积核；

11、利用所述自适应卷积核对所述第二输出特征图进行卷积，得到多尺度自适应特征聚合模块的第一输出特征图；

12、将所述第一输出特征图与所述时间特征图相加，得到每级时空图卷积层的输出特征图。

13、在本发明的一个实施例中，所述局部分支包括依次连接的第一卷积层、第一relu层、第二卷积层、sigmod层和缩放层，所述全局分支包括依次连接的第一全连接层、第二relu层、第二全连接层和第一softmax层。

14、在本发明的一个实施例中，将所述空间特征图分别输入时间卷积模块和多尺度自适应特征聚合模块，以使所述时间卷积模块提取输入数据的时间特征，获得时间特征图，使所述池化层将所述空间特征图在空间上进行压缩，并利用所述局部分支基于压缩后的空间特征图生成时序敏感度图后，根据所述时序敏感度图生成第二输出特征图，并利用所述全局分支基于所述压缩后的空间特征图生成自适应卷积核的步骤，包括：

15、将所述空间特征图分别输入时间卷积模块和多尺度自适应特征聚合模块；

16、所述时间卷积模块提取输入数据的时间特征，获得时间特征图；

17、所述池化层将所述空间特征图在空间上进行压缩，得到压缩后的空间特征图；

18、所述局部分支中第一卷积层对所述压缩后的空间特征图进行一维卷积，获得通道数为c/4的第一特征图，并在由第一relu层的激励函数relu处理后输入至第二卷积层，c为所述压缩后的空间特征图的通道数；

19、所述第二卷积层将处理后的第一特征图的通道数还原为c，生成时序敏感度图；

20、所述sigmod层对所述时序敏感度图进行处理后，所述缩放层在空间维度上对处理后的时序敏感度图进行复制，并与所述空间特征图进行点积运算，得到所述局部分支的第二输出特征图；

21、所述全局分支中第一全连接层将所述压缩后的空间特征图扩展为维度为2t的第二特征图，并在由第二relu层处理后输入至第二全连接层，t为所述压缩后的空间特征图的时间维度；

22、所述第二全连接层将所述第二特征图转换为预设大小c×k的第三特征图，并将所述第三特征图输入第一softmax层后，获得自适应卷积核。

23、在本发明的一个实施例中，所述时空图卷积网络还包括与所述多级时空图卷积层依次连接的全局平均池化层、第三全连接层和第二softmax层；

24、根据最后一级时空图卷积层的输出特征图，输出所述骨架序列数据的行为识别结果的步骤，包括：

25、利用全局平均池化层对最后一级时空图卷积层的输出特征图进行全局平均池化处理，得到输出特征；

26、利用所述第三全连接层基于所述输出特征计算每个行为类别的置信度；

27、利用第二softmax层根据所述置信度进行分类，得到所述骨架序列数据的行为识别结果。

28、第二方面，本发明提供一种基于时间多尺度自适应特征聚合的骨架行为识别装置，包括：

29、获取模块，用于从待处理视频中获取人体的骨架序列数据；

30、输入模块，用于将所述骨架序列数据输入预先训练好的时空图卷积网络；其中，所述时空图卷积网络包括依次连接的多级时空图卷积层，每级时空图卷积层包括：空间卷积模块、时间卷积模块和多尺度自适应特征聚合模块，所述空间卷积模块的输出端分别与所述时间卷积模块、所述多尺度自适应特征聚合模块的输入端相连；

31、确定模块，用于根据时间卷积模块输出的时间特征图与多尺度自适应特征聚合模块输出的第一输出特征图，确定每级时空图卷积层的输出特征图，并将所述输出特征图作为下一级时空图卷积层的输入数据；

32、输出模块，用于根据最后一级时空图卷积层的输出特征图，输出所述骨架序列数据的行为识别结果。

33、第三方面，本发明还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

34、存储器，用于存放计算机程序；

35、处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。

36、与现有技术相比，本发明的有益效果在于：

37、本发明提供一种基于时间多尺度自适应特征聚合的骨架行为识别方法及装置，其中，时间卷积模块能够有效提取骨架序列数据的短时特征，而在多尺度自适应特征聚合模块中，局部分支利用时序敏感度图进一步增强短时特征，全局分支则可以关注骨架序列数据的长时特征，因此结合两者进行行为识别能够提高模型对于骨架序列数据的时序特征提取能力，从而提高行为识别的准确性。

38、以下将结合附图及实施例对本发明做进一步详细说明。