基于动态推理的全局与局部特征融合的骨架行为识别方法

本发明属于行为识别领域，具体涉及一种基于动态推理的全局与局部特征融合的骨架行为识别方法。

背景技术：

1、在人工智能领域，人体的行为识别是智能监控、人机交互、机器人等诸多应用的一项基础技术，可以通过人体关键节点的运动进行行为识别，因此发展出基于骨架的行为识别技术，目前已成为一个热门的研究方向。比如yansong tang等人在其发表的论文“deepprogressive reinforcement learning for skeleton-based action recognition.”(ieee conference on computer vision and pattern recognition.2018:5323-5332.)中通过选取高质量的关键帧以达到去除视频中大量冗余帧的目的。关键帧的选择取决于两个因素：帧包含的信息的质量与帧和视频整体的关系。帧选取的过程是一个由多个阶段组成的渐进式的过程，在每一个阶段中都会评估当前选取的帧的重要程度，并选择保留当前关键帧或者选取其他帧作为关键帧。在若干次评估后，关键帧选取网络会选出包含有关键信息的帧序列，并将该帧序列作为行为识别分类网络的输入。bahareh nikpour等人在其发表的论文“joint selection using deep reinforcement learning for skeleton-basedactivity recognition”(ieee international conference on systems,man,andcybernetics(smc).ieee,2021:1056-1061.)中使用关节点选取网络选择每一帧中包含有关键信息的关节点。在选择关节点的过程中，首先使用双向长短时记忆网络作为关节点选取网络的特征提取器，然后评估关节点的重要程度并选择合适的关节点，再将被选中的关节点输入分类器，以分类结果作为依据为关节点选取网络提供奖励。

2、现有方法可以通过评估视频帧或者关节点的信息重要程度来避免冗余计算，而这类方法对于简单样本和复杂样本的计算资源分配不够灵活，不能很好地提取困难样本深层次的特征，对简单样本又分配了多余的计算资源；

3、虽然只将关键帧或者关键关节点输入分类器会减少部分计算资源，但这种忽略全局信息的方法会使分类器无法学习全局特征，从而影响了识别的准确率；但是处理带有全局特征的完整的骨架数据又会消耗过多的计算资源。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于动态推理的全局与局部特征融合的骨架行为识别方法、装置和电子设备。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明实施例提供了一种基于动态推理的全局与局部特征融合的骨架行为识别方法，所述方法包括：

3、采集待测人体骨架点的三维坐标数据，得到待识别骨架数据；

4、初步分类步骤，包括：将所述待识别骨架数据输入到训练完成的基于动态推理的全局与局部特征融合的骨架行为识别网络，由全局特征提取网络和特征记忆分类网络进行初步分类，得到初步分类结果；其中，所述骨架行为识别网络包括全局特征提取网络、局部特征提取网络、时空片段选取网络和特征记忆分类网络，全局特征提取网络基于图池化层构建；

5、判断所述初步分类结果中的最大置信度是否高于预设阈值，若是，利用所述初步分类结果确定最终分类结果；若否，输出初步分类的中间信息，执行重新分类步骤；

6、重新分类步骤，包括：基于当前获取的中间信息，利用时空片段选取网络从所述待识别骨架数据中选取出片段骨架数据，并利用局部特征提取网络和特征记忆分类网络对所述片段骨架数据进行重新分类，得到重新分类结果；

7、判断当前的重新分类结果中的最大置信度是否高于预设阈值，若是，利用当前的重新分类结果确定最终分类结果；若否，如果重新分类的次数达到预设的最大选取次数则利用当前的重新分类结果确定最终分类结果，否则输出重新分类的中间信息，执行重新分类步骤；

8、其中，所述初步分类的中间信息包括全局特征提取网络输出的全局特征图和特征记忆分类网络的隐藏层信息；所述重新分类的中间信息包括全局特征提取网络输出的全局特征图、时空片段选取网络的隐藏层信息和特征记忆分类网络的隐藏层信息；最终分类结果包括待测人体的行为类别。

9、在本发明的一个实施例中，所述骨架行为识别网络的训练过程，包括：

10、构建全局特征提取网络、局部特征提取网络、时空片段选取网络和特征记忆分类网络；

11、基于训练集训练全局特征提取网络；其中，所述训练集中的训练样本为人体的骨架数据，且携带有已知的行为类别作为标签数据；所述训练集包括ntu60-rgb+d数据集；

12、基于训练集，利用训练完成的全局特征提取网络训练局部特征提取网络和特征记忆分类网络；

13、基于训练集，利用训练完成的全局特征提取网络、局部特征提取网络和特征记忆分类网络训练时空片段选取网络，得到训练完成的骨架行为识别网络。

14、在本发明的一个实施例中，构建全局特征提取网络，包括：

15、搭建一个10层的全局特征分组图卷积网络，包括依次连接的第一图卷积层、第二图卷积层、第三图卷积层、第四图卷积层、第五图卷积层、第一图池化层、第六图卷积层、第七图卷积层、第八图卷积层、第二图池化层、第九图卷积层、第十图卷积层；

16、将10个图卷积层的空间卷积核大小均设置为1×1，卷积步长均设置为1，时间卷积核大小均设置为9×1，卷积步长均设置为1，每层的空间和时间卷积核数量保持一致，依次设置为64，64，64，64，128，128，128，256，256，256；

17、设置第一图池化层保留的骨架关节点序号为：1，4，6，8，10，12，14，16，18，20，21，22，23，24，25；第二图池化层保留的骨架关节点序号为：1，4，8，12，16，20，21，22，23，24，25。

18、在本发明的一个实施例中，构建局部特征提取网络，包括：

19、搭建一个10层的局部特征分组图卷积网络，包括依次连接的第十一图卷积层、第十二图卷积层、第十三图卷积层、第十四图卷积层、第十五图卷积层、第六图卷积层、第十七图卷积层、第十八图卷积层、第十九图卷积层、第二十图卷积层；

20、将10个图卷积层的空间卷积核大小均设置为1×1，卷积步长均设置为1，时间卷积核大小均设置为9×1，卷积步长均设置为1，每层的空间和时间卷积核数量保持一致，依次设置为64，64，64，64，128，128，128，256，256，256。

21、在本发明的一个实施例中，构建时空片段选取网络，包括：

22、构建空间片段选取子网络，包括依次连接的第一卷积层、第二卷积层、第一门控循环单元、第一全连接层；

23、构建时间片段选取子网络，包括依次连接的第一卷积层、第三卷积层、第二门控循环单元、第二全连接层；其中，所述第一卷积层为所述空间片段选取子网络和所述时间片段选取子网络中的共用层；

24、将卷积层的空间卷积核大小均设置为1×1，卷积步长均设置为1，第一卷积层卷积核数量设置为48，第二卷积层和第三卷积层的卷积核数量设置为192，第一门控循环单元和第二门控循环单元的输入数据的维度设置为512，隐藏层的维度设置为512；

25、构建特征记忆分类网络，包括：

26、搭建一个特征记忆分类网络，包括依次连接的第三门控循环单元、第三全连接层；

27、设置第三门控循环单元的输入数据维度为256，隐藏层维度为512，第三全连接层的输出神经元个数为60。

28、在本发明的一个实施例中，所述基于训练集训练全局特征提取网络，包括：

29、将训练样本输入到全局特征提取网络中，依据全局特征提取网络训练阶段预设的学习率、动量、权重衰减率和训练周期，以及预设的第一损失函数，使用交叉熵损失函数和梯度下降法，更新全局特征提取网络的各层参数，得到训练好的全局特征提取网络后固定各层参数；

30、其中，所述第一损失函数为：

31、

32、dtrain表示训练集，x表示训练样本，y表示训练样本的标签数据，p表示预测值，lce表示交叉熵函数。

33、在本发明的一个实施例中，所述基于训练集，利用训练完成的全局特征提取网络训练局部特征提取网络和特征记忆分类网络，包括：

34、将训练完成的全局特征提取网络、未训练的局部特征提取网络和特征记忆分类网络连接，设最大选取次数为t，得到连接后的第一目标网络为：全局特征提取网络与特征记忆分类网络连接，且全局特征提取网络与t个分支分别连接，每个分支由局部特征提取网络和特征记忆分类网络连接构成；

35、将训练样本对应的骨架数据分为8个空间片段，其中，第一片段包含的骨架点序号为：0，1，2，3，4，5，6，7，8，20，21，22，第二片段包含的骨架点序号为：0，1，2，3，4，8，9，10，11，20，23，24，第三片段包含的骨架点序号为：4，5，6，7，8，9，10，11，21，22，23，24，第四片段包含的骨架点序号为：0，8，9，10，11，16，17，18，19，23，24，第五片段包含的骨架点序号为：0，4，5，6，7，12，13，14，15，21，22，第六片段包含的骨架点序号为：0，8，9，10，11，12，13，14，15，23，24，第七片段包含的骨架点序号为：0，4，5，6，7，16，17，18，19，21，22，第八片段包含的骨架点序号为：0，12，13，14，15，16，17，18，19，时间片段长度设置为32帧；对训练样本随机选取时间与空间上的选取位置，输入到所述第一目标网络中，依据该训练阶段预设的学习率、动量、权重衰减率和训练周期以及预设的第二损失函数和随机梯度下降算法更新参数，得到训练好的全局特征提取网络、局部特征提取网络和特征记忆分类网络后固定各层参数；

36、其中，所述第二损失函数为：

37、

38、dtrain表示训练集，x表示训练样本，y表示训练样本的标签数据，p表示预测值，lce表示交叉熵函数，t表示片段选取次数的序号，λ表示超参数，softmax表示softmax函数，fct表示为每一次选取设置一个全连接层，et表示第t次片段选取时局部特征提取网络输出的特征图。

39、在本发明的一个实施例中，所述基于训练集，利用训练完成的全局特征提取网络、局部特征提取网络和特征记忆分类网络训练时空片段选取网络，包括：

40、将训练完成的全局特征提取网络、局部特征提取网络和特征记忆分类网络与未训练的时空片段选取网络组合，根据最大选取次数为t，得到连接后的第二目标网络为：全局特征提取网络与特征记忆分类网络连接，且全局特征提取网络与t个分支分别连接，每个分支由时空片段选取网络、局部特征提取网络和特征记忆分类网络连接构成；

41、将训练样本对应的骨架数据分割为8个空间片段，其中，第一片段包含的骨架点序号为：0，1，2，3，4，5，6，7，8，20，21，22，第二片段包含的骨架点序号为：0，1，2，3，4，8，9，10，11，20，23，24，第三片段包含的骨架点序号为：4，5，6，7，8，9，10，11，21，22，23，24，第四片段包含的骨架点序号为：0，8，9，10，11，16，17，18，19，23，24，第五片段包含的骨架点序号为：0，4，5，6，7，12，13，14，15，21，22，第六片段包含的骨架点序号为：0，8，9，10，11，12，13，14，15，23，24，第七片段包含的骨架点序号为：0，4，5，6，7，16，17，18，19，21，22，第八片段包含的骨架点序号为：0，12，13，14，15，16，17，18，19，时间片段长度设置为32帧；通过时空片段选取网络对训练集中的训练样本选取时间与空间上的片段位置，空间位置通过片段序号表示，时间位置通过时间片段开始帧表示，得到片段骨架数据，输入到所述第二目标网络中，使用预设的策略梯度更新算法更新参数，得到训练好的时空片段选取网络。

42、第二方面，本发明实施例提供了一种基于动态推理的全局与局部特征融合的骨架行为识别装置，所述装置包括：

43、待识别骨架数据采集模块，用于采集待测人体骨架点的三维坐标数据，得到待识别骨架数据；

44、初步分类模块，用于执行初步分类步骤，包括：将所述待识别骨架数据输入到训练完成的基于动态推理的全局与局部特征融合的骨架行为识别网络，由全局特征提取网络和特征记忆分类网络进行初步分类，得到初步分类结果；其中，所述骨架行为识别网络包括全局特征提取网络、局部特征提取网络、时空片段选取网络和特征记忆分类网络，全局特征提取网络基于图池化层构建；

45、初步分类结果判断模块，用于判断所述初步分类结果中的最大置信度是否高于预设阈值，若是，利用所述初步分类结果确定最终分类结果；若否，输出初步分类的中间信息，执行重新分类步骤；

46、重新分类模块，用于执行重新分类步骤，包括：基于当前获取的中间信息，利用时空片段选取网络从所述待识别骨架数据中选取出片段骨架数据，并利用局部特征提取网络和特征记忆分类网络对所述片段骨架数据进行重新分类，得到重新分类结果；

47、重新分类结果判断模块，用于判断当前的重新分类结果中的最大置信度是否高于预设阈值，若是，利用当前的重新分类结果确定最终分类结果；若否，如果重新分类的次数达到预设的最大选取次数则利用当前的重新分类结果确定最终分类结果，否则输出重新分类的中间信息，执行重新分类步骤；

48、其中，所述初步分类的中间信息包括全局特征提取网络输出的全局特征图和特征记忆分类网络的隐藏层信息；所述重新分类的中间信息包括全局特征提取网络输出的全局特征图、时空片段选取网络的隐藏层信息和特征记忆分类网络的隐藏层信息；最终分类结果包括待测人体的行为类别。

49、第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

50、所述存储器，用于存放计算机程序；

51、所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例所提供的基于动态推理的全局与局部特征融合的骨架行为识别方法的步骤。

52、本发明的有益效果：

53、1，本发明在全局特征提取网络中添加了图池化层，使得行为识别网络具备了在低计算量的成本下学习全局信息的能力，提高了行为识别的准确率；

54、2，本发明构建了一个自适应的动态行为识别框架，通过判断待分类样本的困难程度，动态选取包含有关键特征的数据片段，融合了全局与局部的骨架特征，实现了自适应的计算资源分配，克服了已有方法计算资源分配不合理的缺陷；

55、3，本发明设计了一个时空片段选取网络，该网络能定位到与骨架动作相关性较大的肢体运动片段，该片段包含了部分肢体的相对运动特征，并将该运动特征与全局运动特征结合来推理结果，在增加少量计算量的条件下提高了准确率；