一种双通道混合图卷积网络的人体行为识别方法

本发明涉及人体行为识别，尤其涉及一种双通道混合图卷积网络的人体行为识别方法。

背景技术：

1、基于传感器的人类动作识别(har)作为人类行为感知的一大重要领域在行为分析、医疗保健、对老人的远程监护、智能家居、校园霸凌检测等方面广泛应用。这对人类的生活质量和安全提供了多维度的支持。

2、基于机器学习的har识别活动在最近十年中取得不错的效果。但是基于机器学习的解决方案完全依赖于对原始数据的预处理结果。换句话说，预处理提取出的特征越显著，分类结果就更突出。而这个挑战可以通过深度学习模型轻松解决或克服，且相对于机器学习有着更好的泛化性能和鲁棒性。为此很多研究人员将原始时间序列信号编码为图像，通过卷积神经网络(cnn)识别人类活动。然而这些模型更多的注重了单一样本的特征提取与分类，忽略了时序信号中上下文中存在着的潜在信息。又或是通过长短时记忆网络(lstm)捕获时间上下文来提高分类性能，但他们却忽略了同种动作之间同样存在着潜在的关系信息。

3、与视频或时间序列信号不同，非欧空间的图结构数据包含了丰富的关系信息。图神经网络(gnns)也因其强大的推理能力和良好的解释性成为了深度学习的焦点。目前，很少有研究者利用gnns来学习和挖掘隐藏在基于可穿戴传感器系统技术的人类动作识别中的拓扑关系。

4、从生活中出发，不同人的同种动作存在差异性(类内差异性)，同个人不同动作存在相似性(类间相似性)；这些类内差异性和类间相似性可能来自于环境、疾病、习惯等等；当样本属性在所有要素维度上统一提取时，类内的差异成为了动作误分类的主要原因；识别这些隐藏的信息是非常困难的，但是其中充分蕴含了个人的习惯特征。

技术实现思路

1、针对现有算法的不足：本发明通过动作特征之间的相似性和个体动作之间的差异性彼此互补，并且可以自适应地融合，以获取与分类任务更深层次地相关信息。

2、本发明所采用的技术方案是：一种双通道混合图卷积网络的人体行为识别方法包括以下步骤：

3、步骤一、数据预处理；

4、进一步的，具体包括：

5、计算出加速度计和陀螺仪分别的三轴和加速度，并按照预设步长和重叠率的固定宽度滑动窗口对样本划分；

6、通过离散小波包变换算法对样本中时间序列数据进行时频域特征提取。

7、进一步的，离散小波包变换算法的公式为：

8、

9、其中，d是小波包分解系数，h是高通滤波器系数，g是低通滤波器系数，j和n是小波包节点数。

10、步骤二、基于特征相似性的图卷积模块构建；

11、进一步的，具体包括：

12、步骤21、采用k近邻算法构造图gs＝(as,x)的动作特征图的邻接矩阵as，计算所有动作节点两两之间的欧式距离dis∈rn×n；然后对dis从小到大排序，选出最近的k个节点作为邻居节点；

13、选出最近的k个节点作为邻居节点的公式为：

14、

15、其中，disi表示节点与其他节点之间的欧氏距离，sort(·)是升序算子，pi是排序后的disi，si是pi中前k个数的节点序号。

16、进一步的，动作特征图的邻接矩阵公式为：

17、

18、其中，aij表示第i个节点和第j个节点之间是否存在边连接关系。

19、步骤22、将特征图gs＝(as,x)作为输入图形带入人类行为的相似性公式进行谱卷积运算，得到新的节点表示；

20、进一步的，人类行为的相似性公式为：

21、

22、其中，relu是激活函数，ws(l)是动作共性图卷积第层的权重矩阵，hs(l-1)是第l-1层的输出且表示在进行图卷积时节点能更多的学习到自身的特征；为对角的度矩阵，其对角元素

23、步骤三、基于个人特点差异的图卷积模块构建；

24、进一步的，具体包括：

25、步骤31、个人特点图构建；

26、进一步的，具体包括：

27、首先，将每个运动样本作为一个实体节点，对应的小波包变换特征作为节点特征x；

28、然后，使用无向边连接两个连续的时间段，通过个人特点图的相邻矩阵ap得到个人特点图；

29、个人特点图的相邻矩阵ap公式为：

30、

31、其中，i表示节点的序号，j表示节点的序号，m表示节点i的时序数据起始采样点，n表示j节点的时序数据起始采样点。

32、步骤32、使用个人特点图gp作为输入图形，第l层输出表示为公式(23)：

33、

34、其中，relu是激活函数，是动作共性图卷积第层的权重矩阵，是第l-1层的输出且表示表示在进行图卷积时节点能更多的学习到自身的特征；为对角的度矩阵，对角元素

35、步骤四、添加基于自注意力的双通道融合构建基于特征相似性和个人特点的双通道混合图卷积网络的人体行为识别模型；

36、进一步的，具体包括：

37、通过重要性公式自适应的获取图卷积在两张拓扑图中获得嵌入的重要性；

38、再对所学习到的重要性转换为对角矩阵，最后通过嵌入公式得到与最终分类任务相关的嵌入值。

39、进一步的，重要性公式为：

40、(αs,αp)＝softmax(w1tanh(w2(hs,hp)t+b))  (15)

41、其中，αs，αp∈rn×1分别表示特征hs，hp的n个节点的注意值；w1，w2是权重矩阵，b是偏置向量；

42、嵌入公式为：

43、h＝αs·hs+αp·hp  (16)

44、其中，αs＝diag(αs)，αp＝diag(αp)为权重αs，αp转换为对角阵。

45、本发明本发明的有益效果：

46、首先针对同类动作之间的相似性，通过计算动作特征之间的相似性构建出一张特征图；特征图中使用采样序列的小波系数作为节点特征且相关性较强的节点相互连接，并通过gcns聚合邻居之间的特征从而加强相同动作之间的联系；然而，每个人的相同类别的动作存在差异；若仅通过类内动作的相似性构图，那必然导致其中存在的个体差异成为了节点特征之间的干扰信息，为了解决这一限制，通过对同一段时间内采集的个体动作按时间戳构建一个具有线性结构的个人特点图；个人特点图中节点特征与特征图相同，但是当且仅当两个节点的采样时间戳连续时节点之间相互连接，通过gcns聚合邻居之间的特征从而使得动作的个体差异信息成为了动作个体的标识信息在图中进行传播；最后，为了更好的融合这两路卷积提取的特征，加入注意力机制来学习不同特征之间的重要性权重。

技术特征：

1.一种双通道混合图卷积网络的人体行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，步骤一具体包括：

3.根据权利要求2所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，离散小波包变换算法的公式为：

4.根据权利要求1所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，步骤二具体包括：

5.根据权利要求4所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，特征图的相邻矩阵公式为：

6.根据权利要求4所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，人类行为的相似性公式为：

7.根据权利要求1所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，步骤三具体包括：

8.根据权利要求7所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，步骤31具体包括：

9.根据权利要求1所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，步骤四具体包括：

10.根据权利要求1所述的双通道混合图卷积网络的人体行为识别方法，其特征在于，重要性公式为：

技术总结
本发明涉及人体行为识别技术领域，尤其涉及一种双通道混合图卷积网络的人体行为识别方法，包括数据预处理；基于特征相似性的图卷积模块构建；基于个人特点差异的图卷积模块构建；添加基于自注意力的双通道融合构建基于特征相似性和个人特点的双通道混合图卷积网络的人体行为识别模型。本发明通过动作特征之间的相似性和个体动作之间的差异性彼此互补，并且可以自适应地融合，以获取与分类任务更深层次地相关信息。

技术研发人员：李志新,瞿佳,商樊淇,沈诗宜
受保护的技术使用者：常州大学
技术研发日：
技术公布日：2024/1/13