基于骨架的交互识别的融合分裂图卷积网络

本发明涉及交互识别，尤其涉及一种基于骨架的交互识别的融合分裂图卷积网络。

背景技术：

1、作为一个热门的研究方向，人际交互识别在机器人领域具有广泛的参考前景，比如在人机交互领域。机器人可以关注人际交互，识别人类行为，还可以识别机器人之间的行为。近年来，随着深度学习的不断发展，基于rgb和基于骨骼序列的交互识别方法被提出。然而，基于rgb的方法受到光照、自遮挡等因素的影响，无法有效进行交互识别，而基于骨骼的交互识别方法不受这些因素影响，并取得了显著的成果。

2、传统的基于骨架的交互识别方法将人体关节视为独立特征，并从中构建特征序列，用于循环神经网络(rnn)或卷积神经网络(cnn)进行动作预测。然而，这些方法忽视了交叉关节之间的相关特征。如图1所示，交互行为之间的特征信息在交互部分被聚合，很难提取它们的交互信息并区分"握手"和"击掌"等相似动作之间的细微差别。

3、与此同时，perez等人提出了基于长短时记忆网络(lstm)的双流交互关系网络，称为lstm-i rn，用于建模同一个人体关节之间的内部关系以及不同人之间的关节关系。

4、然而，lstm-i rn没有考虑身体部位之间的距离关系，无法学习到两个交互部分之间的相关特征。

5、大部分现有的单人动作识别方法都采用了图卷积的概念。然而，在动作识别中，我们经常会遇到既涉及双人交互又包括单人动作的场景。传统的图卷积模型通常通过将两个个体分别视为孤立的实体来处理双人交互，从而忽视了它们之间关键的交互信息；

6、为此，我们设计一种基于骨架的交互识别的融合分裂图卷积网络，用于对上述技术问题提供另一种技术方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于骨架的交互识别的融合分裂图卷积网络，用于解决上述背景技术中提出的技术问题。

2、为了解决上述的技术问题，本发明采用了如下技术方案：

3、一种基于骨架的交互识别的融合分裂图卷积网络，步骤如下：

4、构建融合分裂图；

5、将交互式注意力编码模块与融合分裂图结合形成融合分裂图卷积；

6、通过短时依赖模块、融合分裂图卷积和层次引导注意力模块形成融合分裂图卷积网络。

7、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，所述构建融合分裂图，步骤如下：

8、将两人的关节融合成一个统一的整体，共享相同的特征空间；

9、通过选择与其相邻节点存在于相同语义空间的起始节点，将整体关节分割成不同的分层集合；

10、将相邻的分层节点集合通过边进行顺序连接。

11、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，图的分层信息表达式如下：

12、

13、其中，ai表示相邻分层集合的邻接矩阵，表示整个图结构的邻接矩阵；2v代表两人的关节节点数量，c代表邻接矩阵的通道维度，l代表分层的数量；

14、所述将相邻的分层节点集合通过不同关节点类型进行顺序连接形成边集，构建邻接矩阵，表达式如下：

15、ai＝θi(hi→hi+1||hi+1→hi||hi+hi+1)

16、其中，hi表示第i个分层节点集合，hi→hi+1表示从hi到hi+1的一组边。

17、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，所述短时依赖模块用于提取交互行为的空间和运动特征，步骤如下：

18、对输入进行了四次复制，并从运动的开头或结尾减去多帧时间信息t；

19、维度表示为

20、在维度不匹配的地方填充零；

21、将输入特征和短期运动特征连接在一起，得到输入特征的空间信息和短期运动信息，最终得到输出z如下所示：

22、z＝[(x-xt-1)||(x-xt+1)…||x]。

23、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，所述融合分裂图卷积模块用于提取每个分层集合中的节点特征并聚合所有分层输出，步骤如下：

24、使用线性变换将输入特征转换为高级特征；

25、使用相关性建模函数提取不同运动下两个人体关节点之间的空间分布特征，并使用φ和ω来降低特征维度；

26、对每个通道进行特征聚合，将所有层次通道的输出并行，最终得到h，表达式如下：

27、

28、

29、h＝[h1||h2||h3…||hl]

30、其中，σ(·)是激活函数；是爱因斯坦求和约定的操作；

31、将多个输出hi值沿着通道维度连接起来，得到最终输出h∈

32、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，所述层次引导注意力模块突出显示与交互行为相关性更大的分层集合，步骤如下：

33、在每个层次集合中提取代表性节点；

34、提取了代表性节点的层次信息后，每个层次特征不共享信息；

35、将所有层次信息的特征图与融合分裂图卷积输出特征图相乘，通过欧氏距离选取层次信息权重最高的相关层次集，再通过层次维度加权求和得到的输出特征图z。

36、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，将提取的代表性节点通过空间池化函数增强，空间池化函数表达式如下：

37、

38、其中，li表示第i个层次集合中关节点的数量，vj是相邻层次集合中的代表性节点。

39、作为本发明提供的所述的一种基于骨架的交互识别的融合分裂图卷积网络的一种优选实施方式，所述输出特征图z的表达式为：

40、

41、可以毫无疑义的看出，通过本申请的上述的技术方案，必然可以解决本申请要解决的技术问题。

42、同时，通过以上技术方案，本发明至少具备以下有益效果：

43、本发明提供的一种基于骨架的交互识别的融合分裂图卷积网络，通过提出融合分裂图卷积网络，与其他交互识别方法相比，能够更有效地提取交互信息；

44、通过短期依赖(std)模块、融合分裂图卷积(msgc)和层次引导注意力(hga)模块，以提取交互行为之间的相关特征；msgc通过将两人的节点信息融合到相同的语义空间中，并将它们分裂成层次集合，以提取相同语义空间内的特征，从而集成了一个融合分裂图；std提取交互行为的空间和运动特征，而hga突显了交互行为之间具有较高相关性的分层特征；

45、ms-gcn在ntu-rgb+d和ntu-rgb+d 120交互数据集上取得了最先进的结果，而且在基于骨架数据的单人动作识别中也表现出色。

技术特征：

1.一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，所述构建融合分裂图，步骤如下：

3.根据权利要求2所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，图的分层信息表达式如下：

4.根据权利要求1所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，所述短时依赖模块用于提取交互行为的空间和运动特征，步骤如下：

5.根据权利要求1所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，所述融合分裂图卷积模块用于提取每个分层集合中的节点特征并聚合所有分层输出，步骤如下：

6.根据权利要求5所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，所述层次引导注意力模块突出显示与交互行为相关性更大的分层集合，步骤如下：

7.根据权利要求6所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，将提取的代表性节点通过空间池化函数增强，空间池化函数表达式如下：

8.根据权利要求6所述的一种基于骨架的交互识别的融合分裂图卷积网络，其特征在于，所述输出特征图z的表达式为：

技术总结
本发明涉及交互识别技术领域，尤其涉及一种基于骨架的交互识别的融合分裂图卷积网络。步骤如下：构建融合分裂图；将交互式注意力编码模块与融合分裂图结合形成融合分裂图卷积；通过短时依赖模块、融合分裂图卷积和层次引导注意力模块形成融合分裂图卷积网络。本发明提供的一种基于骨架的交互识别的融合分裂图卷积网络，通过短期依赖模块、融合分裂图卷积和层次引导注意力模块，以提取交互行为之间的相关特征；融合分裂图卷积通过将两人的节点信息融合到相同的语义空间中，并将它们分裂成层次集合，以提取相同语义空间内的特征，从而集成了一个融合分裂图；短期依赖模块提取交互行为的空间和运动特征。

技术研发人员：王勇,王浩强,杨博然
受保护的技术使用者：重庆理工大学
技术研发日：
技术公布日：2024/2/19