基于神经常微分方程的人体羽毛球运动姿态评估方法

本发明涉及人体羽毛球运动姿态评估方法，尤其是涉及一种基于神经常微分方程的人体羽毛球运动姿态评估方法。

背景技术：

1、人体运动姿态评估是指通过对人体运动进行测量和分析，对人体在不同动作下的整体姿态、肢体位置、关节角度等进行定量评估的过程。该评估可以提供关于人体姿态、运动质量乃至运动技能的关键信息，可用于健康监测、运动训练、康复治疗等领域。

2、每种类型的运动都有特定的评估标准，专家经过多年的培训，可以正确评估单一类型的行动。但由于专家资源的稀缺性，许多运动员缺乏专业的指导与训练，因此，制定一种运动姿态评估方法有重要意义。文献《j.-h.pan,j.gao and w.-s.zheng.adaptiveaction assessment[j].ieee transactions on pattern analysis and machineintelligence,vol.44,no.12,pp.8779-8795,2022.》通过为各种动作类型动态地设计不同的评估框架，并根据人体骨架结构为每种类型的动作构建的可训练关节关系图。但其为不同的运动动作自适应地设计不同评估架构，虽具有泛化性，却缺乏对某一运动的精度追求且对参数量要求过高，评估过程复杂。

3、羽毛球运动集力量、速度、耐力、柔韧性以及反应力等多种运动素质于一身的运动形式，具有较强的代表性和广泛性。文献《赵小虎,王轲鑫,孟献峰,等.基于人体姿态估计的羽毛球动作评估方法研[j/ol].华中科技大学学报(自然科学版):1-9[2024-04-24].https://doi.org/10.13245/j.hust.240261.》针对羽毛球挥拍动作特点，提出了14点人体姿态的稀疏表示模型对挥拍动作标准程度进行评估。虽然其用更轻量型的网络mobilenet代替vgg19模型，实现了模型的轻量化，但其是对动作图像处理，相比于人体骨架数据的输入，图像数据处理更为复杂，因此使得评估过程复杂。除此之外，其对除肩膀、肘部以及手腕关节之外的关节部位评估精度不够高，除此之外只对高远球、跳球、抽球、挑球、网前球的挥拍动作进行动作评估，适用面比较窄。

技术实现思路

1、本发明所要解决的技术问题是提供一种评估精度高、过程简单且适用面广的人体羽毛球运动姿态评估方法。

2、本发明解决上述技术问题所采用的技术方案为：一种基于神经常微分方程的人体羽毛球运动姿态评估方法，通过获取人体羽毛球运动过程对应的3d骨架数据，然后迭代采用多头注意力机制和层归一化对3d骨架数据进行增强处理后，再对增强处理后的3d骨架数据采用多尺度空洞卷积提取时间信息以及图神经常微分方程提取空间信息，最后基于迭代结果得到人体羽毛球运动姿态评估等级。

3、所述的一种基于神经常微分方程的人体羽毛球运动姿态评估方法，包括以下步骤：

4、步骤1、采用azure kinect相机采集羽毛球动作视频，并通过azure kinect的开发工具包解析羽毛球动作视频，获得3d骨架数据，将3d骨架数据记为x＝{x1,x2,...,xt}，xt是3d骨架数据中第t帧动作，t＝1,2,..,t，t为3d骨架数据中动作总帧数，xt为大小为n×c的张量，n为azure kinect的开发工具包解析羽毛球动作视频时关注的关节数量，n＝21，n个关节分别为：头部、颈部、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左手、右手、胸部、脊柱、骨盆、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左脚和右脚，c为azure kinect的开发工具包解析羽毛球动作视频时得到的每个关节位置的坐标维数，c＝3，将n个关节：头部、颈部、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左手、右手、胸部、脊柱、骨盆、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左脚和右脚按照1到21依次编号，将编号为i的关节称为i号关节，i＝1,2,...,n，将编号为j的关节称为j号关节，j＝1,2,...,n，且j≠i；

5、构建大小为n×n的张量a，根据i号关节与j号关节是否直接相连来为张量a赋值，具体为：如果i号关节与j号关节直接相连，则将张量a中第i行，第j列的位置赋值为1，即张量a中第i行，第j列的元素取值为1，否则赋值为0，即张量a中第i行，第j列的元素取值为0，并且将张量a中第i行、第i列的位置赋值为1，即张量a中第i行、第i列的元素取值为1；

6、根据握拍是否正确、是否有提前的侧身动作、发力动作是否顺畅为羽毛球动作设定r个评估等级，r＝3，其中，握拍不正确、有提前的侧身动作、且发力动作不顺畅对应等级1；握拍基本正确、存在一定提前的侧身动作、且发力动作基本顺畅对应等级2；握拍正确、无提前的侧身动作、且发力动作顺畅对应等级3；

7、步骤2、设置积分时间p，时间积分步长δt，聚合深度p，将p初始化为等于1，令p＝1，δt＝0.5，采用x1,x2,...,xt构建成一个大小为t×(n×c)的张量，将该张量记为yp-1，xt为yp-1中第t列的元素；

8、步骤3、进行第p次聚合，具体过程为：

9、s3-1、先构建大小为(n×c)×h_d的张量大小为(n×c)×h_d的张量以及大小为(n×c)×h_d的张量然后分别通过高斯分布随机初始化和其中h_d＝56；

10、将yp-1与相乘得到的结果记为qp，将yp-1与相乘得到的结果记为kp，将yp-1与相乘得到的结果记为vp，将qp重塑为大小为h×t×d的张量，记为将kp重塑为大小为h×t×d的张量，记为将vp重塑为大小为h×t×d的张量，记为h＝8，d＝7，将的转置记为的大小为h×d×t；

11、将与相乘并将相乘后的结果进行归一化处理得到大小为h×t×t的张量，记为gp，将gp与vp相乘得到大小为h×t×d的张量，记为将重塑为大小为t×h_d的张量，记为构建大小为h_d×(n×c)的张量通过高斯分布随机初始化将与相乘得到的结果记为zp；

12、s3-2、计算zp的均值μp和方差σp，通过公式(1)对zp进行处理得到标准化张量fp：

13、

14、s3-3、对fp进行空洞卷积，具体过程为：

15、s3-3-1、构建大小为m×l的卷积核fm×lp，并通过高斯分布随机初始化fm×lp，其中m＝1，l＝2、3、5、7，设置dh＝1，dw＝2；

16、s3-3-2、设定两个中间参数m'和l'，采用公式(2)和公式(3)分别计算得到m'和l'：

17、m'＝(m-1)×(dh-1)+m             (2)

18、l'＝(l-1)×(dw-1)+l                (3)

19、s3-3-3、构建大小为m'×l'的膨胀卷积核f'm'×l'p，将f'm'×l'p中第m行、第l列的元素记为f'm'×l'p(m,l)，其中m＝1,2,...,m'，l＝1,2,...,l'，采用公式(4)计算得到f'm'×l'p(m,l)：

20、

21、公式(4)中，mod表示取余数运算，表示中第m行、第列的元素；

22、s3-3-4、将补0填充操作的次数记为ε，采用公式(5)得到ε：

23、

24、s3-3-5、构建大小为t×(n×c)的张量将中第a行，第b列的元素记为a＝1,2,...,t，b＝1,2,...,(n×c)，对fp的(n×c)维度上进行ε次补0填充操作得到大小为t×(n×c+2ε)的张量fε'p；

25、s3-3-6、采用公式(6)得到

26、

27、公式(6)中，f'm'×(2×ε+1)p(r,s)表示f'm'×(2×ε+1)p中第r行、第s列的元素，其中r＝1,2,...,m'，s＝1,2,...,(2×ε+1)，fε'p(a+r-1,b+s-1)表示fε'p中第a+r-1行、第b+s-1列的元素；

28、s3-3-7、将按照ε＝1、2、4、6的顺序依次拼接得到通过平均池化层对进行处理并重塑得到大小为t×(n×c)的张量hp；

29、s3-4、构建大小为n×n的节点编码张量和分别通过高斯分布随机初始化和将的转置记为m1′p，将的转置记为m2′p，通过m1p与相乘的结果减去与相乘的结果得到ep；

30、先分别获取ep中每一行所有元素，并按照从小到大顺序分别对获取的每一行的元素进行排序，在排序时，如果某一行的元素中出现两个或以上元素相等时，则将这些相等的元素随机排序，然后对ep进行更新，具体更新方法为：根据获取的ep每一行所有元素的排序结果，确定排序结果中位于第1位至第9位的元素在ep中所处位置，将ep中这些位置的元素均更新为等于0，并获取张量a中所有不等于0的元素的位置，将ep中处于相同位置的元素全部更新为等于0，将更新后的ep记为将与a相加得到ap；

31、s3-5、构建大小为t×t的张量dp和大小为c×c的张量wp，分别通过高斯分布随

32、机初始化dp和wp，对hp进行重塑，得到大小为t×n×c的张量，记为h′p，将dp、h′p、ap和wp依次相乘，得到的结果记为对进行重塑，得到大小为t×(n×c)的张量，记为

33、s3-6、对进行空洞卷积，具体过程为：

34、s3-6-1、对的(n×c)维度上进行ε次补0填充操作得到大小为t×(n×c+2ε)的张量，记为

35、s3-6-2、构建大小为t×(n×c)的张量将的第a行，第b列的元素记为采用公式(7)计算得到

36、

37、公式(7)中，表示中第a+r-1行、第b+s-1列的元素；

38、s3-6-3、先将按照ε＝1、2、4、6的顺序依次拼接得到再通过平均池化层对进行处理并重塑得到大小为t×(n×c)的张量，记为

39、s3-7、对进行重塑，得到大小为t×n×c的张量，记为将dp、ap和wp依次相乘，得到的结果记为对进行重塑，得到大小为t×(n×c)的张量，记为

40、步骤4、判断p的当前值与δt相乘的积是否等于p，如果等于，则直接进入步骤5，否则先构建成一个大小为t×(n×c)的张量yp，令然后采用p的当前值加1的和更新p，返回步骤3进行下一次聚合；

41、步骤5、对ypδt进行重塑，得到大小1×(t×n×c)的张量，记为y'，构建大小(t×n×c)×r的张量w'并通过高斯分布初始化，将y'与w'相乘得到大小为1×r的张量，记为yout，通过归一化函数对yout进行处理，得到的结果记为yout'，yout'中的元素的值即为概率值；

42、步骤6、获取yout'中的所有元素，并按照从大到小排序，在排序时，如果出现两个或两个以上元素相等时，则将这些元素随机排序；

43、步骤7、获取步骤6排序结果中的最大值在yout'中所处的列数，将该列数记为s，则人体羽毛球运动姿态评估等级为等级s。

44、与现有技术相比，本发明的优点在于通过采用注意力机制和层归一化对3d骨架数据进行增强处理，可以提取3d骨架数据不同帧之间的依赖关系，通过多尺度空洞卷积和图神经常微分方程对3d骨架数据提取时间信息和空间信息，能够对3d骨架数据的信息挖掘更全面，从而提高评估精度，通过基于神经常微分方程的思想进行迭代，可以使在参数量较少的同时实现多个结构堆叠，使得评估过程简单，另外通过图神经常微分方程提取空间信息，可以实现对不同的羽毛球动作的人体关节之间的非物理连接关系进行建模，能够对更多的羽毛球动作进行评估，由此本发明评估精度高、过程简单且适用面广。