基于多模态数据融合的匹克球运动员动作识别与分析系统

[]本发明涉及运动技术分析领域，具体涉及基于多模态数据融合的匹克球运动员动作识别与分析系统。

背景技术：

0、[背景技术]

1、匹克球运动作为一项新兴的综合性体育运动，其技术动作复杂多样，包括多种击球方式、灵活的移动步伐和协调的身体姿态。在运动员的训练和竞技过程中，准确识别和分析运动员的动作对于提高技术水平、优化训练方案以及提升比赛成绩具有至关重要的意义。

2、目前，现有的动作识别技术在匹克球运动领域存在一定的局限性。传统的方法往往仅依赖单一的数据来源，无法充分利用多源数据的互补信息，导致动作识别的准确性不高。同时，缺乏对匹克球运动特有的技术动作和战术策略的针对性分析，难以满足运动员和教练在实际训练和比赛中的需求。因此，需要一种创新的系统来解决这些问题。

3、随着人工智能和计算机视觉技术的发展，多模态数据融合在动作识别领域的应用受到了广泛关注。目前，已经存在一些相关的专利和研究。例如，公开号为cn116934926a的专利提出了一种基于多模态数据融合的识别方法和系统，其通过对人脸图像或视频进行3d人脸重建获得3d人脸参数，利用语音特征抽取网络提取语音高阶特征并建立口唇相关系数网络，实现了虚拟形象的综合表达。然而，该方法主要聚焦于人脸和语音信息的融合，对于匹克球运动员动作的识别针对性不强，且未涉及肢体动作信息与其他模态信息的融合。

4、又如，公开号为cn115661561a的专利公开了一种多模态融合的小样本舞蹈动作识别方法及装置，其使用基于视频预览指导的多模态数据融合方法，将多模态数据的特征学习方式应用至小样本舞蹈动作识别任务中。但该方法是针对小样本舞蹈动作识别，对于匹克球这种特定运动项目的运动员动作识别的适用性有限，且其在多模态数据的获取和融合方式上与本发明存在差异。

技术实现思路

0、[
技术实现要素：
]

1、本发明克服了现有技术的不足，提供了基于多模态数据融合的匹克球运动员动作识别与分析系统，实现对匹克球运动员动作的精准识别和分析。

2、为实现上述目的，本发明采用了下列技术方案：

3、基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：包括有

4、数据采集模块，用于采集匹克球运动员在运动过程中的视频图像数据以及在运动过程中运动员运动和匹克球运动的传感器数据；

5、数据预处理模块，与数据采集模块连接，分别对视频图像数据和传感器数据进行预处理，得到视频图像预处理数据和传感器预处理数据；

6、特征提取模块，与数据预处理模块连接，利用卷积神经网络提取视频图像预处理数据的特征，得到视频图像特征向量；

7、多模态融合模块，分别与数据预处理模块和特征提取模块连接，用于融合视频图像特征向量与传感器预处理数据，得到融合特征向量；

8、动作分类模块，与多模态融合模块连接，采用循环神经网络对融合特征向量进行动作分类，并识别运动员的动作类型；

9、动作分析模块，与动作分类模块连接，根据识别的动作类型，对运动员的动作进行分析，得到动作分析数据；

10、训练模块，分别与特征提取模块和动作分类模块连接，通过运动员运动数据分别对卷积神经网络和循环神经网络进行训练；

11、输出模块，与动作分析模块连接，根据动作分析数据输出运动员动作识别结果、动作分析报告以及训练建议。

12、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：数据采集模块包括有摄像机、安装在匹克球上采集匹克球运动数据的匹克球动作传感器、以及佩戴上运动员身上采集运动员运动数据的运动员动作传感器，摄像机采集视频图像数据，匹克球动作传感器和运动员动作传感器采集传感器数据。

13、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：数据预处理模块对视频图像数据进行归一化预处理得到视频图像预处理数据；数据预处理模块对传感器数据进行去噪、滤波以及归一化处理得到传感器预处理数据。

14、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：特征提取模块中的卷积神经网络包括有多个依次连接用于学习运动员身体各部位姿态特征的卷积层，卷积层依次连接有用于减少数据维度的池化层和用于向多模态融合模块输出视频图像特征向量的全连接层。

15、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：卷积层采用的卷积核大小不同，池化层采用最大池化操作。

16、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：多模态融合模块采用拼接或加权求和融合视频图像特征向量与传感器预处理数据。

17、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：动作分析模块通过建立运动学模型对关节运动轨迹进行拟合，计算身体姿态数据与击球效果之间的皮尔逊相关系数来分析相关性；动作分析数据包括有关节运动轨迹数据、身体姿态变化与击球效果的相关性数据，以及划分动作阶段并提取各阶段特征数据。

18、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：训练模块采用随机梯度下降及其变种优化算法，结合反向传播算法对模型进行训练。

19、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：随机梯度下降及其变种优化算法包括有adagrad算法、adadelta算法或adam算法。

20、如上所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：损失函数采用均方误差或交叉熵损失函数。

21、本发明的有益效果是：

22、本发明通过采集匹克球运动员在运动过程中的视频图像数据和传感器数据，利用卷积神经网络(cnn)对视频图像数据中的运动员身体姿态进行特征提取，结合循环神经网络(rnn)对特征序列进行动作分类，同时融合传感器数据，实现对运动员动作的准确识别。进一步地，通过对识别出的动作进行深入分析，能够获取运动员在击球动作中的详细技术参数，包括关节运动轨迹、身体姿态变化以及动作阶段特征等，为运动员的训练提供精准指导，有助于提高运动员的技术水平和竞技能力。与现有技术相比，本发明更侧重于匹克球运动场景，针对匹克球运动员的动作特点进行设计，能够更准确地捕捉和分析运动员的动作细节，具有更强的针对性和实用性，在匹克球运动员动作识别领域具有显著的新颖性和创造性。

技术特征：

1.基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：包括有

2.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：数据采集模块包括有摄像机、安装在匹克球上采集匹克球运动数据的匹克球动作传感器、以及佩戴上运动员身上采集运动员运动数据的运动员动作传感器，摄像机采集视频图像数据，匹克球动作传感器和运动员动作传感器采集传感器数据。

3.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：数据预处理模块对视频图像数据进行归一化预处理得到视频图像预处理数据；数据预处理模块对传感器数据进行去噪、滤波以及归一化处理得到传感器预处理数据。

4.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：特征提取模块中的卷积神经网络包括有多个依次连接用于学习运动员身体各部位姿态特征的卷积层，卷积层依次连接有用于减少数据维度的池化层和用于向多模态融合模块输出视频图像特征向量的全连接层。

5.根据权利要求4所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：卷积层采用的卷积核大小不同，池化层采用最大池化操作。

6.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：多模态融合模块采用拼接或加权求和融合视频图像特征向量与传感器预处理数据。

7.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：动作分析模块通过建立运动学模型对关节运动轨迹进行拟合，计算身体姿态数据与击球效果之间的皮尔逊相关系数来分析相关性；动作分析数据包括有关节运动轨迹数据、身体姿态变化与击球效果的相关性数据，以及划分动作阶段并提取各阶段特征数据。

8.根据权利要求1所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：训练模块采用随机梯度下降及其变种优化算法，结合反向传播算法对模型进行训练。

9.根据权利要求8所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：随机梯度下降及其变种优化算法包括有adagrad算法、adadelta算法或adam算法。

10.根据权利要求8所述的基于多模态数据融合的匹克球运动员动作识别与分析系统，其特征在于：损失函数采用均方误差或交叉熵损失函数。

技术总结
本发明公开了基于多模态数据融合的匹克球运动员动作识别与分析系统，采集匹克球运动员在运动过程中的视频图像数据和传感器数据，利用卷积神经网络对视频图像数据中的运动员身体姿态进行特征提取，结合循环神经网络对特征序列进行动作分类，同时融合传感器数据，实现对运动员动作的准确识别，同时通过对识别出的动作进行深入分析，能够获取运动员在击球动作中的详细技术参数，为运动员的训练提供精准指导，有助于提高运动员的技术水平和竞技能力。

技术研发人员：陈燕升,张文鸾,梁跃荣,陈燕玲,李洁,李晓锋,林鹏,毛莉莉,朱晋源,王玫瑰,郑则炯,莫紫琪,罗彬,詹惠雅,谢晓岚
受保护的技术使用者：广东轻工职业技术大学
技术研发日：
技术公布日：2025/3/10