一种羽毛球运动的智能化辅助训练方法及系统

本发明属于人工智能计算机视觉应用领域，尤其涉及一种羽毛球运动的智能化辅助训练方法及系统。

背景技术：

1、羽毛球球路获取问题即球路跟踪与运动轨迹计算问题，目前常用的球路跟踪方案可以分为基于单目视角的球路跟踪方案和基于多目视角的球路跟踪方案。

2、基于单目视角的球路跟踪，采用的传统方法是视觉跟踪球体的运动轨迹，研究人员通常基于卡尔曼滤波器或粒子滤波器的方法，结合球体体积、颜色、速度、加速度等特征来预测球路。对于泛化的球路跟踪框架，球体在三维空间中具有球速、加速度、自旋等非线性因素，基于粒子滤波器的切换搜索方法可用于在局部连续的图像序列中搜索由于尺寸过小或被遮挡而消失的球体。但如果球体被长时间遮挡，这一类传统的卡尔曼或粒子滤波器方法对球路的预测效果就会变差。因此，需要人工定义球体的外观特征，例如颜色、体积、形状或统计特征，对球体目标进行初步检测，然后将球路跟踪问题转化为寻找全局最优解问题。但是在视频图像中，可用的特征信息是非常有限的，由于遮挡、阴影、外观特征的变化，特征信息的误差在一场比赛中也会进一步累积，导致跟踪结果的偏移。近年来，随着深度学习技术在rgb图像处理领域的迅速发展，一些流行的球路跟踪器也开始应用于球路跟踪上。基于机器学习的球路跟踪方法，可以通过预先训练的卷积神经网络检测每一帧的球体目标，并对高速移动的目标进行跟踪，依靠球体的外观特征，回归得到球体的检测信息。

3、基于多目视角的球路跟踪，采用多摄像机系统来弥补个别视角无法捕捉球体的缺陷。传统的方法通过使用多个摄像头来测量网球比赛中运动员的三维位置，进行均值计算得出玩家的位置；并通过位置信息融合的方法处理一个具体的摄像机标定与跟踪误差造成较大的测量误差；再结合球员和球的位置信息，将球员拥有球体这一状态的球路进行建模来解决球的遮挡问题。基于机器学习的球路跟踪算法首先在二维空间中检测与跟踪球体，然后考虑结果的可靠性，将多摄像机的二维跟踪结果综合到三维轨迹中。

4、人体姿态估计从人体姿态建模方式的分类上可以分为二维人体姿态估计方法和三维人体姿态估计方法。

5、基于深度学习的二维人体姿态估计方法对于输入图像中的人数多少，可以分为针对单人和针对多人的人体姿态估计方法。单人人体姿态估计方法以单人rgb图像作为输入，利用二维单人姿态估计对人体关节点位置进行定位，如果图像中有多人时，可通过对输入图像进行裁剪，得到单人图像。通常，二维人体姿态估计方法分为两类，分别是基于回归的人体姿态估计方法和基于身体部位检测的人体姿态估计方法。实验证明基于回归的方法得到的关节点误差较大，较难从图像中获取精确的二维像素坐标。因此，研究者们提出了基于身体部位检测的方法，该方法的特点是通过预测身体部位或关节点的大致位置，通常采用关节点热度图(heat map)的表示方式，进行监督学习得到人体关节点位置。这种方法能够很好地减小预测误差。热度图是一种以关节点位置为中心，构建的一个二维高斯分布图，该分布图用来表示某像素坐标可能是关节点的置信度。多人姿态估计方法需要处理人体检测和人体关节点定位两个任务。因此，根据执行这两个任务的顺序和层次的不同，多人姿态估计可以分为两类：一类是先提取标签为“人”的前景信息后估计每个标签内的关节点的自顶向下(top-down)方法，另一类是预测图像内所有可能的肢体后进行关联组合得到人体的自底向上(bottom-up)方法。自顶向下方法的主要任务是人体目标检测和人体关节点检测，通过目标检测算法进行前景提取，对图像背景中的每一个人体进行检测，识别人体包围框或人体轮廓，然后针对每个人分别进行单人人体关节点检测。大部分研究主要集中在人体目标检测上，如mask-rcnn、fpn、faster rcnn、yolo系列等。自底向上方法的流程是首先检测出图像中所有可能的人体关节点或人体躯干的热度图，然后将所有的关节点或躯干进行聚类，生成成相应所属的人体的个体，自底向上的方法在速度上更快。

6、三维人体姿态估计是预测三维空间(相对相机位置空间或绝对位置空间)中的人体关节点位置为目标的任务。由于二维人体姿态估计方法只能表示图像中的人体位置，缺乏深度和高度信息，能够获取的真实世界中的人体姿态信息较为有限，无法精确地表达人体姿态。因此，不少研究者们在二维人体姿态估计方法的基础上，结合估计或标定得到的相机参数矩阵(内参矩阵、外参矩阵等)，提出了三维人体姿态估计的方法。三维人体姿态估计根据数据采集的视点数量不同，可以分为单目视角和多目视角两种人体姿态估计方法。基于单目视角的人体姿态估计方法主要分为一阶段、两阶段和基于参数化模型的方法。一阶段的人体姿态估计方法是将原始图像作为深度神经网络的输入，直接映射得到三维关节点。两阶段的人体姿态估计方法得益于二维人体姿态估计方法的成功发展，一般分为两个阶段，第一个阶段将rgb图像作为输入，采用一个深度神经网络预测二维关节点像素坐标；第二个阶段将二维关节点作为输入，通过第二个神经网络将二维关节点提升到三维关节点，预测得到三维关节点坐标。基于参数化的模型是一种数据驱动模型，通过3d扫描得到大量人体建模数据，再通过机器学习得到人体的形状参数。基于多目视角的人体姿态估计方法用于解决单目视角下人体被遮挡和相机拍摄视角不佳的问题，可以看做是一个采用位置信息融合技术的确定性问题。

技术实现思路

1、本发明实施例的目的在于提供一种羽毛球运动的智能化辅助训练方法，旨在解决基于多目视角的人体姿态估计方法用于解决单目视角下人体被遮挡和相机拍摄视角不佳的问题。

2、本发明实施例是这样实现的，一种羽毛球运动的智能化辅助训练方法，所述方法包括：

3、构建双目视角羽毛球训练数据集和单目视角羽毛球比赛数据集；

4、构建基于双目视角的羽毛球球路获取模型；

5、基于双目视角羽毛球训练数据集和单目视角羽毛球比赛数据集对基于双目视角的羽毛球球路获取模型进行测试；

6、在双目视角羽毛球训练数据集进行三维球路位置计算试验，比对球路改进前后的结果；

7、基于场地特征点标注和单目视角羽毛球比赛数据集对相机参数进行估计，得到相机参数估计结果；

8、构建羽毛球运动员跟踪模型，通过人体包围框检测和羽毛球场边界标线跟踪羽毛球运动员；

9、构建适用于双目视角羽毛球训练数据集的技术动作获取模型；

10、构建适用于单目视角羽毛球比赛数据集的技术动作获取模型；

11、基于时序人体姿态估计网络对单目视角羽毛球比赛数据集进行测评；

12、通过对羽毛球运动员进行双目视角视频采集，对其进行运动员体能分析、运动员技战术分析和比赛技术视频分割角度，生成辅助训练数据。

13、优选地，准备双目视角羽毛球训练数据集和单目视角羽毛球比赛数据集；采用了一种同步采集双目视角羽毛球视频数据的相机方案，采集了30万余帧图像视频，并对数据进行了清洗和标注，另外，收集并整理了一个单目视角羽毛球比赛数据集，该数据集已开源，并将18场羽毛球比赛视频划分为训练集和测试集。

14、优选地，设计基于双目视角的羽毛球球路获取方案，包括根据采集的双目视角羽毛球训练视频，设计并实现了一种基于双目视角的球路获取方案，基于目标检测与跟踪计算羽毛球的三维球路；方案可以分为3个阶段：第一阶段，从相机各自的单目图像视频中获取羽毛球球体中心点的热度图；第二阶段，结合羽毛球热度图信息，基于极线约束原理和标定的相机参数，对两个视角预测的羽毛球目标的像素坐标进行位置信息融合，得到各个时刻的羽毛球三维位置；第三阶段，结合时序信息和离群点检测，去除轨迹噪声，得到平滑的三维球路。

15、优选地，在单目视角羽毛球比赛数据集和双目视角羽毛球训练数据集上测试基于双目视角的羽毛球球路获取方案，具体为：训练集为羽毛球比赛数据集的训练集部分；测试集分为两个部分，第一部分采用单目视角羽毛球比赛数据集的测试集部分全部图像视频，第二部分采用双目视角羽毛球训练数据集中的558张图像视频，使用单目标检测与跟踪领域中常用的预测精确度(prediction accuracy)评估方法对网络模型的目标检测与跟踪精度进行测评，比较羽毛球目标跟踪卷积神经网络在单目视角羽毛球比赛数据集和双目视角羽毛球训练数据集上的表现。

16、优选地，在单目视角羽毛球比赛数据集上进行三维球路位置计算的实验，对比球路改进前后的结果，具体为：将球路分为发球轨迹和击球轨迹；然后通过极线约束原理删除球体运动轨迹上具有明显噪声的离群点，使球路更为平滑；最后可视化优化前后的轨迹完成对比实验。

17、优选地，设计并实现适用于单目视角图像视频的，基于场地特征点标注的相机参数估计方法，具体为：给定一张rgb图像，人工标注球场内的特征点，然后根据标注点的像素坐标和对应的世界坐标，计算相机可能的焦距，最后根据相机的内参矩阵和特征点对应的像素坐标和世界坐标的转换误差，确定相机的外参矩阵。

18、优选地，设计适用于单目和双目图像视频的基于羽毛球场地边界约束的球员检测跟踪方法，通过人体包围框检测和羽毛球场边界标线跟踪羽毛球运动员；具体为：实现一个运动员检测跟踪模块，该模块由一个人体检测网络和一个运动员包围框跟踪后处理子模块组成，人体检测检测网络的主干网络选用目标检测算法，对图像中的人体标签进行预测，获取图像中所有可识别的人体目标，并输出包围框信息，运动员包围框跟踪后处理模块基于羽毛球场地的边界标线约束，通过碰撞检测后处理操作实现快速的运动员实例分割，对输出结果的包围框进行裁剪，对每个人体检测包围框中的运动员的技术动作进行估计与获取。

19、优选地，双目视角羽毛球训练数据集，设计并实现针对双目视角的羽毛球运动员的技术动作获取方案，具体为：输入为双目视角的图像视频，经过运动员的检测与跟踪实现得到运动员的人体包围框和对应id，将裁剪放大的人体包围框输入进行二维人体关节检测，预测每个视角下的运动员的关节点像素坐标，对双目视角下对应的同一运动员进行基于极线约束的位置信息融合，获得运动员的三维人体位姿信息，对逐帧的三维人体位姿进行组合，得到运动员在该视角中的技术动作。

20、优选地，基于单目视角羽毛球比赛数据集，设计并实现针对单目视角的羽毛球运动员的技术动作获取方案，具体为：输入为单目视角的图像视频，采用基于羽毛球场地特征点的相机参数估计方法计算得到单目相机的焦距和内外参矩阵，同样经过运动员的检测与跟踪实现得到运动员的人体包围框和对应id，将裁剪放大的人体包围框输入进行三维人体姿态估计，预测运动员在三维空间中粗略的关节点坐标，对图像视频的关节点坐标序列进行基于自适应滤波的时序姿态优化，得到平滑的运动员技术动作，基于地面约束对运动员的根节点位置估计结果进行改进，最终得到在三维空间中更为平滑和准确的运动员技术动作。

21、优选地，对时序人体姿态估计网络在单目图像视频的三维人体姿态估计上的表现进行了测评，具体为：在公开数据集上对时序人体姿态估计网络在单目图像视频的三维人体姿态估计上的表现进行了测评。对基于姿态优化后的改进结果与传统插值或滤波方法进行了对比测评，以及对引入地面约束改进前后的人体关节点绝对位置进行了对比测评。

22、优选地，根据羽毛球比赛的数据分析需求，设计并实现了一个面向羽毛球运动的智能化辅助训练原型系统。具体为：设计一个由用户界面、后台功能模块、数据库三部分构成的系统。其中用户界面为用户提供5个接口，分别为视频采集、视频回放、信息管理、视频分析、用户管理接口；后台功能模块被划分为3个主要模块，以功能类型进行划分和分类，分别为：数据采集模块、数据分析模块和数据管理模块；数据库支持用户数据记录存储的。用户可以选择对应的视频采集、视频回放、信息管理、视频分析、用户管理按钮接口进行交互，系统内部通过接口对应的入口模块进行流水线式处理，并将产生的数据通过数据管理模块的整合存储在本地或数据库中。

23、与现有技术相比，本发明具有的有益效果至少包括：

24、实现了基于双目视角的球路获取方案，从二维球路检测与跟踪中输出球体的位置信息和时序信息，在三维空间中对其进行了还原和轨迹优化。实现了基于双目视角和单目视角的运动员技术动作获取方法。从时序、场地、比赛规则等多个角度引入额外条件约束，尝试为单目视角下的羽毛球运动员的三维人体姿态越策更准确的估计结果。实现了智能化辅助训练原型系统，在系统中对球路获取和运动员技术动作获取方案进行了整合集成，并且配套了对应的数据采集功能和数据存储、索引功能，形成了对数据采集、数据分析、数据存储与输出的羽毛球视频分析流程的闭环。