一种举重运动数据的分析与评价系统

1.本发明属于姿态估计技术领域，具体涉及一种举重运动数据的分析与评价系统。


背景技术：

2.近年来，随着世界各国对举重运动的逐渐重视和投入加大，涌现出了一大批优秀的国际举重运动员。如何进一步提高举重运动整体水平，具有重要战略意义。
3.多年来国内外学者深入研究举重运动，通过对举重运动进行定量分析，研究运动中的各项数据指标，从而提高运动员的灵活性和技术能力等。与此同时，科学的训练方式和现代化的辅助设备(如杠铃器械、视频技术和人体姿态分析技术等)的投入，提高了运动员的总体表现。常用的举重研究技术有：采集视频数据进行重复与慢速播放，选取关键技术特征画面，以及对各类数据指标进行定量分析。
4.在技术分析方面，出现了二维人体姿态估计、三维人体姿态估计、静电技术、静态分析技术等多种研究，帮助量化分析与测评相关技术指标。在过去的研究中，以上指标多为人工标注，或使用专业设备与专业场地进行录制分析。
5.随着计算机技术的不断发展，信息技术为各类现代体育运动提供了可靠的支持。鉴于举重运动有专业化程度高的特点，对运动员的信息进行分析并提供相应指导，过去主要依靠教练员的经验与常识，而多类人体指标与杠铃指标，难以由教练人员客观分析，只能通过赛前由教练员和相关科研人员在举重场地进行标定。赛时录制视频，赛后对运动员数据进行人工进行标注，工作量大且操作繁琐，人眼难以对杠铃的轨迹进行精准的标注。同时教练员的统计信息有限，缺乏专业的数据分析平台支持。对于主要举重指标的测评，往往需要专业人员进行处理，获取到的数据多为双目视频，在推广与数据采集方面成本居高不下。
6.另一方面，广泛存在于网络上的举重比赛视频和教练员平时训练采集的单目拍摄视频，由于缺少相应的赛前标定以及视角单一等问题，无法使用这些数据用于后续的定量分析，而这些视频的资源又是最为丰富的。教练员往往只能依靠少量采集的特定运动员数据进行分析，无法形成详细全面的数据检索和技术分析。
7.基于上述举重分析领域的一系列问题，迫切需要一套举重运动数据的分析与评价系统。


技术实现要素：

8.鉴于上述，本发明的目的是提供一种举重运动数据的分析与评价系统，从场地、杠铃以及运动员三方面实现对举重运动数据的全面分析和评价，并可视化呈现。
9.为实现上述发明目的，实施例提供的一种举重运动数据的分析与评价系统，包括场地分析单元、杠铃分析单元、运动员分析单元、可视化单元、评价单元；
10.所述场地分析单元用于对举重场地角点进行跟踪和标定；
11.所述杠铃分析单元用于对杠铃进行定位和轨迹生成；
12.所述运动员分析单元用于对运动员进行二维人体姿态估计和三维人体姿态估计；
13.所述评价单元用于根据时序信息和人体姿态估计包含的关节点坐标计算举重过程中各阶段的技术指标，形成分析指标体系；
14.所述可视化单元用于可视化举重场地、杠铃定位结果和杠铃轨迹、二维人体姿态、三维人体姿态、分析指标体系。
15.在一个实施例的所述场地分析单元中，对举重场地角点进行跟踪和标定，包括：
16.首先，对视频中首帧举重图像进行举重台场地角点标注作为标注点后，依据标注点在图上二维坐标和世界三维坐标以及相机内参，采用迭代pnp算法求出相机外参；
17.然后，利用相机内参、相机外参以及标注点的世界三维坐标通过投影计算得到首帧举重图像中标注点的标定坐标；
18.最后，根据首帧举重图像中标注点的标定坐标，通过光流法求解得到视频流中后续每帧举重图像中标注点的标定坐标，依据标定坐标得到每帧举重图像中举重台场地角点的标定和追踪。
19.在一个实施例的所述场地分析单元中，依据标注点在图上二维坐标和世界三维坐标以及相机内参，采用迭代pnp算法求出相机外参，包括：
20.在1-20000的焦距区间以1为长度单位进行作为相机内参的相机焦距的枚举，根据得到相机内参与标注点的图上二维坐标和世界三维坐标，调用迭代pnp算法进行相机外参的运算，之后根据计算得到的相机外参，结合相机内参，把根据标记点的世界三维坐标将标记点投影至举重场地得到标定点的投影坐标，计算投影坐标与标记点的图上二维坐标之间的欧几里德距离的误差和作为loss，并以函数loss最小为目标，在预设迭代次数内采用模拟退火算法进行求解，以得到最终相机外参和对应的相机内参。
21.在一个实施例的所述杠铃分析单元中，对杠铃进行定位，包括：
22.针对每帧举重图像，依据相机内参、相机外参以及举重图像中杠铃两个标定点的标注坐标，通过投影计算得到杠铃两个标定点的世界三维坐标范围，然后根据以下四个约束对世界三维坐标范围进行筛选，得到最终杠铃两个标定点的世界三维坐标；
23.其中，四个约束包括：世界坐标系下杠铃与举重台场地标线平行和垂直的约束，世界坐标系下杠铃与举重台场地标线两端距离相等的约束，世界坐标系下杠铃长度的约束，杠铃的深度在举重台场地中间位置的约束。
24.在一个实施例的所述杠铃分析单元中，对杠铃进行轨迹生成，包括：
25.首先，对对视频中首帧举重图像进行杠铃的语义分割以确定杠铃图像，并确定杠铃中心坐标；
26.然后，根据首帧举重图像中杠铃中心坐标，通过lk金字塔光流法求解得到视频流中后续每帧举重图像中杠铃中心坐标，依据杠铃中心坐标按照时间顺序连接形成杠铃轨迹。
27.在一个实施例的所述杠铃分析单元中，采用panoptic fpn模型、mask r-cnn模型以及graph-cut算法对每帧举重图像中左右两个杠铃片的语义分割，以提取杠铃图像。
28.在一个实施例中，所述杠铃分析单元还用于杠铃的下降过程的检索追踪，包括：
29.根据杠铃中心坐标确定杠铃最高点，并对杠铃最高点之后时刻进行检索，当根据杠铃中心坐标确定杠铃从最高点下降达到1/3时，则认为杠铃进入自由落体姿态，依据自由落体原理，计算得到落地前的每帧中杠铃中心坐标，依据杠铃中心坐标实现对杠铃的下降
过程的检索追踪。
30.在一个实施例中，所述杠铃分析单元还用于杠铃的自旋转引起的误差处理，包括：
31.对所有光流进行检索，对当前帧计算出所有成功的光流像素点，以杠铃中心点进行对称查找，只有对称点也为成功的光流像素点时，该光流才有效，否则为了保证杠铃片的光流平衡将两光流像素点同时删除。最后对剩下的所有成功的光流像素点进行计算，以此作为杠铃移动的轨迹趋势，在下一帧时再恢复选定区域的光流像素点。
32.在一个实施例的所述评价单元中，依据膝关节角方向变化和杠铃垂直高度将抓举技术分为伸膝提铃阶段、引膝提铃阶段、发力阶段、惯性上升阶段、下蹲支撑阶段、接铃完成阶段，这些阶段包含的技术指标包括：
33.各个阶段的握距、相对握距、站距、相对站距、杠铃垂直高度、杠铃相对高度、阶段持续时间、杠铃垂直速度、杠铃回落距离、杠铃最大垂直上升加速度、人体重心最大垂直下降加速度、膝关节角度、髋关节角度踝关节角度、膝关节角速度、膝关节角速度、髋关节角速度、踝关节角速度、躯干角度、杠铃两心距离、杠铃x轴方向位移、杠铃y轴方向位移；
34.这些技术指标形成分析指标体系，并生成评估报告并显示。
35.在一个实施例的所述运动员分析单元中，对运动员进行二维人体姿态估计，包括：
36.首先采用yolov3对每帧举重图像进行目标检测，框选出运动员的包围盒；然后采用hrnet-w48对包围盒中运动员进行人体二维骨架识别，得到预测热图；最后将相邻三帧相应的预测热图输入至dcpose网络，经过优化计算得到二维人体姿态估计结果。
37.在一个实施例的所述运动员分析单元中，对运动员进行三维人体姿态估计，包括：采用时序平滑(temporal smoothing)网络模型对二维人体姿态估计进行优化估计得到三维人体姿态估计结果。
38.与现有技术相比，本发明具有的有益效果至少包括：
39.针对举重运动数据，通过从场地位置、杠铃定位和轨迹以及运动员姿态多个方面进行分析，以实现对举重运动数据的全面分析，并将分析结果进行可视化，该系统提高了举重运动的技术分析速度与精度，缩短了举重运动员与科研人员的距离，利用单目举重视频，将各类参数进行计算，共享于云平台，同时提供了采集端用于跟进最新比赛视频的上传更新与分析，保证了数据的实时性，为教练人员提供了技术支持。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
41.图1是实施例提供的举重运动数据的分析与评价系统的结构示意图。
具体实施方式
42.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
43.图1是实施例提供的举重运动数据的分析与评价系统的结构示意图。如图1所示，实施例提供的举重运动数据的分析与评价系统，包括场地分析单元、杠铃分析单元、运动员分析单元、可视化单元；其中，场地分析单元用于对举重场地角点进行跟踪和标定；杠铃分析单元用于对杠铃进行定位和轨迹生成；运动员分析单元用于对运动员进行二维人体姿态估计和三维人体姿态估计；可视化单元用于可视化举重场地、杠铃定位结果和杠铃轨迹、二维人体姿态、三维人体姿态。下面针对每部分进行详细说明。
44.场地分析单元
45.场地分析单元具有场地跟踪标定功能，对于相机有晃动和镜头移动的情况，系统集成了场地角点跟踪与自动标定功能，科研人员获取第一帧标定结果后，通过光流追踪与迭代优化算法求出后续视频帧的具体内外参以及标定的举重场地角点，实现场地跟踪。
46.针对场地分析单元，输入一次试举举重视频，在其中选取一张举重拍摄照片，照片中拥有举重运动员与相应的举重台的角点(一般为4个)，科研人员对这四个角点进行相应的标注或者根据角点匹配算法进行对应角点的匹配，通过迭代算法与pnp算法等，计算出相机的内参与外参。对于相机移动与晃动等问题，由于逐帧标定工作量大，且精度无法得到保证，通过其它技术手段难以解决，而人工逐帧标准成本过大，无法考虑，故设计了对角点进行自动跟踪来完成自动标注。
47.具体地，场地分析单元中，对举重场地角点进行跟踪和标定，包括：
48.首先，对视频中首帧举重图像进行举重台场地角点标注作为标注点后，依据标注点在图上二维坐标和世界三维坐标以及相机内参，采用迭代pnp算法求出相机外参；
49.然后，利用相机内参、相机外参以及标注点的世界三维坐标通过投影计算得到首帧举重图像中标注点的标定坐标；
50.最后，根据首帧举重图像中标注点的标定坐标，通过光流法求解得到视频流中后续每帧举重图像中标注点的标定坐标，依据标定坐标得到每帧举重图像中举重台场地角点的标定和追踪。
51.实施例中，依据标注点在图上二维坐标和世界三维坐标以及相机内参，采用迭代pnp算法求出相机外参，包括：
52.在1-20000的焦距区间以1为长度单位进行作为相机内参的相机焦距的枚举，根据得到相机内参与标注点的图上二维坐标和世界三维坐标，调用迭代pnp算法进行相机外参的运算，之后根据计算得到的相机外参，结合相机内参，把根据标记点的世界三维坐标将标记点投影至举重场地得到标定点的投影坐标，计算投影坐标与标记点的图上二维坐标(作为ground truth)之间的欧几里德距离的误差和作为loss，并以函数loss最小为目标，在预设迭代次数内采用模拟退火算法进行求解，以得到最终相机外参和对应的相机内参。
53.由于整个函数loss的分布满足连续性，且loss最低点代表了相机标定点对应世界坐标系标定点时的最小误差，此时的相机内参和相机外参为当前相机的真实固有物理属性与世界坐标系位姿信息。
54.实施例中，根据首帧举重图像中标注点的标定坐标，通过光流法求解得到视频流中后续每帧举重图像中标注点的标定坐标，包括：
55.根据首帧举重图像中标注点的标定坐标对标注点周围画直径为r像素的圆；对圆内的像素点进行光流跟踪，求解出当前帧举重图像中像素光流至下一帧举重图像的相应位
置，重复此过程，求出视频中所有帧举重图像中具体光流对应光流像素点关系；计算出所有光流像素点至视频最后一帧的跟踪情况，丢弃所有光流像素点跟踪失败的情况；按所有光流像素点的相对移动距离求出每帧举重场地角点的移动。
56.实施例中，计算每一帧图像内外参时可以迭代优化，并不需要每一帧都单独调用一次求解内外参算法，由于内参的变化与外参的变化具有连续性，相邻两帧间的变化在上一帧的周围，可以通过上一帧的相对位置进行优化处理。
57.杠铃分析单元
58.实施例中，杠铃分析单元具有杠铃定位与杠铃轨迹生成功能，即实现获取可靠的杠铃运动图像数据和杠铃轨迹数据。
59.由于透视性质，杠铃平面是个平行四边形，且由于拍摄角度在前方，拍摄的场地水平长度要比宽度大。又由于相机拍摄时的像素为固定标准，且像素点多为正方形，少数是长方形的情况，故在对应时由于信息量的压缩，一个图像坐标系的点对应了世界坐标系中的一小块区域点。由于单目相机深度信息的丢失，在线性区域中将会获得不唯一的解，这是在计算杠铃位置时需解决的问题。为解决该问题，在对杠铃进行定位时，引入了各种约束，具体地，对杠铃进行定位，包括：
60.针对每帧举重图像，依据相机内参、相机外参以及举重图像中杠铃两个标定点的标注坐标，通过投影计算得到杠铃两个标定点的世界三维坐标范围，然后根据以下四个约束对世界三维坐标范围进行筛选，得到最终杠铃两个标定点的世界三维坐标；
61.其中，四个约束包括：世界坐标系下杠铃与举重台场地标线平行和垂直的约束，世界坐标系下杠铃与举重台场地标线两端距离相等的约束，世界坐标系下杠铃本身长度的约束，杠铃的深度在举重台场地中间位置的约束(即配重员信息的约束)。
62.初始状态、基于杠铃本身长度性质与摆放位置的优化和基于配重员信息的优化的像素平均误差值分别为31.2像素、15.2像素以及5.4像素，比较分析可得，可看到每一次优化都较明显降低了从左位机反投影至三维世界坐标系，再投影至右边机图像坐标系造成的误差，通过这些优化，计算精度得到了提升。
63.杠铃的图像分割与移动轨迹是教练员重视的参考信息。实施例中，对杠铃进行轨迹生成，包括：
64.首先，对对视频中首帧举重图像进行杠铃的语义分割以确定杠铃图像，并确定杠铃中心坐标。实施例采用panoptic fpn模型、mask r-cnn模型以及graph-cut算法对每帧举重图像中左右两个杠铃片的语义分割，以提取杠铃图像。
65.实施例中，首先采用panoptic fpn模型或mask r-cnn模型对每帧举重图像进行左右两个杠铃片的语义分割，同时graph-cut算法进行杠铃分割，可作为图像分割的补充，提高了系统的鲁棒性，将所有未能识别的视频，通过graph-cut进行前后景分离，保证了视频片段中的杠铃物体一定能被分割出来用于后续分析。
66.然后，根据首帧举重图像中杠铃中心坐标，通过lk金字塔光流法求解得到视频流中后续每帧举重图像中杠铃中心坐标，依据杠铃中心坐标按照时间顺序连接形成杠铃轨迹。
67.实施例中，将lk金字塔光流算法代入杠铃中心估计问题中，首先标定首帧杠铃中心点，自动以杠铃中心点为标准向周围做一个垂直于场地的菱形作为光流跟踪的对象。对
于前后两帧之间的跟踪，去掉那些跟踪失败的像素点，剩余的像素点继续，跟踪至运动员试举结束。回到首帧，将这些跟踪成功的像素点重新作为输入，并计算所有像素点的移动平均值，计算出杠铃中心点的相对位移，然后使用分割网络或者graph-cut切割得到的上一帧的分割结果，进行图像的切割移动，从而得到了整体图像的移动跟踪效果。
68.运动员从开始阶段、发力阶段，以及最后举起这一系列详细过程。会存在最后杠铃没有落到地上的情况，其原因是杠铃快速下降使得光流跟踪失败，对于此类问题的处理可以使用自由落体曲线去拟合杠铃的下降过程。具体地，杠铃分析单元具有杠铃的下降过程的检索追踪的功能，包括：
69.根据杠铃中心坐标确定杠铃最高点，并对杠铃最高点之后时刻进行检索，当根据杠铃中心坐标确定杠铃从最高点下降达到1/3时，则认为杠铃进入自由落体姿态，依据自由落体原理，计算得到落地前的每帧中杠铃中心坐标，依据杠铃中心坐标实现对杠铃的下降过程的检索追踪。
70.实施例中，使用了lk金字塔光流法来追踪杠铃片上的所有像素点，但在标准杠铃中，杠铃片相对杠铃并不是完全静止状态，在运动员站立的过程中，由于惯性作用会使杠铃片进行旋转问题，采用lk金字塔光流跟踪会出现光流跟踪不均匀的状态，最后引起误差。为解决该问题，杠铃分析单元具有杠铃的自旋转引起的误差处理的功能，包括：
71.对所有光流进行检索，对当前帧计算出所有成功的光流像素点，以杠铃中心点进行对称查找，只有对称点也为成功的光流像素点时，该光流才有效，否则为了保证杠铃片的光流平衡将两光流像素点同时删除。最后对剩下的所有成功的光流像素点进行计算，以此作为杠铃移动的轨迹趋势，在下一帧时再恢复选定区域的光流像素点。
72.运动员分析单元
73.实施例中，运动员分析单元具有对运动员进行二维人体姿态估计和三维人体姿态估计功能。其中，对运动员进行二维人体姿态估计，包括：
74.首先采用yolov3对每帧举重图像进行目标检测，框选出运动员的包围盒；然后采用hrnet-w48对包围盒中运动员进行人体二维骨架识别，得到预测热图；最后将相邻三帧相应的预测热图输入至dcpose网络，经过优化计算得到二维人体姿态估计结果。
75.运动员分析单元中，对运动员进行三维人体姿态估计，包括：采用时序平滑(temporal smoothing)网络模型对二维人体姿态估计进行优化估计得到三维人体姿态估计结果。temporal smoothing的原理是通过时序优化，根据前两帧的姿态，预测出当前帧的姿态信息，利用时序信息进行三维人体姿态的估计。将输入的举重视频流，通过时序平滑，将每一帧的人体关节点进行三维重建，生成三维世界坐标系下的人体姿态估计。最后通过平滑曲线对人体姿态进行拟合处理。
76.评价单元
77.实施例中，为了解决举重过程中一系列科学性问题，系统还提供了评价单元，该评价单元用于根据时序信息和人体姿态估计包含的关节点坐标计算举重过程中各阶段的技术指标，形成分析指标体系。
78.具体地，根据国内外文献对抓举技术的研究，依据膝关节角方向变化和杠铃垂直高度将抓举技术分为伸膝提铃阶段、引膝提铃阶段、发力阶段、惯性上升阶段、下蹲支撑阶段、接铃完成阶段等6个阶段。具体描述如表1表示：
79.表1
80.阶段特征伸膝提铃阶段(m1,a-b)从杠铃离地瞬间至第一个伸膝最大时刻引膝提铃阶段(m2,b-c)从引膝开始到膝关节角降至最小时刻发力阶段(m3,c-d)从引膝结束至杠铃垂直速度最大时刻惯性上升阶段(m4,d-e)从杠铃垂直速度最大至杠铃垂直高度最高时刻下蹲支撑阶段(m5,e-f)从杠铃垂直高度最高至杠铃垂直下降速度最大时刻接铃完成阶段(m6,f-g)从杠铃垂直下降速度最大至杠铃速度为零时刻
81.根据业内公认的指标以及运动队实际需求的指标，评价单元提供的技术指标包括：各个阶段的握距(hd)、相对握距(hdr)、站距(sd)、相对站距(sdr)、杠铃垂直高度(hb)、杠铃相对高度(hbr)、阶段持续时间(td)、杠铃垂直速度(vb)、杠铃回落距离(dd)、杠铃最大垂直上升加速度(mab-1)、人体重心最大垂直下降加速度(mab-2)、膝关节角度(ka)、髋关节角度(ha)、踝关节角度(aa)、膝关节角速度(kav)、膝关节角速度(kav)、髋关节角速度(hav)、踝关节角速度(aav)、躯干角度(ta)、杠铃两心距离(bbcog-x)、杠铃x轴方向位移(bcog-x)、杠铃y轴方向位移(bcog-y)等技术指标，具体详见表2：这些技术指标均是根据关节点坐标和相应的时序信息经计算得到，形成分析指标体系和生成评估报告并显示。这些分析指标体系能够帮助教练员更科学、准确地评估运动员在比赛或训练中的表现，从而根据运动员的技术特点和身体条件优化举重技术，能够给出针对性的提高建议。
82.表2
83.84.85.86.87.[0088][0089]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。