一种识别运动员准备开始运动项目的方法及系统与流程

1.本技术涉及运动员准备状态识别技术领域，尤其是一种识别运动员准备开始运动项目的方法及系统。


背景技术：

2.体育运动项目内容丰富，有体操、举重、游泳、跳水、击剑、铅球、标枪等多种项目，体育运动是在人类发展过程中逐步开展起来的，有意识的培养自己身体素质的各种活动。
3.目前在各种运动项目里，没有可以自动识别运动员站在运动项目准备区已经准备好打算开始某项运动项目的技术，因此，不能控制相应的设备(用于记录运动员后续运动过程的设备)自动记录运动员的后续运动过程，进而无法进行后续针对该运动员运动过程进行更深入的技术分析(比如：做相应的运动的角度、距离、速度、高度、身躯弯曲度分析)，从而也不能给出优化训练的合理建议。


技术实现要素：

4.本技术的目的在于克服现有技术不足之处，提供一种能够自动识别运动员准备开始运动项目的方法及系统。
5.第一方面，提供了一种识别运动员准备开始运动项目的方法，包括：
6.获取预设的运动员标准准备动作数据以及准备区运动员正面的实时视频图像；
7.基于人体关键点算法对视频帧画面中运动员进行动作识别，以判断运动员是否做出标准准备动作；
8.响应于运动员做出标准准备动作，对上述视频帧画面中做出标准准备动作的运动员进行人脸截取和人脸识别，以输出是哪个运动员已做好准备开始运动项目。
9.可选的，还包括：当运动员完成运动项目后，将所有运动员标准准备动作判定和人脸识别状态进行清空，以自动开始下一位运动员的识别。
10.示例性的，约定运动员标准准备动作为面向视频拍摄设备举单手超过指定时长。
11.进一步的，所述基于人体关键点算法对视频帧画面中运动员进行动作识别包括以下步骤：
12.在视频帧画面中指定原点并建立平面直角坐标系；
13.将所有检测到的人体关键点加载到所述平面直角坐标系中；
14.设定视频帧画面中人体关键点的坐标点，其中，左手腕关键点的坐标为(x
hl
,y
hl
),右手腕关键点的坐标为(x
hr
,y
hr
),鼻子关键点的坐标为(xn,yn)；
15.将同一视频帧画面中左手腕关键点、右手腕关键点的纵向坐标值与鼻子关键点的纵向坐标值进行大小比较，以判断是否有手腕关键点位于鼻子关键点上方；
16.响应于左手腕关键点或右手腕关键点位于鼻子关键点上方，判定该视频帧画面中有运动员举单手；
17.计算有运动员举单手的视频帧画面的连续时长，若所述连续时长不小于所述指定
时长，则判断为有效举单手，否则判断为无效举单手。
18.进一步的，所述对上述视频帧画面中做出标准准备动作的运动员进行人脸截取和人脸识别具体包括：
19.搭建人脸搜索管理数据库；
20.将运动员的名称和人脸特征向量注册到所述人脸搜索管理数据库；
21.提取判断为有效举单手的前n秒内的所有视频帧画面中运动员的人体关键点，其中，n》0；
22.设定每一视频帧画面中人体关键点的坐标点，其中，鼻子关键点坐标为(xn，yn)，胸口关键点坐标为(xc，yc)；
23.根据坐标值计算出鼻子关键点与胸口关键点之间的距离d；
24.截取以鼻子关键点坐标(xn，yn)为中心，以2d为边长的一个正方形区域；
25.利用人脸检测识别算法对正方形区域内的人脸图片进行识别，以提取出人脸特征向量；
26.将提取出的人脸特征向量在所述人脸搜索管理数据库中进行相似度匹配；
27.判定提取出的人脸特征向量与人脸搜索管理数据库匹配成功次数最多的人脸特征向量对应的运动员，即为完成标准准备动作的运动员。
28.第二方面，提供了一种识别运动员准备开始运动项目的系统，包括：
29.视频拍摄设备和电子设备，所述视频拍摄设备与所述电子设备相接；
30.视频拍摄设备，用于拍摄准备区运动员正面的实时视频图像，并将拍摄到的实时视频图像传输至电子设备；
31.电子设备包括存储模块和处理模块，其中：
32.存储模块，用于存储设备执行的程序代码，该程序代码包括用于执行如第一方面中的任意一种实现方式中的方法；
33.处理模块，用于读取存储模块上的程序代码，以执行如第一方面中的任意一种实现方式中的方法。
34.可选的，所述电子设备还包括显示模块，所述显示模块用于显示准备区运动员准备开始运动项目的识别结果。
35.可选的，所述电子设备还包括语音播报模块，所述语音播报模块用于播报准备区运动员准备开始运动项目的识别结果。
36.第三方面，提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面中的任意一种实现方式中的方法。
37.第四方面，提供了一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任意一种实现方式中所述方法的步骤。
38.本技术具有如下有益效果：通过设定标准准备动作，使得准备区的运动员在做出标准准备动作后，能够基于人体关键点算法自动对视频帧画面中运动员进行动作识别，从而能够自动识别出运动员已经准备好开始运动项目，从而能够根据识别结果自动控制相应的设备工作开始记录运动员的运动过程，并且能够对做出标准准备动作的运动员进行人脸识别，从而能够将记录的数据与运动员的名称绑定，以便区分记录的数据是哪个运动员的，
从而便于后续针对该运动员运动过程更深入的进行技术分析，以便给出优化训练的建议。
附图说明
39.构成本技术的一部分的附图用于来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
40.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术实施例一的识别运动员准备开始运动项目的方法的流程图；
42.图2是本技术实施例一的识别运动员准备开始运动项目的方法中对运动员进行动作识别的流程图；
43.图3是本技术实施例一的识别运动员准备开始运动项目的方法中人脸截取和人脸识别的流程图；
44.图4是本技术实施例二的识别运动员准备开始运动项目的系统的结构框图。
45.附图标记：
46.1、视频拍摄设备；2、电子设备；21、存储模块；22、处理模块；23、显示模块；24、语音播报模块。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
48.实施例一
49.本技术实施例一所涉及的一种识别运动员准备开始运动项目的方法，包括：获取预设的运动员标准准备动作数据以及准备区运动员正面的实时视频图像；基于人体关键点算法对视频帧画面中运动员进行动作识别，以判断运动员是否做出标准准备动作；响应于运动员做出标准准备动作，对上述视频帧画面中做出标准准备动作的运动员进行人脸截取和人脸识别，以输出是哪个运动员已做好准备开始运动项目，通过设定标准准备动作，使得准备区的运动员在做出标准准备动作后，能够基于人体关键点算法自动对视频帧画面中运动员进行动作识别，从而能够自动识别出运动员已经准备好开始运动项目，从而能够根据识别结果自动控制相应的设备工作开始记录运动员的运动过程，并且能够对做出标准准备动作的运动员进行人脸识别，从而能够将记录的数据与运动员的名称绑定，以便区分记录的数据是哪个运动员的，从而便于后续针对该运动员运动过程更深入的进行技术分析，以便给出优化训练的建议。
50.具体的，图1示出了申请实施例一中的识别运动员准备开始运动项目的方法流程图，包括：
51.s101、获取预设的运动员标准准备动作数据以及准备区运动员正面的实时视频图
像；
52.示例性的，预设的运动员标准动作可以是举单手、举双手、提膝等肢体动作，下面以举单手为例：约定运动员标准准备动作为面向视频拍摄设备1举单手超过指定时长，其中，指定时长可以是：2s、2.5s、3s等，从而能够减少运动员短暂挠头、整理头发等动作对识别结果造成干扰。
53.s102、基于人体关键点算法对视频帧画面中运动员进行动作识别，以判断运动员是否做出标准准备动作；
54.其中，将摄像头实时拍摄的运动项目准备区的每一帧画面抽取出来，输入一个人体关键点检测算法，由该人体关键点检测算法输出每一帧中处于准备区区域的所有人体关键点，具体的，可以针对运动场景采集并标注人体关键点数据单独训练一个人体关键点检测算法如openpose，alphapose，densepose等算法，人体关键点检测算法可以检测出人体的若干个关键点，比如：手腕、手肘、肩膀、鼻子、胸口、膝盖等。
55.具体的，请参阅图2，所述基于人体关键点算法对视频帧画面中运动员进行动作识别包括以下步骤：
56.s201、在视频帧画面中指定原点并建立平面直角坐标系；
57.其中，帧是构成视频的最基本的单位,视频帧画面是指从视频中抽取一帧的图像,视频帧画面是静态的，平面直角坐标系的原点可以是视频帧画面所在平面的任意一点，另外，所建立的平面直角坐标系的x轴和y轴中的其中一个水平设置，则另一个竖直设置，例如：当x轴水平设置，则y轴竖直设置；当x轴竖直设置，则y轴水平设置，另外，x轴和y轴的箭头指向上、下、左、右中的其中一个方向，下面以视频帧画面上的左上角为原点，水平向右方向为x轴，垂直向下方向为y轴建立平面直角坐标系为例进行说明。
58.s202、将所有检测到的人体关键点加载到所述平面直角坐标系中；
59.s203、设定视频帧画面中人体关键点的坐标点，其中，左手腕关键点的坐标为(x
hl
,y
hl
),右手腕关键点的坐标为(x
hr
,y
hr
),鼻子关键点的坐标为(xn,yn)；
60.s204、将同一视频帧画面中左手腕关键点、右手腕关键点的纵向坐标值与鼻子关键点的纵向坐标值进行大小比较，以判断是否有手腕关键点位于鼻子关键点上方；
61.s205、响应于左手腕关键点或右手腕关键点位于鼻子关键点上方，判定该视频帧画面中有运动员举单手；
62.其中，由于是以视频帧画面上的左上角为原点，水平向右方向为x轴，垂直向下方向为y轴建立的平面直角坐标系，当运动员有举单手动作时，则该运动员的左手腕关键点或右手腕关键点将会位于鼻子关键点所在水平面的上方，从而使得左手腕关键点的y轴坐标值y
hl
和右手腕关键点的y轴坐标值y
hr
中的一个将小于鼻子关键点的y轴坐标值yn，即当且仅当y
hr
《yn或者y
hl
《yn时，则认为该视频帧画面中有运动员举单手，否则则认为该视频帧画面中没有运动员举单手。
63.s206、计算有运动员举单手的视频帧画面的连续时长，若所述连续时长不小于所述指定时长，则判断为有效举单手，否则判断为无效举单手
64.具体的，由于误检或运动员挠头、整理头发等动作，会导致误判举单手，为了避免这些情况导致的误判，需要计算包含运动员举单手的视频帧画面的连续时长，当连续的2s或2.5s或3s等指定时长内的视频帧画面中均检测到运动员举单手，则判断运动员举单手
(即完成运动员标准准备动作)，否则认为是挠头等干扰情况，继续进行举单手检测，其中，2s、2.5s、3s等即为约定运动员标准准备动作为面向视频拍摄设备1举单手超过的指定时长。
65.s103、响应于运动员做出标准准备动作，对上述视频帧画面中做出标准准备动作的运动员进行人脸截取和人脸识别，以输出是哪个运动员已做好准备开始运动项目。
66.其中，人脸截取指的是截取做出标准准备动作的运动员的脸部画面，人脸识别指的是利用人脸检测识别算法对上述运动员的脸部画面进行向量提取和识别，以提取出运动员的人脸特征向量，从而识别出具体是哪个运动员做出了标准准备动作，例如：判断出是运动员张三做出了标准准备动作，则认为张三已经准备好开始进行体育项目。
67.具体的，请参阅图3，所述对上述视频帧画面中做出标准准备动作的运动员进行人脸截取和人脸识别具体包括：
68.s301、搭建人脸搜索管理数据库；
69.其中，针对运动员采集并标注人脸数据单独训练一个人脸检测算法如dsfd:dual shot face detector和人脸特征提取算法如arcface:additive angular margin loss for deep face recognition；基于训练好的人脸检测算法和人脸特征提取算法开发一套人脸搜索管理数据库，预先注册运动员的人脸，当提供新的运动员人脸时，可以在数据库中查找最相似的人脸，进行人脸搜索识别。
70.s302、将运动员的名称和人脸特征向量注册到所述人脸搜索管理数据库；
71.具体的，为每位运动员拍摄若干张照片，利用人脸检测算法和人脸特征提取算法，对每位运动员的照片进行识别和向量提取，将每位运动员的人脸特征向量与对应运动员的名字绑定在一起保存到人脸搜索管理数据库中，以备后续识别。
72.s303、提取判断为有效举单手的前n秒内的所有视频帧画面中运动员的人体关键点，其中，n》0；
73.具体的，当识别到当前已经有运动员举单手(即标准准备动作)时，截取出过去n秒钟所有的视频帧，其中，n可以是1、1.5、2等合理性数值，并提取出人体关键点检测算法检测出的所有帧中举单手运动员的人体关键点。
74.s304、设定每一视频帧画面中人体关键点的坐标点，其中，鼻子关键点坐标为(xn，yn)，胸口关键点坐标为(xc，yc)；
75.s305、根据坐标值计算出鼻子关键点与胸口关键点之间的距离d；
76.示例性的，距离d的计算公式为：
[0077][0078]
其中，d为鼻子关键点与胸口关键点之间的距离，yn为鼻子关键点的纵坐标值，xn为鼻子关键点的横坐标值，yc为胸口关键点的纵坐标值，xc为胸口关键点的横坐标值。
[0079]
s306、截取以鼻子关键点坐标(xn，yn)为中心，以2d为边长的一个正方形区域；
[0080]
其中，截取以鼻子关键点坐标(xn，yn)为中心，以2d为边长的一个正方形区域的作用在于从视频帧画面中截取包含有运动员完整面部的画面，以便后续提取面部的特征向量，当然也可以截取以鼻子关键点坐标(xn，yn)为中心，以2d为直径的一个圆形、六边形等其他形状的区域，只需要包含完整的该运动员面部画面即可。
[0081]
s307、利用人脸检测识别算法对正方形区域内的人脸图片进行识别，以提取出人脸特征向量；
[0082]
具体的，设视频的帧率为n,那么将会截取t个人脸，从而提取出t个人脸特征向量，其中，t取n*n的整数部分，n为步骤303中的n，n*n则为n秒视频中共有多少帧，这里取整数部分记为t。
[0083]
s308、将提取出的人脸特征向量在所述人脸搜索管理数据库中进行相似度匹配；
[0084]
具体的，将上述t个人脸特征向量在人脸搜索管理数据库中与保存的所有运动员的人脸特征进行相似度计算。
[0085]
s309、判定提取出的人脸特征向量与人脸搜索管理数据库匹配成功次数最多的人脸特征向量对应的运动员，即为完成标准准备动作的运动员。
[0086]
其中，对每个特征向量选择所有运动员中与该特征向量最接近的运动员进行投票、排除干扰，这t个与待识别人脸最接近的运动员中出现次数最多的那个运动员即为正举单手的运动员，至此举单手检测加人脸识别完成，即可自动识别到正在举单手的运动员是哪位运动员，以及他已经准备好即将开始做相应的运动项目，从而能够根据识别结果自动控制相应的设备工作开始记录运动员的运动过程，并且能够对做出标准准备动作的运动员进行人脸识别，从而能够将记录的数据与运动员的名称绑定，以便区分记录的数据是哪个运动员的，从而便于后续针对该运动员运动过程更深入的进行技术分析，以便给出优化训练的建议，示例性的，运动项目可以是铅球、标枪、举重等。
[0087]
在进一步的实施例中，还包括：当运动员完成运动项目后，将所有运动员标准准备动作判定和人脸识别状态进行清空，以自动开始下一位运动员的识别；
[0088]
其中，将所有运动员标准准备动作判定和人脸识别状态进行清空是指将上述检测识别状态进行全部清空，以准备进行下一次的检测识别。
[0089]
实施例二
[0090]
请参阅图4，本技术实施例二所涉及的一种识别运动员准备开始运动项目的系统，包括：
[0091]
视频拍摄设备1和电子设备2，所述视频拍摄设备1与所述电子设备2相接；
[0092]
示例性的，视频拍摄设备1可以是摄像机、手机、监控摄像头等，电子设备2为具有数据处理功能的电子设备2，例如：计算机、手机、智慧屏等电子设备2；
[0093]
视频拍摄设备1，用于拍摄准备区运动员正面的实时视频图像，并将拍摄到的实时视频图像传输至电子设备2；
[0094]
示例性的，视频拍摄设备1拍摄到的视频数据可通过有线或无线的方式传输至电子设备2，其中，无线方式可以是wifi、移动网络、蓝牙、局域网等方式；
[0095]
电子设备2包括存储模块21和处理模块22，其中：
[0096]
存储模块21，用于存储设备执行的程序代码，该程序代码包括用于执行如本技术实施例一中的任意一种实现方式中的方法；
[0097]
处理模块22，用于读取存储模块21上的程序代码，以执行如本技术实施例一中的任意一种实现方式中的方法。
[0098]
在进一步的实施例中，所述电子设备2还包括显示模块23，所述显示模块23用于显示准备区运动员准备开始运动项目的识别结果；
[0099]
示例性的，当识别到铅球运动员张三在准备区完成了标准准备动作，则显示模块23上显示文字信息：“运动员张三已准备好开始进行铅球运动项目”。
[0100]
在进一步的实施例中，所述电子设备2还包括语音播报模块24，所述语音播报模块24用于播报准备区运动员准备开始运动项目的识别结果；
[0101]
示例性的，当识别到铅球运动员张三在准备区完成了标准准备动作，则语音播报模块24语音播报：“运动员张三已准备好开始进行铅球运动项目”。
[0102]
实施例三
[0103]
本技术实施例三所涉及的一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如本技术实施例一中的任意一种实现方式中的方法；
[0104]
其中，计算机可读存储介质可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)；计算机可读存储介质可以存储程序代码，当计算机可读存储介质中存储的程序被处理器执行时，处理器用于执行本技术实施例一中识别的方法的各个步骤。
[0105]
实施例四
[0106]
本技术实施例四所涉及的一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本技术实施例一中所述方法的步骤；
[0107]
其中，存储器可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)等，用于存储程序或指令，且存储器上存储的程序或指令能够被所述处理器执行；
[0108]
处理器可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例一中的任意一种实现方式中的方法。
[0109]
处理器还可以是一种集成电路电子设备，具有信号的处理能力。在实现过程中，本技术实施例一中的任意一种实现方式中的方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0110]
上述处理器还可以是通用处理器、数字信号处理器、专用集成电路(asic)、现成可编程门阵列(field programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本技术实施例的数据处理的装置中包括的单元所需执行的功能，或者执行本技术实施例一中的任意一种实现方式中的方法。
[0111]
以上，仅为本技术较佳的具体实施方式；但本技术的保护范围并不局限于此。任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，根据本技术的技术方案及其改进构思加以等同替换或改变，都应涵盖在本技术的保护范围内。