一种基于智能手机和人工智能的投篮训练系统与方法与流程

本发明涉及投篮训练系统，尤其涉及一种基于智能手机和人工智能的投篮训练系统与方法。

背景技术：

投篮训练在篮球中占有非常大的比重，但是对于大众来说投篮练习大多靠视频教程来进行模仿学习，缺乏动作标准与否、篮球抛物线轨迹记录、命中率记录这些重要数据的反馈和记录。

目前的投篮训练主要有两种方式：第一，通过视频设备采集，在视频回放时进行人工记录或者通过线下一对一教学的方式，但是此种方式价格昂贵，需要大量的人力，并且效率低下；第二，采用智能球、球场加入位置传感器，利用传感器的方式记录投篮以及相关训练的动作记录分析，此种方式需要投入很大的精力在特殊传感器的研发上，价格较高，普及率很低，不利于广大篮球爱好者进行使用。可见，目前面临的主要是价格昂贵、使用不便的问题。因此，如何为篮球训练者在智能手机上这类方便的设备上提供一种智能记录分析、价格低廉易用的篮球训练系统或方法显得非常重要。

技术实现要素：

发明目的：本发明针对现有技术中缺少篮球智能化训练反馈，以及篮球训练数据记录需要大量人工记录，且人工记录不准确的问题，提出一种基于智能手机和人工智能的投篮训练系统与方法。

技术方案：本发明基于智能手机和人工智能的投篮训练系统，该投篮训练系统包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统；

球场定位系统基于轮廓提取检测方法初步检测，或采用对球场边线检测的卷积神经网络对所用球场的界线、中线、罚球线、限制区和罚球区的边线进行在手机图像坐标系下的位置检测；根据检测出人和球的位置相对于以定位边线、罚球线、中线的相对位置，进行对球的位置和人员位置的定位；

篮筐检测系统基于目标检测方法或轮廓提取方法进行篮筐的位置检测，并基于目标跟踪方法对篮筐进行跟踪和实时检测；

球员身份识别系统基于人脸识别方法对球员身份进行初步判别和建立，然后融合人体目标检测方法和目标跟踪方法对球员进行人体在图像坐标系中的检测框位置和身份进行确认，方便后续系统的构建；其中检测框位置即目标位置；

球员动作分析系统基于球员身份识别系统获取球员的位置、球员检测的目标框大小和球员的身份，根据此位置信息和检测框大小的信息，基于姿态估计方法获取球员的身体关节点的位置信息；

篮球轨迹记录系统篮球轨迹记录系统基于目标检测方法对篮球进行检测，以及使用目标跟踪方法对篮球轨迹进行跟踪记录；并基于球场定位系统对球的位置以及目标大小进行记录；

进球检测系统根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；

可视化回放系统将获得的信息以及视频的帧存储并回放。

球场定位系统中，对球场边线检测的卷积神经网络通过深度学习模型学习球场的界线、中线、罚球线、限制区和罚球区的边线标注数据。

篮筐检测系统中，目标检测方法为基于深度学习方法或传统目标检测方法；基于深度学习方法为深度学习模型学习标注篮筐的标注数据获得篮筐检测模型用于篮筐检测；传统目标检测方法为使用harr特征+adaboost+cascade方法，或hog特征+svm方法进行篮筐检测。

轮廓提取方法为在检测的时候预先设定了篮筐的形状、颜色特征，使用时在图像中进行形状、颜色特征进行相似性匹配。

目标跟踪方法为深度学习方法或传统跟踪方法；深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化；传统跟踪方法为基于循环矩阵和傅里叶变换，以及meanshift、particlefilter、kalmanfilter滤波，或基于特征点的光流方法来预测跟踪篮筐目标在下一帧图像中的位置。

人体目标检测方法为利用深度学习的方法学习人体目标标注的数据来获得人体检测模型用于人体目标的检测。

姿态估计方法为通过采用深度学习方法对标注的人体关键点进行学习。

本发明基于智能手机和人工智能的投篮训练系统的训练方法，包括以下步骤：

(1)进行球场定位及篮筐检测，首先将智能手机进行架设，将手机屏幕的检测框对准篮筐，自动启动篮筐检测方法；

(2)进行球员身份识别，启动人脸识别方法、目标检测及跟踪方法进行球员身份确认及记忆，获取球员位置和检测框信息；

(3)进行球员动作分析，即根据球员位置和检测框信息运行基于深度学习的姿态估计方法，获取球员的身体关节点以及手部关节点的二维或三维信息；根据不同关节点的距离和角度信息判断球员的动作信息；

(4)对篮球轨迹进行记录，屏幕中出现篮球时，对篮球进行持续检测和跟踪以获取篮球的位置和检测框信息；

(5)对进球进行检测，即根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；

(6)对投篮训练过程进行回放，对上述步骤(2)至(5)获得的信息及视频的帧进行存储回放。

步骤(3)中，根据球场定位信息运行三维重建方法以获取人体关节点以及手部关节点的三维信息。

有益效果：与现有篮球训练系统和方法相比，本发明具有以下优点：

(1)本发明投篮训练该系统不仅能满足在电脑、云端服务器的运行要求，还针对智能手机的系统，如安卓和ios，以及运算设备如cpu、npu、dsp上进行了运算优化设计以及适配，可应用在智能手机上，如应用在手机app上。

(2)本发明提供了基于人工智能的科学训练指导以及训练数据，如动作分析、进球轨迹、出手角度数据的记录分析，方便了篮球训练者的投篮训练，并改善了现有投篮训练系统的不足，将人工智能真正带入到篮球训练中。

(3)依赖人工智能以及多种算法融合提供智能科学指导以及方便直观的反馈，并且利用针对智能手机的加速技术将算法移植到智能手机中并随时使用，针对广大篮球爱好者提供了一种全新的训练方式和体验。

附图说明

图1是本发明的系统结构图；

图2是本发明的实例说明图；

图3是本发明的智能手机架设方式说明图；

图4是本发明中球框检测使用示意图；

图5是本发明中手势关节点的示意图；

图6是本发明中人体关节点的示意图；

图7是本发明中投篮出手角度和速度示意图；

图8是本发明中投篮位置及命中情况可视化示意图。

具体实施方式

如图1所示，本发明投篮训练系统包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统；以上系统各个系统之间的顺序和关系可以根据需要调整。

球场定位系统的构建是基于传统轮廓提取检测方法进行初步检测，或采用对边线检测的卷积神经网络对所用球场的界线、中线、罚球线、限制区和罚球区的边线进行在手机图像坐标系下的位置检测，使用人员可以根据检测的效果在手机上拖动边线进行定位，这样球场的界线、中线、罚球线就在像素坐标系下的位置变为已知，可根据检测出人的位置和球的位置相对于以定位边线、罚球线、中线相对位置，进行球的位置、人员位置的定位。

其中，对边线检测的卷积神经网络通过深度学习模型学习球场的界线、中线、罚球线、限制区和罚球区的边线标注数据，以获得边线检测模型用于球场边线检测。

篮筐检测系统基于目标检测方法或轮廓提取方法进行篮筐的位置检测，基于目标跟踪方法对篮筐进行跟踪和实时检测。其中，目标检测方法为基于深度学习方法为采用深度学习模型学习标注篮筐的标注数据获得篮筐检测模型用于篮筐检测。

传统方法为使用harr特征+adaboost+cascade方法，或hog特征+svm方法进行篮筐检测。

轮廓提取方法进行篮筐的位置检测时，即在进行检测的时候预先设定了篮筐的形状、颜色这些标志性特征，使用时在图像中进行形状、颜色标志性特征进行相似性匹配，进而进行篮筐的位置检测。

目标跟踪方法为深度学习方法或传统跟踪方法，其中深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统跟踪方法为基于循环矩阵以及傅里叶变换实现的方法，以及meanshift、particlefilter、kalmanfilter的滤波方法，或基于特征点的光流方法来预测跟踪篮筐目标在下一帧图像中的位置，进而实现对篮筐的跟踪和实时检测。

球员身份识别系统基于人脸识别方法对球员身份进行初步判别和建立，然后融合人体目标检测方法和目标跟踪方法对球员进行人体在图像坐标系中的检测框位置和身份进行确认，方便后续系统的构建；其中检测框位置即目标位置。

人体目标检测方法为利用深度学习的方法学习人体目标标注的数据来获得人体检测模型用于人体目标的检测。

目标跟踪方法包括深度学习方法和传统方法，其中，深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统方法为基于循环矩阵和傅里叶变换的方法，以及meanshift、particlefilter、kalmanfilter的滤波方法，或基于特征点的光流方法来预测跟踪人体目标在下一帧图像中的位置。

球员动作分析系统的构建基于球员身份识别系统获取球员的位置、球员检测的目标框大小和球员的身份，根据此位置信息和检测框大小的信息，基于姿态估计方法获取球员的身体关节点的位置信息。同时也会使用对篮球的检测技术获得篮球的检测框的位置和大小信息，依据此关节点的位置信息、篮球检测框的位置和大小信息对球员的不同动作进行分析和判别，以获取其投篮的出手角度、出手点高度、身体各部分在不同时刻和位置的角度和姿势、脚离地面的高度等与球员身体有关的所有动作信息，具体的说，通过记录和分析人体的关键点可以还原出球员的动作轨迹，如人在抬起左手手臂时手肘以及手腕的关键点会有一定的运动轨迹，据此运动轨迹进行动作的判别和分析，结合篮球的检测框信息可以更多的对动作进行分析；据此球员的动作分析系统构建完成。

其中，姿态估计方法为通过采用深度学习方法对标注的人体关键点进行学习，以获得预测人体关键点的模型来对人体的关键点进行预测。

篮球轨迹记录系统基于目标检测方法对篮球进行检测，以及使用目标跟踪方法对篮球轨迹进行跟踪记录；并基于球场定位系统对球的位置以及目标大小进行记录，依据此方法可以对球的运动轨迹进行记录。

该目标检测方法为深度学习方法或传统目标检测方法；其中，深度学习方法为采用深度学习模型学习标注篮球的标注数据获得篮球检测模型用于篮筐检测。传统目标检测方法为使用harr特征+adaboost+cascade方法，或hog特征+svm方法对篮球进行检测。

目标跟踪方法为深度学习方法或传统目标跟踪方法；其中深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统目标跟踪方法为基于循环矩阵和傅里叶变换实现的方法，以及meanshift、particlefilter、kalmanfilter的滤波方法，或基于特征点的光流方法来预测跟踪篮球目标在下一帧图像中的位置，对篮球轨迹进行跟踪记录。其中篮球轨迹为篮球检测框在视频中的连续位置信息组合成轨迹。

进球检测系统，根据球场定位系统及篮筐检测系统获得篮筐的位置和检测框大小，根据获得的篮球的位置和目标大小，与篮框的目标和大小进行比较和判断，如果篮球的目标框被篮框的目标框完全框住，则可判定为进球，或者根据深度学习方法对篮球检测框被篮框检测框完全框住的场景使用进球分类的深度学习模型进行判别是否进球，据此可以判别是否有球进入篮筐。

可视化回放系统，根据进球检测系统得到的在一段视频中进球的相关信息进而得到进球时刻的信息，根据球员动作分析系统得到球员的投篮出手时刻信息以及上篮动作的时刻信息，根据此信息对一段视频中的相关时刻进行截取保存，如从投篮出手到篮球进框检测时刻的这段视频保存为投篮出手回放视频，在此视频中绘制篮球轨迹记录系统获得的篮球轨迹信息，同时根据球场定位系统获得球员在出手时刻在球场的位置，结合进球检测系统球是否进入的结果绘制篮球出手在不同位置的命中率记录图以及命中率展示。

本发明基于智能手机和人工智能的投篮训练方法包括以下步骤：

(1)进行球场定位及篮筐检测；

(2)进行球员身份识别；

(3)进行球员动作分析；

(4)对篮球轨迹进行记录；

(5)对进球进行检测；

(6)对投篮训练过程进行回放。

如图2所示，本发明投篮训练的具体过程如下：

步骤1中，在进行球场定位及篮筐检测之前，需将智能手机进行架设，如图3所示，为方便使用，对智能手机的架设方式有三种：

(a)非训练球员a手持智能手机b对准所要使用的球场和球框；

(b)使用手机支架c进行手机架设，对准所要使用的球场和球框；

(c)将智能手机开启前置摄像功能，依靠放置在地上的水瓶、书包使手机不倒下的物体，保持镜头对准所要使用的球场和球框。

智能手机架设好后，进行球场定位及篮筐检测，如图4所示，保持手机屏幕中8个小矩形组成的检测框对准所要使用的篮筐或者保证要使用的篮筐出现在屏幕中，自动启动篮筐检测方法，该检测方法采用深度学习方法或传统目标检测方法。

此时，若在智能手机架设的方式采用手持和支架时，将会通过深度学习方法或传统检测方法或轮廓提取方法启动界线、中线、罚球线边线检测方法；如果检测效果不准确，可以手动进行调整以完成球场定位；若在步骤1中智能手机架设的方式采用放置在地上倚靠其他物体时，则需要球员在罚球线位置进行一次投篮，将检测到的球员投篮位置视为罚球线的位置，以此种方式完成球场定位系统的粗略构建。

步骤2，对球员身份进行识别，球员走进手机拍摄范围后，会启动人脸识别方法、目标检测及跟踪方法进行球员身份的确认及记忆，同时会实时检测出该球员的位置以及检测框的大小，至此，只要该球员在此次训练中处于手机拍摄范围内的任意时刻的位置和检测框的大小均为已知状态。通过此种方式，可以进行多人同时投篮训练。

步骤3，对球员动作进行分析，根据步骤2，获取了球员的位置和检测框的信息，根据此信息运行基于深度学习的姿态估计方法，获取球员的身体关节点以及手部关节点的2d即二维信息，该2d信息为只有在图像坐标系下的x轴方向信息、y轴方向信息。

如图5、图6所示，基于步骤1的球场定位信息可运行三维重建方法以获取人体关节点以及手部关节点的3d信息，该3d信息即在真实世界坐标系下x轴方向的信息、y轴方向的信息、z轴方向的信息，具体为，图5中0-20序号的点定义为用于训练手势关键点检测模型的预设点位，后续使用的时候也是通过手势关键点模型预测球员手部的序号为0-20的点。通过不同关节点的距离和角度信息判断此时球员的动作信息。具体的讲，判断球员是否投篮出手及上篮出手时需要结合步骤2、4的球员检测框信息、篮球检测框信息判断球距离人体的距离，并结合基于深度学习或机器学习的出手动作分类模型算法综合判定此时是否为球员出手的时刻或者正在出手过程中的时刻。确定投篮出手的相关情况后，进一步分析手势关节点的变化趋势和关节点之间的关系以获得投篮手势，出手角度，篮球初速度信息。如图7所示：s代表出手点距离篮筐的水平距离，θ代表篮球出手角度，代表篮球出手速度，h代表出手点距离篮筐的竖直高度；根据人体腿部和躯干的关节点来判断出手时腿部弯曲角度、身体姿势、挑起离地高度等信息。

步骤4，对篮球轨迹进行记录，当屏幕中出现篮球时，系统中的目标检测方法，即深度学习方法或者传统方法将篮球检测方法和目标跟踪方法，即传统方法或者深度学习方法将篮球进行持续的跟踪检测并赋予篮球一个跟踪的“身份信息”，当其他新的篮球进入相机拍摄范围后会自动被忽略，因为只跟踪第一个被检测到的篮球。对篮球进行持续的检测和跟踪获取篮球的位置和检测框的2d信息，基于步骤1中对球场进行定位进行三维重建，获取篮球位置和检测框的3d信息。

步骤5，对进球进行检测，当篮球检测框信息和球框的检测框信息满足条件后运行进球检测算法，如采用几何面积计算的方法或者采用基于深度学习的进球分类模型方法，具体为，利用深度学习训练标注为进球时刻的篮筐和篮球的图片以获得进球分类模型用于判别是否进球，进行进球检测以获得某次篮球出手是否进球的类别信息。

步骤6，可视化回放系统，将步骤1、2、3、4、5获得的信息以及相关视频的帧进行存储，具体可以存储为投篮姿势回放，投篮回放，投篮位置及是否进球记录图回放。如图8所示，实心原点表示在此位置投篮进球，空心打叉点表示在此位置出手没有进球。类似，对每次投篮从出手到进球或不进球的请况进行记录，并可以回放。

本发明的系统和方法因为使用了针对智能手机的加速技术，所以能够在智能手机上运行，如果不采用针对智能手机的加速技术则可以使用在连接摄像头的线下主机或者云端进行使用，此系统的使用场景以及使用设备的变化均在此本发明的权利范围内；另外以上实例仅是针对说明此系统功能的一个应用子场景，由此衍生的其他应用场景和情况以及此系统的任何一种功能均在本发明的权利范围内。