分析体育运动的视频的方法
【专利摘要】本发明涉及一种用于分析体育运动的视频图像的方法、设备、系统和计算机程序产品，并且更特定来说涉及识别视频内的关键运动位置以及自动提取包含体育运动的视频片段。显示体育运动的视频数据包括表示多个图像帧的数据。针对多个图像帧，在所述图像帧与另一个图像帧之间计算一个或多个帧差度量。分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧。展示所述体育运动的含有所述体育运动的所述视频的所述片段是在展示所述关键位置的所述图像帧中的两个之间。可基于像素差度量或光流技术来计算帧差度量。
【专利说明】分析体育运动的视频的方法
【技术领域】
[0001]本发明涉及一种分析体育运动视频图像的方法。更特定来说，本发明涉及识别视频内的关键运动位置以及自动提取包含体育运动的视频片段。
【背景技术】
[0002]许多体育运动的参与涉及一遍又一遍地重复某些动作。以特定方式执行这些动作的连续能力通常对体育运动中的表现良好而言是至关重要的。已经发现不同方法来帮助参与者发展以某种方式重复移动的能力。在这类方法中逐渐使用技术来改进体育运动中的表现。
[0003]视频分析是现代体育训练的一个重要部分。能够看到自己执行动作帮助个体识别技术中的缺陷并纠正所述缺陷。此外，可将视频分析技术应用于体育运动的视频来帮助识别需要改变的动作方面或识别正确执行的动作方面以提供正面反馈。
[0004]以高尔夫球运动为例，高尔夫球手的挥杆技术对其连续击打高尔夫球以及因此表现优秀的能力而言至关重要。多年以来，已经识别优选的高尔夫挥杆技术并且大多数高尔夫球手力求模仿挥杆使其尽可能接近这种优选技术。已经在高尔夫球运动中使用了视频分析来改进高尔夫球手的挥杆。
[0005]视频分析的直接形式是简单地记录高尔夫挥杆并且将其回放来识别高尔夫球手自身或教练无法辨别的缺陷。视频镜头可暂停使得可对展示特定挥杆位置的个别帧进行分析。
[0006]另一种分析方法是将某人的高尔夫挥杆与另一个人的高尔夫挥杆相邻地显示以更容易识别与模范挥杆相比存在的差异。一些现有方法涉及使所述两个挥杆同步，使得一起展示对应的挥杆位置，这使比较变得更容易。
[0007]为了分析高尔夫挥杆，检查某些挥杆位置(诸如，瞄准位置、挥杆顶点位置、击球位置和收杆位置)是有用的。因此需识别展示高尔夫球手在那些位置中的视频帧。
[0008]当捕获高尔夫挥杆的视频镜头时，可能存在记录在挥杆自身每侧的大量镜头，例如当球员正准备挥杆时。这类镜头大部分是多余的并且可能使得难以快速识别实际挥杆动作并且在存储数字视频数据的情况下可能占据宝贵的存储空间。因此需提取仅包含高尔夫挥杆动作的视频镜头片段。
[0009]高尔夫挥杆视频分析的一些现有方法达到这些目标，即提取包含高尔夫挥杆的视频片段或识别关键挥杆位置，或两者。应容易了解识别瞄准位置和收杆位置允许展示将被提取的高尔夫挥杆的视频片段:高尔夫挥杆在视频的所述部分中被展示为介于瞄准位置与收杆位置之间。
[0010]这类现有方法的实例是:
[0011]?手动检查视频挥杆镜头以及识别展示高尔夫挥杆的片段和展示关键运动位置的帧。这很耗费时间，因为其需要用户浏览所有视频镜头。
[0012]?如在US6，537，076和US6，567，536中，检测识别击球时刻的击球声响。挥杆的剩余部分被假定为是在该时刻的任一侧的某一时间内。这种方法需要音频检测装置与视频捕获装置一起运作并且仅能够精确检测击球位置。这种方法运用于不同速度的挥杆将是不可靠的。
[0013]?如在US2006/0281060中，使用其它类型的传感器来检测挥杆的多个部分，例如压力垫。然而，这种方法要求使用另一类型的传感器，其可能是昂贵的并且并非总是便利的。
[0014]?如在US7, 097, 459、US7, 704, 157和US7, 857，708中，将颜色标记或其它可识别
标签置于高尔夫球手和高尔夫球杆上以及自动检测其在视频镜头中的位置。然而，这需要使用并非总是可用的标记或标签，并且如果标记不是置于正确位置，错误便可能发生。
[0015]?如在US2010/0303303中，使用基于目标识别的方法，诸如识别球员的侧影或身体部分。然而，这些方法涉及在应用高尔夫挥杆分析方法之前解决困难的且耗时的人体形状识别问题。因此这些方法非常复杂，需要高级处理能力/内存并且需要一些时间来产生结果。
[0016]?如在KRl01002846中，检测球在视频镜头中的位置以及在运动期间球如何改变。尽管这种方法避免了对除视频捕获装置和处理器以外的器材的需求，但是其依赖于球的存在，而球并非总是可用。还假定在瞄准位置期间球被杆头遮盖且因此对分析从瞄准时球未被杆头遮盖的角度记录的视频并非有用。最后，其通过作出某些假设而估计哪个帧展示收杆位置，所述假设可能并非总是真实。
[0017]在分析高尔夫挥杆的另一方法中，如在US7，200, 282中，使用直线检测方法，诸如霍夫或拉冬变换(Hough or Radon transform),检测高尔夫球杆的位置。这类方法对于高尔夫球杆相对静止的视频片段而言可能是有用的，但是如果球杆快速移动且图像模糊，那么这些方法便不能有效运用。这些方法还需要进行大量计算。
[0018]许多上述技术也可应用于其它体育运动中的运动分析。
[0019]因此，本发明的目的是提供一种分析体育运动的视频图像的改进方法，其至少克服上文论述的缺点中的一些。
[0020]近年来，视频捕获装置已经逐渐被广泛应用。可在许多个人电子装置(诸如数码相机和移动电话)上捕获视频图像。因此人们能够非常简单地捕获执行特定体育运动的个体的视频镜头。如果用来捕获视频镜头的相同装置可以用来分析镜头，那么这将变得便利。因此，本发明的替代目的是提供一种可由个人电子装置执行分析体育运动的视频图像的方法。
[0021]本发明的替代目的是提供一种用于分析体育运动的视频图像的改进设备和/或系统。
[0022]替代地，本发明的目的是为公众至少提供一种有用选择。
【发明内容】
[0023]发明概要
[0024]根据本发明的第一个方面，提供一种用于分析视频的方法，所述视频的至少一部分显示体育运动，所述方法包括下列步骤:
[0025]接收表示T个图像帧的数据；[0026]针对Tc个图像帧中的每个，计算所述图像帧与另一图像帧之间的一个或多个帧差
度量；
[0027]分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧。
[0028]优选地，所述方法还包括识别显示体育运动的视频的部分的步骤。更优选地，识别显示体育运动的视频的部分的步骤包括在体育运动的关键位置中的两个之间选择图像帧。
[0029]优选地，所述方法还包括从帧差度量识别体育运动的一个或多个运动阶段。更优选地，所述方法包括使用运动阶段的识别来识别体育运动的关键位置。
[0030]应理解，“帧差度量”是指示图像帧之间的视频数据中的差分的数量。在本发明的优选实施方案中，所述一个或多个帧差度量包括下列度量中的一个或多个:
[0031]1.图像帧之间的移动量的度量；
[0032]2.图像帧之间的移动位置的度量；和
[0033]3.图像帧之间的移动速度或其导数(诸如加速度)的度量。
[0034]每个帧差度量可以是帧之间的差分的全局度量或局部度量。全局度量可被理解为在基本上整个图像的水平下的度量。局部度量可被理解为在像素或子图像水平下的度量。
[0035]优选地，每个图像帧包括P个像素或像素组，且所述方法还包括:
[0036]针对Tc个图像帧中的每个，将P。个像素或像素组中的每个与另一图像帧中的对应像素或像素组进行比较以及计算一个或多个像素差度量。
[0037]更优选地，像素差度量包括像素或像素组之间的强度差。
[0038]优选地，所述方法包括基于所述一个或多个像素差度量计算所述一个或多个帧差度量。
[0039]更优选地，所述方法包括计算图像帧之间的像素差度量的统计值。优选地，所述方法包括计算超出预定阈值的像素差度量的统计值。像素差度量可以包括下列度量中的一个或多个:
[0040]1.图像帧之间的像素移动量的度量；
[0041]2.图像帧之间的像素移动位置的度量；和
[0042]3.图像帧之间的像素移动速度或其导数(诸如加速度)的度量。
[0043]更优选地，所计算的像素差度量的统计值可包括以下项中的一个或多个:中间值、平均数、第η个百分位数、标注偏差。
[0044]在本发明的第二优选实施方案中，所述方法包括:
[0045]针对Tc个图像帧中的每个，确定像素或像素组与另一图像帧中的对应像素或像素组之间的光流。
[0046]更优选地，确定光流的步骤包括确定每个图像帧与另一图像帧之间的像素或像素组之间的局部相关性。
[0047]在本发明的优选实施方案中，分析帧差度量来识别各自展示体育运动的关键位置的多个图像帧的步骤包括:
[0048]识别在帧差度量中的时间变化的多个模式；和
[0049]使每个模式与体育运动的运动阶段中的一个相关。
[0050]优选地，识别多个模式的步骤包括识别帧差度量中的时间变化的峰和/或谷。
[0051]更优选地，识别多个模式的步骤包括识别图像帧之间的垂直像素移动中的峰和/或谷。
[0052]在本发明的某些实施方案中，决策模型被用来分析帧差度量以识别各自展示体育运动的关键位置的多个图像帧。
[0053]在本发明的优选实施方案中，所述方法包括将图像改进算法应用于视频的步骤。例如，在一个实施方案中，将图像稳定算法应用于视频。
[0054]在本发明的一个实施方案中，所述方法包括应用包括计算光流向量的图像稳定算法以及随后使用光流向量来计算帧差度量。
[0055]在本发明的一个实施方案中，图像改进算法可包括对比增强算法。
[0056]优选地，分析帧差度量的步骤包括将降噪滤波器应用于帧差度量的时间变化。
[0057]优选地，针对计算帧差度量的每个步骤，通过预定数量的图像帧将另一图像帧与所述图像帧分开。更优选地，另一图像帧是前一个帧或后一个帧。
[0058]优选地，帧差度量被计算的图像帧数目Tc等于视频数据中的图像帧数目T。
[0059]优选地，像素或像素组的数目Pc等于图像帧中的像素或像素组的数目P。
[0060]优选地，所述方法还包括将表示展示体育运动的关键位置的图像帧和/或显示体育运动的视频的部分的数据写入计算机可读媒介。所述方法还可包括擦除所有其它数据。
[0061]更优选地，所述方法包括在显示装置上输出展示体育运动的关键位置的图像帧和/或显示体育运动的视频的部分的步骤。
[0062]优选地，所述方法包括在视频捕获装置上记录视频。更优选地，在视频捕获装置上执行分析视频的方法。在一个实施方案中，视频捕获装置是移动电话。
[0063]优选地，所述方法还包括使两个体育运动同步以及在显示装置上一起显示所述两个体育运动。所述两个体育运动可以是一个人执行体育运动的替代视图或两个人执行体育运动的相同视图。更优选地，同步方法包括同时显示每个体育运动的关键位置的图像帧。
[0064]优选地，所述方法还包括计算指示体育运动的持续时间的值。更优选地，指示体育运动的持续时间的值包括展示两个关键位置的图像帧之间消逝的时间。
[0065]在本发明的优选实施方案中，体育运动是高尔夫挥杆。
[0066]在本发明的优选实施方案中，所述方法还包括识别一个或多个图像帧中的目标。更优选地，所述方法包括在展示体育运动的关键位置中的一个的至少一个图像帧中识别目标。
[0067]例如，所述方法包括识别一个或多个图像帧(且特定来说展示瞄准位置和收杆位置的图像帧)中的高尔夫球杆。霍夫或拉冬变换方法可被用来识别高尔夫球杆。
[0068]优选地，所述方法包括构建一条或多条线以及在一个或多个图像帧上显示所述一条或多条线。
[0069]例如在一个实施方案中，所述方法包括在瞄准位置中穿过高尔夫球杆构建第一条线和构建第二条线使其与第一条线成近似17° (在第一条线上方)以及在高尔夫球手侧视图的一个或多个图像帧中显示所述线。在另一实施方案中，所述方法包括近似穿过高尔夫球杆构建垂直线以及在高尔夫球手的前视图的一个或多个图像帧中显示所述线。
[0070]优选地，所述方法还包括分析图像帧以及因此提供改进指令。
[0071]根据本发明的第二个方面，提供一种用于分析视频的设备，所述视频的至少一部分显示体育运动，所述设备包括:[0072]用于接收表示T个图像帧的数据的构件；
[0073]用于针对Tc个图像帧中的每个而计算所述图像帧与另一图像帧之间的一个或多个帧差度量的构件；
[0074]用于分析帧差度量来识别各自展示体育运动的关键位置的多个图像帧的构件。
[0075]优选地，所述设备还包括用于记录视频的视频捕获装置。更优选地，所述设备还包括用于显示关键位置图像帧的构件。
[0076]在本发明的优选实施方案中，所述设备包括移动电话、移动平板计算机或膝上型计算机。
[0077]根据本发明的第三个方面，提供一种用于分析视频的系统，所述视频的至少一部分显示体育运动，所述系统包括:
[0078]用于接收表示T个图像帧的数据的构件；
[0079]用于针对Tc个图像帧中的每个而计算所述图像帧与另一图像帧之间的一个或多个帧差度量的构件；
[0080]用于分析帧差度量来识别各自展示体育运动的关键位置的多个图像帧的构件。
[0081]根据本发明的第四个方面，提供一种计算机程序产品，当由计算机执行时，其促使计算机执行包括下列步骤的方法:
[0082]接收表示T个图像帧的数据；
[0083]针对Tc个图像帧中的每个而计算所述图像帧与另一图像帧之间的一个或多个帧
差度量；
[0084]分析帧差度量来识别各自展示体育运动的关键位置的多个图像帧。
[0085]在阅读了提供本发明的实际应用的至少一个实例的下列描述后，本领域技术人员应明白本发明的其它方面，以其所有新颖方面考量本发明。
【专利附图】
【附图说明】
[0086]下文将仅以举例的方式描述本发明的一个或多个实施方案，且无限制之意，参考下列图，其中:
[0087]图1是示出根据本发明的实施方案的分析高尔夫挥杆的方法的流程图；
[0088]图2是根据本发明的实施方案的用于分析高尔夫挥杆的系统或设备的图示；
[0089]图3是构成根据本发明的实施方案的高尔夫球手的视频的多个图像帧的图示；
[0090]图4是示出根据本发明的一个实施方案的分析视频数据的方法中的步骤的流程图；
[0091]图5是根据本发明的一个实施方案的分析结果的图示；
[0092]图6是由根据本发明的一个实施方案的方法计算的数据的图示；
[0093]图7是图6所示的图形中的一个的部分的图示；
[0094]图8是展示当根据本发明的实施方案的方法应用于图3所示的视频数据时的关键挥杆位置的图像的图示；和
[0095]图9是展示根据本发明的另一实施方案的关键挥杆位置的图像的图示。
【具体实施方式】[0096]在下列描述中，将描述涉及高尔夫挥杆的分析的本发明的实施方案。尽管这是本发明的一个应用，但是应了解这类实施方案仅以举例的方式描述，且在本发明的其它实施方案中，可分析其它体育运动。
[0097]例如，除了高尔夫挥杆之外，本发明的实施方案还可以用来分析棒球杆挥杆、棒球投掷、板球挥击、橄榄球踢、网球拍打和其它体育运动。本发明不限于使用于任何特定体育运动并且本领域技术人员在阅读下列描述后应容易理解本发明可如何应用于分析本文未论述的体育运动。
[0098]图1是示出根据本发明的实施方案的分析高尔夫挥杆的方法100的流程图。图2是根据本发明的相同实施方案用于分析高尔夫挥杆的系统或设备200的图示。
[0099]在步骤101，记录个体进行高尔夫挥杆的视频。视频可以包括某多余镜头，即未展示实际高尔夫挥杆而是展示球员开始或准备挥杆等的视频的部分。视频可以被记录在任何视频捕获装置201上且在一些实施方案中使用易携带的数字装置，诸如摄像机、数码相机、移动电话、平板计算机等等。方便在任何地方记录以及分析高尔夫挥杆是本发明的一些实施方案的优点。
[0100]在数字录像的情况下，步骤101的最终结果是表示共同构成视频的图像帧的数字数据。这类数据可以存储在视频捕获装置上或任何合适的数据存储媒介上，诸如硬盘、存储卡、⑶、软磁盘等等。
[0101]在步骤102，在适用于执行根据本发明的分析步骤的计算机或处理器202上接收代表性数据。在一些实施方案中，处理器202被具体实施于用来捕获视频的相同设备201(例如，移动电话)中，使得仅需要单个装置来捕获并分析视频并且显示分析结果。
[0102]在步骤103，所述方法可以包括将图像改进算法应用于视频数据的步骤。此类算法可被用来改进数据品质且从而改进分析方法的结果。可以使用的图像改进算法的实例包括图像稳定算法、对比增强算法、降噪算法等等。图像稳定算法有助于例如在相机手持于某人手中的情况下减小相机抖动的影响，这可降低所得结果的质量。在所捕获的视频的光质较差的情况下，对比增强算法可能特别有用，例如，在高尔夫练球场上捕获的视频光质可能较差，这是因为这些高尔夫练球场一般处在遮光处。合适的算法在本领域中已是众所周知并且将不进行更详细的论述。
[0103]在步骤104，处理器202计算由处理器接收的多个图像帧的帧差度量。在本发明的上下文中，帧差度量是指示图像帧之间的视频数据中的差分的数量。这个步骤将在下文中进行更详细说明。
[0104]在步骤105，处理器202例如通过将决策模型应用于所计算的帧差度量分析帧差度量。这个步骤也将在下文进行更详细说明。
[0105]在步骤106，处理器202输出步骤105的分析结果。在本发明的实施方案中，分析结果包括各自展示体育运动的关键位置的多个图像帧以及显示体育运动的视频的部分，即无任何多余视频片段。
[0106]体育运动的关键位置应被理解为意指在体育运动分析中被视为重要的任何位置。什么位置是那些关键位置取决于正被分析的体育运动以及参与其中的人员:在个体体育运动中，不同人员可在不同位置中表现出不同程度的重要性。在高尔夫挥杆分析的实例中，关键位置一般被视为高尔夫球手在瞄准、上杆中点、上杆顶点、下杆中点、击球以及送杆时的位置。然而，这些位置仅以举例的方式提及并且高尔夫挥杆中的任何其它位置可被视为关键位置。例如，体育运动的位置仅鉴于其被选择用于显示给用户的事实可以被视为关键位置。
[0107]显示体育运动的视频的部分(在运动的任一侧上无任何多余视频)将通常是但并非总是第一个关键位置与最后一个关键位置之间的视频的部分。在高尔夫挥杆的情况下，相关视频部分包括展示瞄准位置的帧与展示送杆位置或完成位置的地址之间的所有图像帧。在其它实施方案中，可根据需要提取视频的其它部分。所需视频片段的开始或结束可以特定方式涉及例如在从第一个关键位置到最后一个关键位置的某一时间内或多个帧内的某些关键位置。
[0108]在步骤107，由处理器202输出的分析结果被显示在显示装置203上。显示装置203可包括如本领域中已知能够显示图像帧和视频镜头的任何合适装置。在一些实施方案中，显示装置203被具体实施在与处理器202和/或视频捕获装置201相同的设备中。例如，显示装置203可包括移动电话上的屏幕。
[0109]在步骤108，输出的结果还可被自动分析并且以改进指令的形式提供反馈。例如，在高尔夫挥杆的情况下，可检测到高尔夫球杆瞄准时的位置(下文论述)。如果高尔夫球杆所成角度过大或过小，那么可以检测到这种情况并且提供合适反馈，例如(“靠近/远离球”)。
[0110]根据本发明的一些实施方案的显示分析结果的方式将在下文进行描述。
[0111]图3是构成根据本发明的实施方案的高尔夫球手的视频300的多个图像帧301的图示。以30帧/秒(fps)获得的视频记录的持续时间是近似23秒。为方便起见，仅每5个图像帧中的一个展示在图3中。在视频期间，高尔夫球手完成四次高尔夫高挥杆并且展示这些挥杆的图像帧被 突显并且被标记为302。
[0112]视频300是一系列T个图像帧X(t)，每个以数据表示。每个图像帧X由Ρ=[ι\ xnj个像素组成，其中I是图像帧中像素的行数，且η。是像素的列数。图像帧可被表示为:
[0113]Χ(?) = [χ(?)^.],其中 i=l, 2,..., nr, j=l, 2，...，nc 且 t=l, 2，...，Τ。
[0114]图4是示出根据本发明的一个实施方案的分析视频数据的方法400中的步骤的流程图。图4中所示的方法400可以在线视频分析方法实施。
[0115]在步骤401，使用Tc图像帧进行分析。1^可以等于或小于Τ。在所论述的实施方案中，Κ，使得分析所有可用数据。然而，如果仅分析可用帧的子集，那么可以加速处理，但是必须分析足够数量的帧以得到所要结果。在高速视频的情况下(例如，每秒30个或更多个帧)，可能并非需要所有图像帧用于更快速处理以及确保帧之间的图像的充分改变使得可在图像帧之间进行有意义的比较。
[0116]图像帧可作为具有像素强度X的灰度图像处理，其中x(t)是[0，最大像素强度]中的一个数。使用灰度简化所述方法。在其它实施方案中，可使用其它度量，例如像素中的颜色成分。
[0117]在步骤402，选择当前图像帧来进行分析。在一个实施方案中，所述方法可以按顺序对视频中待分析的图像帧进行分析。在另一实施方案中，所述方法可以每隔几帧进行分析以试图得出结果，而无需分析每个帧，仅根据需要对其它帧进行分析。在其它实施方案中，可使用其它方式来选择图像帧的顺序以进行分析。[0118]在步骤403，计算帧差或差分图像D(t)。帧差是当前图像帧X(t)的PC个像素中的每个与过去或将来的另一图像帧X(t-m)的对应像素之间的绝对差分，其中m是t之前帧的数目。
[0119]D (t) = I X (t) -X (t-m) |。
[0120]在其它实施方案中，D(t)是作为对应像素的另一差分函数计算。例如，差分图像D(t)可以是方差、变换差分、绝对差分对数、对数差分等等。
[0121]在一些实施方案中，m=± I。即，帧差是基于前一个图像帧或后一个图像帧之间的差分。然而，m可以是任何整数。例如在对高速视频进行更快速处理以及检测帧之间的图像的更大改变的情况下，可以使用大于I的整数。
[0122]在一个实施方案中，Pc=P,即图像帧中的所有像素与另一图像帧中的像素进行比较。然而，在一些实施方案中，P。小于P，使得在每个帧中仅对像素的子集进行比较或仅对下采样(即，分辨率减小)帧进行比较。这可以提高效率，尤其是在无需处理所有像素即可达成充足结果的高分辨率图像的情况下。在另一实施方案中，在帧之间对像素组进行比较。
[0123]在步骤404，计算一个或多个帧差度量。在当前论述的实施方案中，其中图像帧由像素组成。帧差度量包括帧或其统计值之间的像素差度量。例如，在步骤404a，计算差分比DRatio (dthres)。差分比是在差分图像D中超过预定强度阈值dttoes的像素的比例。
[0124]DRatio (dthres) =Count ([(Iij]≤ dthres) / (nrX nc)。
[0125]差分比是差分图像中移动量(即图像帧之间的移动量)的度量。这是全局度量，因为其涉及整个图像帧(与在像素或`子图像水平下的移动的局部度量相反)。DRatio (dthres)的高位值指示帧之间的大量移动。其对于图像的旋转变换而言是不变的。
[0126]在步骤404b，计算差分位置指示符。假定选定强度阈值ettoes，那么对应于D中超过eth_的像素的二元矩阵E可被定义为:
[0127]E= [(Iij] ^ ethres。
[0128]使eh=[ Σ ^eijl) Σ ^eij2)...Σ ^eijj)]成为总列数 E 的向量，且使ev=[ Σ」(气」)Σ j(e2，j)...Σ j(ei，j)]成为总行数E的向量。下列差分位置指示符被定义为:
[0129]水平差分位置指示符:HDPrctile(p) =第p个百分位数(eh)
[0130]垂直差分位置指示符:VDPrctile(p) =第p个百分位数(ev)
[0131]以上定义的水平和垂直差分位置指示符是图像帧之间的移动位置的度量。P值可以是任意值但是可以例如从[5，25，50，75，95]中选取且多个值还可用于给出一个以上差分位置指示符。
[0132]图5是根据本发明的一个实施方案的分析结果的图示。图5示出被分析X(t)的帧501。帧501是高尔夫球手的高尔夫挥杆方式中的部分的图像。帧差D(t)示于图像502中。这展示在帧501与比较帧(在本实例中，其是紧接着的帧)之间存在差异的所有像素。图像503示出像素在帧差中超过预定阈值ettoes的位置。图形504和505分别示出帧差中超过预定阈值ethres的像素的垂直分布和水平分布。连接图形504和505与图像503的线展示第5、第50和第95个百分位数的近似位置，即HDPrctile(p)和VDPrctile (p)中的每个的三个不同值，其中P等于5、50和95。
[0133]图6是涉及由根据本发明的一个实施方案的方法计算的多个图像帧的数据的图示。图形602是图像帧之间的移动量的度量DRatio对时间(或帧数)的制图。图形603是图像帧之间的移动位置的度量VDPrctile (50)对时间的制图。VDPrctile (50)是超过帧差中的某个阈值的像素的垂直位置的中间值。注意图形603的y轴上的标签与绘制数据的方式相反，事实上，在图形顶部y=0且在底部y=200。
[0134]再参考图4，现在将描述根据本发明的一个实施方案的分析帧差度量来识别高尔夫球手挥杆的关键位置的步骤。在本实施方案中，使用简单的时间识别策略。下文论述的方法的细节涉及分析高尔夫球手的侧视图视频(按照图3)。
[0135]在步骤405，高斯滤波器可被应用于所计算的时间帧差度量数据，目前为止用来减小数据中的噪音。
[0136]在步骤406，试图在帧差度量数据中识别挥杆阶段。区域604、605和606展示在图形602和603的数据中识别挥杆阶段的结果。区域604展示不表示高挥杆的模式。区域605和606指示与帧差度量数据中的模式相关的挥杆阶段。更特定地说，识别四个不同的挥杆阶段。在图6中，这些挥杆阶段被称为“开始”、“上-下”、“下-上”和“结束”。每个挥杆阶段的特征在于帧差度量数据的模式。例如，在开始和结束阶段期间，DRatio的值相对较小，指示小的整体移动。在上-下阶段中间，DRatio和VDPrctiIe (50)同时击到谷底(因此在图603中，VDPrctile (50)是高的，因为y轴是倒置的)，指示移动最小且移动位置处于其最高点的下杆顶点。在下-上阶段或下杆期间，DRatio是最高的，因为身体移动最大。普遍使用的峰检测方法可被用来识别数据中的峰或谷。
[0137]完整的挥杆必须包含连续的所有4个阶段。因此该挥杆阶段特有的特性化模式的检测和一行连续的4个阶段被用来识别数据中的完整挥杆。成功的挥杆识别也可被证实，例如通过确定每个阶段的持续时间。在以每秒30个帧进行视频记录的情况下，对于大多数高尔夫挥杆，每个挥杆阶段应不长于约60个帧。
[0138]在决策步骤407，确定是否已经识别挥杆。例如，挥杆的检测可能需要检测将被连续检测的所有4个挥杆阶段。如果尚未识别挥杆，那么方法返回至步骤402，分析视频数据中另一图像帧的数据。如果已经识别挥杆，那么方法继续前进到步骤409。
[0139]在步骤408，基于数据中所识别的挥杆阶段，识别展示挥杆的关键位置的图像帧。图7是如图6所示的图形603的部分的图示。图7所示的图形701是包括表示第一次完整挥杆的数据的图形603的部分。
[0140]下文说明如何识别展示关键挥杆位置的图像帧的实例:
[0141]瞄准-在开始阶段VDPrctile (50)中的主峰位置；
[0142]挥杆顶点-上-下阶段中VDPrctile (50)中的主谷的位置；
[0143]击球-下-上阶段中VDPrctile (50)中的主峰的位置；
[0144]收杆-结束阶段中VDPrctile (50)中的主谷的位置；和
[0145]上杆和下杆-如果峰到谷(Peak-to-Tough)=开始阶段VDPrctile (50)中的主峰-上-下阶段中VDPrctile (50)中的主峰,且交比(CrossRatio)=用于确定上杆位置和下杆位置的峰到谷的选取比率，那么上杆帧和下杆帧=瞄准帧和击球帧之间的第一个位置和最后一个位置，其中VDPrctile(50)分别在第一个位置和第二个位置处于谷上方交叉(交比*峰到谷)。在一个实施方案中，交比近似等于0.3。在另一实施方案中，可选择0.5。
[0146]在本发明的一些实施方案中，可使用目标检测方法来识别体育运动中的某些目标并且可选地使用所述目标检测来帮助或证实挥杆阶段和/或关键位置的识别。在高尔夫挥杆分析的情况下，可使用高尔夫球杆检测方法，例如直线检测算法。
[0147]再参考图6，图形601示出图形帧的霍夫变换中峰角检测的结果。S卩，图形601中的数据表示图像帧中高尔夫球杆的角度。在替代实施方案中，可使用拉冬变换或任何其它合适算法。可在球杆相对静止的瞄准位置和收杆位置处进行最精确地识别球杆角度和位置。
[0148]在图4中的步骤409，输出其中示出关键挥杆位置的图像帧。图8是示出在根据本发明的实施方案的方法被应用于图3所示的视频数据时的关键挥杆位置的图像的图示。针对所记录视频中四个挥杆中的每个，提供六个关键位置。在所示实施方案中，已经应用目标检测算法来指示瞄准时高尔夫球杆的位置。这在所有帧中由线来展示。
[0149]在步骤410，输出展示高尔夫挥杆的初始记录视频的部分。这个部分以包括瞄准位置与收杆位置之间的图像帧的视频数据的形式输出，并且也可根据需要包括这些位置的任一侧的数个图像帧。在图3所示的视频的情况下，将输出四个短视频片段，每个片段示出所记录的挥杆中的一个。
[0150]由于内存需求和处理速度的减小，仅输出关键位置帧而不输出所提取的高尔夫挥杆片段可能是有利的。
[0151]在步骤410之后，方法可返回到步骤402以继续分析可能存在的任何更多挥杆的视频。
[0152]应注意，本发明的方法步骤中的一些可以同时发生或以不同顺序发生。仅出于说明目的，图4的步骤被展示为依次进行。通过视情况同时执行方法的一些步骤，本发明的方法能够满足“实时”操作，或至少极短的处理时间。
[0153]图9是根据本发明的另一实施方案示出关键挥杆位置的图像的图示。图9示出“专业球手”挥杆901的关键挥杆位置且这些关键挥杆位置与对象902的三次挥杆的等效关键挥杆位置对齐。以此方式显示图像帧对于对象将其挥杆与专业球手的挥杆进行比较极其有用。
[0154]在图9的图像帧中，在所有帧中显示第一条线903，其标记瞄准帧中高尔夫球杆的位置。在优选实施方案中，使用目标检测算法(诸如霍夫变换)构建这条线。还构建并显示第二条线904。已发现将第二条线904绘制成与第一条线903近似成17° (其中这个角度对着高尔夫球杆头)提供有用的教学工具。第二条线904跨高尔夫球手的肩膀而经过。可能需要观察到身体的某些部位相对于第二条线904的位置，例如在击球时高尔夫球手的手应该大致在第一条线903与第二条线904之间。
[0155]在分析高尔夫球手的前视图的另一实施方案中，构建并显示在瞄准位置时近似延伸穿过高尔夫球杆的垂直线。再者可以使用适当的目标检测算法来达成这种做法。这对于观察整个挥杆过程中高尔夫球手的头部相对于这条线的移动可能是有用的。
[0156]在本发明的一个实施方案中，仅使用帧差度量DRatio来识别挥杆阶段且因此识别关键帧位置。在另一实施方案中，垂直方向上的移动量可以是用来识别挥杆阶段且因此识别关键帧位置的帧差度量。不同度量可以在识别体育运动中提供不同优点且因此在不同场合下可能是有用的。在其它实施方案中，使用一个以上帧差度量并且度量之间的交叉证实可以提高运动分析方法的精确性。识别不同挥杆阶段和关键位置的规则可能需要根据使用何种度量而改变。
[0157]如上文所论述，帧差度量可以包括HDPrctile (P)和VDPrctile (p)，即超过预定阈值的帧差中像素的各自垂直分布和水平分布。在一些情况下，计算沿着旋转角度的这类分布使得移动变化更精确地预测所捕获运动可能更加有利。例如，在高尔夫挥杆的情况下，可以计算在瞄准位置时在平行于球杆的平面的方向上的分布。在瞄准位置时在垂直于球杆的平面的方向上的分布可能无法产生最优结果，因为在这个方向上高尔夫球移动将是最小的。
[0158]上述实例说明可如何在从后面捕获的高尔夫挥杆的视频数据中识别挥杆阶段且因此识别关键位置。用于识别所述挥杆阶段和关键位置的规则限于展示这个特定角度的这种类型的体育运动的视频。然而，原理可以简单地适于延伸所述方法以在已经识别帧差度量中的适当模式时识别其它角度以及其它体育运动的运动阶段和关键位置。
[0159]在上述实例中，基于规则的模型被用来从帧差度量识别挥杆阶段和关键位置。在其它实施方案中，可以使用用于数据分类、识别和回归的其它预测性和/或机器学习模型，诸如隐马尔可夫模型(Hidden Markov Model),状态空间模型、有限状态机、回归方法、支持向量机、神经网络以及模糊逻辑。当遇到学习许多不同类型的体育运动并将其分类的任务时，利用机器学习技术的方法特别有利。
[0160]在本发明的替代实施方案中，帧差度量(其为图像帧之间的移动速度的度量)的计算被用来分析体育运动视频。例如，计算图像帧之间的像素移动的速度(由速度和方向两者组成)。
[0161]在本发明的一个实施方案中可以使用光流技术来计算相邻帧之间的所有像素的像素移动速度。可将任何已知的光流技术应用于图像帧中的像素或像素组，其使用邻近相关功能来导出像素移动速度值。这些速度是可针对时间绘出并被分析以用与已描述的方式类似的方式来识别挥杆阶段和关键位置图像帧的帧差度量值。
[0162]在其中使用光流技术的本发明的实施方案中，应用图像稳定算法可能是有利的，因为光流向量可作为图像稳定算法的部分来计算(例如，如在H.Farid和J.B.Woodward于2007 年 9 月所著的 Video Stabilization and Enhancement, TR2007-605, Department ofComputer Science, Dartmouth College中所述),其随后可以在分析方法中使用，因此获得使用图像稳定算法和改进处理速度的优点。
[0163]光流技术相较于上文关于图4论述的方法可能具有更大的计算量，这是因为光流技术计算受关注的每个像素/像素组的像素/像素组速度的局部估计。
[0164]在本发明的一些实施方案中，提供一种具体实施本发明方法的计算机程序产品。例如，能够对视频数据执行本发明的分析的程序可能能够被安装在计算机或计算装置上，诸如移动电话或平板计算机。在一个实施方案中，计算机程序产品可作为可安装在装置上的可下载产品使用。例如，计算机程序产品可被供应为移动电话上的应用程序。
[0165]下文提供被配置为执行根据本发明的一个实施方案的体育运动分析方法的部分的计算机程序产品的伪代码:
[0166]
【权利要求】
1.一种分析视频的方法，所述视频的至少一部分显示体育运动，所述方法包括下列步骤: 接收表示T个图像帧的数据； 针对Tc个所述图像帧中的每个，计算所述图像帧与另一图像帧之间的一个或多个帧差度量； 分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧。
2.根据权利要求1所述的方法，其中，所述方法还包括识别显示所述体育运动的所述视频的部分的所述步骤。
3.根据权利要求2所述的方法，其中，识别显示所述体育运动的所述视频的所述部分的所述步骤包括选择在所述体育运动的两个所述关键位置之间的图像帧。
4.根据前述权利要求中任一项所述的方法，其中，所述方法还包括从所述帧差度量识别所述体育运动的一个或多个运动阶段。
5.根据权利要求4所述的方法，其中，所述方法包括使用所述运动阶段的识别来识别所述体育运动的所述关键位置。
6.根据前述权利 要求中任一项所述的方法，其中，所述一个或多个帧差度量包括下列度量中的一个或多个: 图像帧之间的移动量的度量； 图像帧之间的移动位置的度量；和 图像帧之间的移动的速度或其导数的度量，其中，所述导数是加速度。
7.根据前述权利要求中任一项所述的方法，其中，每个帧差度量是帧之间的差的全局度量。
8.根据前述权利要求1到6中任一项所述的方法，其中，每个帧差度量是帧之间的差的局部度量。
9.根据前述权利要求中任一项所述的方法，其中，每个图像帧包括P个像素或像素组并且所述方法还包括: 针对所述Tc个图像帧中的每个，将P。个像素或像素组中的每个与另一图像帧中的对应像素或像素组进行比较且计算一个或多个像素差度量。
10.根据权利要求9中所述的方法，其中，所述像素差度量包括像素或像素组之间的强度差。
11.根据权利要求9到10中任一项所述的方法，其中，所述方法包括基于所述一个或多个像素差度量计算所述一个或多个帧差度量。
12.根据权利要求9到11中任一项所述的方法，其中，所述方法包括计算图像帧之间的像素差度量的统计值。
13.根据权利要求12所述的方法，其中，所述方法包括计算超过预定阈值的像素差度量的统计值。
14.根据权利要求9到13中任一项所述的方法，其中，所述像素差度量包括下列度量中的一个或多个: 图像帧之间的像素移动量的度量； 图像帧之间的像素移动位置的度量；图像帧之间的像素移动的速度或其导数的度量，其中，所述导数是加速度。
15.根据权利要求12到14中任一项所述的方法，其中，所计算的像素差度量的所述统计值可包括以下项中的一个或多个:中间值、平均值、第η个百分位数、标准偏差。
16.根据权利要求1到8中任一项所述的方法，其中，所述方法包括: 针对Tc个图像帧中的每个，确定所述像素或像素组与另一图像帧中的对应像素或像素组之间的光流。
17.根据权利要求16所述的方法，其中，确定光流的所述步骤包括确定每个图像帧与另一图像帧之间的像素或像素组之间的局部相关性。
18.根据前述权利要求中任一项所述的方法，其中，分析所述帧差度量以识别各自展示所述体育运动的关键位置的多个图像帧的所述步骤包括: 识别帧差度量中时间变化的多个模式；和 使每个模式与所述体育运动的所述运动阶段之一相关。
19.根据权利要求18所述的方法，其中，识别多个模式的所述步骤包括识别帧差度量中的所述时间变化的峰 和/或谷。
20.根据权利要求19所述的方法，其中，识别多个模式的所述步骤包括识别图像帧之间的垂直像素移动中的峰和/或谷。
21.根据前述权利要求中任一项所述的方法，其中，所述方法还包括使用决策模型来分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧。
22.根据前述权利要求中任一项所述的方法，其中，所述方法包括将图像改进算法应用于所述视频的步骤。
23.根据权利要求22所述的方法，其中，所述方法还包括将图像稳定算法应用于所述视频。
24.根据权利要求23所述的方法，当其附属于权利要求16时，其中，所述方法包括应用包括计算光流向量的图像稳定算法且随后使用所述光流向量来计算所述帧差度量。
25.根据权利要求22到24中任一项所述的方法，其中，所述图像改进算法包括对比增强算法。
26.根据前述权利要求中任一项所述的方法，其中，分析所述帧差度量的所述步骤包括将降噪滤波器应用于帧差度量中的时间变化。
27.根据前述权利要求中任一项所述的方法，其中，针对计算所述帧差度量的每个步骤，所述另一图像帧与所述图像帧分开预定数量的图像帧。
28.根据权利要求27所述的方法，其中，所述另一图像帧是在先或随后的帧。
29.根据前述权利要求中任一项所述的方法，其中，帧差度量被计算的图像帧的数目Τ。等于所述视频数据中的图像帧数目Τ。
30.根据权利要求9到29中任一项所述的方法，当附属于权利要求9时，其中，像素或像素组的数目Pc等于所述图像帧中的像素或像素组的数目P。
31.根据前述权利要求中任一项所述的方法，其中，所述方法还包括将表示展示所述体育运动的所述关键位置的所述图像帧和/或显示所述体育运动的所述视频的所述部分的数据写入计算机可读介质。
32.根据前述权利要求中任一项所述的方法，其中，所述方法包括下列步骤:输出展示所述体育运动的所述关键位置的所述图像帧和/或在显示装置上显示所述体育运动的所述视频的所述部分。
33.根据权利要求32所述的方法，其中，所述方法还包括使两个体育运动同步以及在所述显示装置上一起显示所述两个体育运动。
34.根据权利要求33所述的方法，其中所，述同步的方法包括同时显示每个体育运动的所述关键位置的图像帧。
35.根据前述权利要求中任一项所述的方法，其中，所述方法包括在视频捕获装置上记录所述视频。
36.根据权利要求35所述的方法，其中，在所述视频捕获装置上执行分析所述视频的所述方法。
37.根据前述权利要求中任一项所述的方法，其中，所述方法还包括计算指示所述体育运动的持续时间的值。
38.根据权利要求37所述的方法，其中，指示所述体育运动的所述持续时间的所述值包括展示两个所述关键位置中的图像帧之间消逝的时间。
39.根据前述权利要求中任一项所述的方法，其中，所述体育运动是高尔夫挥杆。
40.根据前述权利要求中任一项所述的方法，其中，所述方法还包括在一个或多个所述图像帧中识别目标。
41.根据前述权利要求中任一项所述的方法，其中，所述方法包括在展示所述体育运动的所述关键位置之一的所述图像帧的至少一个中识别所述目标。
42.根据权利要求41所述的方法，其中，所述方法包括使用霍夫或拉冬变换方法来识别高尔夫球杆。
43.根据权利要求40到42中任一项所述的方法，其中，所述方法包括构建一条或多条线以及在一个或多个所述图像帧上显示所述一条或多条线。
44.根据前述权利要求中任一项所述的方法，其中，所述方法还包括分析所述图像帧和因此提供改进指令。
45.一种用于分析视频的设备，所述视频的至少一部分显示体育运动，所述设备包括: 用于接收表示T个图像帧的数据的装置； 用于针对Tc个所述图像帧中的每个来计算所述图像帧与另一图像帧之间的一个或多个帧差度量的装置； 用于分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧的装置。
46.根据权利要求45所述的设备，其中，所述设备还包括用于记录所述视频的视频捕获装置。
47.根据权利要求45或46所述的设备，其中，所述设备还包括用于显示所述关键位置图像帧的显示装置。
48.根据权利要求47所述的设备，其中，所述设备包括移动电话、移动平板计算机、或膝上型计算机。
49.一种用于分析视频的系统，所述视频的至少一部分显示体育运动，所述系统包括: 用于接收表示T个图像帧的数据的装置；用于针对Tc个所述图像帧中的每个来计算所述图像帧与另一图像帧之间的一个或多个帧差度量的装置； 用于分析所述帧差度量来识别各自展示所述体育运动的关键位置的多个图像帧的装置。
50.一种计算机程序产品，当由计算机执行时，所述计算机程序产品促使所述计算机执行包括下列步骤的方法: 接收表示T个图像帧的数据； 针对Tc个所述图像帧中的每个来计算所述图像帧与另一图像帧之间的一个或多个帧差度量； 分析所述帧差度量来识别各自 展示所述体育运动的关键位置的多个图像帧。
【文档编号】G06K9/46GK103688275SQ201280031761
【公开日】2014年3月26日 申请日期:2012年6月27日 优先权日:2011年6月27日
【发明者】陈信恒 申请人:陈信恒