用于体育视频识别的快速对象跟踪框架的制作方法
【专利说明】用于体育视频识别的快速对象跟踪框架
【背景技术】
[0001 ]本发明总体上设及数字内容处理，并且特别地设及来自由移动计算设备捕获的视 频的体育视频内容中的对象跟踪。
[0002] 运动对象(诸如高尔夫挥杆)的运动检测和跟踪广泛地用于增强运动员的表现。W 高尔夫作为示例，高尔夫是一项通常需要对高尔夫球杆的运动进行良好控制的运动，并且 对通过运动传感器检测到的高尔夫挥杆运动的精确分析能够增强高尔夫运动员的表现。增 强运动员的运动表现的一个方式是通过跟踪运动员的快速运动的高尔夫球杆来分析运动 数据。
[0003] -些传统的捕获运动员的运动的系统使用能够捕获对象(诸如高尔夫球杆或棒球 棒)的速度和/或加速度的另外的设备。替选地，基于执行运动的运动员的视频来执行对运 动的分析。可W使用手持式设备来捕获体育视频。然而，用于手持式设备的对象跟踪的传统 解决方案还面临实际上精确地跟踪感兴趣对象运一挑战，感兴趣对象通常非常快速地运动 并且在体育视频中发生剧烈的变形。手持式设备时常具有有限的计算能力和存储器，并且 因此对视频的分析可能花费不可接受地长的时间量。另外，由于视频尺寸的原因，手持式设 备的用户可能不想向具有较大计算资源的不同计算设备传输视频。
【发明内容】
[0004] 本发明的实施例提供一种跟踪体育视频内容中的运动员的运动的解决方案。运动 跟踪服务跟踪执行体育运动的运动员的运动并且显示所分析的数据W使得运动员能够确 定运动的特性。
[000引公开了一种用于跟踪体育视频中的对象的计算机实现的方法。该方法的实施例包 括确定是否在前一视频帖中识别出对象的位置。如果在前一视频帖中识别出对象的位置， 则基于对象在前一视频帖中的所识别的位置而在当前视频帖中识别对象的新的位置。基于 对象在前一视频帖中的所识别的位置W及经训练的对象分类模型来识别对象在当前视频 帖中的期望位置。确定新的位置是否与期望位置一致，并且如果新的位置与期望位置一致， 则存储新的位置作为对象在当前帖中的位置。
[0006] 另一方面提供了一种存储用于如W上所描述地跟踪体育视频中的对象的可执行 计算机程序指令的非暂态计算机可读存储介质。说明书中所描述的特征和优点并非全部是 包括性的，特别地，本领域普通技术人员鉴于附图、说明书和权利要求可W想到很多另外的 特征和优点。另外，应当注意，说明书中所使用的语言在原理上被选择W用于可读性和指导 目的，而非可能被选择W描绘或限制所公开的主题。
【附图说明】
[0007] 图1是根据一个实施例的用于跟踪体育视频内容中的对象的计算环境的框图；
[0008] 图2是图示根据一个实施例的用于用作客户端设备的计算机的示例的框图；
[0009] 图3是根据一个实施例的运动跟踪引擎的框图；
[0010]图4是图示根据一个实施例的用于体育视频中的对象跟踪的过程的示例性流程 图；
[0011 ]图5A、图5B和图5C是图示根据一个实施例的用于跟踪体育视频中的对象的过程的 示例性流程图；
[0012] 图6A是根据一个实施例的用于捕获高尔夫体育视频的视觉覆盖的示例性用户界 面；
[0013] 图6B是根据一个实施例的用于捕获棒球体育视频的视觉覆盖的示例性用户界面；
[0014] 图7A是根据一个实施例的在背景减除之后的示例性视频帖；
[0015] 图7B示出根据一个实施例的在背景减除之后的高尔夫视频帖的另一示例；
[0016] 图8A是根据一个实施例的高尔夫球杆的所跟踪的位置的示例性图；
[0017] 图8B是根据一个实施例的高尔夫球手的手部的所跟踪的位置的示例性图；
[0018] 图9A、图9B和图9C是根据一个实施例的用于呈现所跟踪的对象在高尔夫体育视频 中的轨迹的示例性用户界面；
[0019] 图9D是根据一个实施例的用于呈现图9A-9C中所图示的高尔夫体育视频的统计的 示例性用户界面；
[0020] 图10A、图10B和图10C是根据一个实施例的用于呈现所跟踪的对象在棒球体育视 频中的轨迹的示例性用户界面；
[0021] 图10D是用于呈现图10A-10C中所图示的棒球体育视频的分析统计的示例性用户 界面；W及
[0022] 图11A、图11B和图11C是根据一个实施例的用于呈现所跟踪的对象在另一棒球体 育视频中的轨迹的示例性用户界面。
[0023] 附图仅出于说明目的描绘本发明的各种实施例。本领域技术人员根据W下讨论将 很容易认识到，可W采用本文中所说明的结构和方法的替选实施例而没有偏离本文中所描 述的本发明的原理。
【具体实施方式】 巧024] 系统概述
[0025] 提供了一种用于跟踪视频中的运动员的运动的解决方案。运动跟踪服务跟踪对象 在体育视频中的运动并且分析所跟踪的对象。通过从体育视频减去背景信息来检测体育视 频中的对象，并且使用经离线训练的对象分类模型(例如离线机器学习）来跟踪体育视频中 的对象。分析体育视频的跟踪结果。W用户友好的方式向运动员提供对跟踪结果的分析。
[0026] 图1是根据一个实施例的用于跟踪体育视频内容中的对象的运动的计算环境100 的框图。图1中所图示的实施例包括通过网络120连接到彼此的多个客户端设备110(例如 1104、1108和110〇^及运动跟踪服务130。计算环境100的实施例可^具有连接到网络120 的很多客户端设备110和运动数据设备130。同样，由图1的各种实体执行的功能在不同的实 施例中可W不同。
[0027] 客户端设备110是由用户使用W执行诸如消费数字内容、执行软件应用、浏览网络 120上由web服务器托管的网站、下载文件等功能的电子设备。例如，客户端设备110可W是 媒体流设备、智能电话或者平板、笔记本或台式计算机。客户端设备110包括用户可W在其 上查看视频或其他内容的显示设备和/或与运样的显示设备接口连接。另外，客户端设备 110提供用户界面化I)，诸如物理按钮和/或屏上按钮，用户使用其可W与客户端设备110交 互W执行诸如查看、选择和消费数字内容(诸如运动指导视频)等功能。在一个实施例中，客 户端设备110具有用于跟踪在由客户端设备110捕获的体育视频中的对象的对象跟踪引擎 300。下面参考图3进一步描述对象跟踪引擎300。
[0028] 对象跟踪服务130包括用于存储不同的体育视频内容和复杂性的大视频语料库的 离线数据库132、用于存储由客户端设备110捕获的视频的视频数据库134、W及用于训练对 象分类模型W对具有期望品质的体育视频分类的离线学习模块136。离线学习模块136向客 户端设备110提供经训练的模型W对由客户端设备110捕获的视频实时地分类。下面参考图 3进一步描述离线学习模块136。
[0029] 在本公开内容中，"视频内容"、"数字内容"或"数字媒介内容"通常指代任何机器 可读和机器可存储的工作。数字内容可W包括例如视频、音频或者视频和音频的组合。替选 地，数字内容可W是静态图像，诸如肝EG或GIF文件或者文本文件。出于简化和描述一个实 施例的目的，数字内容将称为"视频V'视频文件"或"视频项目"，但是运一术语并非意在对 能够分析的类型的数字内容的任何限制。
[0030] 网络120实现客户端设备110与对象跟踪服务130之间的通信。在一个实施例中，网 络120包括因特网并且使用标准的通信技术和/或协议。在另一实施例中，实体可W使用定 制的和/或专用的数据通信技术。 巧031]计算系统架构
[0032] 使用一个或多个计算机来实现图1所示的实体。图2是根据一个实施例的用于用作 对象跟踪服务130和/或客户端设备110的计算机200的高层框图。图示为被禪合到忍片组 204的至少一个处理器202。也被禪合到忍片组204的是存储器206、存储设备208、键盘210、 图形适配器212、指示设备214和网络适配器216。显示器218被禪合到图形适配器212。在一 个实施例中，由存储器控制器集线器220和I/O控制器集线器222提供忍片组204的功能。在 另一实施例中，存储器206被直接禪合到处理器202而非忍片组204。
[0033] 存储设备208是任何非暂态计算机可读存储介质，诸如硬盘驱动器、光盘只读存储 器(CD-R0MKDVD