用于光学跟踪运动场地中的运动员的系统和方法与流程

本发明涉及光学跟踪，并且更特别地涉及用于自动地捕获场地内的运动赛事的可广播视频的基于区域的光学跟踪。

背景技术：

记录和广播职业级别的运动赛事是非常常见的做法。观众能够体验他们无法亲自参加的赛事，并重温过去的赛事中激动人心的时刻。这将赛事开放给更广泛的观看者，增加了潜在的收视率，并且使赛队和联盟两者均受益。观看赛事直播的观众也可以通过获得附加的有利位置(vantagepoint)和能够观看重要时刻的重播使他们的体验得以提升。类似地，运动员和教练通过能够重温和研究重要的比赛而受益，以便提升他们的战术。

通常，运动赛事的有质量广播需要大量的设备和人力。根据赛事的类型，可以在整个场地上散布20个或更多个摄像机，许多摄像机必须由摄影师手动操作以跟随比赛动作。在中央控制室处接收来自每个摄像机的馈送，若干操作者在该中央控制室选择适当的馈送以最好地描绘在比赛中展开的动作。上述馈送必须飞速地被编辑以产生观众可以在他们的电视、计算机或者移动设备上追随的可广播产品。

不利地是，产生有质量广播的高成本使得这样的做法在较低级别的运动中无法负担。少数职业联赛诉诸于使用较少的摄像机，并进行较低质量的广播。半专业联赛、少年联赛、青年联赛和业余联赛通常根本无法负担记录或广播比赛，从而如果个人观众和教练希望重温和研究这些比赛的话，则拍摄比赛的负担就留给这些观众和教练。

为使运动赛事的广播更容易获得，已经做出了若干努力。这些努力中的大多数涉及使大部分过程自动化，以便减少所需人力劳动的量。特别地，已经开发出专用的系统，该专用的系统采用计算机控制的摄像机以跟踪比赛中的运动员并自动地生成可广播的馈送。

例如，us2010/0026809公开了使用嵌入在运动员装备内的收发器、加速度计、应答器和/或可radar检测的元件以分别三维地跟踪运动员的方位。定位信息被馈送到计算机系统，该计算机系统控制不同位置处的2d摄像机的摇摄、倾斜和变焦来捕获比赛。

另一个示例是us6,567,116，其也公开了三维地跟踪运动员。系统采用了使用粘贴于运动员装备的频率选择性反射贴片、贴纸或胶带，以便用作标记。分散在整个场地中的跟踪摄像机检测反射的辐射，以便识别和定位标记的对象和运动员。位置信息随后被馈送到计算机系统，该计算机系统可以将标记的对象与对象的背景分开。相关专利us7,483,049公开了使用这样的跟踪系统来引导多个固定的可调整侧视摄像机用于捕获和记录比赛赛事。

不利地是，现有技术的系统仍然过于昂贵以至于无法在所有级别的运动中使用。虽然操作这些系统需要较少的人力，但这些系统需要额外的设备，诸如多个跟踪摄像机、嵌入式跟踪设备或反射贴片，这增加了系统的成本和复杂性。此外，现有技术的全自动化系统依赖于观看者选择期望的视角，因此无法在不具有人为干预的情况下产生给予比赛的最佳视图的高质量视频广播。

因此，需要一种在运动场地中使用的改进的运动员跟踪系统，该跟踪系统使总体成本降低，同时能够在无需人为干预并且使设备成本降低的情况下自动地产生运动赛事的高质量视频广播。

技术实现要素：

根据本发明的一方面，提供了一种用于自动地捕获场地内的运动赛事的可广播视频的方法。该方法包括以下步骤：将场地划分成多个感兴趣区域；通过使用至少一个固定跟踪摄像机确定场地中的各个运动员在感兴趣区域内的相应位置，光学地跟踪各个运动员；基于各个运动员的相应位置，执行聚类分析以识别感兴趣区域内的运动员群组；确定感兴趣区域中包含最多数量的个体运动员的一个给定感兴趣区域；分析感兴趣区域中的所述给定感兴趣区域内各个运动员和运动员群组的活动，以选择对应于所述活动的当前比赛场景，所述当前比赛场景选自一组预定的比赛场景；基于当前比赛场景，实时调整广播摄像机的摇摄、倾斜或变焦，从而改变广播摄像机的视场并且捕获运动赛事的可广播视频。

在一种实施方案中，基于与感兴趣区域中的所述给定感兴趣区域相关的各个运动员中至少之一或运动员群组中至少之一的当前位置、速度或方向，选择当前比赛场景。

在一种实施方案中，该方法包括识别在相邻的感兴趣区域之间转移的各个运动员或运动员群组，并且基于在相邻区域之间转移的各个运动员或运动员群组的当前位置、速度或方向选择当前比赛场景。

在一种实施方案中，该方法包括预测所述各个运动员或运动员群组在相邻的第一区域和第二区域之间的转移，并且分析所述各个运动员和运动员群组在第一区域和第二区域两者内的活动，以便选择当前比赛场景。

在一种实施方案中，光学地跟踪各个运动员包括以下步骤：从由至少一个固定跟踪摄像机捕获的跟踪视频的帧中提取前景斑块(blob)；基于前景斑块在跟踪视频的帧内的位置确定前景斑块的方位；将前景斑块中的每一个与各个运动员中的一个相应运动员相关；以及维护被跟踪运动员的列表，所述列表中的每个被跟踪运动员与该运动员的预定数量的最后获知方位相关联。

在一种实施方案中，将前景斑块相关包括：将前景斑块的方位与所述列表中具有最接近于该前景斑块的最后获知方位的运动员进行匹配，并且如果发现匹配，则更新所述列表，使得与该运动员相关联的最后获知方位对应于该前景斑块的方位，而如果没有发现匹配，则向所述列表中添加新的被跟踪运动员，该新的被跟踪运动员具有与该前景斑块的方位相对应的最后获知方位。

在一种实施方案中，从由至少一个固定跟踪摄像机捕获的跟踪视频的帧中提取前景斑块包括使跟踪视频的连续帧相减以获得差图像，并且通过以下步骤从差图像中提取前景斑块：对差图像应用阈值以获得背景上的前景斑块二进制图像；模糊二进制图像以去除噪声；以及对二进制图像运行定轮廓算法以提取斑块。

在一种实施方案中，该方法包括识别对应于移动运动员的移动斑块和对应于静止运动员的静止斑块。移动斑块从所述差图像中提取，静止斑块从所述跟踪视频的单个帧中提取。

在一种实施方案中，选择当前比赛场景包括：将各个运动员和运动员群组的活动与一预定模式进行匹配，所述预定模式与所述一组预定的比赛场景中的特定比赛场景相关联。

在一种实施方案中，该方法包括对所述场地进行划分使得感兴趣区域对应于所述场地内的比赛场的区域。

在一种实施方案中，该方法包括通过将跟踪区域映射到所述场地内的比赛场上来校准所述至少一个固定跟踪摄像机，所述跟踪区域是一下述区域：在该区域内，跟踪视频用于光学地跟踪各个运动员，而在该区域外，所述跟踪视频被忽略。

在一种实施方案中，使用多个固定跟踪摄像机跟踪各个运动员，并且该方法包括以下步骤：归一化所述多个跟踪摄像机的跟踪数据，并且融合来自所述多个跟踪摄像机的跟踪数据，以便在所述场地内全局地跟踪各个运动员。

在一种实施方案中，该方法包括：对各个运动员的位置执行聚类分析以识别所述场地内的运动员全局群组，并且基于所述全局群组的当前位置、速度或方向选择比赛场景。

在一种实施方案中，该方法包括捕获记分板视频并且将该记分板视频合成在可广播视频上的步骤，该记分板视频包括所述场地内的记分板的视频。

在一种实施方案中，该方法包括调整广播摄像机的摇摄、倾斜或变焦，使得所述视场被限制为包含在感兴趣区域中的所述给定感兴趣区域内或在所述场地内的最左边运动员、最右边运动员、最上端(topmost)运动员和最下端(bottommost)运动员。

在一种实施方案中，该方法包括通过网络将该可广播视频以直播的形式进行广播。

该方法的另一实施方案可以包括上述实施方案的任意组合。

根据本发明的一方面，提供了一种用于自动地捕获场地内的运动赛事的可广播视频的系统。该系统包括至少一个固定跟踪摄像机、广播摄像机和处理系统。该至少一个固定跟踪摄像机被配置成捕获场地中运动员的跟踪视频。该广播摄像机被配置成捕获运动赛事的可广播视频，并且该广播摄像机能远程受控制以调整其摇摄、倾斜或变焦。该处理系统可操作地耦合到该至少一个跟踪摄像机和广播摄像机。该处理系统被配置成：将场地划分成多个感兴趣区域；通过使用所述至少一个固定跟踪摄像机确定所述场地中的各个运动员在感兴趣区域内的相应位置，光学地跟踪各个运动员；基于各个运动员的相应位置，执行聚类分析以识别感兴趣区域内的运动员群组；确定感兴趣区域中包含最多数量的个体运动员的一个给定感兴趣区域；分析感兴趣区域中的所述给定感兴趣区域内的各个运动员和运动员群组的活动，以选择对应于所述活动的当前比赛场景，所述当前比赛场景选自一组预定的比赛场景；以及基于当前比赛场景，实时调整广播摄像机的摇摄、倾斜或变焦，从而改变广播摄像机的视场并且捕获运动赛事的可广播视频。

在一种实施方案中，存在多个跟踪摄像机，并且多个跟踪摄像机中的每一个被分配为捕获所述场地中的多个感兴趣区域中的一个特定感兴趣区域的跟踪视频。

在一种实施方案中，所述至少一个跟踪摄像机包括光学跟踪模块。该光学跟踪模块被配置成：从由至少一个固定跟踪摄像机捕获的跟踪视频的帧中提取前景斑块；基于前景斑块在跟踪视频的帧内的位置确定前景斑块的方位；以及将前景斑块的方位的坐标传送到处理系统，所述坐标是在没有另外将跟踪视频传送到处理系统的情况下被传送。

在一种实施方案中，该系统包括可操作地耦合到处理系统的记分板摄像机，该记分板摄像机被配置成捕获场地内的记分板的记分板视频。处理系统被配置成将该记分板视频合成在可广播视频上。

该系统的另外的实施方案可以包括上述实施方案的任意组合。

根据本发明的一方面，提供了一种具有一个或多个指令序列的非暂时性机器可读介质。当在运动赛事期间由可操作地连接到场地中的至少一个跟踪摄像机和远程可控广播摄像机的一个或多个处理器执行时，所述指令使该一个或多个处理器执行以下步骤：将场地划分成多个感兴趣区域；通过使用至少一个跟踪摄像机确定场地中的各个运动员在感兴趣区域内的相应位置，光学地跟踪各个运动员；基于各个运动员的相应位置，执行聚类分析以识别感兴趣区域内的运动员群组；确定感兴趣区域中包含最多数量的个体运动员的一个给定感兴趣区域；分析感兴趣区域中的所述给定感兴趣区域内的各个运动员和运动员群组的活动，以选择对应于所述活动的当前比赛场景，所述当前比赛场景选自一组预定的比赛场景；基于当前比赛场景，实时调整广播摄像机的摇摄、倾斜或变焦，从而改变广播摄像机的视场并且捕获运动赛事的可广播视频。

附图说明

图1是根据一种实施方案的用于自动地捕获场地内的运动赛事的可广播视频的系统的示意图。

图2是在图1的系统中使用的跟踪摄像机的示意图。

图3a和图3b是示出了将感兴趣区域映射到比赛场上的示意图。

图4是示出了根据一种实施方案的用于自动地捕获场地内的运动赛事的可广播视频的方法的流程图。

图5是示出了在图4的方法中使用的用于光学地跟踪各个运动员的方法的流程图。

图6是示出了在图5的方法中使用的用于从跟踪视频的帧中提取前景斑块的方法的流程图。

图7是示出了在图4的方法中使用的用于识别对应于转守为攻(breakaway)的比赛场景的方法的流程图。

图8是示出了在图4的方法中使用的用于从一组预定的比赛场景中选择比赛场景并且用于调整广播摄像机的摇摄、倾斜和变焦值的方法的流程图。

图9a、图9b和图9c是示出了调整广播摄像机的摇摄、倾斜和变焦值以改变该广播摄像机的视场的示意图。

图10是示出了合成在运动赛事的可广播视频上的记分板视频的示意图。

具体实施方式

下面描述本发明的各方面的优选的实施方案。除此之外还存在许多方式来实施本发明。照此，所提供的实施例不应被认为是以任何方式限制本发明的范围。

系统

根据本发明的一方面，提供了一种用于自动地捕获场地内的运动赛事的可广播视频的系统。该系统被配置成跟踪场地内的运动员、记录比赛动作以及向观看者广播比赛动作的视频馈送。参照图1，示意性地示出了系统100的一种实施方案。该系统100安装在运动场地101中，在本实施方案中该运动场地为曲棍球竞技场。其他类型的运动场地也是可能的，诸如例如橄榄球场、足球场或棒球场。运动场地101包括比赛场102，在本实施方案中该比赛场为曲棍球冰场。在其他实施方案中，其他类型的比赛场也是可能的，诸如篮球场、或者足球场、橄榄球场或棒球场。通常，运动场地101包括其他要素，诸如观众和运动员的休息区域。运动场地还可以包括记分板109，以用于可视地显示比赛得分。

系统100包括面向比赛场102的至少一个固定跟踪摄像机200。至少一个跟踪摄像机200被称为是固定的，原因在于其被定位在特定方位并在该方位进行校准，并且没有被设计成移动的。换言之，该至少一个跟踪摄像机的视场(fov)优选地是静态的，原因在于该至少一个跟踪摄像机不能进行摇摄或倾斜。在示出的实施方案中，存在三个固定跟踪摄像机200，但在其他实施方案中可以设置更多或更少的跟踪摄像机。在本实施方案中，跟踪摄像机200在比赛场102的一侧等距地间隔开。这些跟踪摄像机200还定位于比赛地面的边缘上方且距离该边缘一定距离，以基于跟踪摄像机200的水平和竖向的fov得到最优的覆盖范围。在本实施方案中，每个跟踪摄像机优选地覆盖比赛场102的约三分之一，然而摄像机的视场可以存在重叠。

参照图3a和图3b，跟踪摄像机200可以被布置和校准成覆盖场地中的特定跟踪区域300。在本实施方案中，跟踪摄像机200被布置和校准成将跟踪区域300映射到比赛场102上。这样，只有当对象位于跟踪区域300内时才会被跟踪。在跟踪区域300之外的对象，例如在看台中的观众或在运动员休息区304的运动员，可以被忽略或滤除。

跟踪摄像机200还可以被配置成使得每个跟踪摄像机被分配为捕获特定感兴趣区域的跟踪视频。在本实施方案中，比赛场102被划分成三个感兴趣区域，301、302和303。这些感兴趣区域中的每一个均对应于比赛场的一区域。在本实施方案中，第一感兴趣区域301对应于曲棍球冰场的防守区，第二感兴趣区域302对应于中区，以及第三感兴趣区域303对应于进攻区。当然，其他区域划分也是可能的。例如，其他感兴趣区域可以对应于开球圈。每个跟踪摄像机200’、200”和200”均被定位成主要捕获在其所分配的感兴趣区域中的跟踪视频。如果摄像机的fov重叠，则每个摄像机可以单独进行校准，以便忽略该摄像机的视场内的、在该摄像机的被分配感兴趣区域之外发生的运动。

本发明的范围允许摄像机的数量及其位置可以在其他实施方案中改变。例如，在给定的比赛场上，可以使用少至1个或多至“n”个的跟踪摄像机。对于n个摄像机，每个摄像机均可以覆盖比赛场的约1/n，其中各个摄像机的fov之间可以重叠。另外地，各个跟踪摄像机之间的间距不一定需要是等距的。一些摄像机可以较紧密地在一起，而其他摄像机较远地间隔开。例如，可以将若干摄像机聚簇在一起以便跟踪场上严重拥挤(trafficked)的区域，而较少的摄像机可以较远地散布开以跟踪不太拥挤的区域。当然，当摄像机之间的间距不等距时，各个摄像机之间的fov重叠可能有所不同。

跟踪摄像机200的功能是向系统提供有关比赛场102上的运动员移动的信息。参照图2，每个跟踪摄像机单元200由视频摄像机202构成，该视频摄像机包括跟踪视频捕获模块204、光学跟踪模块206和通信模块208。该视频摄像机202可以被配置成例如以可见光谱、红外光谱或者可见光谱和红外光谱两者捕获视频。跟踪视频捕获模块204负责使用设置在跟踪摄像机200中的传感器捕获跟踪视频。光学跟踪模块206从捕获模块204接收视频信号，并执行机器视觉算法以便跟踪视频信号中的斑块。在本实施方案中，该光学跟踪模块206的输出由视频中识别出的斑块的x位置和y位置以及大小的三元组构成。这些三元组可以称为斑块的方位或坐标。然而，在其他实施方案中，坐标可以包括其他参数，诸如例如z位置或定向。跟踪模块206的输出经由通信模块208、通过有线或无线连接210传送到处理系统，以用于进一步处理。应该注意的是，在本实施方案中，通过该连接210仅传送坐标的三元组，而非传送跟踪视频本身，从而减少了所需带宽的量。

在本实施方案中，单个跟踪摄像机单元200包括捕获模块204、跟踪模块206和通信模块208。换言之，对原始跟踪视频馈送的处理和对斑块的光学跟踪均在摄像机200本地发生。这些模块例如可以是视频摄像机202的组成部分，或者可以是附接于视频摄像机202的单板计算机的一部分。

再参照图1，系统100还包括用于捕获运动赛事的视频的两个附加的摄像机。第一个是广播摄像机106，该广播摄像机是定位于场中心附近、优选地与跟踪摄像机在同一侧的视频摄像机。该广播摄像机106是可移动的，并且可以经由应用程序接口(api)远程地受控制，以调整该广播摄像机的摇摄、倾斜和变焦(ptz)。根据可能的实施方案，ptz可以通过经由致动器物理地移动摄像机或镜头进行调整，或者通过应用视频效果数字地进行调整。广播摄像机106用于捕获运动赛事中的动作的视频馈送。第二个附加的摄像机是记分板摄像机108。该记分板摄像机108是指向场地101中的记分板109的视频摄像机。该记分板摄像机用于捕获对记分板109的视频馈送，该视频馈送稍后可以合成在来自广播摄像机的视频馈送上。

跟踪摄像机200、广播摄像机106和记分板摄像机108各自均与处理系统110通信。在本实施方案中，处理系统是计算单元110，诸如例如服务器。与计算单元110的通信可以经由本地网络实现，或者可以经由有线或无线连接实现。计算单元110包括至少处理器和存储器。计算单元被配置成从每个跟踪摄像机200接收x、y和大小数据形式的跟踪数据。然后，计算单元100对跟踪数据执行软件实施的方法以确定比赛类型，然后控制广播摄像机106的ptz以得到比赛动作的最佳视图。计算单元110还可以从广播摄像机106和记分板摄像机108两者接收视频馈送，并且可以由此创建合成视频以示出比赛动作和当前得分两者。所得到的合成图像可以在通过网络111诸如例如因特网分发或广播到客户端设备112之前被进一步操纵以添加其他效果或图形，上述客户端设备诸如为计算机、智能电话、平板计算机或其他这样的设备。

在一些实施方案中，可以通过内容传递网络(contentdeliverynetwork，cdn)在因特网上广播视频。在这样的实施方案中，由广播摄像机106和记分板摄像机108捕获的视频被流式传输到cdn。视频可以直接从摄像机流式传输，或者也可以通过计算单元110流式传输。然后，cdn负责对视频进行转码以用于与各种平台兼容，并且负责将该视频分发到客户端设备112。该视频被传递到在客户端设备112上运行的本机应用程序，并且该视频还可以经由web应用程序而可用。在一些实施方案中，该视频可以以运动赛事的直播视频馈送的形式分发到客户端设备112。

系统100还可以包括其他设备或传感器，以进一步增强所广播的视频。例如，系统可以配备有麦克风或麦克风阵列，以用于捕获运动赛事和观看者的声音。麦克风可以是定向的或非定向的，并且可以战略性地置于整个场地。在一些实施方案中，广播摄像机106可以设置有定向麦克风，使得捕获广播摄像机106的视场中的声音。该系统还可以包括能够摇动、倾斜和缩放的麦克风，该麦克风的摇动、倾斜和缩放可以以类似于广播摄像机106的方式由处理系统110控制，以便跟随比赛动作。

本发明的优点在于其允许其他实施方案根据不同的需要进行扩展。例如，在其他实施方案中，系统可以包括定位于比赛场周围或上方的其他有利方位处的多个广播摄像机。另外地，对于较大的场可以使用较多的跟踪摄像机，而对于较小的场可以使用较少的跟踪摄像机。在一些实施方案中，计算单元可以位于现场。在其他实施方案中，计算单元可以是在现场外并且可以是基于云的，以进一步减少所涉及的硬件的量。根据可能的实施方案，每个摄像机均可以是高清晰度的(hd)或处于较高分辨率，诸如2k或4k。最后，跟踪摄像机和广播摄像机可以集成到单个单元中，以进一步降低成本和所涉及的设备的量。

方法

根据本发明的一方面，提供了一种用于自动地捕获场地内的运动赛事的可广播视频的方法。该方法包括用于跟踪运动员、记录比赛动作以及向观看者广播视频馈送的步骤。该方法优选地在诸如上文所描述的系统上执行。

广义地描述，并参照图4，该方法包括以下步骤：将场地划分成感兴趣区域402；光学地跟踪各个运动员500；识别感兴趣区域中的运动员群组406；确定包含最多运动员的感兴趣区域408；分析具有最多运动员的感兴趣区域中的活动410；选择对应于该活动的比赛场景412；以及根据该比赛场景调整广播摄像机的摇摄、倾斜和变焦414。500和414之间的步骤持续地重复，使得持续地跟踪运动员并且实时地更新广播摄像机的ptz。

参照图5，光学地跟踪各个运动员的步骤500可以包括以下步骤：捕获跟踪视频502；从跟踪视频的帧中提取前景斑块600；确定前景斑块的方位504；将斑块方位传送到处理系统506；融合来自多个跟踪摄像机的跟踪数据508；将斑块与各个运动员相关510；以及维护被跟踪运动员的列表512。上述步骤可以持续地重复。

这些步骤中的许多步骤可以在中央处理系统上执行，而一些步骤可以卸载到其他专用模块，诸如跟踪摄像机上的专用模块。在一种实施方案中，该方法可以包括首先分析跟踪摄像机单元上的视频数据，以确定与运动员或运动员群组相对应的斑块的x、y和大小信息。接下来，处理系统从多个摄像机单元接收斑块信息，并运行软件实施的过程以便分析比赛动作。最后，处理系统控制广播摄像机以提供比赛动作的最佳视图。

在目前描述的实施方案中，该方法的第一部分可以在每个跟踪摄像机单元上执行。参照图5和图6，跟踪摄像机单元的光学跟踪模块可以执行以下步骤：

a)读取视频帧图像，在读取另一视频帧图像之前等待一段时间，502。

b)使两个连续的图像相减，以得到绝对差图像，604。

c)应用阈值以将该差图像转换为二进制图像，606。

d)对该二进制图像应用模糊滤镜以去除噪声，608。

e)应用另一阈值以锐化该二进制图像，610。

f)执行定轮廓处理以从背景中提取前景斑块，612。

g)基于斑块的大小辨别斑块，以去除不想要的噪声和在大小方面小于“n”个像素的斑块。

h)基于图像宽度和高度将斑块的绝对像素x、y位置转换为归一化的0.0-1.0值，504。

i)将每个斑块的x、y位置以及大小的三元组流式传输到处理系统，以用于在该软件实施的过程中使用以确定比赛类型，506。

j)从步骤a)开始重复。

在一种实施方案中，该方法可以包括使用差图像处理技术来提取静止斑块而不是提取移动斑块。这可以允许系统更好地处理未移动的运动员。参照图6，该方法可以包括确定斑块是否在移动的步骤602。如果斑块在移动，则如上所述正常地执行步骤a)至j)。如果斑块未移动，则通过分析单帧跟踪视频来确定该斑块的方位。照此，不用对差图像执行分析，并且跳过了使连续帧相减的步骤。

在本实施方案中，该方法的第二部分可以在处理系统上执行。处理系统的功能是从跟踪摄像机接收运动员位置信息，执行用于确定比赛类型的程序，以及控制广播摄像机的ptz。可以通过分析感兴趣区域内的运动员的活动并且从一组预定的比赛场景中选择一比赛场景来确定比赛类型。该组场景可以包括例如开球、转守为攻或运动员移动。可以基于感兴趣区域中运动员的模式或者运动员或运动员群组的事件序列来选择场景。一旦选择了场景，就根据场景调整广播摄像机的ptz以提供比赛动作的最佳视图。

在一种实施方案中，可以由处理系统持续循环地执行以下步骤。在当前所描述的实施方案中，该系统包括用于跟踪四个感兴趣区域中的运动员的四个跟踪摄像机，这四个感兴趣区域为：防守区(区域1)、中区的最接近防守区的一半(区域2)、中区的最接近进攻区的一半(区域3)和进攻区(区域4)。

处理系统从每个跟踪摄像机单元异步地接收数据。该数据处于在跟踪摄像机单元中检测到的每个斑块的x、y位置及大小的三元组的列表的形式。

基于摄像机的fov像素宽度和高度，对每个斑块的x和y位置进行归一化：

-斑块位置x＝0意指跟踪摄像机水平fov最左像素。

-斑块位置x＝1.0意指跟踪摄像机水平fov最右像素。

-斑块位置y＝0意指跟踪摄像机竖向fov最顶部像素。

-斑块位置y＝1.0意指跟踪摄像机竖向fov最底部像素。

在本实施方案中，对于所有的4个跟踪摄像机，y位置是相同的，并且不进行修改。然而，在其他实施方案中，y位置可能需要归一化。需要对所有的4个跟踪摄像机的x位置进行归一化，其中：

-摄像机1，x位置的范围从0到0.25。

-摄像机2，x位置的范围从0.25到0.50。

-摄像机3，x位置的范围从0.50到0.75。

-摄像机4，x位置的范围从0.75到1.0。

归一化的斑块数据置于工作斑块列表中。

然后，处理系统执行运动员跟踪过程，该跟踪过程将过去的数据与现存的数据(工作斑块列表，或者被跟踪运动员的列表)进行匹配，以确定哪些斑块是相同的但在空间和时间上有所偏移。该过程基于大小>“n”个像素对斑块进行过滤，并将经过滤后的这些斑块放入列表中。“n”的值可以基于运动员斑块的相对大小进行选择，并且可以基于跟踪摄像机的位置和分辨率进行校准。例如，“n”的值可以在10个至25个像素之间变动。在一种示例性实施方案中，“n”可以为10.7个像素，从而将在大小方面小于10.7个方形像素的所有斑块视为噪声。斑块跟踪过程使用最小距离计算来找到过去斑块和列表中斑块之间的最佳匹配。如果距离计算小于最小限度，则存在匹配，并且斑块被分配给一运动员对象且被添加到运动员斑块的列表中。添加到列表中的斑块由此对应于被跟踪运动员的最新的最后获知方位。然后，与过去的数据不匹配的斑块被视为新斑块，并且其被分配给一运动员对象。运动员的斑块列表保持在“n”个最后斑块的最大长度。换言之，在被跟踪运动员的列表中，每个被跟踪运动员与他们的预定“n”个最后获知方位相关联。在本文中“n”的值可以基于确定运动员的移动方向所必需的最小量的先前信息进行选择。“n”的值例如可以在5个至10个最后斑块之间变动。在一种示例性实施方案中，“n”被选择为5，因此每个运动员的斑块列表包含与该运动员的最后获知方位相对应的仅5个斑块。

运动员的斑块列表用于计算运动员的速度和方向。基于循环通过运动员的斑块列表以及对新的x位置与先前的x位置之间的差求和来计算运动员的x或水平方向。

同样地，基于循环通过运动员的斑块列表以及对新的y位置与先前的y位置之间的差求和来计算运动员的y或竖向方向。

正的xdir值意味着跟踪摄像机图像内运动员正从左向右移动。xdir的负值意指跟踪摄像机图像内运动员正从右向左移动。零值意味着运动员没有在水平方向上移动。xdir的幅度为水平方向上的速度。

正的ydir值意味着跟踪摄像机图像内运动员正从上端向下端移动。ydir的负值意指跟踪摄像机图像内运动员正从下端向上端移动。零值意味着运动员没有在竖向方向上移动。ydir的幅度为竖向方向上的速度。

可以应用简化的聚类以降低处理的复杂性。在一种实施方案中，每个跟踪摄像机可以被视为潜在的群集或运动员群组。跟踪摄像机可以构成0个或1个运动员群组的群集。因此，跨所有的跟踪摄像机，可以存在最少0个运动员群组和最多4个运动员群组。在其他实施方案中，运动员可以分成若干运动员群组。对一个感兴趣区域或整个比赛场执行聚类分析可以允许识别在感兴趣区域内的运动员群组，或在整个场地内的运动员的全局群组。群组可以进一步分为子群组。

如果跟踪摄像机已经检测到运动员，则根据各个运动员的速度和方向来计算群组的速度和方向。对所有运动员的向左移动之和求平均值、对所有运动员的向右移动之和求平均值并取这两个平均值中的最大值作为该群组的速度和方向。速度和方向是针对所有的跟踪摄像机计算的。

基于所有运动员的x和y位置值确定最左运动员、最右运动员、最上端运动员和最下端运动员。左边和右边运动员的x位置以及上端和下端的运动员的y位置用于计算摄像机的潜在fov。窄fov意味着左边和右边的运动员的x位置相对较近，或者意味着上端和下端的运动员的y位置相对较近。宽fov意味着x或y位置相距较远。

潜在的fov可以在一些比赛场景中使用，以给出比赛场上的所有运动员的概观，或者给出特定的感兴趣区域内的所有运动员的概观。当运动员来回移动时，潜在的fov变化，使得该fov被限制为包含所有运动员。照此，以这种方式计算的fov在运动员从冰球场的一端移动到另一端时提供了常规比赛的良好视图。

可以计算潜在的fov，使得该fov被限制为包含一区域内的所有运动员，或者包含比赛场上所有移动的运动员。参照图9a和图9b，可以计算第一fov902，使得其被限制为包含进攻区303内的所有运动员。在这种配置中，运动员904在最左边，运动员905在最右边，运动员906在最上端，以及运动员907在最下端。这样的fov可以用于例如描绘攻击场景或集中攻势。参照图9a和图9c，可以计算第二fov901，使得其被限制为包含比赛场102上的所有移动的运动员。在这种配置中，运动员908代替成为最左边运动员，并且该fov包括对进攻区303和中区302的观看。这样的fov可以用于例如突围比赛场景。

具有最多运动员的跟踪摄像机被分配作为跟踪摄像机区域，该跟踪摄像机区域在软件实施过程中用于确定比赛类型以及选择当前比赛场景。例如，为了确定比赛类型的目的，可以忽略剩余区域中的数据，以便降低处理的复杂性。

为了确定运动员是否从一个感兴趣区域(也称为跟踪摄像机区域)转移到另一感兴趣区域，使用变量来存储先前的感兴趣区域。如果先前区域的id小于当前区域的id，则运动员在向右移动。如果先前区域的id大于当前区域的id，则运动员在向左移动。如果先前区域的id与当前区域的id相同，则运动员在同一跟踪摄像机区域内移动。这种方法足以检测缓慢移动的运动员的转移，但可能不足以检测快速移动的运动员的转移。检测快速移动的运动员或运动员群组可能需要预测过程。

为了便于检测从一个区域转移到另一区域的运动员，使用左边和右边的x位置触发标记。如果运动员群组在一区域内移动(x方向不为0)，并且如果该群组的x位置落入标记和相关联的区域边缘，以及如果该群组的速度大于一限度，则预测该群组正转移到新的摄像机区域中。

当前的跟踪摄像机区域和预测的转移跟踪摄像机区域可以在用于确定比赛方案的过程中使用。

在一些实施方案中，跟踪摄像机不能够检测未移动的运动员，因此不会针对未移动运动员向处理系统发送斑块数据。处理系统必须通过跟踪运动员的速度和方向来检测运动员何时没有移动。当运动员的当前速度接近于为0的“x”限度值时，认为该运动员是停止的，并且将该运动员的当前位置、速度和方向存储在运动员停止列表中。在跟踪运动员期间，如果检测到新的运动员，则将他们的位置与停止列表中的运动员进行比较。如果匹配，那么该新的运动员是先前停止的运动员。停止列表中的运动员值具有使用时限，使得在时间“t”之后，如果运动员值不与移动的运动员匹配，则该运动员值被删除。

停止的运动员可以用于开球操作，在开球操作中具有若干停止的运动员和移动至新位置的一个裁判或运动员。在纯粹的优先基于移动的过程中，移动的裁判或运动员将使该过程生成摇摄、倾斜和变焦值，使得广播摄像机跟随该移动。利用本方法，该过程识别出开球圈中的运动员是停止的，并且选择开球比赛场景。在开球比赛场景中，广播摄像机进行摇摄、倾斜和变焦，以聚焦于运动员或运动员群组所在的开球区域。即使存在单个运动员移动，该过程仍会保持当前的广播摄像机摇摄、倾斜值，而不会跟随该单个运动员的移动。这样的状态被维持到直至开球结束，然后该过程选择不同的比赛场景。

通过分析活动，诸如运动员群组动态(速度和位置)和单个运动员行为两者的组合，可以识别出转守为攻比赛场景。参照图7，为了预测转守为攻，以下事件序列700必须发生：

-所有运动员(群组)在跟踪摄像机区域1或4(端部区域)中的任一个区域中达某一时间段“t”，702。

-一个运动员(转守为攻运动员)以快于运动员群组的速度转移到另一区域(2或3)中，704，并且该运动员距该群组的距离大于“d”，706。

-该运动员群组必须沿与该转守为攻运动员相同的方向在该“端部区域”内移动，或者转移到另一区域中，708。

在检查运动员和群组活动中，该系统可以分析包含最多数量的运动员的单个感兴趣区域中的运动员和群组动态。在比赛快速转变的场景中，上述序列可以包括预测运动员或群组是否移动到区域2或3的步骤710。如果是，那么该系统可以分析在预测的区域和当前包含最多运动员的区域两者内的活动。

在比赛期间，比赛场景可能会经常变化。因此，选择比赛场景可能涉及对比赛活动的持续分析，以便选择适当的场景。该选择可以涉及一决策树，该决策树识别指示特定场景的模式或事件序列。一旦选择了场景，就可以调整广播摄像机的ptz以在可播放视频的帧内最好地表示当前比赛。

参照图8，用于选择当前比赛场景的方法使用上述参数来识别特定的比赛场景，并且相应地调整广播摄像机的ptz值。如果运动员在运动中802，并且运动员正从开球区域出来804，则所选择的场景是已完成开球场景。摄像机变焦以移动到开球区域之外806，以示出更多的冰球场。如果运动员在运动中802，但是没有从开球区域804出来，则所选择的场景是标准比赛。摄像机进行摇摄、倾斜和变焦822，以跟随运动员的移动。如果图7中描述的事件序列发生，则所选择的场景是转守为攻818。找出转守为攻的运动员和区域820，并且使摄像机摇摄、倾斜和变焦822以聚焦于该转守为攻运动员。

如果在过程开始时运动员没有在运动802，但是该运动员在开球区域中810，则所选择的场景为开球。使摄像机摇摄、倾斜和变焦以聚焦于开球圈。如果运动员没有在开球圈内810，则摄像机相应地进行倾斜和变焦以跟随动作814。

仍然参照图8，一旦计算出ptz值，就经由api将该值从计算机发送到广播摄像机808。

该方法还可以包括在由广播摄像机记录的视频的顶部上合成记分板视频的附加步骤。参照图10，合成的视频1000可以包括叠加在由广播摄像机捕获的视频1002的一部分上的记分板的视频馈送1004。以这种方式，观看视频的观众将能够始终看到比赛的得分。在所示出的实施方案中，来自记分板摄像机的馈送直接合成在来自广播摄像机的馈送上。优选地，记分板视频被定位成使其不会视觉上干扰来自广播摄像机的视频。如果确定记分板视频会干扰广播摄像机视频，例如如果记分板视频将覆盖运动员，则可以将记分板馈送淡出或暂时隐藏。在一种实施方案中，可以对记分板视频进行处理以便提取其显示的信息。该信息可以用于自动地生成表示记分板的定制图形，以叠加在来自广播摄像机的视频上。一旦合成，可以将所得到的视频通过互联网或其他网络广播到客户端设备。所得到的视频可以以比赛的直播馈送的形式进行广播，或者可以被保存以供日后广播。

列出的步骤仅是当前描述的本发明的一些可能的实施方案。其他的实施方案允许一些步骤以不同的顺序执行，允许一些步骤在不同的组件上执行，或者允许若干步骤在单个组件上执行。例如，斑块数据可以在确定比赛类型的同一计算单元上生成，而不是在跟踪摄像机单元中的单独计算模块上生成。

根据其他可能的实施方案，当使用该方法来跟踪除曲棍球以外的运动时，可以包括另外的步骤以识别和选择特定于具体运动的不同的比赛场景。而且，根据其他实施方案，在各种过程中使用的阈值和像素大小可以有所不同，并且可能需要根据系统的需求进行校准。在上文呈现的实施方案中描述的特定值仅用于示例性目的，而不应被看作是以任何方式限制本发明的范围。