动作视频的自动数字管理和标记的制作方法
【专利摘要】一种用于动作视频的自动数字管理、注释以及标记的系统和方法，在处理系统中，接收来自在体育活动期间由运动员携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。如果呈现为识别至少一个运动员事件，则该处理系统处理GPS数据和惯性数据，并且将识别运动员事件的数据存储在性能数据库中。来自视频摄像机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间和方向信息。视频数据库中的时间代码数据是与性能数据库中的时间代码数据同步的，并且识别运动员事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。
【专利说明】动作视频的自动数字管理和标记
[0001]本申请要求2012年6月11日申请的美国临时专利申请号为61/689，654、名称为“Auto Digital Curat1n And Tagging OfAct1n Videos” 的申请以及 2013 年 I 月 4 日申请的美国专利申请号 13/734，818、名称为 “Automatic Digital Curat1n And TaggingOfAct1n Videos”的申请的优先权，通过引用将它们的全部内容并入本文。
[0002]本申请包括受版权保护的素材。当由任何人对本专利公开的拓制出现在专利和商标局文件或者记录中时，版权拥有者对其没有异议，但是在其它情况下版权拥有者保留全部版权权利。
【技术领域】
[0003]本发明一般涉及用于记录视频的设备的领域，并且特别地涉及一种用于动作视频的自动数字管理和标记的方法和装置。
【背景技术】
[0004]便携摄像机的广泛可用性引起了短的自制和专业视频的激增。很多这些视频，尤其是利用POV(Point OfView:视点)动作摄像机制作的，都涉及极限动作，例如高山滑雪、单板滑雪、冲浪、山地自行车等等。例如，YouTube网站上包含成千上万个这样的视频。
[0005]同时，这些视频的巨大数量以及流行度产生了自身的问题。首先，当创作者没有将感兴趣的事件与视频明确地关联时，找到感兴趣的视频就变得非常困难。其次，由于大部分视频都是由业余爱好者制作并且是没有被编辑过的，所以即使用户仅仅对视频的某些特定部分(例如当单板滑雪者跳起或者滑雪者有跑动的特别快的部分时，或者在更大的视频中的任何其它特定事件)感兴趣，他们也不得不观看整个视频。
[0006]同时，具有GPS和其他传感器的便携设备的广泛流行允许精确地测量、存储以及分类极限体育活动。因此，如果视频和性能数据可以在时间和空间上同步，则可以基于拍摄的特定活动的性能矩阵来注释、编辑、选择以及标记视频镜头(video footage)。
[0007]搜索或者观看这样的视频的人可能期望找到特定视频或者视频的一部分。例如，这样的人可能想搜索显示空中时间超过一秒种的单板滑雪跳跃的视频。但是，对典型地仅使用语义和文本视频描述的视频标记使用当前可用的装置是不切实际或者不可能的。
[0008]另一个与很多动作视频相关的问题是它们是由一个人制作的，而针对视频“主体”的性能数据是通过与作为不同的人的视频主体并列(collocated)的传感器收集的。
[0009]已经尝试在获取期间标示视频以用于快速选择。但是，这样的方案典型地使用基于由其他人创建或者在视频中找到的文本的标签。
[0010]美国专利7，624，337和美国专利7，823，055公开了一种使用文本(包括视频中的文本)来创建标签和元数据用于此后视频搜索的使用的方案。
[0011]Heist等人的美国专利5，832，171描述了视频和文本的同步，其中文本是针对视频创建的。
[0012]Blanton等人的美国专利4，873，585教导了允许从视频选择特定运动的图像以允许容易地访问这些图像的系统。但是，这需更操作者介入和决策。
[0013]Aman等人的美国专利7，483，049公开了体育运动的视频的数据库的创建。但是，该视频必须在运动员被视频中能够被识别的可见或者不可见的标志标示的严格控制的环境中通过多台摄像机创建。
[0014]还有一种通过特定事件(大部分是交通违章)触发视频的研究成果。Higgins的美国专利7，986，339描述了一种能够记录和分析交通违章的静止和视频图像的系统。但是，该视频记录是通过由车辆产生的外部物理信号(例如激光或者多普勒雷达)触发的。Lock的美国专利6，919，823以及Behrens的美国专利7，633，433是类似的，采用通过红灯变化或者在红灯变化后的激光束中断产生的触发信号。
[0015]此外，在上述情况中，摄像机和视频主体的相对位置是提前知道的，因此该方案不提供任意时间和空间域搜索以匹配事件和视频镜头。
【发明内容】
[0016]在一个实施例中，本公开提供了一种方法和系统，其允许视频和相应的性能数据的同步，并且随后基于该性能数据标记和/或编辑视频。可以通过并列的设备(也就是相同的设备)或者不同的设备以及不同的用户来收集该视频和性能数据。视频和性能数据还可以存储在相同的设备中或者存储在不同的设备或者数据库中。本发明因此能够提供来自不同数据组或者不同数据库的视频和性能数据的匹配以及随后视频的自动编辑、注释和标记。即使视频和性能数据被独立记录并且不具有其它活动的明确知识，本发明也可以实现。
[0017]本发明在处理系统中接收来自由用户(其在一些实施例中是处于体育活动期间的运动员)携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。该GPS数据可以是位置数据或者时间数据，或者是位置数据和时间数据两者。该处理系统处理GPS和可选的传感器数据以识别至少一个事件，例如运动事件，并且将识别事件的数据存储到性能数据库中。来自视频摄相机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间以及方向信息。视频记录中的时间代码数据是与性能记录中的时间代码数据同步的，并且识别事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。
【专利附图】
【附图说明】
[0018]通过下文的如附图所示的优选实施例的更为详细的描述，本发明的前述和其他的目的、特征以及优点将是清楚的，在附图中，参考字符表示相同的部分贯穿各个视图。附图不必按照比例绘制，而是将重点放在示出本发明的原理。
[0019]图1示出了一个流程图，其说明了当传感器与视频摄像机并列时，用于从动作视频中自动选择视频镜头的期望的部分的方法的实施例。
[0020]图2示出了三维图解视图，其说明了一个情景，其中滑雪者的轨迹穿过摄像机A的视场但不穿过摄像机B的视场。
[0021]图3示出了一个流程图，其说明了搜索活动的摄像机的数据库的合适的算法的实施例。
[0022]图4示出了一个框图，其说明了根据本发明的实施例的视频和性能数据库的组织结构。
[0023]图5示出了一个流程图，其说明了为了搜索简化而使用性能元数据的处理。
【具体实施方式】
[0024]下面将会对本发明的优选实施例进行详细参考，优选实施例的例子在附图中说明。
[0025]下面通过参考用于动作视频的自动数字管理和标记的系统和方法的框图和操作说明图来描述本发明。应当理解，框图或者操作说明图的每一个框，以及框图或者操作说明图中的框的组合都可以通过模拟或者数字硬件以及计算机程序指令来实现。这些计算机程序指令可以存储在计算机可读介质中并且被提供给通用目的计算机、专用目的计算机、ASIC或者其他可编程数据处理装置的处理器，使得通过计算机或者其他可编程数据处理装置的处理器执行的指令实现框图或者一个或多个操作框中指定的功能/动作。在一些可选择的实现中，框中标注的功能/动作可以不以操作说明图中标注的顺序进行。例如，连续示出的两个框事实上可以大致同时执行，或者框有时可以以相反的顺序执行，这取决于涉及的功能/动作。
[0026]在一个实施例中，用户配备有记录他/她的运动的基于传感器的设备。该基于传感器的设备可以是例如包括GPS和惯性传感器的便携设备。同样，提供了一种处理系统，其可以嵌入该基于传感器的设备，可以是独立设备，或者可以是基于服务器的，该设备能够检测事件，例如跳跃、翻转、旋转、高速、急转弯等等。结果，具有详细的轨迹、速度、加速度、跳跃、技巧等等的运动的详细记录被创建并且存储在性能数据库中。同样提供的还有视频摄像机，已知该视频摄像机在拍摄视频时的定位、时间以及可选地方向信息。该摄像机可以与传感器并列，或者可以是独立的设备。
[0027]下面是根据本发明的实施例的系统和方法的操作的非限制性例子。视频摄像机记录在时间t = Tstart和t = Tmd之间发生的体育活动。在这个例子中，还使用一组传感器来记录相同的活动性能参数。使用在时间t = tk,Tstart <tk< Tend的传感数据来检测特定的感兴趣的事件，例如跳跃。随后，如果传感数据和视频是时间同步的，则在时间丨!^和tk+T2间感兴趣的事件的视频镜头可以被剪出来，其中τ是期望的视频镜头的半个周期。在实施例中，如果视频短于期望的时间2T，则使用整个视频。视频和传感器数据之间的时间同步可以使用GPS时间戳，或者无线网络时间戳，或者任意其他本领域技术人员熟知的方法来执行。
[0028]图1示出了一个流程图，其说明了当传感器与视频摄像机并列时，用于从动作视频中自动选择视频镜头的期望的部分的方法的实施例。时间和位置坐标允许系统自动将视频镜头和运动性能关联。如果摄像机位置、方向以及焦距是已知的，则可以在视频和传感数据之间进行更为复杂的配对。该方法从步骤101开始，其中时间在视频和传感器记录之间被同步。在步骤103中，基于传感器数据选择感兴趣的事件。这一事件可以是，例如跳跃、翻转、旋转、高速部分、转弯、急转弯或者可能感兴趣的用户的性能的任何其他有限的部分。在步骤105中，处理设备通过t = Tsns自动确定在传感器数据中感兴趣的事件出现在哪里。已经教导了用于识别传感器数据中的感兴趣的事件的各种系统和方法，例如在2012年9月12日申请的美国专利申请号 13/612，470、名称为“Method and Apparatus for DeterminingSportsman Jumps Using Fuzzy Logic”的申请中，其全部公开内容通过引用并入本文。
[0029]继续参考图1，在步骤107中，在上述步骤105中确定的时间被转换为视频数据库中的视频的时间帧，使得Tv = Sync (Tsns)。随后，在步骤109中，在Tv-T:Tv+T之间的视频被选择。随后，在步骤111中，将性能数据嵌入(显示、注释)到视频数据中。在步骤113中，可以采用性能数据自动标记视频数据。自动的标记可以包括用户姓名、事件时间和定位以及关键性能特征，例如速度、坡度值、跳跃时间和/或高度、翻转角度或者商标名称等等。可选地或者附加地，在步骤111完成时，视频可以随后被自动编辑。
[0030]本领域技术人员将理解，当视频较短并且性能记录覆盖长得多的重叠时间段时，通过选择合适的性能段来完成类似的操作。
[0031]图2示出了三维图解视图，其说明了一个情景，其中滑雪者的轨迹穿过摄像机A的视场但不穿过摄像机B的视场。如果在摄像机A的可操作时间期间发生感兴趣的事件，则可以识别和选择合适的镜头。事件B的轨迹不穿过任何摄像机视场，无法被同步。这一实现说明可能的情况，其中多个无人看管的摄像机持续不断地记录着它们的视场中的任意活动，并且随后基于分别收集的性能、时间以及定位数据自动地选择感兴趣的视频。
[0032]图3示出了一个流程图，其说明了搜索活动的摄像机的数据库的合适的算法的实施例。在步骤301中，使用传感器数据来识别感兴趣的事件。如上所述，这样的事件可以是跳跃、翻转、旋转、高速部分、转弯、急转弯或者任意其他可能感兴趣的用户的性能的有限的部分。一旦识别了该事件，在步骤303中，处理系统确定事件的地理位置和持续时间。在步骤305中，处理系统找到在时间Tk可以操作的所有摄像机(在上述步骤303中确定的)。如果没有摄像机可以操作，如在步骤307中确定的，则处理结束。否则，处理进行到步骤309，其中可以操作的摄像机或者摄像机数据与传感器或者传感器数据时间同步。一旦可以操作的摄像机或者其数据与传感器或者传感器数据时间同步，则处理进行到步骤311以选择摄像机的子组，该摄像机的子组具有在它们的视场中的事件的位置(如在上述步骤303中确定的)。如果没有这样的摄像机，如在步骤313中确定的，则处理结束。在步骤315中，在先前选择的摄像机的子组中，选择摄像机的另一个子组，该另一个子组是符合其他准则的摄像机或者摄像机数据。这样的其他准则的例子包括，例如具有最佳焦点的摄像机。在步骤317中，从摄像机的另Iv子组中选择在时间Tk_T:Tk+T记录的视频镜头。在步骤319中，针对感兴趣的事件或者针对所有性能的性能数据被嵌入到视频数据中。最后，在步骤321中，采用性能数据以及其他信息(时间、定位、用户)来标记视频数据。
[0033]图4示出了一个框图，其说明了根据本发明的实施例的视频和性能数据库的组织结构的例子。图5示出了一个流程图，其说明了为了搜索简化而使用性能元数据的处理。
[0034]因此，当前公开的系统和方法的实施例允许通过性能特征对独立的视频或者视频库进行编辑、注释以及搜索。通过从属于特定子群(例如“朋友”)中的用户选择性能数据，主体选择可以更加精确。假设多个用户具有对应于特定视频剪辑的性能数据轨迹。但是，他们中只有一个用户属于制作视频的人的“朋友”子群。于是，该“朋友”的性能数据可以被自动地选择为与视频同步。这解决了一种常见的情况，其中一个人记录他或者她的朋友的视频，而其他人的活动也被记录在该帧中。根据本发明的各种实施例的自动选择可以进一步改进系统的性能并简化视频创建的处理。
[0035]在此描述的处理步骤可以在一个或者多个计算设备上执行。例如，可以在以下任意组合上执行步骤:(a)用户携带的便携数据收集设备，(b)由体育事件的观众或者参与到事件中的用户携带的便携视频记录计算设备，或者(C)远程服务器计算设备。便携数据收集设备的例子是其中具有加速度计和GPS性能的便携计算设备或者智能电话。便携视频记录计算设备的例子包括具有处理能力的视频摄像机，或者具有视频记录硬件和软件的智能电话。每一个这样的计算设备可以包括例如:执行指令的处理器；用于存储计算机程序指令的计算机可读介质，例如静态存储器和/或动态存储器；输入装置，例如触摸屏幕、键盘、语音输入、鼠标等；用于在无线和/或有线网络上通信的网络接口，以及用户接口，例如显示器、扬声器以及硬或软按钮。便携数据收集设备可以进一步包括加速度计，例如三轴加速度计，并且也可以包括GPS接收器以及利用GPS接收器来确定其位置的能力。远程服务器计算设备可以是远离便携数据收集设备的设备。例如，服务器或者台式计算机可以被提供，并且其处理来自便携数据收集设备的原始或预处理的加速度计数据。可以通过与便携数据收集设备相关的无线和/或有线网络接口以及与远程服务器或者远程台式计算机相关的无线和/或有线网络接口，来执行从便携数据收集设备向计算设备或者远程服务器计算设备传输数据。
[0036]上述实施例和优先选择是本发明的说明。既不需要也没有意图对本专利概括或者定义每一个可能的组合或者实施例。发明人已经公开了足够的信息以允许本领域技术人员来实现本发明的至少一个实施例。上述描述和附图仅仅是本发明的说明，并且在不背离下面的权利要求限定的本发明的范围的情况下，组件、结构和步骤的改变是可以的。例如，上述和/或在下面的权利要求中的以特定顺序描述的元件和/或步骤可以以不同顺序实现而不背离本发明。因此，当参考在此的实施例具体地示出并描述本发明时，本领域技术人员将可以理解在不背离本发明的精神和范围的情况下，可以做出各种形式和细节上的改变。
【权利要求】
1.一种方法，包括: 在处理系统中，接收来自在体育活动期间由用户携带的或者附于体育装备的设备的GPS数据，所述GPS数据包括位置数据和时间数据的至少一个； 在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件； 将识别所述至少一个事件的数据存储到性能记录中； 将视频数据存储到视频记录中，该视频数据具有元数据，所述元数据至少包括与视频的各帧相关的时间和定位信息； 使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步；以及 使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。
2.根据权利要求1的方法，其中由用户携带的所述设备包括基于传感器的设备，其中所述接收步骤包括接收来自该基于传感器的设备的惯性数据，并且其中所述处理步骤包括处理所述惯性数据。
3.根据权利要求1的方法，其中该用户是运动员并且该事件是体育事件。
4.根据权利要求1的方法，其中所述性能记录包括性能数据库。
5.根据权利要求1的方法，其中所述视频记录包括视频数据库。
6.根据权利要求1的方法，其中所述元数据还包括方向信息。
7.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用GPS时间戳执行的。
8.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用无线网络时间戳执行的。
9.根据权利要求1的方法，其中通过所述处理系统识别的所述至少一个事件包括从由下列各项组成的组中选择出的事件:跳跃、翻转、旋转、高速部分、转弯或者急转弯。
10.根据权利要求1的方法，其中该设备是包括至少一个GPS传感器和至少一个惯性传感器的便携设备。
11.根据权利要求1的方法，其中所述处理系统嵌入到所述设备中。
12.根据权利要求1的方法，其中所述处理系统是与所述设备分开的设备。
13.根据权利要求1的方法，其中所述处理系统是服务器。
14.根据权利要求2的方法，其中所述GPS数据以及所述惯性数据存储在所述性能数据库中。
15.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机协同定位的。
16.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机分开并且独立的。
17.根据权利要求1的方法，其中所述性能数据库和所述视频数据库是相同的数据库，该相同的数据库具有针对性能数据和针对视频数据的分开的记录。
18.根据权利要求1的方法，还包括使用附加的元数据来加速性能和视频数据的匹配。
19.根据权利要求16的方法，其中所述使用附加的元数据的步骤包括使用用户姓名或者ID来简化搜索。
20.—种系统,包括: 配置为在体育活动期间由用户携带的设备，所述设备具有产生GPS数据的至少一个GPS传感器； 视频摄像机，配置为产生视频数据；以及， 处理系统,配置为: (a)处理所述GPS数据以识别由用户参加的至少一个事件； (b)将识别所述至少一个事件的数据存储到性能数据库中； (c)访问视频数据库中的视频数据，该视频数据包括与视频的各帧相关的定位、时间以及方向信息； (d)使所述视频数据库中的时间代码数据与所述性能数据库中的时间代码数据同步；以及 (e)使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。
21.根据权利要求20的系统，其中由用户携带的所述设备包括基于传感器的设备，其中所述接收步骤包括接收来自该基于传感器的设备的惯性数据，并且其中所述处理步骤包括处理所述惯性数据。
22.根据权利要求20的系统，其中该用户是运动员并且该事件是体育事件。
23.根据权利要求20的系统，其中所述设备配置为附于用户的装备或者服装而被携带。
24.根据权利要求20的系统，其中通过所述处理系统识别的所述至少一个事件包括从由下列各项组成的组中选择出的事件:跳跃、翻转、旋转、高速部分、转弯或者急转弯。
25.根据权利要求20的系统，其中所述设备是包括至少一个GPS传感器以及至少一个惯性传感器的便携设备。
26.根据权利要求20的系统，其中所述处理系统嵌入到所述基于传感器的设备中。
27.根据权利要求20的系统，其中所述处理系统是与所述基于传感器的设备分开的设备。
28.根据权利要求20的系统，其中所述处理系统是服务器。
29.根据权利要求20的系统，其中所述GPS数据以及所述惯性数据存储在所述性能数据库中。
30.根据权利要求20的系统，其中所述设备是与所述视频摄像机协同定位的。
31.根据权利要求20的系统，其中所述设备是与所述视频摄像机分开且独立的。
32.根据权利要求20的系统，其中所述性能数据库和所述视频数据库是相同的数据库，该相同的数据库具有针对性能数据和针对视频数据的分开的记录。
33.一种计算机程序产品，包括非临时的计算机可读存储介质，该计算机可读存储介质具有嵌入在该介质中用于实现方法的计算机可读程序代码，该计算机程序产品包括: 用于在处理系统中接收来自在体育活动期间由用户携带的设备的GPS数据的程序代码，所述GPS数据包括位置数据和时间数据的至少一个； 用于在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件的程序代码； 用于将识别所述至少一个事件的数据存储到性能数据库中的程序代码； 用于将视频数据存储到视频数据库中的程序代码，该视频数据包括与视频的各帧相关的定位、时间和方向信息； 用于使所述视频数据库中的时间代码数据与所述性能数据库中的时间代码数据同步的程序代码；以及 用于使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据的程序代码。
【文档编号】H04N21/854GK104335594SQ201380020481
【公开日】2015年2月4日 申请日期:2013年1月11日 优先权日:2012年6月11日
【发明者】D·J·洛克欣 申请人:阿尔派回放股份有限公司