专利名称：在体育比赛视频中检测精彩片断的方法
技术领域：
本发明涉及一种在体育比赛的视频中检测精彩片断的方法。
背景技术：
体育比赛的电视转播一般很漫长，但对于观众来说，真正关心并有可能反复观看的只是其中的精彩部分。这些精彩片断不仅是普通观众所感兴趣的，而且也是体育专业人士所关注的，例如教练员需要据此对运动员动作进行技术分析。传统的方法是人工对录制的视频录像带进行剪辑，然而这种方法费时费力并且需要专业技术。
随着数字技术的不断发展和普及，视频可以采用数字化的形式存储和处理。在此基础上，利用计算机可以对视频图像数据进行某种自动处理。一些公开的方法利用了特定比赛场景下的领域知识，对如足球、篮球等比赛的视频进行了分析。但是这些方法依赖有关比赛的领域知识，不具有通用性。
发明内容
本发明的目的是提供一种通用的在体育比赛视频中自动检测精彩片断的方法。
为实现上述目的，一种在体育比赛视频中检测精彩片断的方法，包括下列步骤确定视频中相邻帧的摄像机运动；用所述摄像机运动来校正镜头边界的检测；确定所述镜头是否为重放镜头，如果是重放，则判定为精彩片断；根据所述摄像机运动来计算重放镜头与之前视频中正常镜头的相似度，其中相似度最大的镜头判定为精彩片断。
本发明的主要优点是能对精彩片断进行有效的自动提取，且不依赖于特定比赛的领域知识。本发明基于以下事实，即在体育比赛转播的时候，通常会在精彩事件之后及时穿插重放慢镜头，并且由于重放镜头与原先的正常镜头关注的事件是同一个运动，这使得镜头内的摄像机运动通常比较明显和存在一定的相关性。此外，针对体育视频中存在的大量运动，本发明使用摄像机运动分析的结果来校验所检测的镜头边界，从而提高了镜头分割的准确性。
图1是本发明的流程示意图。
图2是运动矢量空间示意图。
图3说明了重放标志的选取。
具体实施例方式
本发明对体育比赛视频精彩片断的提取，依赖于下面两个假设(1)精彩事件会被及时重放；(2)重放的第一个镜头通常来自先前拍摄该事件的同一摄像机。在此基础上，图1给出了本发明的流程示意图。首先，对视频序列进行基于颜色直方图的镜头边界检测和摄像机运动分析，初步得到的镜头边界再利用摄像机运动分析的结果进行校验，消除其中由于运动造成的误差。然后，对检测出的镜头判断是否为重放。若是重放镜头，则判定为精彩片断。另一方面，则根据摄像机运动，在之前的视频片断中查找与重放的第一个镜头最相似的镜头，也判定为精彩片断。
摄像机运动包括以下七种静止，上摇，下摇，右摇，左摇，推近和拉远。为了确定相邻帧的摄像机运动，需要计算不同位置上的运动矢量，再对所有的运动矢量进行统计。
运动矢量使用16×16块匹配的全搜索算法来求得。在体育比赛的转播中，通常都将视野的中央对准运动员的动作，因此我们不计算帧中央的块，这样既可以降低计算量又避免了前景物体运动造成的误差。此外，为了降低块匹配在平滑区域(如天空、水等)出现的随机误差，我们计算每一个块的方差，只有方差大于某一阈值才计算其运动矢量。
计算得到的运动矢量m＝(x，y)分布在一个如图2所示的二维空间中。将该空间划分为五个区域，其中区域0为半径2的圆形区域，空间的其他部分平分为四个区域。分别对五个区域统计其中运动矢量的数目，最多的记为主区域，次多的记为次区域。对摄像机运动的判定如下1、若主区域和次区域相对，如区域1和区域3，区域2和区域4，则为变焦距拉推运动。此时需分别计算外出矢量和内入矢量的数目，来判定是推近还是拉远。若区域1中的矢量是来自于帧左部的块则为内入矢量；若来自于帧右部则为外出矢量。同理，可以分别计算出区域2、3和4中的外出矢量和内入矢量数目。若外出矢量的总数超过内入矢量的总数，则可以判定为推近，反之为拉远。
2、若主区域为区域1，判定为左摇。
3、若主区域为区域2，判定为下摇。
4、若主区域为区域3，判定为右摇。
5、若主区域为区域4，判定为上摇。
6、以上条件均不满足，摄像机运动判断为静止。
由上述算法，给定一段视频序列，对其进行帧间摄像机运动分析，我们可以得到一个运动特征序列C＝{ci}，ci∈
，其中ci指明了第i帧到第i+1帧的摄像机运动。由于每种摄像机运动都有一定的延续性，因此在实际计算中，可以采取隔几帧计算一次的方法以降低计算量。
所谓镜头是指摄像机不间断拍摄的一组帧序列，它常被看成一部视频的最小结构单元。为了将镜头分割出来，需要进行镜头边界检测。镜头与镜头之间的边界有两种类型突变和渐变。突变时，镜头直接切换到下一个；渐变时，从一个镜头到下一个镜头会有一个持续多帧的变化过程，如淡入淡出等。渐变的检测一般要比突变难，这主要是因为很难区分镜头之间的渐变和由于摄像机或物体运动造成的场景变化。在体育视频中，大部分镜头边界属于突变类型，少部分属于渐变。但是由于体育视频中存在大量的运动，这些运动常常会导致镜头边界检测算法出现较多的错误判断。
为了解决上述问题，首先采用基于颜色直方图的双重比较法(TwinComparison)对镜头边界进行初步检测，然后根据摄像机运动对边界进行的校验。其中，第i帧的直方图差值di由下式给出di=12N·Σr=03Σg=03Σb=03|Hi(r,g,b)-Hi-1(r,g,b)|]]>式中Hi(r，g，b)为第i帧中颜色值为(r，g，b)的像素的个数，N为每帧的像素总数。对于每个8位256级的颜色分量，只取其高两位进行区分，即r，g，b∈
。
设视频序列V为双重比较法探测的一个可能镜头渐变，{ci}为其运动特征序列。校验方法如下若在{ci}中存在至少连续10帧的相同非静止摄像机运动，则判定该渐变过程是由于运动造成的误差；反之，则为真正的渐变。
在体育比赛的电视转播中，一般对于精彩片断的重放都会以一个特别的标志性变化引入，再以类似的变化结束。这些标志比较固定，在相关比赛的转播过程不会发生变化，可以事先通过用户交互从视频中选取，如图3所示。然后通过检测这些重放标志，就可以准确定位重放的开始和结束。
对每一帧计算它和重放标志的距离。距离计算由下式给出d(s，t)＝β·d1(s，t)+(1-β)·d2(s，t)其中d1(s，t)为模板t标志区域和帧s对应区域基于颜色直方图的距离，d2(s，t)为基于对应像素颜色值的距离，0＜β＜1为权重。当距离小于给定阈值时，记为一次标志出现。为避免重复，约定若相邻的两次出现发生在30帧以内，则只记为一次。根据重放标志出现的记录次数就可以对镜头是否属于重放进行判断。若在该镜头开始之前记录了偶数次(包括次数为零)标志出现，则该镜头为正常镜头；若之前记录了奇数次，则是重放镜头。
精彩片断除了包括这些重放镜头，还有与之对应的正常镜头。为此，需要根据重放镜头在之前的视频中寻找同一事件的正常镜头。实际上就是将第一个重放镜头与之前到上一次重放结束为止的镜头进行匹配，并将其中最相似的镜头作为精彩镜头。因为重放镜头在播放速度和起始点上与原先拍摄的镜头有较大的差异，所以如何衡量两者的相似性成为一个关键问题。在体育视频中，由于重放镜头与原先拍摄的镜头关注的事件通常是同一个运动，这使得镜头内的摄像机运动比较明显并存在一定的相关性。这种相关性即使在播放速度和起始帧不同的条件下，也是存在的。
首先把镜头内相邻帧的所述摄像机运动按照帧序依次排列得到运动序列。再对此运动序列进行预处理，即去掉运动序列中表示静止的摄像机运动和持续帧数较少的摄像机运动，从而消除其中由于拍摄时抖动或分析的误差造成的噪声。预处理将帧间运动序列转化为一个动作二元组序列{(ci，li)}，其中ci∈[1，6]表示摄像机运动的类型(设ci＝0表示摄像机静止)，li为运动持续的帧数。例如，0000000003333333302202200022222222→(3，8)(2，8)。
重放镜头和正常镜头的运动序列采用下面的算法来确定它们的相似度。
算法基于摄像机运动的重放镜头相似度计算 输入重放镜头和普通镜头的二元组序列C1＝{(c1[i]，l1[i])}和C2＝{(c2[j]，l2[j])，长度分别为L1和L2。 输出两个特征序列的相似度s (1) s＝0； (2) while(C1 is not empty){ (3) s1＝0； (4) for(d＝-L1+1；d＜L2；d++){ (5) s2＝0； (6) for(i＝0；i＜L1；i++) { (7) j＝i+d； (8) if(0＜＝j&&j＜L2&&c1[i]＝＝c2[j])) (9) s2＝s2+min(l1[i]，l2[j])+score； (10) } (11) if(s2＞s1)s1＝s2； (12) } (13) if(s1＞s)s＝s1； (14) reduce(C1)//remove the shortest motion from C1 (15) } (16) return s； 对于重放镜头，由于播放速度慢，在进行摄像机运动分析时有可能把一些比较微小的摄像机抖动放大。为了消除这些放大的抖动，我们实施多次匹配，每次匹配时依次去掉重放镜头二元组序列中一个li最小的二元组，最后将其中最佳的匹配作为返回结果。具体在对正常镜头和重放镜头的运动序列进行匹配时，需要分别以不同的起始位置，对应比较两个序列，寻找最佳匹配。我们的算法综合考虑了组的匹配和帧的匹配，其中score为组匹配的奖励权重，一般设为10。score的值越大，则表明匹配的组越多越相似；score的值越小，则匹配的帧数越多越相似。
权利要求
1.一种在体育比赛视频中检测精彩片断的方法，包括下列步骤确定视频中相邻帧的摄像机运动；用所述摄像机运动来校正镜头边界的检测；确定所述镜头是否为重放镜头，如果是重放，则判定为精彩片断；根据所述摄像机运动来计算重放镜头与之前视频中正常镜头的相似度，其中相似度最大的镜头判定为精彩片断。
2.如权利要求1所述的方法，其特征在于所述校正镜头边界的检测包括下列步骤基于帧间颜色直方图的差值来检测视频中的镜头边界；如果所述镜头边界是渐变的，且在渐变过程中存在连续多帧都是相同的非静止摄像机运动，则确定该渐变是无效。
3.如权利要求1所述的方法，其特征在于所述重放镜头的确定包括下列步骤确定视频帧图像中是否出现了重放标志；如果所述帧图像中出现了重放标志，则对之后规定数目的视频帧序列不再记录重放标志的出现；如果镜头开始之前记录了奇数次重放标志的出现，则该镜头为重放镜头。
4.如权利要求3所述的方法，其特征在于所述的规定数目为视频中重放标志从出现到消失的最大持续帧数。
5.如权利要求1所述的方法，其特征在于所述之前视频是指从上次重放结束到本次重放开始之间的视频帧序列。
6.如权利要求1所述的方法，其特征在于所述重放镜头和正常镜头的相似度计算包括下列步骤把镜头内相邻帧的所述摄像机运动按照帧序依次排列，分别得到重放镜头和正常镜头的运动特征序列；去掉所述运动特征序列中表示静止的摄像机运动和持续帧数较少的摄像机运动；匹配重放镜头和正常镜头的所述运动特征序列，确定它们的相似度；依次去掉重放镜头运动特征序列中持续帧数最少的摄像机运动，再和正常镜头的运动序列进行匹配，确定它们的相似度；把其中最大的相似度作为所述重放镜头和正常镜头的相似度。
7.如权利要求6的方法，其中所述运动特征序列的匹配包括下列步骤依次以不同的起始位置，对应比较重放镜头和正常镜头的所述运动特征序列；确定所述运动特征序列的最佳匹配。
全文摘要
一种在体育比赛视频中检测精彩片断的方法，包括步骤确定视频中相邻帧的摄像机运动；用所述摄像机运动来校正镜头边界的检测；确定所述镜头是否为重放镜头，如果是重放，则判定为精彩片断；根据所述摄像机运动来计算重放镜头与之前视频中正常镜头的相似度，其中相似度最大的镜头判定为精彩片断。本发明能对精彩片断进行有效的自动提取，且不依赖于特定比赛的领域知识。针对体育视频中存在的大量运动，本发明使用摄像机运动分析的结果来校验所检测的镜头边界，从而提高了镜头分割的准确性。
文档编号H04N5/222GK1510907SQ0215697
公开日2004年7月7日 申请日期2002年12月24日 优先权日2002年12月24日
发明者王扉, 张勇东, 李锦涛, 林守勋, 王 扉 申请人:中国科学院计算技术研究所