专利名称：从具有静态背景的运动视频提取运动对象重心轨迹的方法
技术领域：
本发明涉及一种运动视频的运动对象重心轨迹提取方法，特别是一种从具有静态背景的运动视频中提取运动对象重心轨迹的方法。
背景技术：
利用视频对运动对象的运动进行分析是模式识别，虚拟现实、智能人机接口领域的热点问题，具有极大的应用价值。例如，在体育运动视频中对运动员的运动进行分析，对于指导教练员和运动员的训练，提高训练水平和竞技水平有着重要的指导意义。
其中，运动对象在执行特定动作时的2D重心轨迹是运动分析中的一个极其重要的参数，如果能从视频中获取运动过程中运动对象的2D重心轨迹，就可以为判断运动对象所执行动作的质量提供强有力的依据。例如，如果应用到体育运动视频中，就可以为指导运动员的训练提供一个有效的手段，对提高运动员的运动质量，提高训练水平和竞技水平具有重要价值。
所谓静态背景运动视频，是指在视频图像序列中，场景背景不变的视频。例如，蹦床运动视频中，摄像机是静止不动的，场景背景也是静止的，所以，蹦床运动视频就属于静态背景运动视频。如果能够有一种方法，可以在静态背景条件下，从运动视频中找到运动对象的重心轨迹，如找到蹦床运动员的重心运动轨迹，就能够更好地研究运动对象的运动规律，根据运动对象的运动规律可以对运动对象的运动做更进一步的研究。
但在国内外的现有视频处理软件中，都没有提供这种自动提取静态背景视频中运动对象重心轨迹的功能。目前为止，也没有找到能够提供上述功能的专利。
发明内容
本发明的目的是为在静态背景条件下，从运动视频中找到运动对象的重心轨迹，从而更好地研究运动对象的运动规律，而提供一种从具有静态背景的运动视频中提取运动对象重心轨迹的方法。
为实现上述目的，本发明提出一种从具有静态背景的运动视频提取运动对象重心轨迹的方法，该方法包括如下步骤获取一由多个视频帧组成的运动视频，并存入计算机；所述运动视频具有静态背景以及在静态背景上的运动前景，所述运动前景包括有运动对象；提取出所述运动视频的静态背景；对于每一视频帧，将该视频帧与所述静态背景作帧差，获得该视频帧的运动前景区域；对于每一视频帧，从视频帧的所述运动前景区域提取出运动对象的二维轮廓；对于每一视频帧，计算所述运动对象二维轮廓的重心点；将所有视频帧的运动对象的重心点转换到同一图像中，获得运动对象的重心轨迹。
上述技术方案中，所述的提取出运动视频的静态背景包括求相邻视频帧间的视频帧差图；求视频帧差图中的静止部分，所述静止部分包括至少一个分段；用视频帧差图的静止部分中的最长分段中点的对应帧号的像素点来填充背景中的相应位置，得到静态背景。
所述的求相邻帧间的视频帧差图包括将相邻帧间的亮度分量相减。
所述的求相邻帧间的视频帧差图还包括设定一阀值以去除噪声。
上述技术方案中，所述的从视频帧的运动前景区域提取出运动对象的二维轮廓包括去噪和/或去除非运动对象。
所述的去噪包括去除所述运动前景区域中面积小于一阀值的的空穴。
所述的去除非运动对象包括去除视频帧中处于非中央区域的前景区域。
上述技术方案中，所述的计算所述运动对象二维轮廓的重心点是求运动对象二维轮廓的几何中心。
本发明的方法的优点在于1、本发明方法具有良好的通用性，只要背景是静态的运动视频都适用于本发明方法。
2、本发明方法在提取运动对象轮廓过程中，采用了基于运动规律的逐步分层次去除噪声的方法，即使在存在较大噪声，造成前景轮廓提取效果不甚理想的情况下，仍然能够得到较为理想的效果。
图1为静态背景运动视频的运动对象重心轨迹提取流程图。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步详细描述。
参照图1，为本实施例的流程图。图1中虚线框内表示操作，实线框内表示相关操作得到的结果。如图1所示，本实施例包括下列步骤步骤10利用摄像设备获取原始的运动视频，并存入计算机。该运动视频具有静态背景以及在静态背景上的运动前景。该运动前景包含有运动对象，这里的运动对象通常是指该运动视频所主要拍摄的运动目标，例如体育视频中的运动员。该运动前景中还可能包括一些其它的非运动对象，这里的非运动对象通常是指运动视频的除运动对象之外的其它运动物体，例如运动员所使用的诸如球或棒等辅助运动工具。
步骤20预处理。即采用常规的平滑技术对所获取的运动视频进行平滑处理，以初步去除噪声的影响，然后将运动视频分割生成各个视频帧。对运动视频进行平滑处理时，优选采用中值滤波的局部平均平滑技术，它对脉冲干扰和淑盐的抑制效果好，在抑制随机噪声的同时能降低边沿的模糊程度。中值滤波是一种非线性的图像平滑方法，它对一个滑动窗口内的诸像素进行灰度排序而形成一个灰度值的序列，用序列中的中值代替窗口中心像素原来的灰度(若窗口中有偶数个像素，则取灰度值序列中两个中间值的平均)。
步骤30提取运动视频的静态背景。具体包括以下步骤a1)求视频帧差视频帧差CDM(Change Detection Mask)用来反映相邻帧之间的灰度变化，通过灰度帧差的求取可以方便地知道帧与帧之间的变化情况。视频帧差的具体求解如下用图像序列I(x，y，i)表示运动视频第i帧在(x，y)处的像素值，其中i代表帧号(i＝1...N)，N为序列总帧数，(x，y)代表空间坐标。图像序列I(x，y，i)的亮度分量为IL(x，y，i)，则视频帧差CDM的求解公式如下CDM(x,y,i)=d,ifd≥T0,ifd<Td=|IL(x,y,i+1)-IL(x,y,i)|]]>其中，阈值T被用来二次去除噪声，阀值T是一个已知的公知值，无需用户另行设定。对固定的坐标位置(x，y)，CDM(x，y，i)可以表示为帧号i的函数，它记录了在位置(x，y)处像素点的视频帧差沿时间轴的变化曲线。
b1)求视频帧差中的静止部分对于固定的坐标位置(x，y)，根据CDM(x，y，i)是否大于零将CDM(x，y，i)曲线分段，其中CDM(x，y，i)的值为0的部分称为静止部分，该静止部分由一个或者多个分段组成。
c1)背景提取对于固定的坐标位置(x，y)，在其CDM(x，y，i)曲线的静止部分中挑选出最长的分段，并记录该分段中点的对应帧号为M(x，y)；用第M(x，y)帧处的(x，y)点的像素值来填充视频背景中的(x，y)位置。这样，当遍及视频帧上所有的坐标位置(x，y)后，即可形成一个完整的背景。该步骤可用下面的公式描述M(x，y)＝(ST(x，y)+EN(x，y))/2B(x，y)＝I(x，y，M(x，y))其中，ST(x，y)和EN(x，y)表示坐标位置(x，y)的视频帧差CDM(x，y，i)的静止部分中的最长分段的起点帧号和终点帧号，B(x，y)为静态背景中(x，y)处的像素值。
步骤40提取运动视频的前景区域轮廓。具体操作是利用已经得到的静态背景，在视频中的每一帧和静态背景之间用减法运算得到亮度分量的背景帧差图IDL，背景帧差图IDL中的非零区域反映了每一视频帧的前景区域。背景帧差图IDL的计算公式如下IDL(x,y,i)=d,ifd≥T0,ifd<T,d=|IL(x,y,i)-BL(x,y)|]]>其中，IL为视频帧的亮度分量，BL是背景的亮度分量。在求解背景帧差图IDL的过程中，利用阀值T也可以去除部分噪声。在实际情况中，背景并不是完全静止的，由于光照或者其他干扰而引入了一些局部噪声，这些干扰对运动目标的正确检测和定位带来很大的困难，因此，可以利用色度等其他信息或形态学的方法消除背景帧差图IDL中的这些噪声。
步骤50对每一背景帧差图IDL的前景区域进行分层去噪，得到精确的运动对象的二维(2D)轮廓。步骤40中背景帧差图IDL中的非零区域反映了视频帧的前景区域的轮廓，但是其中通常还包括有噪声或者非运动对象。其中的噪声通常表现为空穴，在背景帧差图IDL中，空穴是指由白色背景区域包围起来的一个黑区域。空穴的处理可通过如下步骤进行首先搜索出背景帧差图IDL图中所包含的所有空穴；设定一阀值并计算每个空穴的面积，如果空穴面积小于阈值，就将当前空穴所有的像素赋以背景值，进行空穴消去；如果大于阈值，则保留原有的空穴。由于前景区域中的运动对象一般位于视频帧的中央部位，因此位于视频帧的非中央区域的前景区域可以认为是运动前景中的非运动对象，可以将对应区域的像素赋以背景值，进行消去。
对背景帧差图IDL中的空穴和非运动对象进行处理后，即可得到精确的运动对象的二维轮廓。
步骤60运动对象重心的计算。得到运动对象精确的二维轮廓以后，通过简单的二维运算，就能够得到运动对象的二维重心。这里的二维运算就是指计算二维运动对象轮廓的几何中心例如设GL为视频序列中第L帧图像的运动对象轮廓区域，而(X1，Y1)、(X2，Y2)、...、(Xn，Yn)为组成运动对象轮廓区域GL的所有像素点，则(X，Y)就为该帧图像的2D重心轨迹点坐标，其中X=(X1+X2+...+Xnn),Y=(Y1+Y2+...Ynn).]]>步骤70将从每一视频帧得到运动对象重心点转换到指定的同一视频帧中，将各个重心点相连接，便得到了一条连续的运动对象重心轨迹。
权利要求
1.一种从具有静态背景的运动视频提取运动对象重心轨迹的方法，该方法包括如下步骤获取一由多个视频帧组成的运动视频，并存入计算机；所述运动视频具有静态背景以及在静态背景上的运动前景，所述运动前景包括有运动对象；提取出所述运动视频的静态背景；对于每一视频帧，将该视频帧与所述静态背景作帧差，获得该视频帧的运动前景区域；对于每一视频帧，从视频帧的所述运动前景区域提取出运动对象的二维轮廓；对于每一视频帧，计算所述运动对象二维轮廓的重心点；将所有视频帧的运动对象的重心点转换到同一图像中，获得运动对象的重心轨迹。
2.根据权利要求1所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的提取出运动视频的静态背景包括求相邻视频帧间的视频帧差图；求视频帧差图中的静止部分，所述静止部分包括至少一个分段；用视频帧差图的静止部分中的最长分段中点的对应帧号的像素点来填充背景中的相应位置，得到静态背景。
3.根据权利要求2所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的求相邻帧间的视频帧差图包括将相邻帧间的亮度分量相减。
4.根据权利要求3所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的求相邻帧间的视频帧差图还包括设定一阀值以去除噪声。
5.根据权利要求1所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的从视频帧的运动前景区域提取出运动对象的二维轮廓包括去噪和/或去除非运动对象。
6.根据权利要求5所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的去噪包括去除所述运动前景区域中面积小于一阀值的空穴。
7.根据权利要求6所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的去除非运动对象包括去除视频帧中处于非中央区域的前景区域。
8.根据权利要求1所述的从具有静态背景的运动视频提取运动对象重心轨迹的方法，其特征在于，所述的计算所述运动对象二维轮廓的重心点是求运动对象二维轮廓的几何中心。
全文摘要
本发明公开了一种从具有静态背景的运动视频中提取运动对象重心轨迹的方法，该方法包括如下步骤获取一由多个视频帧组成的运动视频，并存入计算机；提取出所述运动视频的静态背景；对于每一视频帧，将该视频帧与静态背景作帧差，获得该视频帧的运动前景区域；从视频帧的所述运动前景区域提取出运动对象的二维轮廓；计算所述运动对象二维轮廓的重心点；将所有视频帧的运动对象的重心点转换到同一图像中，获得运动对象的重心轨迹。本方法具有良好的通用性，只要背景是静态的运动视频都适用；本方法在提取运动对象轮廓过程中，采用逐步分层次去除噪声的方法，即使在存在较大噪声，造成前景轮廓提取效果不理想的情况下，仍能够得到较为理想的效果。
文档编号G06T7/20GK1770204SQ200410086740
公开日2006年5月10日 申请日期2004年10月29日 优先权日2004年10月29日
发明者邱显杰, 夏时洪, 王兆其, 李锦涛 申请人:中国科学院计算技术研究所