一种基于视觉的运动特征提取方法
【专利摘要】本发明涉及一种基于视觉的运动特征提取方法，具体包括以下步骤：步骤S1：基于连续帧提取每个像素点的运动矢量；步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；步骤S3：以特征点为中心，构建基于运动矢量的方向?幅值直方图的立方本特征向量；步骤S4：通过聚类算法对局部描述子形成编码向量。该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。
【专利说明】
一种基于视觉的运动特征提取方法
技术领域
[0001]本发明涉及计算机视觉、图像处理技术领域，特别是一种基于视觉的运动特征提取方法。
【背景技术】
[0002]随着国家电网数字档案馆深化应用与推广实施工作的开展，电子档案得到了规范化管理和高效化使用。基于音视频智能化处理新技术和新方法等被引入到电子档案管理中，以解决视频文件大规模存储、处理和检索等难题。智能视频分析是计算机视觉中非常活跃的一领域，其中基于视频的运动物体的运动特征提取技术，更是智能视频分析研究的热点。智能视频技术在不需要人为干预的情况下，对视频数据进行自动分析，提取目标的细节信息，对目标进行辨识或活动状态进行理解和分析，实现目标的检测、识别和跟踪。把基于视频的智能信息处理引入数字电子档案馆中，可以减少大量人力，增强自动监控能力，同时节约资源，具有深远的科研意义和广泛的商业价值。
[0003]对运动目标进行特征点提取是生成动运特征描述的关键。传统的运动特征提取方法通常是先根据目标轮廓、纹理等信息检测到目标，接着生成运动信息。由于需要对目标进行差分、跟踪，背景建模等处理，这类方法容易受到光照、噪声、遮挡、摄像头运动等因素的影响。从图像中提取运动目标的时空特征点是目标检测较好的算法，因为这些点是像素值在时空域内剧烈变化的点，它们包含了丰富的运动信息，同时也具有较强的稳定性，克服了背景建模等步骤带来的问题。
[0004]时空特征点反映了运动目标发生显著变化的位置，但他们只是一些孤立的点，还难以通过这些点表示目标的运动信息。通常利用特征点周围的时空信息对这些点进行描述，即为时空特征点的描述构建过程。以时空特征点为中心的小立方体提取一维向量，一般可包含局部梯度、速度信息。
[0005]基于特征点和特征点描述子的运动特征提取算法可以参见P1tr D.,VincentR.，et al Behav1r Recognit1n via Sparse Spat1-Temporal Features，2005;该文比较了2D特征点与3D特征点的检测效果，并提出基于时空的特征描述算子。Marcin M., IvanL.,et al Act1n in Context，2007;该文比较了3D-Harris与2D-Harris特征点提取算法，使用了HOF and H0G、Sift特征描述子算法，并引入Bag-of-features的视频编码技术。
【发明内容】
[0006]有鉴于此，本发明的目的是提供一种基于视觉的运动特征提取方法，该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。
[0007]本发明采用以下方案实现:一种基于视觉的运动特征提取方法，具体包括以下步骤:
[0008]步骤S1:基于连续帧提取每个像素点的运动矢量；
[0009]步骤S2:提取在X、Y、T方向像素值强烈变化的特征点；
[0010]步骤S3:以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
[0011]步骤S4:通过聚类算法对局部描述子形成编码向量。
[0012]进一步地，所述步骤SI中，基于连续帧提取每个像素点的运动矢量的具体步骤如下:
[0013]步骤Sll:令i= l，获得第i帧图像I(x，i);
[0014]步骤S12:获得第i+1帧图像I(x，i+1);
[0015]步骤S13:对图像灰度化与去噪的预处理，得到图像I’(x，i)和I’(X，i+1);
[0016]步骤S14:根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’XVx+1’yVy = O，计算得到运动矢量(Vx，Vy)。
[0017]进一步地，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下:
[0018]步骤S21:构建基于立方体的DOG高斯金字塔，DOG公式如下:
[0019]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0020]公式中，尺度空间L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中为I(x，y，z)输入体积，G (X，y，z，ko)是尺度为ko的高斯三维滤波器；
[0021 ] 步骤S22:计算DOG局部极值点，即为特征点。
[0022]进一步地，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下:
[0023]步骤S31:计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；
[0024]步骤S32:以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
[0025]进一步地，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下:
[0026]步骤S41:使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
[0027]步骤S42:使用欧式距离统计指定区域内每一类的频数，形成编码向量。
[0028]与现有技术相比，本发明具有以下突出优点:该方法考虑时空域内剧烈变化的点，不需要对运动目标进行检测与跟踪，也不需要进行背景建模。以特征点为中心构建立方体的运动描述子，其中包含了轮廓信息、速度信息等，提供了对着感兴趣运动目标的运动的理解与分析的方法;通过聚类过程形成频率编码向量，构建了指定区域内运动描述子的统计?目息O
【附图说明】
[0029]图1是本发明基于视觉的感兴趣目标的运动特征提取流程图。
[0030]图2是本发明关于高斯金字塔的构建过程图。
[0031]图3是本发明关于高斯空间的关键点的示意图。
[0032]图4是本发明关于构建速度矢量的特征描述子的流程图。
【具体实施方式】
[0033]下面结合附图及实施例对本发明做进一步说明。
[0034]本实施例提供一种基于视觉的运动特征提取方法，如图1所示，具体包括以下步骤:
[0035]步骤S1:基于连续帧提取每个像素点的运动矢量；
[0036]步骤S2:提取在X、Y、T方向像素值强烈变化的特征点；
[0037]步骤S3:以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
[0038]步骤S4:通过聚类算法对局部描述子形成编码向量。
[0039]在本实施例中，所述步骤SI中，基于连续帧提取每个像素点的运动矢量的具体步骤如下:
[0040]步骤Sll:令i= l，获得第i帧图像I(x，i);
[0041]步骤S12:获得第i+1帧图像I(x，i+1);
[0042]步骤S13:对图像灰度化与去噪的预处理，得到图像I’(x，i)和I’(X，i+1);
[0043]步骤S14:根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+1’yVy = O，计算得到运动矢量(Vx，Vy)。
[0044]在本实施例中，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下:
[0045]步骤S21:构建基于立方体的DOG高斯金字塔，DOG公式如下:
[0046]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0047]公式中，尺度空间L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中为I(x，y，z)输入体积，G (X，y，z，ko)是尺度为ko的高斯三维滤波器；
[0048]高斯金字塔的构建过程如图2所示，左侧一列是尺度金字塔，分别是由原视频立方体产生的尺度为的高斯尺度空间。右则的高斯金字塔每一层是由左侧的相邻尺度的高斯空间相减得到的；
[0049]步骤S22:计算DOG局部极值点，即为特征点；
[0050]特征点是DOG空间内的局部最大或最小的点。图3是得到局部极值点一实例，其中候选关键点为于一5*5*5的立方体中心的黑实心点，通过与立方体内的所有相领取点比较，可知中心是否为关键点。
[0051]在本实施例中，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下:
[0052]步骤S31:计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；在指定的小区域(如Cell = 4*4)内按加权投票构建方向-幅值的直方图，并在区域(如Block = 8*8)做归一化处理。在一个更大的区域(如Win =16*16)内收集所有的直方图，得到矢量直方图运动描述子，其过程如图4;
[0053]步骤S32:以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
[0054]在本实施例中，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下:
[0055]步骤S41:使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
[0056]步骤S42:使用欧式距离统计指定区域内每一类的频数，形成编码向量。
[0057]以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【主权项】
1.一种基于视觉的运动特征提取方法，其特征在于:具体包括以下步骤: 步骤SI:基于连续帧提取每个像素点的运动矢量； 步骤S2:提取在X、Y、T方向像素值强烈变化的特征点； 步骤S3:以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量； 步骤S4:通过聚类算法对局部描述子形成编码向量。2.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于:所述步骤SI中，基于连续帧提取每个像素点的运动矢量的具体步骤如下: 步骤SI 1:令i = I，获得第i帧图像I (X，i)； 步骤312:获得第1+1帧图像1&4+1); 步骤S13:对图像灰度化与去噪的预处理，得到图像和I’(x，i+1); 步骤S14:根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程1、\^+1’7\^ = 0，计算得到运动矢量(\^，'\^)。3.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于:所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下: 步骤S21:构建基于立方体的DOG高斯金字塔，DOG公式如下: D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO) 公式中，尺度空间1^(1，7，2，1^0)=6(1，7，2，1^0)*1(1，7，2)，其中为1(1，7，2)输入体积，6(X，y，z，ko)是尺度为ko的高斯三维滤波器； 步骤S22:计算DOG局部极值点，即为特征点。4.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于:所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下: 步骤S31:计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图； 步骤S32:以特征点为中心，串联立方体内的矢量直方图形成运动描述子。5.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于:所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下: 步骤S41:使用所述步骤S32得到的描述子进行聚类，得到每类的质心； 步骤S42:使用欧式距离统计指定区域内每一类的频数，形成编码向量。
【文档编号】G06T7/20GK105957103SQ201610248526
【公开日】2016年9月21日
【申请日】2016年4月20日
【发明人】李霆, 蔡宇翔, 蔡力军, 苏运东, 付婷, 肖琦敏, 曾伟波, 倪时龙, 吕君玉, 许成功
【申请人】国网福建省电力有限公司, 国家电网公司, 国网福建省电力有限公司信息通信分公司, 福建亿榕信息技术有限公司, 国网信息通信产业集团有限公司, 国网信通亿力科技有限责任公司