一种基于运动统计特征分析的关键姿态提取方法
【专利摘要】一种基于运动统计特征分析的关键姿态提取方法涉及运动目标检测域。本发明将金字塔LK光流方法应用于举重运动视频中，建立了4个时空通道描述子，将统计分析特性应用于举重运动，而且发现每个通道强度的最值点处和要提取的关键姿态有着紧密的联系。对于教练希望详细查看、分析的关键帧画面以及对于运动员举重的训练具有重大意义。
【专利说明】一种基于运动统计特征分析的关键姿态提取方法
【技术领域】
[0001]本发明涉及运动目标检测域中基于运动员关键姿态提取技术，具体涉及一种基于运动统计特征分析，来提取运动视频中关键姿态帧方法的研究及实现。
【背景技术】
[0002]随着目标检测与跟踪系统进入数字化时代，运动目标检测与跟踪把图像处理、自动控制、信息科学有机结合起来，形成了一种能从图像信号中实时地自动识别目标，提取目标位置信息，自动跟踪目标运动的技术。对序列图像中的目标进行实时检测与跟踪技术越来越具有实用性，它在智能监控、交通监视、流量统计等领域有非常重要的实用价值，具有广阔的发展前景，在军事、工业、安防、智能交通和科学研究等方面都具有重要的意义。
[0003]目前，运动目标的检测技术已经颇为成熟，下面是三种比较经典的方法:(1)光流法三种传统的运动目标检测算法之一。当物体运动时，在图象上对应物体的亮度模式也在运动，从而称光流是图象亮度模式的视觉在运动。光流法检测采用了目标随时间变化的光流特性。利用光流法可以通过计算位移向量光流场来初始化目标的轮廓，从而使基于轮廓的跟踪算法有效地检测和跟踪目标。特征光流法的主要点在于对目标帧间的运动的限制较少，可以处理大的帧间的位移；主要缺点是大多数光流计算方法相当复杂，且抗噪性能差，如果没有特定的硬件支持，一般很难应用于序列图像中运动目标的实时性操作。光流法参见文献:Sasa G,Lonoar1 S.Spalic-temporal image segmentat1n using optical flowand clustering algorithm[A].First Int, Workshop on Image and Signal ProcessingAnalysis[C], Pula, Crotia.2000.63-38。(2)帧间差分法三种传统的运动目标检测算法之一。帧间差分是检测相邻两帧图象之间变化的最简单、最直接的方法，它是直接比较了两帧图象对应象素点的灰度值的不同，然后通过阈值来提取序列图象中的运动区域，第k帧图象A(x，y)和第k+Ι帧图象Ux，式中T为差分图象二值化的阈值。二值图象中为〃0〃的象素对应在前后两帧图象间没有发生(由于运动而产生的)变化的地方，为〃1〃的象素对应两帧图象间发生变化的地方，这常是由目标运动而产生的。帧差法参见文献:G.L.ForestiObject recognit1n and tracking for remote video surveillance IEEE Trans, onCircuits and Systems for Video Technology, 9 (1999), pp.1045 - 1062
(3)背景消减法三种传统的运动目标检测算法之一。在摄像头固定的情况下，背景消减法是常用的运动目标检测方法。其基本思想是将当前帧图象与事先存储或者实时得到的背景模型比较，根据比较的结果判断此象素点是否属于运动目标区域。背景消减法参见文献:Stringa E, Regazzoni C S.Real-time video-shot detect1n for scene surveillanceapplicat1ns [J].1mage Processing, IEEE Transact1ns on, 2000, 9 (I): 69-79.背景消减法操作简单，检测位置准确且速度快。但通常的背景消减法对光线、天气等光照条件的变化非常敏感。运动目标的阴影也常常被检测为运动目标的一部分。这将影响检测结果的准确性。因此，在非控环境中需要加入背景图象的更新机制。常见的背景模型有单高斯分布背景模型和多高斯分布背景模型，前者是为每一个象素点建立了一个高斯分布模型，而后者则是根据多个高斯分布共同描述一个象素点上的颜色分布，参考文献:C Stauffer, W EL Grimson.L—earning Patters of Activity Using Real—Time Tracking, IEEE Trans.PAMI，2000，22(8):747 ~757 和 R T Collins, AJLipton, T Kanade.A System for VideoSurveillance and Monitoring.Proc A m.Nuclear Soc.(ANS)English Int,I TopicalMeeting Robotic and Remote Systems, Apr.1999传统的基于统计模型的背景法，由于需要对每个象素点建立统计模型，计算量大，而且通过该模型进行运动目标检测，无法在短时间内消除运动目标带来的〃鬼影"。
【发明内容】
[0004]本发明是一种基于运动统计特征进行运动关键姿态的分析方法，将金字塔LK光流方法应用于举重运动视频中，建立了 4个时空通道描述子，将统计分析特性应用于举重运动，而且发现每个通道强度的最值点处和要提取的关键姿态有着紧密的联系。对于教练希望详细查看、分析的关键帧画面以及对于运动员举重的训练具有重大意义。
[0005]为了实现上述应用，具体步骤如下:
[0006]I)获得以人物为中心的视频序列。
[0007]2)在每一帧图像上按7*7 (比例可以是5*5~9*9，本发明以7*7为例)窗口大小，对像素点进行采样，如下图1是采样的特征点。
[0008]3)以采样到的点为特征点进行金字塔Lucas-Kanade光流跟踪。令point[0][i]为前一帧的采样点坐标，point [I] [i]为光流跟踪该点的当前图像帧中的坐标,则:
[0009]dist = point [I] [i]-point [0] [i] i = 0, I, 2.....(width/7) * (height/7) (I)
[0010]其中dist为采样点的运动矢量，i为每帧图像中采样点的位置。Width为图像宽度，height为图像高度,连接点point[l] [i]和点point[0] [i],就得到了光流运动的矢量图，以dist的大小为尺度，以point[0] [i]为左上角坐标点，在7*7区域内标定亮度，得到了运动的显著性图。图2(a)-(b)是一段举重视频中几帧光流跟踪的矢量图和显著性图。
[0011]从矢量图和显著性图可以看出，光流运动主要集中于前景运动员的运动，背景的运动噪声相对较小。
[0012]4)根据3)中dist运动矢量，将光流跟踪的结果分解成四个分量水平正方向Fx+、水平负方向Fx_、垂直正方向Fy+、垂直负方向Fy，建立4个通道描述子。如图3是每个通道建立的过程。
[0013]定义点运动的水平距离dx，垂直距离dy为:
[0014]
【权利要求】
1.一种基于运动统计特征分析的关键姿态提取方法，其特征在于，步骤如下: 1)获得以人物为中心的视频序列； 2)在每一帧图像上按7*7窗口大小,对像素点进行米样； 3)以采样到的点为特征点进行金字塔Lucas-Kanade光流跟踪；$point[0][i]为前一中贞的采样点坐标，point[l] [i]为光流跟踪该点的当前图像帧中的坐标,则:
dist = point[I][i]-point[O][i] i = 0, I, 2.....(width/7)*(height/7) (I) 其中dist为采样点的运动矢量，i为每帧图像中采样点的位置；Width为图像宽度，height为图像高度,连接点point[l] [i]和点point[0] [i],就得到了光流运动的矢量图，以dist的大小为尺度，以point [O] [i]为左上角坐标点，在7*7区域内标定亮度，得到了运动的显著性图； 4)根据3)中dist运动矢量，将光流跟踪的结果分解成四个分量水平正方向Fx+、水平负方向Fx_、垂直正方向Fy+、垂直负方向Fy_，建立4个通道描述子；定义点运动的水平距离dx，垂直距离dy为:
光流矢量4个通道划分:
width ,height代表图像的宽度和高度，其中i代表每帧图像中采样的像素点的位置，t代表当如图像在运动视频序列中的帧号，fiast为该视频序列中最后一帧图像，dX为光流跟踪的运动矢量在水平方向的运动，dy为光流跟踪的运动矢量在垂直方向的运动； Fx+(t, i)代表在X水平正方向通道中第t帧图像中，第i个采样点的运动距离值；Fx-(t，i)代表在X水平负方向通道中第t帧图像中，第i个采样点的运动距离值；Fy+(t，i)代表在I垂直正方向通道中第t帧图像中，第i个采样点的运动距离值；Fy_(t，i)代表在y垂直负方向通道中第t帧图像中，第i个采样点的运动距离值；然后统计每个通道的当前帧所有采样点的强度:
其中t为代表当前图像在运动视频序列中的帧号，i为每帧图像中采样点的位置，Fx+(t, i)代表在X水平正方向第t帧图像中，第i个采样点的运动距离值，Fx+(t)为在t帧图像中水平正方向Fx+所有采样点的运动距离和，Fx-(t)为在t帧图像中水平负方向Fx-所有采样点的运动距离和，Fy+(t)为在t帧图像中垂直正方向Fy+所有采样点的运动距离和，Fy-(t)为在t帧图像中垂直负方向Fy-所有采样点的运动距离和，其中t =1,2.......flast同理求出Fx-(t)和Fy+(t)以及Fy-(t)在t帧图像中水平负方向Fx_，垂直正方向Fy+、垂直负方向Fy-所有采样点的运动距离和，然后求出所有帧中每个通道的最大值:MaxFx+ = Fx+(t)，其中t e (1,2.......flast) ；MaxFx+为Fx+方向上所有帧中的运动距离最大值，MaxFx-为Fx-方向上所有帧中的运动距离最大值，MaxFy+为Fy+方向上所有帧中运动距离的最大值，MaxFy-为Fy_方向上所有帧中运动距离的最大值，同理求出MaxFx_和MaxFy+以及MaxFy_ ;画出每个通道的强度变化曲线，并找出曲线最大值点处对应的关键视频帧。
【文档编号】G06T7/00GK104200455SQ201410263618
【公开日】2014年12月10日 申请日期:2014年6月13日 优先权日:2014年6月13日
【发明者】毋立芳, 钱坤, 张静文, 邱健康 申请人:北京工业大学