专利名称：基于外观约束双阶段优化的人体上半身三维运动跟踪方法
基于外观约束双阶段优化的人体上半身三维运动跟踪方法
技术领域：
本发明涉及计算机视觉和视频处理领域，特别涉及基于单目视频的人体上半身三维运动姿态跟踪方法。
背景技术：
基于视频的人体运动跟踪能够广泛应用于人机交互、互动娱乐、智能监控等多个领域。相比较于双目或多目视频跟踪而言，单目视频下的人体三维运动跟踪由于只需一个摄像头就可以进行运动姿态捕获，因而使用更加方便、成本更加低廉。目前，常用的单目视频下的人体三维运动跟踪主要采用基于学习的方法。该方法存在以下缺点1)采用统计学习需要大量的训练样本，而且恢复的人体姿态不确定性较 大。2)统计学习跟踪的效果完全依赖于训练样本，由于人体运动的不确定性，因而由某种样本集训练出来的算法难以适用于所有的人体运动，算法不能泛化。
发明内容鉴于此，本发明的目的在于提供一种实时高效的人体上半身三维运动跟踪方法。本方法根据肢体外观不变性约束建立目标函数，采用双阶段优化算法对该目标函数优化，求得人体上半身三维运动姿态。为达到上述目的，本发明采用以下技术方案I、在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型。2、在肢体纹理不变约束基础上，根据透视投影模型建立人体三维运动姿态提取的目标函数。3、建立目标函数的双阶段优化算法，在跟踪过程中，利用当前帧图像信息通过该优化算法得到目标函数的极小值，从而得到人体上半身的运动姿态。与现有技术相比，本发明具有以下显著优势I、该发明在透视成像模型下采用外观约束双阶段优化，可以跟踪任意视点下人体
三维运动姿态。2、该发明对于成像设备及跟踪人体没有特殊要求，即可以在各种单目视频摄像机下对任意人的三维运动进行跟踪。3、该发明使用设备简单，只需一个摄像头就可以进行三维运动跟踪，应用十分广泛。
图I是本发明采用的人体上半身肢体模型图；图2是人体上半身跟踪流程图；图3是人体上半身关节及肢体模板手工标定结果示意图4是本发明应用于单目视频人体上半身三维跟踪结果具体实施方式下面结合附图及具体实施方式
对本发明作进一步详细描述。我们将人体上半身看成是一种树型模型，如图I所示该肢体模型由8个关节点及7个身体段组成，其中根节点为人体的胸部关节。模型中的线段(人体骨骼段)长度根据人体测量学得到，为一相对比例长度，在应用中应该根据实际测量值设置。具体的人体上半身运动跟踪流程如图2所示，现具体介绍每一步的实现细节I、手工标定初始帧，可以得到以下参数各肢体长度及各关节在局部坐标系中的坐标，各模板中像素灰度值及其在局部坐标系下的坐标。在初始帧中要求被跟踪人体与成像面平行，一个标定结果见图3。2、在其它帧的跟踪过程中，采用模板配准的方法，即先根据透视成像模型建立姿态估算目标函数，然后采用迭代优化该函数得到人体运动姿态，实现如下全局姿态估算所用模板为左右胸肢体，根据像素的局部坐标与全局坐标的关系建立方程如下
权利要求
1.一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法。其特征在于包括以下步骤 a)在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型。 b)在肢体纹理不变约束基础上，根据透视投影模型建立人体三维运动姿态提取的目标函数。 c)建立目标函数的双阶段优化算法，在跟踪过程中，利用当前帧图像信息通过该优化算法得到目标函数的极小值，从而得到人体上半身的运动姿态。
d)根据树型深度遍历建立其它关节姿态求解的目标函数，利用Lucas-Kanade光流法优化该目标函数求得其它关节的姿态。
2.根据权利要求I所述的一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法，其特征在于所述步骤b)中建立以下像素点投影方程，构建目标函数。
3.根据权利要求I所述的一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法，其特征在于所述步骤d)中建立其它肢体中像素点投影方程，构建目标函数。
全文摘要
本发明公开了一种基于外观约束双阶段优化的单目视频人体上半身三维运动跟踪方法。该方法首先根据肢体纹理不变性约束在透视成像模型下建立姿态求解的目标函数，然后由双阶段约束迭代优化求得全局姿态，其它关节的姿态先根据上半身肢体模型深度遍历由纹理不变约束建立目标函数，然后采用Lucas-Kanade光流法优化求得。本发明使用方法简单，跟踪到的人体上半身姿态精确，能够广泛应用于人机交互、互动娱乐、智能监控、医疗诊断等领域。
文档编号G06T7/20GK102819849SQ20121030764
公开日2012年12月12日 申请日期2012年8月28日 优先权日2012年8月28日
发明者陈姝 申请人:湘潭大学