专利名称：一种单视角无标记人体运动跟踪的关节定位方法
技术领域：
本发明涉及人体运动跟踪技术领域，尤其涉及一种人体关节的跟踪定位方法。
背景技术：
基于视频的人的运动分析与理解是计算机视觉领域广受关注的研究热点，运动跟踪是其重要内容。运动跟踪的主要方法有两类有标记的视频运动跟踪与无标记的视频运动跟踪。其中，基于视频的无标记人体运动跟踪，是从一个或多个视角已同步的图像序列中恢复人体姿态信息，主要包括头、躯干和四肢的运动，具有非入侵、成本低、智能化等特点， 具有广泛的应用前景。然而，由于存在人体的非刚性运动、遮挡与自遮挡、高维状态空间搜索、复杂条件下的特征提取等难点，从视频图像中恢复人体姿态具有很大的不确定性。一般将人体定义为分层的树型结构，将骨盆或躯干定义为树的根，整个人体运动可视为由根节点的全局运动和子节点绕其父节点的旋转运动组成，因此，人体姿态可用根节点的位置、方向参数和关节角参数组成的状态向量表示。目前，基于模型的人体运动跟踪就是在由状态向量张成的状态空间中搜索合适的点，使得该点对应姿态的投影与图像特征最为匹配。如粒子滤波算法，在人体运动跟踪中获得了广泛应用，但由于跟踪高自由度的人体运动时，其效率非常低下并且精度难以保证，如何改善其效率、提高其精度是目前研究的 ^^点ο另一类人体运动跟踪的主要方法是基于识别的方法。该类方法需要大量的训练数据，对事先标注的运动库建立索引或从中学习特征与姿态的对应关系，通过最近邻搜索或函数映射获得人体姿态参数，从而将姿态估计问题转换为模式识别问题。此方法的不足是只能识别已知动作，而且所得结果可能不精确；而对于复杂运动，其训练样本集的覆盖性和代表性很难保证。因此，如何有效解决人体运动跟踪的效率、精度和鲁棒性问题，特别是，对于高自由度的树型结构的人体运动跟踪，如何保证人体各关节的高效跟踪定位，以达到实时应用的目的，是目前的研究热点。
发明内容
为弥补现有技术的不足，本发明目的是提供一种单视角无标记人体运动跟踪的关节定位方法，在保证了足够精度和稳定性的前提下，极大地提高了算法的效率，其处理性能在普通PC上可以达到60帧每秒以上，完全达到了实用的目的。本发明的技术方案如下一种单视角无标记人体运动跟踪的关节定位方法，其特征在于，包含步骤301，检测手的位置，得到手的候选样本handCandidate = {Hi (xi, yi)}, i = 0,1, ...，numHandCandidate-1，其中，Hi (xi, yi)为第 i 个手的候选样本， numHandCandidate为手的候选样本的个数；步骤302，筛选手的位置，对手的候选样本进行筛选，获得概率大的样本作为优选样本；步骤303，检测肘部的位置，获得肘部的候选样本；步骤304，组合筛选手与肘部的位置；对手与肘的优选样本两两组合形成前臂样本，再对该前臂样本进行优选，获得前臂的优选样本；步骤305，组合筛选手、肘与肩的位置，根据该前臂的优选样本与肩的位置进行组合优选，获得手臂的样本；步骤306，对手臂的候选样本进行优选加权，获得最终的手、肘、肩的位置。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该步骤301检测手的位置的具体方法为根据多种信息的融合，对输入的图像帧中手的可能位置进行检测，该多种信息至少包括如下之一前景信息、肤色信息、运动信息，分别表示为前景图像imgBG，肤色图像 imgSkin，运动能量图像imgMEI。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该步骤301检测手的位置的具体方法为对输入的图像帧进行扫描，设人体的单位长度为sizeUnit，将手定义为图像中的一个矩形区域，边长表示为sizeHand，|』_zef/m_i ^sizeHand今sizeUnit，满足如下条件
的位置认为是手的可能位置H(xH，yH)(1)处于前景，即 PBG(xH,yH) > deltaBGH，其中，pBG(xH，yH)为 H(xH，yH)处于前景的概率，deltaBGH为确定是否处于前景的阈值，0. 3 ( deltaBGH ( 0. 5，pBG(xH, yH)由下式获得pBG(xH, yH) = numPixelFG/(sizeHand · sizeHand)其中，numPixeire为H代表的手的矩形区域中处于前景的像素个数，由前景图像
获得；(2)可检测到肤色信息，即pSkin (xH, yH)彡0，pSkin (xH, yH)为H属于肤色的概率，pSkin(XH，yH)由下式获得pSkin(xH, yH) = numPixelSkin/ (sizeHand · sizeHand)其中，numPixelSkin为H代表的手的矩形区域中属于肤色的像素个数，由肤色图
像获得；(3)具有运动信息，即pMotion (xH, yH)彡0，pMotion (xH, yH)为H处于运动状态的概率，pMotion (xH, yH)由下式获得pMotion(xH, yH) = numPixeIMotion/(sizeHand · sizeHand)其中，numPixelMotion为H代表的手的矩形区域中属于运动状态的像素个数，由
运动能量图像获得；(4)处于合理的物理位置，即D (H，S) ( lengthArm，其中，S为躯干中的肩节点的位置；D (H, S)为手的位置H到肩S的距离；IengthArm为手臂的长度，3 .sizeUnit彡length Arm ^ 3. 5 · sizeUnit。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该扫描方式是逐像素扫描的方式或者根据一定的步长进行扫描的方式。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该步长为sizeHand 的 1/2 至 1/3。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该步骤302中对手的候选样本进行筛选的条件为(1)具有一定肤色信息，且距离上一帧的手的位置不远的样本优先保留；(2)具有运动信息，且其在运动图像中与上一帧的手的位置相连的样本优先保留；(3)距离上一帧的手的位置越近的样本获选的概率越大；(4)肤色信息越多的样本获选的概率越大；(5)运动信息越显著的样本获选的概率越大。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该对手的候选样本进行筛选的具体方法为(1)对于已检测到的手的候选样本handCandidate，根据该条件(1)选出优选样本 Hi (xi，yi))，Hi (xi, yi)同时满足:pSkin (xi，yi) > deltaSkin 和 D (Hi，handLast) < deltaDis，筛选获得的优选样本个数记为numSkin ；其中，deltaSkin为肤色优选阈值，0彡deltaSkin彡0. 2 ； handLast为上一帧的手的位置，deltaDis为距离限制阈值，与手的大小相关， sizeHand ^ deltaDis ^ 2 · sizeHand ；(2)对于剩下未被选中的样本，根据该条件(2)选出优选样本，Hi (xi, yi)同时满足pMotion(xi, yi) > deltaMotion 禾口 bMotionConnection(Hi, handLast) = true,其中，deltaMotion为运动信息阈值，0.1 彡 deltaMotion 彡 0.4， bMotionConnection (Hi, handLast) = true表示Hi与上一帧的手的位置在运动能量图像上相连通；本次选拔获得的优选样本个数记为numMotion ；(3)对于剩下未被选中的样本再做进一步优选；设需要选出numGood个优选样本，50彡numGood彡150。则在剩下的样本中还需要再选出 numLeft = numGood-numSkin-numMotion 个样本；如果numLeft > 0,则继续进行如下优选过程对于样本Hi (xi, yi)，该条件( 所示的时域连续性概率表示为
ιpTempo(xi,yi) =2σ2其中，δ = D(Hi, handLasf)，为Hi与handLast之间的距离；σ为标准差，取值 sizeUnit的2至4倍之间；样本Hi (xi，yi)的联合概率可表示为pMergeHand(xi, yi) = pTempo(xi, yi) · pSkin(xi, yi) · pMotion(xi, yi)选出联合概率pMergeHand最大的numLeft个样本作为优选样本；通过以上步骤，最终获得numGood个优选样本。如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，当本帧为初始帧或上一帧手的跟踪失败时，则假设上一帧的手的位置handLast处于自然状态，该手的位置根据人体结构的特点获得此时双手位于身体两侧，距离人体躯干中轴线约为sizeUnit， 所处高度处于身高的一半。
如上的一种单视角无标记人体运动跟踪的关节定位方法，其中，该步骤303检测肘部位置的方法为对输入的图像帧进行扫描，设肘部为图像中的一个矩形区域，边长为sizeElbow， sizeElbow取值为sizeUnit的1/2，肘部的候选样本E (xE，yE)应满足如下条件(1)处于前景，即pBG(xE，yE) > thBGE, thBGE为确定是否处于前景的阈值， 0. 2 彡 thBGE 彡 0. 5 ；(2)处于合理的物理范围，即肘不可能超过躯干上臂长度的范围，表示为D(E， S) ( lengthUpperArm，其中，D(Ε, S)为肘至肩的距离，IengthUpperArm为上臂的长度，取值 sizeUnit 的 1 至 1. 8 倍；符合上述条件检测出的肘部候选样本Ei (xi, yi)，其概率由如下因素确定时域连续性，即其距上一帧肘部位置elbowLast的距离越近概率越大，时域连
续性概率
权利要求
1.一种单视角无标记人体运动跟踪的关节定位方法，其特征在于，包含步骤301，检测手的位置，得到手的候选样本handCandidate = {Hi (xi, yi)}，i = 0， 1, . . . , numHandCandidate-l,^11!11, Hi (xi, yi)为第 i f·^的{l^ifeli*，numHan(!Candidate 为手的候选样本的个数；步骤302，筛选手的位置，对手的候选样本进行筛选，获得概率大的样本作为优选样本；步骤303，检测肘部的位置，获得肘部的候选样本；步骤304，组合筛选手与肘部的位置；对手与肘的优选样本两两组合形成前臂样本，再对该前臂样本进行优选，获得前臂的优选样本；步骤305，组合筛选手、肘与肩的位置，根据该前臂的优选样本与肩的位置进行组合优选，获得手臂的样本；步骤306，对手臂的候选样本进行优选加权，获得最终的手、肘、肩的位置。
2.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤301检测手的位置的具体方法为根据多种信息的融合，对输入的图像帧中手的可能位置进行检测，该多种信息至少包括如下之一前景信息、肤色信息、运动信息，分别表示为前景图像imgBG，肤色图像 imgSkin，运动能量图像imgMEI。
3.如权利要求2所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤301检测手的位置的具体方法为对输入的图像帧进行扫描，设人体的单位长度为sizeUnit，将手定义为图像中的一个矩形区域，边长表示为sizeHand，^feeUmY彡论e/Zimi^^dzei/mY，满足如下条件的位置认为是手的可能位置H(xH，yH)(1)处于前景，即pBG(xH，yH) > deltaBGH，其中，pBG(xH，yH)为 H(xH，yH)处于前景的概率，deltaBGH为确定是否处于前景的阈值，0. 3 ( deltaBGH ( 0. 5，pBG(xH, yH)由下式获得pBG(xH，yH) = numPixelFG/(sizeHand · sizeHand)其中，numPixeire为H代表的手的矩形区域中处于前景的像素个数，由前景图像获得；(2)可检测到肤色信息，即pSkin(xH,yH)彡0，pSkin(xH, yH)为H属于肤色的概率， pSkin(xH, yH)由下式获得pSkin(xH, yH) = numPixelSkin/ (sizeHand · sizeHand)其中，numPixelSkin为H代表的手的矩形区域中属于肤色的像素个数，由肤色图像获得；(3)具有运动信息，即pMotion(xH,yH)彡0，pMotion (xH, yH)为H处于运动状态的概率，pMotion (xH, yH)由下式获得pMotion(xH, yH) = numPixeIMotion/(sizeHand · sizeHand)其中，numPixelMotion为H代表的手的矩形区域中属于运动状态的像素个数，由运动能量图像获得；(4)处于合理的物理位置，即D(H，S) ( lengthArm，其中，S为躯干中的肩节点的位置；D (H, S)为手的位置H到肩S的距离；IengthArm为手臂的长度，3 MizeUnit彡IengthArm彡 3. 5 · sizeUnit。
4.如权利要求3所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该扫描方式是逐像素扫描的方式或者根据一定的步长进行扫描的方式。
5.如权利要求4所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步长为sizeHand的1/2至1/3。
6.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤302中对手的候选样本进行筛选的条件为(1)具有一定肤色信息，且距离上一帧的手的位置不远的样本优先保留；(2)具有运动信息，且其在运动图像中与上一帧的手的位置相连的样本优先保留；(3)距离上一帧的手的位置越近的样本获选的概率越大；(4)肤色信息越多的样本获选的概率越大；(5)运动信息越显著的样本获选的概率越大。
7.如权利要求6所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该对手的候选样本进行筛选的具体方法为(1)对于已检测到的手的候选样本handCandidate，根据该条件(1)选出优选样本 Hi (xi, yi)，Hi (xi, yi)同时满足pSkin(xi，yi) > deltaSkin 和 D(Hi, handLast) < deltaDis，筛选获得的优选样本个数记为numSkin ；其中，deltaSkin为肤色优选阈值，deltaSkin <0. 2 ；handLast为上一帧的手的位置，deltaDis为距离限制阈值，与手的大小相关，sizeHand ( deltaDis ( 2sizeHand ；(2)对于剩下未被选中的样本，根据该条件( 选出优选样本，Hi(xi, yi)同时满足 pMotion(xi, yi) > deltaMotion 禾口 bMotionConnection(Hi, handLast) = true,其中，deltaMotion为运动信息阈值，0.1彡deltaMotion彡0.4， bMotionConnection (Hi, handLast) = true表示Hi与上一帧的手的位置在运动能量图像上相连通；本次选拔获得的优选样本个数记为numMotion ；(3)对于剩下未被选中的样本再做进一步优选；设需要选出numGood个优选样本，50彡numGood彡150。则在剩下的样本中还需要再选出 numLeft = numGood-numSkin-numMotion 个样本；如果numLeft > 0，则继续进行如下优选过程对于样本Hi(xi，yi)，该条件(3)所示的时域连续性概率表示为
8.如权利要求7所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，当本帧为初始帧或上一帧手的跟踪失败时，则假设上一帧的手的位置handLast处于自然状态，该手的位置根据人体结构的特点获得此时双手位于身体两侧，距离人体躯干中轴线约为sizeUnit，所处高度处于身高的一半。
9.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤303检测肘部位置的方法为对输入的图像帧进行扫描，设肘部为图像中的一个矩形区域，边长为sizeElbow， sizeElbow取值为sizeUnit的1/2，肘部的候选样本E (xE，yE)应满足如下条件⑴处于前景，即pBG(xE，yE) > thBGE, thBGE为确定是否处于前景的阈值， 0. 2 彡 thBGE 彡 0. 5 ；(2)处于合理的物理范围，即肘不可能超过躯干上臂长度的范围，表示为D(E， S) ( lengthUpperArm，其中，D(Ε, S)为肘至肩的距离，IengthUpperArm为上臂的长度，取值 sizeUnit 的 1 至 1. 8 倍；符合上述条件检测出的肘部候选样本Ei (xi, yi)，其概率由如下因素确定时域连续性，即其距上一帧肘部位置elbowLast的距离越近概率越大，时域连续性概
10.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤304组合筛选手与肘部的位置的方法为设前臂为具有一定长度的矩形，其宽度widthR)reArm的取值范围在sizeUnit的1/3 至1/2之间；设由手样本Hi (xi，yi)与肘样本Ej (xj，yj)组合成前臂样本FA(i，j)，该前臂样本 FA (i, j)满足如下条件(1)长度处于合理范围，即IengthFA(i，j) = D(Hi, Ej) ( lengthForeArm，其中， IengthForeArm为前臂的长度，取值sizeUnit的1. 4至2倍；(2)处于前景，即pBGFA(i，j)> thBGFA ；其中，thBGFA为判定前臂是否处于前景的阈值，取值0.2至0.5 ；基于以上条件进行判定，获得前臂的候选样本为for eArmCandi date = {FAk (i，j) = {Hi (xi，yi)，E j (χ j，y j)}}，k = 0，...， numForeArmCandidate-1其中，FAk (i, j) = {Hi (xi, yi), Ej(xj, yj)}为第k个前臂的候选样本，由手样本Hi (xi, yi)与肘样本Ej (xj，yj)组合而成，numForeArmCandidate为前臂的候选样本的个数。
11.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤305组合筛选手、肘与肩的位置的方法为进行3X3的窗口采样，获得9个肩部的候选样本Sn(Xn，yn)； 由肩部的候选样本Sn(xn，yn)与该前臂的候选样本FAk(i，j) = {Hi (xi, yi), Ej (xj, yj)}进行组合，获得手臂的样本A(i，j，n)，A(i，j，n)满足如下条件(1)长度处于合理范围，即IengthArm = D(Hi, Ej)+D(Ej，Sn)彡 IengthArm ；(2)上臂处于前景，即pBGUA(Ej，Sn)> thBGUA，其中thBGUA为判定上臂是否处于前景的阈值，取值0.2至0.5 ；(3)上臂与前臂的相对位置符合人体动力学的范围，即两者的角度以及夹角处于合理范围；对于正面的人体运动而言，针对左臂，定义以下情况为无效angleFore > angleUp,当 angleUp < - π /2 angleFore < angleUp+ ji 时，或者 angleFore < angle Up,当 angle Up > π /2 angleFore > _ π /2 时；其中，angleFore为前臂{Hi, Ej}的角度，angleUp为上臂{Ej，Sn}的角度；角度取值范围为-ji到π之间，水平向右为X轴正方向，其角度为0，处于X轴上方的角度为正，处于 X轴下方的角度为负，水平向左为X轴负方向，角度为η或-η ； 基于以上条件进行判定，获得手臂的候选样本为armCandidate = {Am(i，j，n) = {FA(i, j), Sn(xn, yn)}}, m = 0,..., numArmCandidate-1其中，Am(i，j，n) = {FA(i,j),Sn(xn,yn)}为第m个前臂的候选样本，由手样本Hi (xi， yi)、肘样本Ej (xj, yj)与肩样本Sn(Xn，yn)组合而成，numArmCandidate为手臂的候选样本的个数。
12.如权利要求1所述的单视角无标记人体运动跟踪的关节定位方法，其特征在于，该步骤306对手臂的候选样本进行优选加权的方法为 手臂样本A(i，j,n)的联合概率表示为pMergeArm(i , j, η) = pMergeHand(xi , yi) · pMergeE(χj, yj) · pBGFA (Hi , Ej) · pBGUA(Ej,Sn) · pBGCover(i, j, n) · pMotionFA(Hi, Ej)其中，pBGCover为手臂样本的前景覆盖度概率；pMotionFA为前臂的运动信息概率； 基于手臂样本的联合概率PMergeArm对其进行排序，选取pMergeArm最大的numTop个样本作为优选样本，进行加权平均，获得最终的手、肘、肩位置；其中，numTop为选中的样本数，取值10至50之间；设优选的手臂样本为Am (i, j, n), m = 0, ... , numTop-1，则手臂位置为
全文摘要
本发明属于人体运动跟踪技术领域，公开了一种单视角无标记人体运动跟踪的关节定位方法，包含检测手的位置，得到手的候选样本handCandidate＝{Hi(xi，yi)}，i＝0，1，...，numHandCandidate-1，其中，Hi(xi，yi)为第i个手的候选样本，numHandCandidate为手的候选样本的个数；筛选手的位置，获得概率大的样本作为优选样本；检测肘部的位置，获得肘部的候选样本；组合筛选手与肘部的位置；对手与肘的优选样本两两组合形成前臂样本，再对该前臂样本进行优选，获得前臂的优选样本；组合筛选手、肘与肩的位置，根据该前臂的优选样本与肩的位置进行组合优选，获得手臂的样本；对手臂的候选样本进行优选加权，获得最终的手、肘、肩的位置。本发明可广泛应用于人体跟踪定位。
文档编号G06T7/20GK102156994SQ20111009825
公开日2011年8月17日 申请日期2011年4月19日 优先权日2011年4月19日
发明者唐霖, 姜涛, 涂治国, 董初宁 申请人:上海摩比源软件技术有限公司