专利名称：：基于几何骨架的人体姿态重建方法
技术领域：
：本发明属智能视频监控
技术领域：
，特别是涉及一种基于几何骨架的人体姿态重建方法。技术背景在智能视频监控系统中，人体姿态重建是第二个阶段。通过人体姿态重建，能够确定监控视频中人体的姿态，通过检索姿态库中的人体姿态，判断该姿态的危险程度，从而采取一定的预警措施。人体姿态重建是计算机视觉和模式识别的一个基本问题，它被应用到很多领域，如视频监控、体育运动分析、辅助临床医疗诊断等。进行有效的人体姿态重建，能够扩展视频监控系统的功能，使计算机能够更容易地学习、分析和理解人类的动作和行为，从而使视频监控系统变得更智能，有着重要的研究价值。传统的人体运动分析方法一般分为两种。一是在人体的各个关节部位分别加装机电传感器。在人体运动过程中，传感器会不断地将各关节在空间中的位置返回给计算机，这样计算机就可以精确获得人体在各个时刻的运动信息。二是针对图像序列进行分析。图像序列可以是单个摄像机拍下的，也可以是多个摄像机同时从各个视角拍下的。目前，已经提出的人体姿态重建算法中，大多数采用从图像中提取特征，并与人体模型进行匹配，算法比较复杂，效率也较低。
发明内容本发明所要解决的技术问题是提供一种利用人体几何骨架，克服传统方法的局限性，提高姿态重建的准确性，得到较高的处理效率，能够在智能视频监控系统中进行稳定而有效的人体姿态重建。本发明解决其技术问题所采用的技术方案是提供一种基于几何骨架的人体姿态重建方法，包括下列步骤(1)确定人体骨架模型将人体看成一个由关节点连接的刚体集合，以一条线段来表示一个刚体，得到三维人体骨架模型；(2)图像预处理将视频帧通过双向滤波模糊内部纹理保留边界轮廓信息，然后进行阈值化处理得到二值图像，再通过不同形态学滤波、腐蚀、下采样、上采样一系列数学形态学方法对其进行进一步处理，得到背景和人体分离的二值图像;(3)获取人体几何骨架从分割出来的人体区域进行细化处理，求得线状几何骨架;(4)标注首帧关节点将手工标注或自动标注的关节点绑定到几何骨架上，限制初始关节特征点的位置，縮小初始误差；(5)用光流法跟踪关节点通过标注的方式或自动标注的方法，选定需要跟踪的关节点，将关节点集合作为参数，用光流法求得关节点的新位置；(6)结合几何骨架对跟踪得到的新关节点进行错误判定和位置校正根据人体生理先验知识，将对光流法计算出的偏离正常位置较远的出错点拉回来绑定在几何骨架上进行校正；(7)人体姿态三维重建用比例正交投影模型的参数估计方法，将关节点二维坐标序列转换为三维骨架模型。所述的步骤(2)的方法为1)先对原帧图像进行双向滤波，模糊物体内部纹理，保留物体边缘轮廓信息；2)将滤波后的图像转成灰度图像；3)用不同的阈值对灰度图像进行阈值化分割；4)对阈值化分割后的二值图像进行形态学滤波；5)进行反复的腐蚀和膨胀处理；6)先后进行下采样和上采样处理；7)对图像像素分布进行统计分析得到最终结果。所述的步骤(5)选用0penCV视觉库；所述的光流法为图像金字塔中的迭代Lucas-Kanade光流跟踪算法。具体操作步骤如图l所示。1.人体骨架模型我们将人体看成一个由关节点连接的刚体的集合。如上肢是由肘关节连接的上下臂两个刚体组成的，上臂与躯干是由肩关节连接的。我们以一条线段来表示一个刚体，将人体运动简化为人体骨架的运动，这样就得到了一个三维人体骨架模型。如图2所示，该人体模型共包含15个人体的关节点，14段链杆。表1-1给出了本方法采用的人体各部位的比<table>tableseeoriginaldocumentpage4</column></row><table><table>tableseeoriginaldocumentpage5</column></row><table>表1-1人体各部分比例2.图像预处理方法和过程1)先对原帧图像进行双向滤波，模糊物体内部纹理，保留物体边缘轮廓信息。2)将滤波后的图像转成灰度图像。3)用不同的阈值对灰度图像进行阈值化分割利用不同的阈值可得到不同程度的分割效果，这为后面的统计分析提供数据。4)对阈值化分割后的二值图像进行形态学滤波形态学滤波滤除图像中的图像经过阈值分割后产生的噪声5)进行反复的腐蚀和膨胀处理腐蚀和膨胀处理，进一步去除杂点，只留下最大的人体部分。6)先后进行下采样和上采样处理下采样和上采样操作是通过先将图像縮小到原来的四分之一，然后再放大，从而达到消除杂点的目的。7)对图像像素分布进行统计分析得到最终结果根据感兴趣的区域，选取不同阈值，对原帧图像做上述处理，可以分割出相应的部分，如衣服覆盖的躯体部分，无衣服覆盖的肤色部分，穿着和衣服不同颜色的裤子部分等等。将这些分割出来的部分合并，就可以得到我们想要的人体和背景分离的二值图像。合并的方法就是，对每个像素位置的点在这些图像中是黑色还是白色的几率来进行统计分析，最终决定该位置的点到底是白色还是黑色。3.获取人体几何骨架方法利用形态学知识，下面给出一种实用的对二值区域进行形态学细化的一种算法.也是本程序所使用的算法.设已知目标点标记为1，背景点标记为0.边界点是指本身标记为1而其8连通邻域中至少有一个标记为0的点.算法对一幅图像的所有边界点即一个3X3区域都进行如下检验和操作(l)考虑以边界点为中心的8邻域,设pl为中心点,对其邻域的8个点逆时针绕中心点分别标记为p2,p3，…，p9，其中p2位于pl的上方.如果pl=l(即黑点)时，下面4个条件同时满足,则删除pl(pl^0):①2《N(pl)《6,其中N(pl)是pl的非零邻点的个数；②S(pl)=1，其中S(pl)是以p2,p3,p4，…，p9为序时这些点的值从0到l变化的次数；③p2p4p6二0或者S(pl)半l;p4p6p8^或者S(pl)Z1.(2)同第(1)步，仅将③中的条件改为p2p4p8^，④中的条件改为P2p6p8=0.同样当对所有边界点都检验完毕后，将所有满足条件的点删除.以上两步操作(1)(2)构成一次迭代.算法反复迭代，直至没有点再满足标记删除的条件，这时剩下的点就组成区域的骨架.图3给出了这一算法的应用示例.其中，图3(b),(c)，(d)是pl不可删除的三种情况.在图3(b)中删除pl会分割区域，图3(c)中删除pl会分割縮短边缘，图3(d)中满足条件2《N(pl)《6但pl不可删除。(a)标记pl和邻点；(b)pl不可删除情况一；(C)pl不可删除情况二；(d)pl不可删除情况三;(e)细化前图像；(f)细化后的结果4.标注首帧关节点，以及利用光流法进行关节点跟踪方法我们采用了一种基于特征的跟踪方法来实现对人体关节点的跟踪。它首先通过标注的方式，也可以采用自动标注的方法，来选定需要跟踪的关节点，然后主要通过光流法在后续帧中完成自动的跟踪。OpenCV(Intel⑧开源计算机视觉库)中提供的函数cvCalcOpticalFlowPyrLK实现了金字塔中Lucas-Kanade光流计算的稀疏迭代版本。它根据给出的前一帧特征点坐标计算当前视频帧上的特征点坐标。函数寻找具有子象素精度的坐标值。5.结合几何骨架对跟踪得到的新关节点进行错误判定和位置校正的方法我们对人体不同部位的关节点采用了不同的跟踪处理策略。首先，我们对几何骨架求角点。如图5所示，采用不同的阈值求出的角点情况不一样，但是肢体末端的几个点，如头顶，手掌和脚掌，以及肢体相交处的点，如颈部和腹部，都是强角点，被求出的几率很大。我们选取合适的阈值，使每次变化的几何骨架都能得到上述的这些特征点。然后，在每帧处理时都把上述的7个特征点(头顶、左手、右手、颈部、腹部、左脚、右脚)处的关节点绑定到距其最近的这7个角点上。这样可以得到准确的跟踪效果。对于肩部和髋部的4个点，根据人体的生理结构，这几个点对躯干来说处于相对静止的状态，所以，这4个点根据颈部和腹部的特征点的位置做相对静态移动。而对于肘部和膝盖部4个点，我们判断其位置是否发生异常，以左肘为例，如果发现左肘点与左手点的距离大于实际前臂的长度，根据投影原理，这是不可能出现的情况。那么，我们判定为左肘点发生位置异常，通过将其重新定位到和左手点距离为前臂长且在几何骨架上的某一点，达到位置校正的目的。考虑视频序列两相邻帧的差异不大，使用这种方法强制绑定发生偏离的点，可以起到误差校正的效果，而不会完全和期望状态相违背。6.基于比例正交投影模型的参数估计方法在比例正交投影下，人体模型上一个关节点的三维坐标(x,;r，z)与其在图像帧中的投影坐标("，v)之间的关系可以用方程6.1来表示<formula>formulaseeoriginaldocumentpage7</formula>从式6.l可以看出，在不考虑深度Z的情况下，比例正交投影的作用效果实际上只是空间坐标的比例变化，其中比例因子就是上式中的参数s，下面的重建方法围绕如何准确估算比例因子s来展开。先看最简单的情况，已知一段链杆长度为L，图6是其在比例正交投影下的投影示意图。图6中两个端点(X1,Y1,Z1和(X2,;Y2,Z2)在图像上的投影分别为(ul，Vl)和(u2，v2)。如果投影模型的比例因子s已知，则很容易就能求出两个端点的相对深度dZ=(Z1-Z2)，推导如下<formula>formulaseeoriginaldocumentpage7</formula>又由式(6.l)可得因此有<formula>formulaseeoriginaldocumentpage7</formula><formula>formulaseeoriginaldocumentpage8</formula>直接由(6.5)式我们计算得到dZ的两个值，却无法确定dZ的符号，也就是说存在歧义性。比例正交投影的这种歧义性如图7所示。从图7中可见，对过点(Z,，"，Z,)的参考平面，其两边的两个(％2,;r2，z2)点都投影倒图像中的同一点("2，v2)。这两点相对(a，f,，z,)点的dz大小相同，符号相反。dZ的符号需要由两个端点(x,，《,z,)和(%2，72，22)的相对位置，即它们相对参考平面的位置来决定。对人体关节模型而言，从观察者的角度来看，可以从图像中的关节电离观察者距离的远近来决定相邻关节点之间相对深度dZ的符号。另一方面，从dZ的取值考虑，深度值的几何意义决定了dZ绝对值只能是有理数，因此由(6.5)式，应有<formula>formulaseeoriginaldocumentpage8</formula>所以比例因子S应满足下式<formula>formulaseeoriginaldocumentpage8</formula>由式(6.7)我们可以看出，在链杆长度L已知，两个端点在图像上的投影点的坐标(m,，v,)和("2，v2)可以得到的情况下，可以找到满足不等式(6.7)的最小比例因子值s^，将其代入式(6.5)则可计算得到相对深度dZ的值。上述推导很容易就可以推广到通过关节点连接的多段链杆的情况，如图8所示。途中依次连接的三段链杆，其连接的四个关节点(a,",z。，(z2,;r2,z2)，(&,:r3,z3)和(%4,f4,z4)我们分别将它们记为^，p2，p3，尸4。这些关节点在图像上的成像点分别为(",，v,)，("2，v2)，(w3，v3)和("4,v4)。以尸2(X2,:K2，Z2)点为参考点，参考平面经过该点o对图8中的三段链杆分别应用式(6.7)，得到如下不等式组A》乂((",-"2)2-V2)2'j22麵2-w3)2+(v2-v3)2/丄2(6.8)在已知各段链杆的长度A，丄2，丄3，以及各关节点在图像上的成像点的坐标(仏,V,)，(w2,v2)，("3，V3)和(w4,v4)的情况下，可以分别求得各自对应的最小比例因子值A，S2，&。取其中最大的比例因子值作为共通的^in,贝"^可同时满足不等式组(6.8)的三个不等式。将s皿代入式(6.5)则可计算得到《点相对^点深度的绝对值dZ,，？3点相对尸2点的深度的绝对值^23，A点相对P;点的深度的绝对值dZ4。假设参考点/^点的相对深度值为o，在得到以上三个相对深度的符号后，就可以确定f;，尸3和尸4三个关节点的相对深度值。而由(6.3)式，我们可以求得各关节点的X坐标和Y坐标。这样，我们就估计得到了图5中相互连接的4个关节点的相对三维坐标。将图8中三段链杆的相对估计进一步推广到图2所给出的整个人体关节骨架模型，以腹部关节点(序号为0)为参考点，依据人体模型的树状结构，同样可以估计得到模型中16个关节点的相对三维坐标。对视频序列的每一帧，人体模型中序号115的其他15个关节点都对应上述不等式(6.7)这样一个约束条件，由此可分别计算各自满足这个约束条件的最小的比例因子s。而对整个人体模型来说，一次投影成像只对应一个比例因子，这个比例因子应满足由所有15个不等式约束条件构成的形如式(6.8)的不等式组。因此，对视频的每一帧，取分别估计得到的15个s值中的最大值作为该帧的投影比例因子的初始估计值s，实现单帧视频中的初始的参数估计。有益效果1)通过使用双向滤波和一系列形态学变换对图像进行预处理，提高目标人体提取的准确性。2)通过事先获取目标的几何骨架，有区别地选用不同策略，对不同部位的关节点进行定位，提高关节点跟踪的准确度，运行效率也较高。'3)采用基于比例正交投影模型的参数估计方法，不需要进行摄像机定标，对任何视频序列都适用，增强了系统的适用性。图1为本发明的人体姿态重建方法的流程图。图2为本发明的人体骨架模型。图3为本发明的细化算法的示意图。图4为本发明的对从背景中分离的人体进行细化得到的几何骨架的示意图。图5为本发明的不同阈值情况下求得角点的示意图。图6为本发明的比例正交投影示意图。图7为本发明的比例正交投影中的歧义性的示意图。图8为本发明的三段链杆的比例正交投影示意图。图9为本发明的实验效果示意图。具体实施方式下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。实施例，在考虑执行效率和移植性之后，本系统使用标准0++来实现，并且借助0penCV(Intel⑧开源计算机视觉库)来帮助实现。对应于本发明中的方法，为人体姿态重建系统共设计了6个任务，表2中描述了任务的名称以及任务的功能。任务名称功能图像预处理将人体从视频帧的背景图像中分割出来求几何骨架从分割出来的人体区域用细化的方法求得几何骨架标注首帧关节点将手工标注的关节点绑定到几何骨架上，减小初始误差用光流法跟踪关节点用光流法计算前一帧的关节点的新位置基于人体先验知识的误差判定和校正光流法计算出的点的新坐标不一定正确，需根据人体生理先验知识对其进行校正。人体姿态三维重建使用0penGL，结合基于比例正交投影模型的参数估计方法，将关节点二维坐标序列转换为三维骨架模型。表2人体姿态重建系统任务说明参见图1，整个人体姿态重建实现过程如下先通过图像预处理，得到从背景中分离出的人体区域；然后根据分割结果，用形态学细化的方法求解人体的几何骨架；接着在视频序列的第一帧上标注人体的关节特征点，此时可根据已有的几何骨架，限制初始关节特征点的位置，縮小初始误差；将关节点集合作为参数，输入OpenCV中的光流法函数，跟踪人体的运动，求得关节点的新位置；光流法求得的关节点新坐标可能存在较"明显"的误差，即某段骨骼的投影长度比实际长度还长，这种情况，我们将偏离正常位置较远的出错点拉回来绑定在几何骨架上，即对误差进行判定和校正；对校正后的新的关节点，运用比例正交投影模型的参数估计方法，将关节点二维坐标序列转换为三维骨架模型，从而完成人体姿态的三维重建。权利要求1.一种基于几何骨架的人体姿态重建方法，包括下列步骤(1)确定人体骨架模型将人体看成一个由关节点连接的刚体集合，以一条线段来表示一个刚体，得到三维人体骨架模型；(2)图像预处理将视频帧通过双向滤波模糊内部纹理保留边界轮廓信息，然后进行阈值化处理得到二值图像，再通过不同形态学滤波、腐蚀、下采样、上采样一系列数学形态学方法对其进行进一步处理，得到背景和人体分离的二值图像；(3)获取人体几何骨架从分割出来的人体区域进行细化处理，求得线状几何骨架；(4)标注首帧关节点将手工标注或自动标注的关节点绑定到几何骨架上，限制初始关节特征点的位置，缩小初始误差；(5)用光流法跟踪关节点通过标注的方式或自动标注的方法，选定需要跟踪的关节点，将关节点集合作为参数，用光流法求得关节点的新位置；(6)结合几何骨架对跟踪得到的新关节点进行错误判定和位置校正根据人体生理先验知识，将对光流法计算出的偏离正常位置较远的出错点拉回来绑定在几何骨架上进行校正；(7)人体姿态三维重建用比例正交投影模型的参数估计方法，将关节点二维坐标序列转换为三维骨架模型。2.根据权利要求1所述的一种基于几何骨架的人体姿态重建方法，其特征在于所述的步骤(2)的方法为1)先对原帧图像进行双向滤波，模糊物体内部纹理，保留物体边缘轮廓信息；2)将滤波后的图像转成灰度图像；3)用不同的阈值对灰度图像进行阈值化分割；4)对阈值化分割后的二值图像进行形态学滤波；5)进行反复的腐蚀和膨胀处理；6)先后进行下采样和上采样处理；7)对图像像素分布进行统计分析得到最终结果。3.根据权利要求1所述的一种基于几何骨架的人体姿态重建方法，其特征在于所述的步骤(5)选用OpenCV视觉库；所述的光流法为图像金字塔中的迭代Lucas-Kanade光流跟踪算法。全文摘要本发明涉及一种基于几何骨架的人体姿态重建方法，包括确定人体骨架模型得到三维人体骨架模型；进行图像预处理得到背景和人体分离的二值图像；获取人体几何骨架求得线状几何骨架；标注首帧关节点将手工标注的关节点绑定到几何骨架上，缩小初始误差；用光流法跟踪关节点用光流法求得关节点的新位置；结合几何骨架对跟踪得到的新关节点进行错误判定和位置校正对光流法计算出点进行校正；人体姿态三维重建用比例正交投影模型的参数估计方法，将关节点二维坐标序列转换为三维骨架模型。本发明提高了姿态重建的准确性，得到了较高的处理效率，能够在智能视频监控系统中进行稳定而有效的人体姿态重建。文档编号A61B5/107GK101246602SQ200810033510公开日2008年8月20日申请日期2008年2月4日优先权日2008年2月4日发明者乐嘉锦,夏小玲,泉甘,曼罗申请人:东华大学