专利名称：一种人体运动学参数的提取方法
技术领域：
本发明属于信息技术中的多摄像头视觉测量领域，尤其涉及一种人体运动学参数的提取方法。
背景技术：
目前，为捕捉人体运动并获取三维步态信息，已有基于标记点或无标记点运动捕捉技术的三维步态分析方法。而非接触式无标记人体运动捕捉技术被认为是最有前途且最有效的三维步态定量分析方法，但目前仍然面临着许多挑战，离实际应用还有一段距离，具体分析如下:(I)基于标记点运动捕捉技术的三维步态分析方法，需要在人体上标注标记点，然后得到标记点的三维位置，最终获得人体的运动姿态信息。一般来说，基于标记点运动捕捉的三维步态分析系统较昂贵；对操作人员要求较多；步态分析数据易受遮挡影响。而且研究结果也表明，在实验室等特定环境下基于标记点运动捕捉或压力板的三维步态分析方法，较难获取到人体的真实步态信息，其原因为:数据采集时，标记点位置本身可能存在误差；人体受实验室环境影响，可能存在恐惧心理，以致无法呈现其真实的步态模式；要求人体按照恒定行走速度行走或踩踏压力板，均影响到病人的正常行走。(2)基于无标记点运动捕捉技术的三维步态分析方法，直接从图像序列中提取人体运动信息，大致可分为基于模型的方法和无模型方法两大类，这种非接触式观测方法有助于人体真实步态信息的呈现。虽然这种方法已进行了较深入研究，但目前仍面临着巨大的挑战，如高维人体运动状态参数带来的计算复杂性，人体遮挡与自遮挡，初始帧人体的参数确定等问题。因此，这种方法在短时间内还无法有效应用到医学三维步态分析中。目前国内医学机构使用的步态分析系统大多是基于标记点运动捕捉技术的三维步态分析系统，价格昂贵，操作复杂，无法普及应用；同时，还有些医疗机构仍在使用二维步态分析系统，这些均大大阻碍了人体运动学测量领域的发展。
发明内容
为解决上述问题，本发明提供了一种人体运动学参数提取方法，其包括:步骤1:标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系，以建立多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系；步骤2:根据人体运动初始图像定位人体头顶点的初始位置；步骤3:通过跟踪人体头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹；步骤4:对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆 运动信息；步骤5:从所述身高波动信息和摇摆运动信息提取人体运动学参数。
本发明采用多摄像头视觉测量技术:(I)根据应用场景和视野范围选定合适的摄像头和镜头，搭建多摄像头视觉系统，并对各相机分别进行标定，获得各相机的内部参数，根据地面上的世界坐标系，获得各相机的外部参数，再进行立体标定，进一步获得各相机之间的空间位置关系；(2)在人体初始运动各图像帧，基于多摄像头多视角信息融合技术，精确定位人体在各图像中的头顶点位置，并作为头顶点的初始位置；(3)人体后续运动各图像帧，分别跟踪头顶点初始位置，并利用多摄像头测量技术，获取到头顶点的三维坐标，从而获得头顶点的三维运动轨迹；(4)人在行走过程中，人体侧视平面上的运动变化最大，呈现的信息最多，其次是俯视平面，为提取人体侧视平面上的身高波动信息和人体俯视平面上的摇摆运动信息，对头顶点三维运动轨迹进行规范化预处理，得到身高波动曲线和摇摆运动曲线，用于表征人体运动信息；(5)最终，从身高波动曲线和摇摆运动曲线中提取出人体运动学参数。本发明提出的人体运动学参数提取方法，有助于临床康复医学中病理步态的障碍诊断、康复治疗方案的制定和疗效评定等，方法简单、易行、有效，据此搭建的病理步态视觉分析系统成本低廉、便于操作。
图1是本发明中人体运动学参数提取方法的总框图；图2是本发明中相机成像模型及物理成像和归一化成像坐标系；
图3是本发明中多相机立体标定示意图；图4是本发明中头顶点初始定位方法流程图；图5是本发明中头顶点三维运动轨迹生成流程图及轨迹图；图6是本发明中解剖学人体运动机理示意图；图7是本发明中人体运动坐标系及局部运动方向示意图；图8是本发明中规范化头顶点三维运动轨迹图；图9是本发明中人体运动学参数与步态信息的对应关系图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。图1给出了本发明中人体运动学参数提取方法的总框图，由图中可见，该方法包括相机标定、头顶点初始定位、头顶点三维运动轨迹的生成、轨迹规范化处理、运动学参数提取等五个步骤。此外，输入数据为多摄像头同步采集的人体直线运动图像序列；各相机采集的人体直线运动图像在进一步处理前先进行了畸变校正操作，以消除镜头带来的图像畸变。以下结合相关附图对本发明各步骤做进一步的详细描述:步骤1:相机标定，即标定各相机的内部参数和镜头畸变系数以及各相机之间的空间位置关系，以建立多摄像头视觉系统中地面三维世界坐标系与二维图像坐标系之间的映射关系。设定整个工作范围为6米X4米，针对这一视场，选用视场适中的镜头。综合考虑这些因素，选取焦距为6_的镜头。场景中选用四个摄像头，其位置布局如附图1左边所示，该四个摄像头分别布置在视角1-4处，其中将视角I的相机作为基准相机。
参见附图2所示，由图中可见，相机标定主要涉及四个坐标系，即三维世界坐标系xwywzw(原点在地面，且Zw轴垂直于地面)、三维相机坐标系ΧΛΛ(原点位于镜头光心，且ζ。轴与光轴重合)、二维图像物理坐标系x0iy (原点位于图像中心，坐标为物理坐标)、二维图像像素坐标系u0v(原点位于图像左上角，坐标为像素坐标)。如附图2所示，采用线性摄像机针孔模型，定义空间点P在三维世界坐标系下的坐标为[Xm Yw ZJt，其相应的齐次坐标为P= [Xw Yw Zw I]τ ;定义点P在三维相机坐标系下的坐标为[Xc Y。ZJt，其齐次坐标为P。= [Xc Y。Zc 1]τ ;定义点P在二维图像平面上的投影点为P'，其二维图像物理坐标系下的坐标为[X y]T(单位:毫米)，其二维图像像素坐标系下的坐标为[U ν]τ,其齐次坐标为P' = [uvl]T。相机的光轴与图像平面的交点O1的像素坐标为[U。V0Jt ;图像单位像素在X轴与y轴方向上的物理尺寸分别为dx、dy。则点P在三维坐标系下的坐标与其在二维图像平面上的投影点V的二维图像坐标下的坐标之间的映射关系为:
权利要求
1.一种人体运动学参数的提取方法，其包括: 步骤1:标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系，以建立多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系； 步骤2:根据人体运动初始图像定位人体头顶点的初始位置； 步骤3:通过跟踪人体头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹； 步骤4:对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆运动信息； 步骤5:从所述身高波动信息和摇摆运动信息提取人体运动学参数。
2.如权利要求1所述的方法，其特征在于，对于每一个视角相机，步骤I中在不考虑畸变的情况下，通过标定板获得相机的初始内部参数，以及相机相对于标定板的单应性矩阵。
3.如权利要求2所述的方法，其特征在于，步骤I中在计算得到了相机的初始内部参数以及相机相对于标定板的单应性矩阵以后，在考虑畸变情况下计算镜头畸变系数，并进一步优化相机的初始内部参数，具体过程包括: 步骤11:根据相机相对于标定板的单应性矩阵将标定板上各角点的三维世界坐标变换到三维相机坐标； 步骤12:根据所述三维相机坐标和相机的初始内部参数得到所述标定板上各角点在二维图像平面上无畸变的图像像素坐标； 步骤13:基于镜头畸变 系数和相机的初始内部参数建立畸变校正后标定板上各角点的图像像素坐标与具有镜头畸变的所述各角点在二维图像平面上的图像像素坐标之间的线性关系； 步骤14:基于上述所建立的线性关系，通过最小化标定板上各角点在二维图像平面上无畸变的图像像素坐标和具有镜头畸变的图像像素坐标之间的误差，得到镜头畸变系数和优化后的相机内部参数。
4.如权利要求1所述的方法，其特征在于，步骤I中，标定多视角相机之间的空间位置关系具体包括: 步骤15:标定板放置在水平地面，建立三维世界坐标系，进一步获得标定板上各角点的三维世界坐标； 步骤16:采集标定板图像，利用相机内部参数和镜头畸变系数，获得校正后的标定板图像； 步骤17:检测校正后的标定板图像上各角点的图像像素坐标，并根据相机内部参数得到各角点在三维相机坐标系中的坐标； 步骤18:根据各角点的所述三维世界坐标和三维相机坐标计算得到各相机相对于水平地面的单应性矩阵，进而获得相机相对于水平地面的空间位置关系； 步骤19:根据各视角相机相对于水平地面的空间位置关系建立多视角相机之间的空间位置关系。
5.如权利要求4所述的方法，其特征在于，步骤19中建立多视角相机之间的空间位置关系具体包括:以其中一个视角相机为基准相机，根据基准相机和其它视角相机与水平地面的单应性矩阵获得其它视角相机与基准相机之间的单应性矩阵。
6.如权利要求4所述的方法，其特征在于，步骤I中还包括针对不同高度平面分别建立多视角相机之间的空间位置关系。
7.如权利要求1所述的方法，其特征在于，步骤2中根据人体运动初始图像定位人体头顶点的位置具体包括: 步骤21:各视角相机同步采集人体运动初始图像，对所采集到的人体运动初始图像进行畸变校正，得到校正后的各视角图像； 步骤22:提取出各视角图像中的前景人体运动区域； 步骤23:针对不同阶高度平面，利用各相机之间的空间位置关系，将各视角图像进行融合，最终生成各阶高度平面的公共视角图像； 步骤24:分别获取每阶高度平面的公共视角图像灰度的各个极值点，将各个极值点中的最大值作为公共视角图像中人体头顶点的初始位置； 步骤25:基于各相机与基准相机之间的空间位置关系，再将公共视角图像中确定的头顶点初始位置变换到各视角图像中人体头顶点的初始位置。
8.如权利要求1所述的方法，其特征在于，步骤3中获取人体头顶点在三维世界坐标系下的三维运动轨迹具体包括: 步骤31:各视角相机同步采集人体后续的运动图像，并对所采集到的运动图像进行畸变校正，得到校正后的各视角人体运动图像； 步骤32:在校正后的各视角人体运动图像中，跟踪人体头顶点的初始位置，进而得到人体头顶点在校正后的各视角人体运动图像中的不同图像位置； 步骤33:根据所获的人体头顶点在校正后的各视角人体运动图像中的不同图像位置以及各视角相机的内部参数和外部参数，计算头顶点在三维世界坐标系下的空间坐标，进而获得人体头顶点在三维空间下的三维运动轨迹。
9.如权利要求1所述的方法，其特征在于，步骤4具体包括: 步骤41:根据人体头顶点的三维运动轨迹定义人体运动坐标系和局部运动方向； 步骤42:根据人体头顶点的三维运动轨迹上的各波谷点及局部运动方向，建立各段区间上的人体运动坐标系； 步骤43:将人体头顶点的三维运动轨迹上的各点变换到各段区间上的人体运动坐标系上，进而得到人体运动坐标系下人体头顶点的三维运动轨迹； 步骤44:根据人体运动坐标系下人体头顶点的三维运动轨迹获得人体运动时的身高波动信息和摇摆运动信息。
10.如权利要求1所述的方法，其特征在于，所述相机内部参数包括相机的焦比、中心点位置；外部参数包括三维相机坐标系和三维世界坐标系之间的转换参数；各相机之间的空间位置关系指三维世界坐标系下，各视角相机之间的旋转矩阵和平移向量。
全文摘要
本发明公开了一种基于头顶点三维运动轨迹的运动学参数提取方法，包括标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系；根据人体运动初始图像定位人体头顶点的初始位置；通过跟踪头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹；对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆运动信息；从所述身高波动信息和摇摆运动信息提取人体运动学参数。本发明提出的人体运动学参数提取方法，有助于临床康复医学中病理步态的障碍诊断、康复治疗方案的制定和疗效评定。
文档编号A61B5/11GK103099623SQ201310030489
公开日2013年5月15日 申请日期2013年1月25日 优先权日2013年1月25日
发明者贾立好, 乔红, 郑碎武 申请人:中国科学院自动化研究所