基于双目视觉的人手三维信息实时提取方法及系统的制作方法
【技术领域】
[0001]本发明涉及人手三维信息的实时提取方法及系统，尤其涉及一种基于双目视觉的人手三维信息实时提取方法及系统，涉及数字图像处理和模式识别、空间三维信息获取和人机交互等技术领域。
【背景技术】
[0002]近年来，随着计算机视觉技术的迅速发展，基于视觉的手势交互，因其所独有的便利性，在人机交互领域中得到了越来越多的研宄和应用。同时，3D技术的迅速发展以及人们对人机交互中的真实性和沉浸性的要求的不断提高，3D交互技术得到了越来越多的人的研宄和青睐，相关技术也取得了突飞猛进的发展，3D交互逐渐成为很多交互技术的主要发展趋势，市面上也出现了一些新型的3D体感交互设备，如Kinect、Leap Mot1n、Google Glass等，说明基于视觉的交互，特别是三维交互技术具有广阔的市场前景。
[0003]手的检测、跟踪与三维信息的提取是实现三维交互的基础。目前，手的检测方法有多种，总的来说主要分为两类:基于肤色的检测和基于机器学习的检测。基于肤色的检测对光照和阴影比较敏感，同时人体的其他部位如胳膊、脸等以及其它与皮肤颜色接近的物体都会对手的检测产生干扰，因此单纯基于肤色进行人手的检测并不是一种十分可靠的方法。而基于机器学习的方法主要是依赖于人手的除肤色以外的其他特征如HAAR、LBP、HOG等特征与ADAB00ST等算法结合进行训练得到人手的分类器用来对人手的检测。由于手中所包含的细节信息并不是很丰富，HAAR特征和LBP特征用于人手的检测并不是十分有效，误检率较高。因此，首先我们需要找到有效的方法实现复杂背景下的人手检测与跟踪，这样我们才能进一步进行人手三维信息的提取。
【发明内容】
[0004]本发明的目的是提供一种基于双目视觉的人手三维信息实时提取方法及系统，以实现对复杂背景下人手的检测与跟踪，以及在此基础上实现对人手三维信息的可靠重建。
[0005]本发明的具体技术方案为:
[0006]一种基于双目视觉的人手三维信息实时提取方法，该提取方法包括:
[0007]实时获取双目摄像机系统的左、右摄像机采集的图像信息；
[0008]实时检测左、右摄像机采集到的图像中的人手，具体的，采用H0G(Histogram ofOriented Gradient)特征和SVM(Support Vector Machine)线性分类器检测首帧中的人手，采用目标跟踪算法检测后序帧中的人手；
[0009]实时提取检测到的人手的掌心和指尖，作为人手的特征点；以及
[0010]根据双目视觉原理，用提取到的所述特征点计算出所述特征点的三维坐标，从而获得实时的人手二维?目息。
[0011]优选地，在所述的实时检测左、右摄像机采集到的图像中的人手的步骤中，采用HOG特征和SVM线性分类器检测首帧中的人手的方法包括:
[0012]对目标图像进行不同尺度的HOG特征提取；以及
[0013]用训练好的SVM线性分类器对提取到的目标图像的HOG特征进行检测，获得人手所在区域；
[0014]而且，所述训练好的SVM线性分类器通过以下方法获得:
[0015]分别提取人手样本和背景样本的HOG特征；
[0016]将提取到的人手样本和背景样本的HOG特征输入到SVM线性训练器中进行训练获得初始SVM线性分类器；以及
[0017]用所述初始SVM线性分类器收集一定数目的误检样本作为难例和原有样本一起训练，得到所述训练好的SVM线性分类器。
[0018]优选地，在所述的实时检测左、右摄像机采集到的图像中的人手的步骤中，所述的目标跟踪算法为CamShift算法。
[0019]优选地，所述的实时提取检测到的人手的掌心和指尖，作为人手的特征点的步骤包括:
[0020]对检测窗口运用椭圆肤色模型进行肤色检测，得到人手区域；
[0021]对肤色检测后的人手区域做中值滤波，得到纯净的人手区域；
[0022]对中值滤波后获得的人手区域进行距离变换；
[0023]对距离变换后的人手区域进行阈值化操作得到手掌区域；
[0024]计算所述手掌区域的质心，将该质心作为掌心；以及
[0025]计算掌心到人手轮廓的距离，将其局部最大值点作为人手的指尖。
[0026]优选地，在所述的根据双目视觉原理，用提取到的所述特征点计算出所述特征点的三维坐标，从而获得实时的人手三维信息的步骤中，采用的双目摄像机系统的系统参数通过以下方法获得:
[0027]双目摄像机系统的左、右摄像机同步采集10到20幅不同距离、不同方位的棋盘格图像；
[0028]提取左、右摄像机采集到的棋盘格图像中棋盘格图案的角点，分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内外参数和畸变矫正系数；以及
[0029]对双目摄像机系统进行标定获得左、右摄像机之间的平移矩阵和旋转矩阵。
[0030]一种基于双目视觉的人手三维信息实时提取系统，该提取系统包括:
[0031]双目摄像机系统；以及
[0032]信息处理装置，该信息处理装置包括:
[0033]人手检测模块，用于实时检测左、右摄像机采集到的图像中的人手，具体的，采用HOG特征和SVM线性分类器检测首帧中的人手，采用目标跟踪算法检测后序帧中的人手；
[0034]特征点提取模块，用于实时提取检测到的人手的特征点；以及
[0035]三维重建模块，用于根据双目视觉原理，用提取到的特征点计算出掌心和指尖的三维坐标。
[0036]优选地，该提取系统还包括系统标定装置，该系统标定装置用于对双目摄像机系统标定，得到双目摄像机系统的系统参数。
[0037]优选地，该提取系统还包括信号传输装置，该信号传输装置用于将双目摄像机系统采集到的图像信息传送到所述系统标定装置和所述信息处理装置。
[0038]本发明方法和系统能够实现复杂背景下人手实时、可靠的检测与跟踪，并在此基础上实现对人手三维信息的可靠重建。
【附图说明】
[0039]图1为一些实施例基于双目视觉的人手三维信息实时提取方法的流程图；
[0040]图2为一些实施例中人手检测的流程图；
[0041]图3为一些实施例中人手特征点提取的流程图；
[0042]图4为一些实施例基于双目视觉的人手三维信息实时提取系统的框图。
【具体实施方式】
[0043]下面将结合示意性实施案例对本发明的实施方式进行说明。为了清楚起见，在本说明书中并未描述实际实施的所有特征。应该理解的是，在任何这种实际实施方案的发展中，必须做出许多实施方案特定的决定以实现开发者的特定目标，例如与设计系统和涉及商业的约束相符，所述约束将根据实施过程的不同而发生变化。此外，应该理解的是，这种开发工作可能是复杂和费时的，但对于受益于本公开内容的本领域普通技术人员来说仍将是所从事的日常工作。
[0044]虽然本发明允许各种修改和替代的形式，但已经借助附图中的实例显示了本发明的特定实施方案并在此对其进行详细说明。然而，应该理解的是，此处对特定实施方案的说明是为了对本发明的理解更加透彻全面，并不意欲将本发明限制为所公开的特定形式，而是相反，本发明将覆盖落在如通过所附的权利要求所定义的本发明精神和范围内的所有修改、等价内容和替代方案。
[0045]如图1所示，一些实施例基于双目视觉的人手三维信息实时提取方法包括以下步骤:
[0046]步骤S1、实时获取双目摄像机系统的左、右摄像机采集的图像信息。
[0047]步骤S2、实时检测左、右摄像机采集到的图像中的人手，具体的，采用HOG特征和SVM线性分类器检测首帧中的人手，采用目标跟踪算法检测后序帧中的人手。
[0048]为了能够实现复杂背景下的人手检测，这里采用HOG特征+SVM线性分类器的方法(即采用HOG特征和SVM线性分类器检测首帧中的人手)。参照图2，采用HOG特征+SVM线性分类器的方法检测人手的具体检测过程包括:步骤S21、对目标图像进行不同尺度的HOG特征提取；以及步骤S22、用训练好的SVM线性分类器对提取到的目标图像的HOG特征进行检测，获得人手所在区域。对于SVM线性分类器，首先需要收集足够的人手样本和背景样本制作训练集，分别提取人手样本和背景样本的HOG特征，将提取到的HOG特征输入到SVM线性训练器中进行训练以得到一个基于HOG特征的人手线性分类器。
[0049]使用单纯由人手样本和背景样本训练出来的SVM线性分类器虽然有着很高的检出率，但同时其误检率也相当高。为了得到检出率高、误检率低的SVM线性分类器用于人手的检测，在一些较佳实施例中，进一步对使用人手样本和背景样本训练出来的SVM线性分类器进行了优化，具体的，参照图2，所述训练好的SVM线性分类器通过以下方法获得:分别提取人手样本和背景样本的HOG特征；将提取到的人手样本和背景样本的HOG特征输入到SVM线性训