一种指尖深度检测方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种指尖深度检测方法及系统。
【背景技术】
[0002] 从图像中恢复深度信息是计算机视觉领域的基础问题，近些年来随着各种技术的 发展，也得到了越来越多的关注，并且取得了很大的进展。深度传感器在工业检测、自动驾 驶、医学成像和以三维场景理解和检测为基础的新型人机交互方面都有着非常广泛的应 用。根据是否采用受控照明，深度传感系统一般可以分为主动深度估计和被动深度估计两 种。
[0003] 主动深度估计利用投影仪等设备将某种提前设计好的模式的光线投射到三维场 景中，比如提前编码好的结构光图像或散斑图像。通过将重建后的散斑或结构光图像与原 始散斑或结构光图像进行对比，最后通过提前设计好的编码进行匹配，计算像素差值，可以 得到比较精确的深度信息。这种方法对于缺乏纹理的表面求取深度效果很好，因此比较适 合手掌这种缺乏纹理的表面。但是这种方法的缺点是:投射散斑图像的硬件结构较为复杂， 功耗也比较大;而且对于指尖这种边界区域，散斑图案的种子点个数普遍偏少，因此在指尖 的边界区域深度估计常常是不准确的。
[0004] 被动深度估计常常采用双目立体视觉的理论。用两个平行放置的相机同时拍摄场 景图像，通过对两幅图像进行匹配从而得到视差值，再通过三角测量进行换算得到深度值。 这种方法结构简单，因此也得到了广泛的关注和研究。目前的方法主要集中于基于彩色图 像全局匹配和局部匹配两个方面。局部匹配方法包括对应像素差的绝对值（Sum of Absolute Differences，SAD)、对应像素差的平方和（Sum of Squared Differences，SSD)、 改进的rank变换、归一化的互相关方法;全局匹配方法主要考虑这幅图像的深度连续性和 像素值的连续性对全局能量函数进行优化。然而采用双目彩色立体视觉算法，准确性严重 的依赖于场景的纹理和光照条件，二者都会对图像中的像素值的大小和像素值之间的关联 产生很大的影响。对于光照改变的情况，图像中的像素值会改变大小，提取出的特征不具有 代表性，而且左右视图很可能匹配点的像素值相差很大影响匹配精度;对于场景纹理缺失 的情况，窗口中可以提取出的特征很少，因此也会降低匹配时的精度。因此，采用这种基于 彩色双目立体视觉方法处理指尖深度估计问题，得到的估计精度比较低。同时，双目立体匹 配过程中，由于缺乏先验信息，待匹配点的搜索范围一般很大，运行速度会比较慢。
【发明内容】
[0005] 本发明所要解决的技术问题是:现有的指尖深度检测结果不准确，且处理速度慢。
[0006] 为解决上述技术问题，本发明一方面提出了如下技术方案：
[0007] -种指尖深度检测方法，包括：
[0008] 获取红外双目摄像机系统的左、右摄像机采集的图像；
[0009] 分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手 部图像；
[0010]对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手 部图像中指尖点的位置；
[0011]根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各 个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0012] 对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。
[0013] 可选地，在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前，还包 括：
[0014] 分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数；
[0015] 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。
[0016] 可选地，在所述分别对左、右摄像机采集到的图像进行二值化处理之前，还包括：
[0017] 分别对左、右摄像机采集到的图像进行极线校正和去畸变。
[0018] 可选地，所述分别对左、右摄像机采集到的图像进行二值化处理，包括：
[0019] 对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
[0020] 可选地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手部 图像和第二手部图像中指尖点的位置，包括：
[0021] 对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手 掌区域；
[0022] 获取所述手掌区域的质心，将该质心作为掌心；
[0023] 获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。
[0024] 可选地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手 部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组 合，包括：
[0025] 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使 E(i)的值最小；
[0026]
[0027] 其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部 图像中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。
[0028] 可选地，所述对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值， 包括：
[0029] 对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配， 根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。
[0030] 可选地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度 值之前，还包括：
[0031] 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
[0032] 一种指尖深度检测系统，包括：
[0033]两台红外摄像机、多个红外LED光源、红外图像传感器和芯片；
[0034]所述两台红外摄像机相互平行设置，用于采集手部图像；
[0035]所述多个红外LED光源与所述红外摄像机相互平行设置；
[0036] 所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图 像发送至所述芯片；
[0037] 所述芯片用于分析所述手部图像，获取指尖深度值。
[0038] 一种指尖深度检测系统，包括：
[0039] 图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像；
[0040] 手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取 第一手部图像和第二手部图像；
[0041] 指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果 获取第一手部图像和第二手部图像中指尖点的位置；
[0042] 指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐 标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指 尖点之间的匹配组合；
[0043] 深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点 的深度值。
[0044] 本发明提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明 显部分对深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范 围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
【附图说明】
[0045]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理 解为对本发明进行任何限制，在附图中：
[0046] 图1示出了本发明一个实施例的指尖深度检测方法的示意图；
[0047] 图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图；
[0048] 图3示出了本发明一个实施例的指尖深度检测方法中去畸变前的第一手部图像和 第二手部图像；
[0049] 图4示出了本发明一个实施例的指尖深度检测方法中去畸变后的第一手部图像和 第二手部图像；
[0050] 图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和 第二手部图像；
[0051] 图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果；
[0052] 图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果；
[0053] 图8示出了本发明一个实施例的指尖深度检测系统的结构示意图；
[0054]图9示出了本发明