多深度相机标定方法与流程

本发明涉及计算机虚拟现实和计算机图形图像学技术领域，特别是涉及一种多深度相机标定方法。

背景技术：

深度相机可以获取目标物体的rgbd信息，利用rgbd信息可以实现对目标的建模、识别等。随着消费级深度相机像kinect、astra等的普及，不少应用在使用了多深度相机来实现相应的功能，比如在3d试衣应用中，利用分布在人体四周的多个深度相机同步获取人体各个局部的深度及彩色图像，最后将各个局部的信息进行融合，最终实现对人体的三维彩色建模，根据该模型进一步实现3d试衣功能。

对于多深度相机的应用中，最为关键的是多深度相机之间的标定问题。这里的标定一般指获取多个深度相机之间的相对位置信息，即外参矩阵。

已有深度相机标定方案中，一种是通过拍摄固定于标定平板上的标定棋盘在不同姿态下的彩色图像和视差图像，完成kinect传感器的标定,获得彩色相机和深度相机的畸变参数及两相机之间的旋转和平移矩阵。这种必须手动放置不同位置标定物方法不仅速度较慢，同时难以对多相机进行同时标定。另一种方案中使用厚度不计的褶皱纸张,利用迭代最近点算法对多台kinect传感器进行几何标定，虽然能够实现多相机匹配，但仍需多次操作。

技术实现要素：

为了解决需多次操作才能完成深度相机标定的技术问题，本发明提出一种多深度相机标定方法。

本发明的技术问题通过以下的技术方案予以解决：

本发明提出一种多深度相机标定方法，该方法会利用到标定物进行标定，所述标定物包括设置在其上的多个二维码，所述标定物包括可拆卸标定物；所述标定方法包括以下步骤：s1：利用多个深度相机获取各自对应的二维码彩色图像；s2：通过识别所述二维码彩色图像的内容及计算二维码特征点的图片坐标，获取所述深度相机之间的粗略外参；s3：利用所述深度相机获取标准人体模特的各个局部点云，结合所述粗略外参及所述标准人体模特的三维模型获取所述深度相机的精细外参。其中，所述二维码特征点包括所述二维码的几何中心、角点、顶点中的一种或多种。在某些实施例中，在步骤s2中还包括通过识别所述二维码彩色图像的内容对所述深度相机进行编号。

上述方法中，在步骤s2中所述二维码特征点的图片坐标的计算还可以包括：利用角点检测算法获取所述二维码的角点的图片坐标；根据所述角点的图片坐标计算出所述二维码特征点的图片坐标。

另外，在步骤s2中所述二维码特征点的图片坐标的计算包括：利用角点检测算法获取所述二维码的角点的图片坐标；根据所述角点的图片坐标计算出所述二维码特征点的图片坐标。此外，在步骤s2中所述获取所述深度相机之间的粗略外参还包括：结合所述二维码特征点的图片坐标及空间坐标，利用姿态求解算法求解所述深度相机之间的粗略外参；其中，所述二维码的空间坐标是已知的，所述空间坐标是以标定物底部中心为原点建立的空间坐标系进行确定；所述姿态求解算法优选solvepnp算法。

此外，在步骤s3中所述深度相机的精细外参的获取还包括：s31：将所述局部点云结合所述粗略外参进行融合，形成粗略人体点云；s32：将所述粗略人体点云与所述标准三维模型进行匹配计算获取所述深度相机的所述精细外参，其中，所述匹配计算包括icp算法。

本发明与现有技术对比的有益效果包括：利用多个深度相机获取各自对应的二维码彩色图像，因每个二维码都是有差异的，每个深度相机获取的二维码的内容都不同，识别所述二维码彩色图像的内容及计算二维码特征点的图片坐标，获取所述深度相机之间的粗略外参，即获取了任意深度相机之间的粗略的相对位置；利用所述深度相机获取标准人体模特的各个局部点云，结合所述粗略外参及所述标准人体模特的三维模型获取所述深度相机的精细外参，只需要获取一次二维码彩色图像及标准人体模特的局部点云即可实现多个深度相机外参的同时标定。

附图说明

图1是根据本发明一个实施例中的多深度相机系统示意图。

图2是根据本发明一个实施例中标定装置示意图。

图3是根据本发明一个实施例中多深度相机标定方法的流程图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

图1是根据本发明一个实施例中多深度相机装置的示意图。装置包括立柱1、深度相机2、连接器4、计算设备5等。深度相机2采集到的数据经连接器4传输到计算设备5中，计算设备5将接收到的数据进行处理，比如标定计算、三维建模等。其中立柱用于固定深度相机2，使得多个深度相机2具有相对固定的空间位置，在本实施例中共有4根立柱分别放置在被测量区域3的四周，每根立柱上放置了4个深度相机2。立柱以及深度相机的数量以及放置方式可以有多种，一般来说需要根据被测量目标的体积、大小以及测量的精度要求来确定，比如当被测量目标体积较大时，需要的深度相机数量较多。另外，若要求测量精度高，一般需要将深度相机2靠近被测量区域3，此时单个深度相机2的测量面积将随之减小，在这种情形下相应地需要增加深度相机的数量以实现对目标的全局测量。

在本发明中，深度相机2一般指可以同步获取目标物体的rgbd信息的设备，比如微软的kinect、奥比中光的astra等。这里的rgbd信息，指的是同时包含彩色信息以及深度信息的综合图像信息。一般地，深度相机2中含有两个成像模组，比如对于红外激光结构光深度相机(kinect、astra)而言，其含有一个彩色成像模组以及红外成像模组(也叫深度成像模组)，二者在空间上间隔一间的距离，分别可以获取目标的彩色图像以及深度图像。由于二者之间因空间间隔导致有视差存在，一般彩色成像模组与红外成像模组需要进行标定，值得注意的是这里的标定指的是单深度相机的标定，比如基于棋盘格的标定方案，最终得到两个成像模组各自的内参矩阵以及反映二者相对位置关系的外参矩阵。根据内参、外参矩阵可以准确得到目标的rgbd图像信息。在本发明中，单个深度相机中各模组之间的内、外参矩阵被认为是已知信息。

然而对于多深度相机系统而言，仅获取各个深度相机各自的内、外参矩阵是不够的。如图1中所示，多个深度相机2用于获取被测量目标(图中未示出)各个局部的rgbd图像，随后需要将这些rgbd图像进行融合以得到全局的被测量目标的三维模型。融合时最关键的是需要知道多个深度相机之间相对位置信息，即多个深度相机之间的外参矩阵。需要注意的是，这里的外参与前面所述的外参有区别，这里的外参指的是不同深度相机之间的外参，比如第一深度相机中红外成像模组与第二深度相机中的红外成像模组之间的外参矩阵。可以理解的是，由于每个深度相机中不同模组之间的外参矩阵已知，因此根据第一、第二深度相机中彩色成像模组之间的外参矩阵就能直接计算出第一、第二深度相机中红外成像模组之间的外参矩阵，更进一步说，只要获取深度相机之间任意模组之间的外参矩阵也就得到了其他模组之间的外参矩阵。

在以下的说明中，多深度相机之间的外参矩阵统一指多深度相机之间红外成像模组之间的外参矩阵，也可以认为是指多深度相机之间用于获取深度信息的模组之间的外参矩阵。

为了获取多深度相机之间的外参矩阵，已有方案中有多种标定方案，比如利用将标定棋盘格对多个深度相机进行两两标定，这种方案需要人工参与且流程复杂。另一方案中利用立体标定物，比如标定球，进行标定，这种方案则算法复杂，同时标定物的制作难度较大。本发明则提出一种两步标定法，即先进行粗标，再进行细标的方案。在粗标时利用简单且易制作的二维标定物(二维码)，在细标时利用已知精确三维模型的人体模特。该方案具有精度高、鲁棒性高的特点，且算法简单实用。

图2所示的是根据本发明一个实施例的二维码标定物的示意图。在本实施例标定物是针对图1所示的16个深度相机组成的多深度相机系统来设定的。标定物201包含框体202、二维码203。框体202大小以及二维码203在设置时需要针对多深度相机系统的大小来设定的，一般地，要满足每个深度相机的视野中间仅存在与之对应的二维码203。因此图2所示的实施例中，需要设置与深度相机数量相同的16个二维码，16个二维码被贴在(或直接生成于)框体202上。为了更加方便制作该标定物，框体202可以被分段制作，即制作成可拆卸或可组装的框体，图2中框体202是由4段组成，也可以由其他的可拆卸板块组成。在本实施例中，框体为正方形横截面，在其他实施例中也可以有其他截面形状。

二维码在设置时需要满足以下两个要求：

第一，每个二维码203的内容均不相同，在另一种实施例中，二维码也可以由其他可分辨的内容代替，比如字母、数字等。

第二，各个二维码203的空间坐标位置已知，为了满足这一要求，一般获取二维码上的一个特征点的空间坐标，该特征点的选取方式有多种，比如二维码的四个顶点，或二维码的角点、或者二维码的几何中心等，接下来以二维码的几何中心为特征点进行说明。为了获取特征点的空间坐标，在图2所示的实施例中，将框体下方正中心为原点建立空间直角坐标系，由于二维码的几何中心没有明显的标记，因此直接量取几何中心的坐标不现实。一种方案中可以通过测量三或四个二维码顶点的空间坐标进一步计算出几何中心的空间坐标，另一种方案是将二维码按一定规则放置，如图2所示，各个二维码203均落入到xz、yz平面中，且二维码均水平放置，此时只要知道二维码本身尺寸以及二维码任一顶点的坐标即可以获取二维码几何中心特征点的空间坐标。

当所有二维码的特征点空间坐标都测量后，实际上也就知道了所有二维码的空间相对位置。

图3所示的是根据本发明一个实施例的多深度相机标定流程图。

步骤301中利用多个深度相机获取各自对应的二维码彩色图像。在该步骤中仅利用了深度相机的彩色成像模组，因此可以仅开启深度相机中的彩色图像模组来进行采集，多个彩色图像模组可以同步采集也可以以一定的时序进行采集。同步采集效率快，但由于彩色图像的数据量较大，因此对连接器的传输有较高的要求。

步骤302中利用获取的包含对应二维码的彩色图像，通过对二维码内容的识别以及二维码特征点图片坐标的计算，获取多个深度相机之间的粗略外参。由于各个二维码的内容不同且特征点的空间坐标已知，因此，对各个深度相机获取的二维码进行内容识别就可以初步判断该深度相机的大致空间位置，如果需要对各个深度相机进行顺序编号的话，直接通过识别二维码的内容就可以知道各个深度相机的空间位置及顺序编号。深度相机编号在已有的标定方案中需要逐个标定，而本发明中则可以通过识别二维码的内容一次性完成对所有深度相机的编号。

另外，由于二维码具有多个角点204(图2中所示有3个角点)，通过对深度相机获取的包含二维码的彩色图像并利用角点检测算法可以准确地识别出角点204的图片坐标，根据角点204的图片坐标可以计算出特征点(本实施例中特征点为二维码的几何中心)的图片坐标。这里的图片坐标指的是二维码彩色图像中的像素坐标。

由于各个二维码的特征点空间坐标已知，利用计算出的特征点在彩色图像中的图片坐标则可以利用姿态求解算法逆向计算出多个深度相机中多个彩色成像模组的空间相对位置信息(外参矩阵)。在一种实施例中，可以采用solvepnp算法实现对外参的求解。由于彩色成像模组与深度成像模组的位置关系已知，因此多个深度相机中深度成像模组的外参也可以计算得到。

这一步骤中，通过利用已知空间坐标的二维码及其彩色图像，可以直接获取多个深度相机的外参矩阵。然而由于标定物制作上的误差导致这一步中获取的外参矩阵拥有较低的精度，因此将这一步称为外参的粗略标定，获取的是粗略外参矩阵，往往还需要进一步的精细标定。

步骤303中，利用多深度相机系统获取标准人体模特的各个局部点云，结合粗略外参以及标准人体模特的三维模型，从而获取精细外参矩阵。

具体地，将一个三维模型已知的标准人体模特取代标定物201放到被测量区域3中，利用多深度相机系统获取多幅深度图像(点云)，每幅深度图像对应人体模特各个局部，相邻两个深度图像一般会有少许重叠；其次，利用上一步骤中获取的粗略外参，将局部点云进行融合，形成粗略人体点云；最后，将粗略人体点云与三维模型进行匹配计算，在一种实施例中采用icp算法进行匹配计算，根据匹配的结果直接计算出各个深度相机的精细外参。

实际上，利用icp算法进行匹配计算时，可以看成是对深度相机空间坐标的一次次调整。由于粗略外参的不准确性导致融合后的粗略人体点云与三维模型之间存在差异，该差异通过icp算法可以直接得到，从而可以逆向计算出深度相机的精确外参。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。