专利名称：基于一维物体的多相机分层标定方法
技术领域：
本发明涉及一种相机标定方法，特别是基于一维物体的多相机分层标定方法，属 于计算机视觉技术领域。
背景技术：
计算机视觉技术通过计算机图形学相关技术，构造虚拟环境，或者把现实环境编 制到计算机中去，产生逼真的虚拟环境，使用户能够得到一种沉浸于虚拟环境中的感觉。计 算机视觉研究的目的在于使计算机能够通过二维图像，对三维空间环境信息进行认知，能 够使机器感知三维环境中物体的几何信息，并能进行描述、存储、识别与理解。计算机视觉 有其独立的计算理论与算法，占据统治地位的理论是Marr理论。而Marr理论的最终研究 目标，在于从二维图像中恢复三维物体几何结构，也即三维重建。
目前三维重建技术多采用多相机技术，对人眼的成像原理进行模拟，根据不同图 像间的视差进行重建。而在三维重建前，需要对重建中用到的多个相机进行标定，确定单个 相机固有的光电特性和几何结构相关的参数，也即内参数，以及多个相机之间的相对位置 关系，即外参数。相机标定结果的好坏往往直接决定三维重建结果的好坏，因此相机标定方 法的研究具有重要的应用价值。
在相机标定方法中，棋盘格方法为目前较为成熟的方法，该方法利用棋盘格平面 作为ζ = 0平面，以棋盘格某一个边界角点作为世界坐标系原点，以棋盘格朝向的方向作为 ζ轴正方向，定义世界坐标系，作为绝对坐标系。在标定过程，利用棋盘格的角点作为标志 点，通过变换棋盘格的朝向，也即变换世界坐标系，获取多幅图像，对相机的内参数进行标 定，并确定相机在多个世界坐标系下的外参数。该方法中，相机的外参数为相机相对于某一 绝对坐标系的位置的描述，要想获得多个相机之间的相对位置关系，则要求所有相机至少 共享某一世界坐标系下的图像，该条件在通常条件下很难得到满足。改进的方法利用棋盘 格对两个或多个能够共享同一视野的相机进行标定，求取其转换矩阵，进而得到所有相机 的转换矩阵。该方法对相机之间的视野要求较为苛刻，相机两两标定开销较大，且标定物体 对不同相机存在可见与不可见的问题，不适合于分布的多相机标定。因此，目前棋盘格方法 多仅用于内参数标定。
目前流行的分布的多相机标定方法多利用分层思路，首先利用棋盘格单独标定每 个相机的内参数，然后利用其他方法，如一维物体，对相机的外参数进行求解。典型的方法 如加州大学伯克利分校提出的分层标定的方法，首先利用棋盘格对相机的内参数进行标 定，然后利用一维物体，对相机的外参数进行求解。相机外参数求解时，根据两个相机共同 图像的个数，对相机的共同视野进行描述，并以此构造带权连通图，求解最短转换路径，对 相机进行两两标定。但该标定方法只考虑了相机之间的共同视界，而忽略了其视界内标定 点的质量，对标定的精度造成了一定的影响，另外，该分层标定过程需要两次图像获取，分 别获取棋盘格，以及一维标定物体图像，进而进行计算。当相机的内参数发生变动时，需要 的工作量较大。发明内容
本发明所要解决的技术问题在于克服现有多相机标定算法的不足，提供一种基 于一维物体的多相机分层标定方法，该方法提高了标定精度，简化标定流程，降低标定开 销。
本发明的技术解决方案基于一维物体的多相机分层标定方法，实现步骤如下
(1)利用排列在一条直线上的多个球形标志物作为一维标定物体，通过同步触发 机制控制相机同步采集，获取图片；
(2)对于多个相机中的每一个相机，利用基于优良性评价的相机内参数标定过程 进行内参数计算，所述基于优良性评价的相机内参数标定过程为针对每个相机获取到的 图片，提取一维标定物体的中心点在图片坐标系下的坐标信息，并对一幅图片中标定点识 别的质量进行优良性评价，根据评价结果，选取优良性评价最优的图片集合，利用图片集合 中每幅图片所包含的标志点的坐标信息构成求解集，对相机的内参数进行求解，并进行优 化；
(3)得到所有相机的内参数之后，利用基于视界图的相机外参数标定过程，求解任 意两个相机之间的外参数，所述基于视界图的相机外参数标定过程为对任意两个相机的 求解集合求交集，根据得到的交集中所包含的共同图片的个数以及对应的图片的优良性评 价，构造视界图，对两个相机的共同视界进行评价，并求解以某一个相机对应的顶点为根节 点，顶点之间，也即相机之间的最短转换路径，对路径中直接相连的相机进行两两标定，对 与不相邻的两个相机，通过链式法则，求解不相邻相机的外参数关系。
所述步骤O)中优良性评价方法的步骤如下
(2. 1)根据采取的标志物体的不同，从相机获取的图片中提取标定物体中标志物 体的中心点在图片坐标系下的坐标信息；
(2. 2)利用步骤(2. 1)得到的一幅图片中的标志物体的中心点在图片坐标系下的 坐标信息，进行线性拟合，求取最佳拟合直线；
(2. 3)利用步骤(2. 2)得到的最佳拟合直线，求取该图片中每个坐标点与直线的 偏离程度，用偏离程度之和作为该幅图片的优良性评价。
所述步骤(3)中的视界图构造过程如下
(3. 1)对任意两个相机，对步骤(2)得到的每个相机的求解集中的图片，对图片的 优良性评价进行归一化处理；
(3. 2)对两个相机的求解集求交集，求取两个相机求解集中共同包含的图片，对交 集中图片的归一化的优良性评价求均值，作为两个相机共同视野的质量描述；
(3. 3)用顶点代表相机，用顶点对应相机的共同视野的质量描述作为两个顶点之 间的边的权值，构造视界图。
本发明与现有技术相比的优点在于本发明利用一维物体，对分布的多相机的内 外参数进行分层标定，从而简化标定过程；通过构造优良性评价，选择最优的数据集，对相 机的内参数进行计算。另外，利用视界图综合描述两个相机的公共视界，利用视界图求取相 机之间最优的转换路径，并进行外参数标定，从而降低相机外参数标定阶段对共同视界的 要求，从而达到简化标定流程，降低标定开销，提高标定了精度。
图1是本发明典型应用场景的描述；
图2是在标定过程中用到的一维标定物体的示意图3是本发明标定过程中的典型实现的系统结构；
图4是本发明方法的整体流程图5是本发明中单个相机内参数标定过程的描述；
图6是本发明中外参数标定过程描述。
具体实施方式
本发明的典型应用环境如图1所示，在图1中，利用箭头表示相机，箭头的指向代 表相机的朝向。在该环境中，利用多个相机，从多个角度，获取场景中的人体的图片，通过对 图片的后续处理，达到三维重建的目的。在此过程中，需要对环境中围绕场景的多个相机进 行标定。
本发明利用利用几何特征一直的一维物体作为标定物体，如图2所示，通过一次 图像获取，实现分层对相机的内参数和外参数进行标定。标定的整体流程如图4所示，首先 通过同步机制，触发重建中用到的每个相机获取多幅标定物体图片，对标定物体图片进行 识别处理以及优良性评价后，得到求解集合，利用求解集合进行内参数标定，当计算得到所 有相机内参数之后，利用基于视界图的相机外参数标定方法，求解任意两个相机之间的相 对位置关系，也即外参数。对各个步骤具体描述如下。
(1)多相机同步获取一维标定物体图片
标定过程中，使用几何特征已知的一维物体对相机的内外参数进行标定。使用到 的一维标定物体，由多个球状标志物(小球或LED)排列在一条直线上组成。任意两个小球 中心点之间的距离通过测量已知。在标定过程中，固定一个标志物不动，其余标志物绕该标 志物旋转，进行标定。标定物体的结构示意如图2所示，一般利用3个以上的球形物体作为 标志物，在图2中的标定物体包含了四个标志物，依次为A，B, C，D0对于一维标定物体，任 意两个标志物之间的距离通过精确的测量已知，因此利用AB，BC, CD段的长度与总体长度 AD的比值定义标定物体的几何特征，也即,IM-BII[。。3。] [_]
其中λ2，λ 3分别为各段在整体长度中所占的比例。
在进行标定时，为了达到同步触发的目的，利用1394线连接相机和主机，构成数 据传输链路，以触发线连接相机的触发接口和主机并口，构成控制链路。当所有相机完成初 始化后，与相机相连的采集客户端进入采集等待状态。当所有采集客户端完成初始化并进 入等待状态后，主机通过并口发送特定频率或人工控制的触发信号，触发相机同步获取一维标定物体的图片。
图3是本发明的一个典型应用实现结构，该结构采用了 C/S架构。在图中，利用 一台服务器作为触发服务器，该服务器一方面通过并口连接相机的触发信号输入接口 GPIO 口，构成控制链路，集中提供触发信号，另一方面通过网络与客户端相连，汇总与客户端相 连的各个相机的内参数信息以及图片信息，求解相机之间的外参数。客户端与相机通过 1394总线与一个或多个相机相连，构成数据传输链路，传输相机获取的图片。客户端负责处 理相机采集的图片，提取标志点，并计算内参数。
(2)识别标志点，对图片进行优良性评价，而后构造求解集合，求解相机的内参数矩阵。
基于优良性评价的相机内参数标定过程其步骤如图5所示，具体步骤描述如下。
经过步骤(1)，对于单个相机Ci,得到包含标定物体的图片的集合P”对于所有的 相机，其所对应的图片集合P中所包含的图片的数量相同，获取的时间相同。对于一个相机 Ci获取的一幅图片h e Pi,其中必包含用于标定相机的η个标志物。对图像h进行背景剔 除，并进行椭圆匹配，得到可能包含标定物体的区域。如果在标定中使用的是小球，则直接 利用椭圆匹配结果的几何中心，作为标志物的中心点；如果标定中使用的标志物体是LED， 则利用平方会读法，求解标志物的中心点坐标。这样，就得到在图片坐标下，η个标志物中 心点所对应的坐标的集合Sij = {<Xl，Yl>, -<xn, yn>}，集合中的元素<Xi，yi>分别对应与 标志物中心点在图片坐标系下的坐标。
理想状态下，一维标定物体的多个标志物排列在同一条直线上，因此投 影到图片坐标系下，一幅图片中所包含的标志点的的坐标信息也应该满足线性关 系。为此，对集合Su进行线性拟合，求取拟合直线方程Y = f(x) =aX+b，使其满足
权利要求
1.基于一维物体的多相机分层标定方法，其特征在于实现步骤如下(1)利用排列在一条直线上的多个球形标志物作为一维标定物体，通过同步触发机制 控制相机同步采集，获取图片；(2)对于多个相机中的每一个相机，利用基于优良性评价的相机内参数标定过程进行 内参数计算，所述基于优良性评价的相机内参数标定过程为针对每个相机获取到的图片， 提取一维标定物体的中心点在图片坐标系下的坐标信息，并对一幅图片中标定点识别的质 量进行优良性评价，根据评价结果，选取优良性评价最优的图片集合，利用图片集合中每幅 图片所包含的标志点的坐标信息构成求解集，对相机的内参数进行求解，并进行优化；(3)得到所有相机的内参数之后，利用基于视界图的相机外参数标定过程，求解任意两 个相机之间的外参数，所述基于视界图的相机外参数标定过程为对任意两个相机的求解 集合求交集，根据得到的交集中所包含的共同图片的个数以及对应的图片的优良性评价， 构造视界图，对两个相机的共同视界进行评价，并求解以某一个相机对应的顶点为根节点， 顶点之间，也即相机之间的最短转换路径，对路径中直接相连的相机进行两两标定，对与不 相邻的两个相机，通过链式法则，求解不相邻相机的外参数关系。
2.根据权利要求1所述的基于一维物体的多相机分层标定方法，其特征在于所述步 骤O)中优良性评价方法的步骤如下(2. 1)根据采取的标志物体的不同，从相机获取的图片中提取标定物体中标志物体的 中心点在图片坐标系下的坐标信息；(2. 2)利用步骤(2. 1)得到的一幅图片中的标志物体的中心点在图片坐标系下的坐标 信息，进行线性拟合，求取最佳拟合直线；(2. 3)利用步骤(2. 2)得到的最佳拟合直线，求取该图片中每个坐标点与直线的偏离 程度，用偏离程度之和作为该幅图片的优良性评价。
3.根据权利要求1所述的基于一维物体的多相机分层标定方法，其特征在于所述步 骤(3)中的视界图构造过程如下(3. 1)对任意两个相机，对步骤( 得到的每个相机的求解集中的图片，对图片的优良 性评价进行归一化处理；(3. 2)对两个相机的求解集求交集，求取两个相机求解集中共同包含的图片，对交集中 图片的归一化的优良性评价求均值，作为两个相机共同视野的质量描述；(3. 3)用顶点代表相机，用顶点对应相机的共同视野的质量描述作为两个顶点之间的 边的权值，构造视界图。
全文摘要
基于一维物体的多相机分层标定方法，利用排列在一条直线上的多个球形标志物作为标定物体对相机的内外参数进行分层标定；在标定过程中，首先利用同步机制控制多个相机同步获取标定物体图像，从获取的图像中提取标志物体的中心点信息，并对图像标志点识别的质量进行优良性评价，利用评价结果，构造最优求解集合，计算相机的内参数；在得到多个相机的内参数之后，根据任意两个个相机之间的共同图像的个数以及每幅图像的优良性评价，构造视景图，以视景图为依据，对相机的外参数进行标定。本发明提高了标定精度，简化标定流程，降低标定开销。
文档编号G06T7/00GK102034236SQ20101057339
公开日2011年4月27日 申请日期2010年12月1日 优先权日2010年12月1日
发明者吴威, 周忠, 赵沁平, 龚如曦 申请人:北京航空航天大学