专利名称：三维数字化测量中的一种颜色渲染方法
技术领域：
本发明属于计算机三维测量技术领域，具体涉及三维数字化测量中的一种颜色渲染 方法。
背景技术：
常见的视觉测量技术主要包括结构光视觉法、立体视觉法、相位光栅法和光影轮 廓法等。这些技术的发展和完善，推动着三维数字化技术的发展。三维数字化技术被广 泛应用于，如工业制造与设计、模具行业、计算机辅助设计、多媒体及虚拟现实、艺 术品数字化及制造、安防系统和医疗工程等各个领域。随着三维数字化测量技术的深入 应用，在许多行业中，不仅要求获得三维形貌数据，更需要获取三维数据的颜色信息， 如动画设计、文物鉴赏、考古学和三维照相技术等。三维颜色信息获取技术一般称为 颜色渲染或彩色贴图技术。含有颜色信息的三维模型可以更真实地将物体再现于计算机 屏幕，并更细致地展示三维细节信息。因此，三维数字化技术随着颜色渲染技术的发展 将得到更广泛的应用。目前，在颜色渲染技术上己有相关研究，如美国Arius3D公司采用三色激光器投 射到物体上，根据各自的反射光强求解物体的颜色，并结合激光三角法得到的三维坐标， 实现三维颜色渲染；专利200510015151. 5开发了一种针对结构光被动扫描方式的颜色渲 染方法，提高了普通扫描线颜色渲染的效率，但因三维数据采隼系统和颜色渲染采用同 一个彩色摄像机，而一般的彩色摄像机的解析度较低、采集稳定性不高，在进行较远距 离的三维测量时，会因此出现大量三维噪声信息；以上两种颜色渲染方法适用于结构光 视觉测量方法。加拿大Inspect公司采用相位光栅方法采集物体三维信息，然后拍摄二 维彩色照片进行三维物体的纹理贴图，这种方法的颜色渲染精度不好控制，易于发生贴 图变形。发明内容本发明鉴于目前颜色渲染方法的应用缺点，提供一种应用于三维数字化测量技术中 的较为通用、简单易于实现、并且渲染精度较高的方法。这种方法可称为双摄像机颜色 渲染方法。为此，本发明采用如下的技术方案三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其 相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色 信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩 色三维数据，实现三维数字化测量中颜色渲染。作为优选实施方式，本发明按照以下步骤进行三维数据的颜色渲染(1) 在视觉测量系统中的单色摄像机和彩色摄像机的公共视场内，在任意6-9个位置 摆放平面靶标，每次摆放时两摄像机均采集靶标图像，并分别进行图像处理、提取靶标 特征点，利用采集到的靶标特征点，分别对两摄像机进行Zhang的摄像机标定，得到两 摄像机的内部参数矩阵(A)及镜头的径向和切向四个畸变量，其中内部参数矩阵(A) 由摄像机焦距《，/y和像面中心坐标"。，R组成；(2) 以在该6-9个位置中的任意一个位置摆放的平面靶标建立的坐标系为世界坐标， 建立两个摄像机和世界坐标系的位置转换关系；(3) 由两个摄像机和世界坐标系的位置转换关系，求解两摄像机之间的位置关系R和 T，并建立像素匹配模型，<formula>formula see original document page 5</formula>其中"="-〃。》/&， /"，/yi为单色摄像机的有效焦距，(&， )为像面中心坐标，("，W为单色摄像机的图像上点A的理想坐标；("2， K)为A对应的彩色摄像机匹配点A的理想坐标；<formula>formula see original document page 5</formula>R， T为两摄像机之间的位置转换系数；&=C。 + ^y。+r19z。+^， r17、 r18 、 r19、 t13为K和T\的部分元素，Rt和L为单色摄像机与世界坐标系之间的位置关系转换系数，(z。， y。， z。)为^点对应的 三维空间坐标；(4) 利用视觉测量系统进行三维数字化测量，对于单色摄像机像面上的点，得到其三 维空间坐标；(5) 对视觉测量系统的单色摄像机像面上的点进行去畸变换，得到其对应的理想像素 坐标，将求解得到的单色摄像机对应的理想像素坐标，以及标定得到参数代入到像素匹 配模型中，得到彩色摄像机对应的理想匹配点；(6) 对彩色摄像机的理想匹配点进行畸变处理，得到实际对应的图像坐标；(7) 在彩色摄像机拍摄的彩色图像中定位该实际图像坐标点，该点对应的颜色数据即 为所述的三维空间坐标点应具有的颜色信息，从而得到完整的彩色三维数据。上述颜色渲染防腐中，可以采用循环逼近法对对视觉测量系统的单色摄像机像面上 的点进行去畸变换。本发明提供的方法只要在现有视觉测量系统基础上进行简单改造，即添加一台专门 进行彩色信息获取的彩色摄像机，然后进行像素匹配标定，就能实现较高精度的颜色渲 染，并且通过调整彩色摄像机镜头可适用于近距离和远距离测』
图1本发明提供的双摄像机颜色渲染方法所采用的设备的结构示意图； 图2本发明所采用的双像素匹配原理示意图； 图3双摄像机颜色渲染模型标定示意图。附图标记说明1计算机2彩色摄像机 3单色摄像机 5平面耙标4三维具体实施方式
下面结合附图和实施例，对本发明做进一步详述。1. 双摄像机颜色渲染法的系统构成图1是本发明提出的双摄像机颜色渲染方法所采用的设备的结构图，其中视觉测量 系统中的单色摄像机配合其他视觉测量器件负责空间三维坐标"7, z)的提取，另外， 添加一台彩色CCD摄像机专门负责采集R、 G、 B的24位信息，并为采集得到的三维坐标 点正确匹配颜色信息，得到最终彩色三维数据"，y， z)-OP， G历。为了能让两台摄像 机获取被测物相同角度的图像，如图1所示(1)尽量采用两摄像机靠近的结构，两摄 像机的中心线之间有一个较小的夹角；(2)要保证彩色摄像机的视场涵盖单色摄像机的 视场，这样可以尽量多的获取每个空间点的颜色信息，这样就要根据单色摄像机的测量 视场选择恰当的彩色摄像机镜头。2. 双摄像机颜色渲染法像素匹配原理确定两摄像机的像素匹配关系是进行颜色渲染的关键技术。对于己标定好的三维测 量系统，在一次测量过程中，某测量点在单色摄像机像面上的理想坐标为A("， K)，其 对应于一个已知的世界坐标点々U)， /。， z。)，如图2所示。假设以下参数均为已知两 摄像机的内部参数矩阵A和A2 (A为3x3矩阵)；两者和世界坐标系的位置转换关系 ^和1\、 R2和T2 (R为3x3矩阵，描述刚性变换过程中的旋转变换；T为3xl矢量，描述 刚性变换的平移变换)。对于单色摄像机，其满足，<formula>formula see original document page 6</formula><formula>formula see original document page 7</formula>
'其中s为比例因子；/;，/;,为单色摄像机的有效焦距(以像素为单位)，("。,，k。》为像面中心坐标，zj为单色摄像机坐标系下的三维坐标；&， r,2…^为旋转 变换R的矩阵元素，&， &， &为旋转变换1\的矢量元素。对于彩色摄像机，也有类似 的关系式。另外，由式(l)可得下式，其中k。臭。联合两摄像机和世界坐标系之间的关系，可得两摄像机之间的位置关系R和T为，(2)<formula>formula see original document page 7</formula>(3)联合彩色摄像机满足的类似于式(l)的关系式，以及式(2)、 (3)可得对应于彩色摄像机的理想匹配点a("2， f2)，<formula>formula see original document page 7</formula>(4)<formula>formula see original document page 7</formula>其中w 附-附o 附'n 附w3 附4附7 附8附,,<formula>formula see original document page 7</formula>K=(rrd//^ r17、 r18 、 r19、 63为R和L的部分元素。把彩色摄像机采集图像上的像 素点(仏，「2)对应的颜色信息(r, g 6)赋予点p(局，凡z。)，从而实现颜色渲染。而 以上考虑的仅是理想摄像机模型，实际摄像机模型需要考虑镜头畸变， 一般需要考虑镜 头的径向和切向四个畸变量A, A, a， a;考虑四个畸变量的畸变模型，即由理想像素 坐标("，k)到实际像素坐标(仏，W的转换关系为，mrf = m + (" - w。
+ &2r2 + 2 / 2C7 + 2 + / 2《 vrf = v + (v - v。
+ V2 + 2ft" + 2#] + A《 (5)通过以上分析可知，只要两摄像机的内部参数(包括畸变量)、两者和世界坐标系 的位置转换关系只要确定，就能通过(4)和(5)式实现颜色渲染技术。而这些参数的确定 可以通过标定过程实现。3.双颜色渲染模型的标定采用Zhang的摄像机标定法(也称为不确定视角的摄像机标定法，具体过程参见文献Zhang Zhengyou， A Flexible new technique for camera calibration, IEEE transactions on pattern analysis and machine intelligence 2000; 22(11): 1330-1334.)，同时对两摄像机进行标定。如图3所示，摆放平面靶标在二者的公共视 场内若干位置(一般6-9个位置)，两个摄像机采集每个位置的靶标图像，并通过图像 处理方法提取靶标特征点(具体处理过程参见专利申请200610014481.7)，采用Zhang 的摄像机标定法分别对两摄像机进行标定，得到各自的内部参数矩阵和镜头畸变量A 和Aa， A2， Pu， A2和^， &，侮，/%2;同时得到每个平面靶标和摄像机坐标之间的 位置关系Ri和Ti。其中以第一个平面靶标建立的坐标系作为世界坐标系，其中义和/分 别为靶标面内的横向和竖向，z向垂直平面靶标，并于z和y构成右手坐标系。则该位置靶标和两摄像机之间的位置关系，分别为两摄像机和世界坐标系的位置转换关系R和L、 R2和Ta。从而实现双颜色渲染模型的标定。Open Source Computer Vision Library, 是Intel Corporation的开源计算机视觉 库，提供了图像处理和计算机视觉方面的很多通用算法，其中就包括zhang的摄像机标 定方法，可以借助库中提供的CalibrateCamera2函数，代入采集到的各个位置的靶标特 征点进行摄像机标定，开放库的下载地址为 http://sourceforge. net/projects/opencvlib:rary。4.具体实施步骤采用以下步骤对本发明的颜色渲染法进行实施a) 建立双颜色渲染方法的系统结构，即建立双摄像机采集系统或在原来视觉测量系统中增添RGB24位彩色摄像机，其中单色摄像机和其他设备组建三维坐标采集系统， 彩色摄像机专门负责彩色图像采集，进行颜色渲染。彩色摄像机和单色摄像机采取尽量 靠近的摆放方式，并采用适当的镜头保证彩色摄像机视场涵盖单色摄像机；(2) 在单色和彩色摄像机的公共视场内，任意摆放平面靶标6-9个位置，每次摆 放时两摄像机均采集耙标图像，并分别进行图像处理、提取靶标特征点，利用采集到的 靶标特征点，分别对两摄像机进行Zhang的摄像机标定；并以第一次摆放的平面靶标建立的坐标系为世界坐标，从而标定出以下参数两摄像机的内部参数矩阵和镜头畸变量 A,和A" &， A2,化，化和A，fe, A,, A2;两摄像机和世界坐标系的位置转换关系R!和L、 R2和T2。(3) 以世界坐标系为中间坐标系，由两摄像机和世界坐标系的位置转换关系，求 解两摄像机之间的位置关系R = R2R-',， T二T「I^R"i;;(4) 使用单色摄像机建立的视觉测量采集系统进行三维坐标的测量，在一次测量过程中，单色摄像机像面上某点A(^， Kd,)可以得到其三维坐标y。， Z。)；(5) 对单色摄像机像面上的点^)进行去畸变换，得到其对应的理想像素坐标("，K》。由于畸变模型给出的是理想像素坐标求解实际像素坐标的公式，因此，去畸变换需要对畸变模型公式进行反解，由于畸变模型为理想像素坐标的高次方程，这里采用循环逼近法进行求解。具体过程为假设循环开始C/。<formula>formula see original document page 9</formula>;则第W步循环的结果可以用第i步结果表示为<formula>formula see original document page 9</formula> 图像坐标(^,^)可以计算如下，<formula>formula see original document page 9</formula> (7)代入到畸变模型公式求解畸变图像坐标(^,+，、,+1)，当和初始畸变图像坐标(^,vj之差在精度要求范围内(例如小于0.1像素)时停止循环，最终得到的((,d)为理想 像素坐标("，K》。(6) 将求解得到的单色摄像机对应的理想像素坐标(W, W，以及标定得到参数代 入到双摄像机颜色渲染方法的像素匹配模型中，得到彩色摄像机对应的理想匹配点(化，(7) 将彩色摄像机的理想匹配点("2， W代入到彩色摄像机的畸变模型中，得到实 际对应的图像坐标(z^， 在彩色摄像机拍摄的彩色图像中定位("2， Kj坐标点，该 点对应的颜色数据(r。，幼，A)为三维坐标点p(x。，凡z。)应具有的颜色信息，从而得到 完整的三维数据"，凡，z。)_ (r。，幼，实现该点的颜色渲染；(8) 遍历模型的每个测量点，均按照歩骤(4)-(7)进行求解，从而实现整个测量模 型的颜色渲染过程。在实际试验中，首先验证了本发明颜色渲染模型的核心算法一一像素匹配算法的精 确性。首先，使用经过标定的两摄像机分别采集某一位置的平面靶标。提取两摄像机采 集得到的耙标特征点坐标；使用单色摄像机采集到的靶标特征点像素坐标值和标定参数， 计算得到彩色摄像机对应的匹配像素坐标，把这些值与彩色摄像机提取到的靶标特征点 像素坐标值进fi^比对，得到像素距离偏差的最大值为0.368像素，最小值为0.007像素， 平均值为0. 136像素，均方差为0.072像素。从这些值可以看出双颜色渲染的像素匹配 算法具有较高的精度，能够满足一般测量的需求。
权利要求
1.三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩色三维数据，实现三维数字化测量中颜色渲染。
2. 根据权利要求1所述的颜色渲染方法，其特征在于，按照以下歩骤进行三维数据的颜色渲染-(1) 在视觉测量系统中的单色摄像机和彩色摄像机的公共视场内，在任意6-9个位置 摆放平面靶标，每次摆放时两摄像机均采集靶标图像，并分别进行图像处理、提取靶标 特征点，利用采集到的靶标特征点，分别对两摄像机进行Zhang的摄像机标定，得到两 摄像机的内部参数矩阵(A)及镜头的径向和切向四个畸变量，其中内部参数矩阵(A) 由摄像机焦距《，《和像面中心坐标"。，K组成；(2) 以在该6-9个位置中的任意一个位置摆放的平面靶标建立的坐标系为世界坐标， 建立两个摄像机和世界坐标系的位置转换关系；(3) 由两个摄像机和世界坐标系的位置转换关系，求解两摄像机之间的位置关系R和 T，并建立像素匹配模型， 74 + Zc| (ff^C^ +附2^ +附3 )m12+ZdO^t/, +附10^;+附 )附8 + Zc| (附5^/！ + /W6Fj +附7 )附12 + zcl OA+w10f;+w,!) 其中^=(^1。》//;" /xl， /;,为单色摄像机的有效焦距，(&， k。》为像面中心坐标，("b d为单色摄像机的图像上点A的理想坐标；(化，K)为A对应的'ff^ 附2 OT3 附4m5 w6w7 ot8、OT9 OT 712的位置转换系数；ztl=cQ+。8_y。+r19z。+^， r17、 r18 、 r19、 t13为和T,的部分元素，R,和L为单色摄像机与世界坐标系之间的位置关系转换系数，(x。， y。， z。)为A点对应的 三维空间坐标；(4) 利用视觉测量系统进行三维数字化测量，对于单色摄像机像面上的点，得到其三 维空间坐标；(5) 对视觉测量系统的单色摄像机像面上的点进行去畸变换，得到其对应的理想像素 坐标，将求解得到的单色摄像机对应的理想像素坐标，以及标定得到参数代入到像素匹 配模型中，得到彩色摄像机对应的理想匹配点；(6) 对彩色摄像机的理想匹配点进行畸变处理，得到实际对应的图像坐标；<formula>formula see original document page 2</formula>彩色摄像机匹配点A的理想坐标;=A2* T)， R， T为两摄像机之间(7)在彩色摄像机拍摄的彩色图像中定位该实际图像坐标点，该点对应的颜色数据即 为所述的三维空间坐标点应具有的颜色信息，从而得到完整的彩色三维数据。
3.根据权利要求2所述的颜色渲染方法，其特征在于，釆用循环逼近法对对视觉测 量系统的单色摄像机像面上的点进行去畸变换。
全文摘要
本发明属于计算机三维测量技术领域，具体涉及三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩色三维数据，实现三维数字化测量中颜色渲染。本发明提到的方法只要在现有视觉测量系统基础上进行简单改造，即添加一台专门进行彩色信息获取的彩色摄像机，然后进行像素匹配标定，就能实现较高精度的颜色渲染，并且通过调整彩色摄像机镜头可适用于近距离和远距离测量系统。
文档编号G01B11/02GK101221041SQ20081005224
公开日2008年7月16日 申请日期2008年2月2日 优先权日2008年2月2日
发明者张效栋 申请人:天津大学