专利名称：一种基于图像与扫描数据的混合三维重建方法
技术领域：
本发明涉及计算机视觉领域，具体涉及一种真实场景的三维重建 方法。
背景技术：
精确的三维几何模型在虛拟现实、数字城巿、地形勘测、数字娱 乐、城巿设计规划等诸多领域都有着广泛的应用。三维场景重建中最 常用的两种方法是基于激光扫描数据的主动方法和基于二维图像或 视频序列的被动方法。激光扫描仪直接测量高精度的三维数据集，并 且对环境光不敏感，随着仪器设备的发展得到越来越多的关注。但是， 数据釆集费时费力，可靠的颜色信息一般不能同时获取，且在玻璃、 深色表面以及遮挡区域的原始数据也很不可靠。而基于图像的方法数 据釆集简易灵活，能很容易获取足够多的数据覆盖整个场景，并且彩 色照片可同时用于紋理映射。但由于存在相机标定和立体匹配这两个 经典难题，很难单独完成复杂场景的建模。
因此，为了精确建立物理世界的真实感三维模型，复杂场景的三
维重建需要结合若干不同种类的数据，尤其是3D扫描数据与2D图 像数据，即釆用基于图像与扫描数据的混合三维重建。我们不难发现 两者有着很好的互补性，若能融合两种数据取长补短，不仅可以降低 重建难度也可以提高三维重建的质量。
一方面，图像信息可以用来提高三维数据的质量。除了颜色信息 外，可以恢复额外的三维数据点。比如，根据临近象素点对应的三维 坐标在颜色信息的引导下插值得到新的三维顶点；利用图像数据对应 特征像素点的三角化来修正初始的相机标定， 一 旦获得可靠的标定结 果，将匹配得到的对应象素点三角化添加到原始三维数据中；考虑到
深度的不连续往往同时引起颜色的不连续，有相关工作用多分辨率的 马尔科夫随机场将图像和深度数据联系起来生成高分辨率、低噪声的 深度图像；图像信息同样也可以辅助三维数据上几何特征的抽取。
另一方面，很多工作独立地从两种数据源分别生成几何模型，然 后再融合到一起。很多大型文化遗址场景的三维重建就是这样融合多 种技术来完成三维重建。他们用基于图像的方法获取基本形状以及整 体结构，用激光扫描仪获取带有丰富细节如雕刻的表面，同时结合基 于图像的绘制方法来表现背景环境等视差变化不显著的区域。
混合重建，即结合不同传感器数据来完成场景三维建模，是一个 很具有挑战性的技术领域。理想的融合方式需要能让两种数据都能对 最终的结果发挥自身最大的贡献。目前为止，还难以设计出一个适用 于不同实际场景的通用的融合框架。
发明内容
本发明的目的是针对建筑物场景而设计的一种融合多视图像和 扫描数据的三维重建方法。该方法充分发掘两类数据的互补特性，利 用方便获取的图像数据来恢复激光扫描仪未能获取的信息，同时扫描 数据保证几何精确度并为立体图像的匹配提供场景结构信息。这样的 重建方法不仅简化了数据釆集，同时除二维图像和扫描数据之间的配 准外不需任何人工干预，模型生成与处理也变得更为易行。
为了达到上述发明目的，本发明提供了一种基于图像与扫描数据 的混合三维重建方法，所述方法包括以下步骤
Sl:将三维扫描数据分割为一系列点集，平面拟合所得点集； S2:将属于每一个空间平面的三维点分别投影到两幅图像上， 拟合对应于该空间平面的视差层；
S3:通过立体匹配找出主图像中各个像素点所属的空间平面； S4:在扫描数据缺失区域添加三维顶点，得到最终的网络模型。 其中，所述方法在步骤S1之前还包括步骤SA:对二维图像和扫描数据进行配准，选取对应的三维点和像 素点，求出相机内参数以及对应于扫描数据的旋转平移参数；以及
SB:对立体图像进行极线校正，并记录校正之后的相机内外参数。
其中，所述方法的步骤S1中，将三维扫描数据分割为一系列点 集之后，先合并共面的点集，并去掉不可靠的点集，然后再平面拟合 所得点集。
其中，所述不可靠的点集为顶点数目少于一定阈值的点集。 其中，所述步骤S2中釆用迭代的最小二乘方法进行拟合。 其中，所述步骤S3釆用"将图像块分割为颜色块，并计算每个 颜色块所属视差平面"的方法完成。
其中，通过建立并求解能量函数计算每个颜色块所属视差平面。 其中，所述能量函数为数据项&。to与平滑项&m。^之和
其中，C^,^与CW^。w为常数，其值取决于具体图像对；&、 &表示 相邻颜色块，^Ww/ewgA (&，& )表示两个颜色块之间的公共边界长 度，A为常数，当时c5 (/(&) =1,否则3为0。
其中，所述能量函数中的数据项为<formula>formula see original document page 6</formula>
其中当发f(s)#0时，<formula>formula see original document page 6</formula>；否则<formula>formula see original document page 6</formula>为之前得到的视差值，W、 C^为常数。
利用本发明提供的方法，可以很好地完成两种数据的自动融合。 并且由于初始平面片只用于视差层的抽取，并未参与到匹配算法中， 少量可靠的扫描点信息对于重建该平面就已经足够。因此只需用激光 扫描仪釆集到每个平面的一部分数据，再结合立体图像对就能对场景 进行三维重建，并且同时保证重建的准确性和完整性，使得数据釆集 及模型重建过程变得简便易行。
图l是本发明的基于图像与扫描数据的混合三维重建方法流程图。
具体实施例方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
图1所示是本发明的基于图像与扫描数据的混合三维重建方法
流程图，所述方法具体包括以下步骤对二维图像和扫描数据进行配 准，选取对应的三维点和像素点，求出相机内参数以及对应于扫描数
据的旋转平移参数；对立体图像进行极线校正，并记录校正之后的相 机内外参数；将三维扫描数据分割为一系列点集，平面拟合所得点集; 将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于 该空间平面的视差层；通过立体匹配找出主图像中各个像素点所属的 空间平面；在扫描数据缺失区域添加三维顶点，得到最终的网络模型。 可以看到整个处理过程由三个阶段组成数据预处理、立体匹配以及 数据缺失区域的重建。 1.数据预处理
数据预处理阶段包括了扫描数据和图像数据之间的配准、图像对 的极线校正、还有扫描数据生成的三维模型的平面分割。
由于两种来自不同传感器的数据是分开获取的。因此，首先需要 解决相机标定以及相对于已获得的扫描模型的位姿估计问题。 一系列
的三维顶点以及它们对应的像素点被手工选取出来，然后通过求解齐 次线性方程组得到投影矩阵，这一步是分别在左右图像上进行的。有
了相机的内外参数，可以直接用A. Fusiello et al "A compact algorithm for rectification of stereo pairs". Machine Vision and Applications, Vol 12: No. l,pp. 16-22, 2000.中的方法进行极线校正，同时记录下变换之后 的相机参数。校正之后的图像对中，对应点都准确位于同一水平扫描 线上。
而平面分割的目的在于将三维模型分割为一系列的点集。每一个 点集内的所有顶点位于三维空间当中的同一个平面上。先用区域增长 法合并具有一致法向量的相连顶点。接着，顶点数目少于一定阈值的 点集被认为是不可靠的，这些大多是因为遮挡以及反射属性难以处理 的表面所形成的碎片。然后，合并共面的点集，并且在去掉不可靠顶 点之后，对最后得到的每个点集进行平面拟合。作为平面分割结果， 不同的颜色代表不同的空间平面。 2.立体匹配
在本发明中，立体匹配的目的是找出主图像中各个像素点所属的 空间平面。得到每一个平面在图像中的覆盖区域之后，再通过反投影 可以直接得到它在空间中的延展范围，即确定了组成场景的每个平面 片的大小。本发明中釆用的是以图像颜色块为基本单元基于graph cuts优化的匹配方法。
在校正后的图像对上，对应于每一个空间平面的视差层仍旧满 足线性平面方程。因此整个视差空间的结构可以表示为一系列的平面 模型<formula>formula see original document page 8</formula> 其中(c1,c2，c3)是平面参数，d是像素(x,y)对应的视差值。
与一般立体匹配算法不同的是由于此处已经有了部分三维模 型，所以视差平面可以从三维数据中直接抽取。由数据预处理阶段的
三维模型平面分割得到一系列顶点集合，对于每一个投影在图像平面 内(投影后落在图像上的顶点数超过阈值)的顶点集合，我们对它对
应的视差平面进行参数拟合。首先根据2D-3D匹配中获得投影矩阵 将空间三维顶点分别投影到两幅图像上求得部分像素视差。投影矩阵 难免存在误差，因此需要对这些视差值进行调整。由于已经计算得到 的初始值与真实值差距较小，所以选择一个7乘7的子窗口使其在计 算值附近滑动，取其中使SAD值(对应颜色绝对差求和)最小的视 差替代初始值。这一步虽然简单却对之后平面参数拟合的精确度有着 很大的提高作用。为了提高拟合的鲁棒性，选择迭代的加权最小二乘 法方法。
为主图像中每一个颜色块计算出它所属的视差平面可以看作是 标记问题(labelingproblem)。每一个视差平面都是标记集合中的一项， 除此之外，另外加入一个标记，代表颜色块被遮挡或不属于任何已有 平面，记为标号0。根据前面提到颜色块假设，标记对象为每一个颜 色块，而不是像素。这样可以大大降低问题规模，提高计算速度。此 处釆用graph cuts方法来求解使匹配能量最小的标记函数/ 。
能量函数由两部分组成，即数据项与平滑项
E(/)L。(/)+U(/)
其中，数据项五^。包含将平面标记赋给颜色块所引起的匹配代价，颜 色块的标记代价为所包含的像素与它在另一幅图像中的对应像素的 平截颜色差绝对值的求和
C(" <if /"、) = jC。cc'u<fe = 0
其中c。^,crtresA。w为常数，赋值大小与具体图像对有关； 平滑项及，^描述了视差的平滑约束，即当相邻颜色块被赋予不同
的标记时就加以相应的惩罚
<formula>formula see original document page 10</formula>
其中&, S2表示相邻颜色块，<formula>formula see original document page 10</formula>是两个颜色块之间的公
共边界长度，A为常数，当/(s,)"化)时5(/(s^/(&))值为1否则为0。
由上式定义的能量函数可以由graph cuts算法求得很好的近似 解，通常经过3-4次迭代后优化过程就可以收敛，并且它对颜色块的 初始标记非常不敏感。
可以看到，我们得到的立体匹配结果对大部分颜色块都赋予了正 确的平面标记，但也存在着一些错误，特别是标记O的区域较碎且平 面边界不理想。细碎的平面片会给下一步的重建带来较大的负面影 响。虽然可以通过增大平滑力度来消除，但是为什么在上一步平面标 记过程中没有这么做呢？这是因为我们方法所针对的室外建筑物场 景图像紋理不是特别丰富。直接增大平滑项会使得结果过于平滑，丢 失细节，边界也会不准确。
所以以上一步的求得的视差作为初始值，在此基础上修改能量 函数再进行一次优化。数据项的修改为如下形式
其中若<formula>formula see original document page 10</formula>,否则<formula>formula see original document page 10</formula>。,是之前得到视 差值，w、 c^为常数。同时对平滑项也要适当增加平滑力度，即增
大义的取值。
3.模型缺失部分的重建
通过利用场景的平面假设和主图像的颜色分块结合已知三维信息 完成平面标记后，我们确定了主图像中各个像素所对应的空间平面。 在已知相机内参数及相对于已有三维模型的旋转、平移参数的情况 下，求取像素点对应的空间坐标是轻而易举的。只需从相机光心发射
一条通过该像素的光线，此光线与对应空间平面的交点就是需要的空 间三维点。我们在图像空间进行采样将原三维模型中缺失的三维点添 加进去。当然，三维点的添加仅限于数据缺失区域，对原有的三维模 型未作任何的改动。
由于原有模型已有部分网格存在，需要对新添加的三维点以及原 模型的边缘点进行局部建网。这个过程在先对每个平面分别进行二维
delaunay三角剖分，并选取其中与原有网格不相交错的三角形，然后 相邻平面如果距离相差恨小则进行缝合。这样就可以得到最终的网 格。由于重建过程较为简单，最终网格中会存在少量拓朴错误，但并 不会影响绘制的效果。
利用本发明中的方法，模型的后处理如漏洞填补等搡作无需人工 干预，可以自动完成。并且由于初始平面片只用于视差层的抽取，并 未参与到匹配算法中，少数可靠扫描点的信息对于重建该平面就已经 足够。因此只需用激光扫描仪釆集到每个平面的一部分数据，再结合 立体图像对就能对场景进行三维重建，并且同时保证重建的准确性和 完整性，数据釆集及模型重建过程都变简便易行。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关 技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下， 还可以做出各种变化，因此所有等同的技术方案也属于本发明的范 畴，本发明的专利保护范围应由其权利要求限定。
权利要求
1、一种基于图像与扫描数据的混合三维重建方法，其特征在于，所述方法包括以下步骤:S1:将三维扫描数据分割为一系列点集，平面拟合所得点集；S2:将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；S3:通过立体匹配找出主图像中各个像素点所属的空间平面；S4:在扫描数据缺失区域添加三维顶点，得到最终的网络模型。
2、 如权利要求1所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述方法在步骤S1之前还包括步骤SA:对二维图像和扫描数据进行配准，选取对应的三维点和像 素点，求出相机内参数以及对应于扫描数据的旋转平移参数；以及 SB:对立体图像进行极线校正，并记录校正之后的相机内外参数。
3、 如权利要求1所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述步骤S1中，将三维扫描数据分割为一系列点 集之后，先合并共面的点集，并去掉不可靠的点集，然后再平面拟合 所得点集。
4、 如权利要求3所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述不可靠的点集为顶点数目少于一定阈值的点集。
5、 如权利要求1所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述步骤S2中釆用迭代的最小二乘方法进行拟合。
6、 如权利要求1所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述步骤S3中的立体匹配方式是釆用将图像块 分割为颜色块，并计算每个颜色块所属视差平面。
7、 如权利要求6所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，通过建立并求解能量函数来计算每个颜色块所属视 差平面。
8、 如权利要求7所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述能量函数为五= +UXJ， (" ^max(Q油jA(x,力-/2(x + c/,u)|),/(S)-0vv础其中，五^。为数据项，足，。决为平滑项，c。^曲与cw^。w为常数，其 值取决于具体图象对；&、 &表示相邻颜色块，6oW^/w^/7 (&，&) 表示两个颜色块之间的公共边界长度，A为常数，当/ 时3 (/(&) =1，否则s (/(&) 为o。
9、 如权利要求8所述的基于图像与扫描数据的混合三维重建方 法，其特征在于，所述能量函数中的数据项为其中当/(S)邦时，d。#s" = |4/)-dinitial|，；否则A = 4fo; "initial为之前得到的视差值，o;、 C&为常数。
全文摘要
本发明涉及一种针对建筑物场景而设计的一种融合多视图像和扫描数据的三维重建方法。该方法充分发掘两类数据的互补特性，利用方便获取的图像数据来恢复激光扫描仪未能获取的信息，同时扫描数据保证几何精确度并为立体图像的匹配提供场景结构信息。本发明提供的重建方法简化了数据采集、模型生成与处理。
文档编号G06T17/00GK101383054SQ200810224348
公开日2009年3月11日 申请日期2008年10月17日 优先权日2008年10月17日
发明者查红彬, 英向华, 马祥音 申请人:北京大学