专利名称：自动3d成像的方法
技术领域：
本发明涉及根据数字图像自动构建3D表面图像的方法。
背景技术：
需要对象的表面形状(目标的表面形貌)的描述来执行许多任务。已知多种用于获得对对象的表面形状进行描述的信息的方法。例如，可以利用摄影测量装置或者利用扫描激光测量设备来测量对象的表面形状。在许多情况下，还需要描述该表面的可视属性或者该表面的其他特性的附加数据。用于获得对对象表面的可视特征进行描述的信息的多种方法也是已知的。
利用摄影测量装置，可根据两个或者更多个二维图像获得三维空间数据。现有技术要求已知多个照相机的位置和视线的取向，或者在使用一个照相机的情况下，已知该照相机的位置和在每个成像位置处的视线。
根据现有技术，从两个或者更多个二维图像构建出三维图像需要确定两个图像中的对应点，并且应用公知的数学公式以利用对应位置的信息来估计所确定的对应点的绝对或者相对空间位置。
此处理需要开发强大的处理能力。执行该处理以确定场景的图像中的单个或者多个对应。必须执行针对对应的“全局”检索，并且可产生多个对应，这些对应中的一部分会为假或者不唯一。
发明内容
本发明的目的是提供一种改进的处理，所述处理根据可能是两个或者更多个图像的传感器数据来构建三维表面图像。
本发明以广泛的形式利用到图像中的已知(多个)特征的(多个)感测距离来启动并且控制二维图像数据的处理，从而生成三维表面数据。
根据本发明的一方面，本发明提供了一种方法，该方法用于对利用图像传感器获取的多组二维图像数据进行处理，以生成三维表面数据，该方法包括以下步骤a)获取表示从传感器到每个二维图像中的至少一个已知特征的距离的距离数据；b)利用所述距离数据对所述二维图像数据进行处理，以启动并控制对所述二维图像数据之间的对应关系的确定；c)对经处理的图像数据进行结合，以生成三维表面数据。
优选但并非必须的是，可进一步将二维图像数据与限定表面的可视特征或者其他特征的数据结合到一起，所述特征例如为电磁波频谱的其他波段中的反射或者发射。
三维表面数据由限定对象(多个对象)的形状的空间数据组成，所述空间数据任选地结合有可视数据或者具有可视图像格式的其他数据(例如，来自除限定了该对象的反射或者发射特性的可视波长的光谱区以外的其他光谱区的光谱数据)。
所述距离数据可以直接从图像传感器或者独立传感器获得，并且可能需要与关于照相机的取向和位置的数据结合在一起。
根据本发明的实施，利用测距设备或者光图案的投影来控制用于提取三维空间数据的处理的启动，并且根据需要通过两个图像构建出三维图像。
三维图像是组合了空间数据和诸如可视数据的数据的对表面的完整描述。测距数据允许处理器更容易确定场景的多个图像中的单个或者多个对应。在不知道到正被处理的图像中的特征的距离的情况下，如在现有技术中，即使在照相机的位置和取向已知时，也必须执行针对对应的“全局”搜索。这种搜索会产生许多对应关系，这些对应关系中的一部分会为假或者不唯一。
可以利用到已知点(或多个点)的距离的信息，结合照相机的相对取向和位置的信息(相对取向和位置可以算术地求得或者可从绝对位置和取向的信息中确定)，以及测距设备或者光投影设备来控制针对对应关系的检索，因为如果特征在一个图像中的(相对或者绝对)空间位置是已知的，则所述特征在第二图像中的位置就是已知的。随后利用此信息来控制用于确定创建三维图像所需的对应关系的处理并且自动执行此处理。
根据本发明，通过将已知光图案投射到其中要创建3D图像的空间中，可获得对到图像中的已知(多个)特征的(多个)距离的信息的使用。在本方法中，随后使用现有技术中的已知方法，利用光图案的图像的位置来确定到二维图像中的特征或者一组特征的距离，并且随后可以应用用于直接测量所述特征的距离的处理。
本发明还包括用于生成三维表面数据的装置和系统，以及适于执行本发明的方法的软件产品。
应该理解，所使用的与图像主体相关的术语“对象”的意思非常广泛，可包括地理特征和地形以及图像中的特定对象和特征。术语“三维表面数据”广泛地用于表示表征对象表面的形状和可选的其他特征的数据。
下面参照附图对本发明进行描述，附图中图1是可利用单个传感器实现的典型三维成像系统(传感器)的图示；图2是利用两个传感器，例如立体成像传感器中使用的两个照相机的3D成像系统(传感器)的图示，在立体成像传感器中3D传感器的视场是由各个传感器的视场的交叠来限定的；图3是利用在两个位置处使用的两个照相机，或者在两个位置处使用的一个照相机的3D成像系统(传感器)的图示；图4是根据一实施例的适当系统的框图；图5是使用两个照相机和一个激光测距仪(中间)的自动3D成像系统的一种实现的图像；图6是由如图5所示的自动3D成像系统的实现创建的3D图像的计算机表示；图7是3D图像的3D数据分量的空间点云表示，即，使该3D图像的每个表面点的空间位置都可视。
具体实施例方式
同时，参照一些具体实施来描述本发明的操作，应该理解大量另选实施也是可行的。
在摄影测量技术的常规应用中，确定在使用两个或者更多个照相机的情况下这些照相机的相对位置和取向，或者在仅使用一个照相机的情况下该照相机的位置和取向，并且根据由多个照相机(或者在使用一个照相机的情况下该照相机)的相对位置和取向确定的对极几何来对图像进行采样并创建视差图。利用视差图，使用这些照相机的相对位置和取向来提取三维空间数据。
在常规应用中，通过多种方式来启动针对对应的搜索，并且利用多种方法来执行这种搜索。这种针对对应的搜索的计算量很大。为了减少计算，可以通过多个照相机的几何布局(其中以固定的已知几何关系来使用这些照相机)来限制所述搜索，并且可在人的控制下启动所述搜索。
通常不获取距离信息，并且距离信息不用于控制构建视差图的处理。在根据对极几何对图像进行重新采样之后，针对两个图像公用的所有点生成视差图。一旦生成视差图，就根据该视差图生成三维空间数据。
在本发明中，使用测距和照相机的相对位置和取向来启动并且控制生成视差信息的搜索处理。利用这种控制能够自动生成三维图像。
应该理解，虽然本发明是对常规技术的改进，但已知系统的一般原理和技术也涉及并且形成本发明的实际实施的一部分。
摄影测量法是有效的三角测量系统，该系统需要传感器的两个或者更多个组件，所述组件使得能够确定三维中到对象空间中的点的方向。传感器的每个组件的位置和取向都是已知的，并且因为对于传感器的每个组件，到所述点的角方向都是已知的，所以容易确定点空间中的位置，由此提供三维图像。可将三角测量再分为如下技术被动三角测量和主动三角测量。
被动三角测量包括诸如航空摄影测量或者地面摄影测量的技术，其中测量系统的组件是两个或者更多个照相机，或者拍摄两个或者更多个图像的一个照相机。对每个图像中的点进行匹配，并且通过匹配点在各个图像中的位置来确定空间位置。利用两个电视照相机和图像处理系统的快速系统有时被分类为立体显示。
主动三角测量包括诸如构建光成像的技术，其中将光条纹投射到对象空间中，并且通过照相机或者类似传感器从另一位置进行观测。在某些情况下，使用两个照相机。已知光条纹的投射方向和(多个)照相机的位置和取向能够计算出反射光的任何点在空间中的位置。主动三角测量的另一形式涉及利用光斑扫过对象空间。
本领域的技术人员应该明白，可采用这些和其它另选3D成像技术来实施本发明。例如在Besl.P.J.，Active Optical Range Imaging Sensors；Machine Vision and Applications Vol 1 1988中讨论了这些技术。
下面更详细地描述本发明的可能实施。应该强调的是，除了距离确定设备外，系统的其它部分是常规部件并且可以利用已知方式来实施。
图1是示出例如使用激光测距仪的本发明的单个设备实施的典型视场的示意图。这种设备常常提供关于所感测的表面的三维位置信息。
图2示出了利用两个传感器(例如立体成像结构中使用的数字照相机)的成像系统。组合传感器的视场，即他们交叠的视场限定了3D感测区域。在此情况下，通过自动距离确定机制从每个照相机提供距离信息以及与平台上每个传感器的对准和位置有关的信息。
图3示出了在两个位置处使用一个照相机或者在不同位置处使用两个照相机的另一种布置。每个位置处的照相机都配置有测距设备。同样，3D传感器的视场由照相机的视场之间的交叠来限定。
下面将描述用于自动创建三维图像的两种方法a)利用组合有测距设备和传感器的3D成像传感器，所述传感器能够利用除了场景的可见光以外的波长来产生可视表示或者例如光谱表示的其它表示。这种传感器的示例是数字照相机中的二维成像传感器，并且照相机中的测距设备可提供测距功能。距离和图像数据使得能够自动构建3D图像。
b)利用组合有用于将已知光图案投射到其中要构建三维图像的空间中的机制和传感器的3D成像传感器，所述传感器能够利用除了场景的可见光以外的波长来产生可视表示或者例如光谱表示的其它表示，所述传感器例如是数字照相机中的用于获得借以自动构建3D图像的数据的二维成像传感器。
在优选实施例中，当使用测距设备时按如下方式进行创建3D图像的处理。在说明书中，尽管假设使用两个图像，但显然处理可容易地扩展为使用两个以上图像。
1、利用传感器获得场景的二维图像。
2、利用传感器获得该场景的交叠部分的另一二维图像。
3、可装备有该传感器或者可被放置在相对于该传感器已知的位置处的测距设备确定到该场景中的特征的距离。随后利用空间关系的信息来预测已进行了测距的该特征在两个图像中的位置。
4、处理器利用测距仪测量获得的到这些特征的距离的信息，在二维图像中定位这些特征。
5、该处理器利用这些特征在两个图像中的位置的信息来控制图像数据的处理以定位用于创建三维图像的两个图像中的对应关系。
6、该处理器确定这两个图像中的所有可能对应关系。
7、利用这些对应关系以及限定了传感器的位置和取向的数据，来创建三维图像。
本发明的优选实际实施需要下列部件。
首先，需要用于获得二维数字图像的装置。合适的设备是数字照相机或者具有用于输出图像数据的适当数据接口的照相机。
需要用于测量在相对于照相机的方向上，从照相机到对象的距离的装置，所述相对于照相机的方向是已知的并且对准所述照相机。这可以利用大多数数字照相机中已有的测距设备来进行。这种设备在许多照相机中用于提供自动对焦，并且可以是超声波测距系统或者可以利用一种图像处理算法，该图像处理算法确定何时照相机适当聚焦并且从聚焦设置中推断出距离。
一个另选方案是利用将已知光图案(或者其它射线)投射到场景空间中的设备，通过该设备响应于已知输出而感测的反射光来确定距离。
需要合适的处理器。处理器的特性到了取决于操作区域的大小和正处理的数据的体积的程度。为了处理相对较小的图像，可在本地装备中使用嵌入式数字信号处理器。对于大图像则可能需要诸如个人计算机的计算机。
需要用于存储由成像系统获得的数据和其它数据且性能和速度可适应所需应用的装置。
通过待由处理器执行的适当算法来执行自动3D图像构建。这种算法在现有技术中是已知的，并且以如下方式将这种算法包含在系统中1、算法通过执行图像中的类似特征的相关来估计两个图像之间的视差。
2、利用两个图像之间的视差以及照相机之间的空间关系的信息来确定已估计了视差的图像中的特征相对于照相机的空间位置。
图4中示出了该系统的实施例。
在优选实施例中，当使用将光图案投射到其中要构建3维图像的空间中的机制时，以如下方式进行创建3D图像的处理1、利用传感器获取可包括所投射的光图案的场景的二维图像。
2、利用传感器获取可包括所投射的光图案的场景的交叠部分的另一二维图像。
3、如现有技术中已知的(例如Close Range Photogrammetry andMachine Vision edited by K.B.Atkinson)，处理器在图像中定位与所投射光图案相对应的特征，并且确定到这些特征的距离。
4、该处理器利用这些特征在两个图像中的位置的信息，来控制图像数据的处理，以查找两个图像中用于创建三维图像的对应关系。
5、该处理器确定两个图像之间的全部可能的对应关系。
6、利用这些对应关系以及限定了传感器的位置和取向的数据来创建三维图像。
图5是例示了根据本发明的3D图像感测装置的一种实际实施的照片。中间示出了距离传感器。左右的设备是数字照相机。应该理解的是，照相机与图像传感器之间的关系是已知的，并且能够高度精确地控制它们之间的关系。因此，这三个感测部件之间的几何关系是已知的，并且可以将这种几何关系作为因数代入图像处理中。
图6例示了由图5的系统生成的3D图像。图7示出了表示为空间点云的同一3D图像数据。
根据本发明一种实施的利用两个交叠图像来创建3D图像的一般处理为1、传感器系统获取要据以创建3D图像的场景的两个交叠的数字图像。
2、处理系统对每个图像进行校正，以去除透镜失真的效果或者使透镜失真的效果最小化。
3、传感器系统获取到场景中的对象的距离的一个或者更多个测量值。对于单次测量，通常是无论怎样，对象都位于视场的中央。
4、处理系统利用照相机的相对位置和取向的信息来确定数字图像的水平交叠度。例如，如果到场景中的对象的距离较之照相机的间距更大，并且照相机的视线平行(或者几乎平行)，则交叠将接近图像宽度的百分之百。
5、处理系统利用照相机的相对位置和取向的信息来确定数字图像的垂直交叠度。现有技术中已知，如果已知照相机的相对视线，则通过对极几何来确定图像平面的垂直对准。
6、通过处理系统来确定利用待处理以确定立体视差的每个图像的水平交叠区域和垂直交叠区域的信息。
7、因此处理系统搜索每个图像中的处理区域，并且识别每个图像中的对应点之间的视差。
8、利用照相机的视线的相对位置和取向的信息，处理系统将视差信息转换成相对于照相机的空间位置，由此创建3D图像。
应该理解，除了公开的具体结构外，还可利用另选结构和其它特征来实施本发明，但本发明包括这种另选结构。
权利要求
1.一种用于对利用图像传感器获取的多组二维图像数据进行处理，以生成三维表面数据的方法，该方法至少包括以下步骤(a)获取表示从所述传感器到每个二维图像中的至少一个已知特征的距离的距离数据；(b)利用所述距离数据对所述二维图像数据进行处理，以启动并且控制对所述二维图像数据之间的对应关系的确定，从而生成经处理图像数据；以及(c)对所述经处理的图像数据进行结合，以生成三维表面数据。
2.一种利用二维成像传感器自动生成三维表面数据的方法，该方法至少包括以下步骤a)利用第一图像传感器，从第一位置获得对象的第一图像；b)利用第二图像传感器，从第二位置获得对象的第二图像；c)获得从所述第一图像传感器到所述第一图像的视场内的点的距离测量值；d)确定所述第一位置和第二位置的相对位移；e)至少利用相对于所述第一图像的所述距离测量值以及所述第一位置和第二位置的所述相对位移，来引导启动对所述图像之间的对应关系的搜索，从而启动对限定所述两个图像之间的图像特征的位移的视差图的构建；f)利用所述照相机之间的相对位移和所述距离测量值或多个距离测量值来控制用于创建所述视差图的处理；g)利用所述照相机之间的相对位移和所述距离测量值或多个距离测量值来控制用于创建所述视差图的处理的终止；以及h)由此构建三维表面数据。
3.根据权利要求2所述的方法，其中，使用2个以上图像。
4.根据权利要求2或权利要求3所述的方法，其中获得一个以上距离测量值。
5.根据权利要求2到4中任意一项所述的方法，其中，还从至少所述第二图像传感器到所述第二图像的视场内的点进行一次或者更多次距离测量。
6.根据权利要求1所述的方法，其中，所述第二图像传感器是移动到所述第二位置的所述第一图像传感器。
7.一种用于根据多组二维图像数据来构建三维表面数据的装置，所述装置包括距离传感器和至少两个二维图像传感器，所述传感器被设置成保持特定物理关系而进行工作；以及处理器装置，其适于从所述图像传感器中的每一个和所述距离传感器接收数据，这些数据包括来自每个图像传感器的一组二维图像数据和表示从所述距离传感器到每个二维图像中的至少一个已知特征的距离的距离数据，所述处理器适于利用所述距离数据对所述二维图像数据进行处理，以启动并控制对所述多组二维图像数据之间的对应关系的确定，从而生成经处理的图像数据，所述处理器还适于对所述经处理的图像数据进行结合以生成三维表面数据。
8.根据权利要求7所述的装置，其中，所述至少两个图像传感器是通过在两个或者更多个位置之间移动的单个图像传感器来提供的。
9.一种适于实施根据权利要求1到6中任意一项所述的方法的软件产品。
全文摘要
本发明提供了自动3D成像的方法。本发明公开了一种自动构建3D图像的方法，其中测距设备用于启动并控制2D图像的处理，以便生成3D图像。该测距设备可以与图像传感器，例如来自数字照相机的距离传感器集成在一起，或者可以是独立设备。可以使用从该距离传感器获得的表示到特定特征的距离的数据来控制3D图像的构建并使之自动进行。
文档编号G06T15/20GK101065785SQ200580033336
公开日2007年10月31日 申请日期2005年8月30日 优先权日2004年8月30日
发明者马克斯韦尔·莱斯利·斯坦雷, 乔治·弗拉迪米尔·波尔波蒂 申请人:联邦科学和工业研究组织, 马克斯韦尔·莱斯利·斯坦雷