用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生 ...的制作方法
【专利摘要】立体视差计算单元(40)计算立体视差的预测值。线提取单元(50)在图像中执行线提取。线分类单元(60)将提取的线分类为不同的线类型，作为特征的内部屋顶线、特征的外部轮廓线、阴影区域的轮廓线等。无意义线消除单元(70)通过下面的处理来消除不存在于真实世界中的线。立体视差校正单元(90)基于由线对确定单元(80)确定的线对来校正视差的预测值。线对聚类单元(110)将属于相同特征的所有线对聚类为一个群集。平面组合单元(130)找出由平面提取单元(120)提取的每一个特征的所有平面在三维空间中的位置关系，并且产生描述每一个特征的整体结构的三维模型。
【专利说明】用于产生三维特征数据的设备、用于产生三维特征数据的
方法、以及其上记录有用于产生三维特征数据的程序的记
录介质
【技术领域】
[0001]本发明涉及用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质，它们均能以低成本来产生反映详细的屋顶结构的高精度三维特征数据。
【背景技术】[0002]产生特征(自然或人造的所有陆地对象)的三维模型的传统技术作为以下技术已知:采用通过航空激光扫描仪获得的地表的三维点云数据作为输入数据并且基于其不同的频率特性将其分类为两个部分(即，特征和地面)，然后计算通过分类获得的每一个特征的轮廓多边形的三维地理坐标从而产生所有特征的三维模型。
[0003]作为上述技术的示例，专利文献I公开了通过利用来自激光扫描仪的数据来产生三维城市空间模型的方法和系统。
[0004]根据专利文献I中公开的技术，一般地说，产生的三维特征模型由于激光数据的有限分辨率而粗糙，且在该情况下，缺点在于:具体地，不能高度精确地表达特征的屋顶结构。例如，基于具有Im分辨率的激光数据所产生的三维特征模型的屋顶部分不能表达实际建筑物的屋顶结构的细节。
[0005]近年来，通过以与输入的高分辨率立体航空照片对相同的分辨率产生数字表面模型(DSM)(这使得能够产生比激光数据更精细的三维数据并且还能够产生特征的屋顶结构的更精细的表达)，出现了新的技术。此外，航空摄影测量的成本低于激光数据的成本。
[0006]此外，专利文献2公开了以下技术:首先拍摄地面上的建筑物的图像，同时记录拍摄图像的位置的经度和纬度、然后允许操作员指定建筑物的结构平面的顶点、最后基于图像和GPS信息来计算指定的顶点的三维坐标，从而产生建筑物的三维模型。
[0007]根据专利文献2的技术，针对每一个建筑物的大量手动工作是必需的，例如，图像拍摄、顶点指定等，且因此成本变高，特别是在例如具有高密度的住宅建筑物的宽阔的住宅街道的情况下。此外，对地面进行图像拍摄具有一些限制，使得不能处理市区中的高建筑物。
[0008]在这些情况下，例如，非专利文献I公开了用于通过使用立体航空照片对来产生特征的三维模型的三维重构技术。
[0009]非专利文献I公开了以下技术:第一，从立体航空照片对中检测线，第二，通过分析在立体对的左图像和右图像中的线与其相邻线之间的几何关系，通过称作感知分组的技术来提取具有诸如平行或垂直关系等的特殊几何关系的线组，随后提取具有矩形轮廓的特征，以及第三，通过立体匹配获得特征轮廓的三维坐标，从而产生所有特征的三维模型。
[0010]此外，非专利文献2公开了与非专利文献I中的技术类似的技术，该技术通过感知分组仅收集与每一个特征相关联的边缘，以得到每一个矩形建筑物的轮廓，并且基于通过立体匹配所提前计算的视差图(disparity map)来获得三维建筑物模型。
[0011]引用列表
[0012]专利文献
[0013]专利文献1:日本专利申请公开N0.2002-074323
[0014]专利文献2:日本专利申请公开N0.2004-102474
[0015]非专利文献
[0016]非专利文献1:R.Mohan, R.Nevatia, " Using Perceptual Organization toExtract 3-D Structures" , IEEE Transactions on Pattern Recognition and MachineIntelligence, vol.11,n0.11, pp.1121 to 1139, Nov.1989。
[0017]非专利文献2:T.Dang, 0.Jamet, H.Maitre, " Applying Perceptual Groupingand Surface Models to the Detection and Stereo Reconstruction of Buildingin Aerial Imagery " , XVIII Congress of ISPRS, Comm.1ll, Int.Archives ofPhotogrammetry and Remote Sensing, Vol.30,pp.165 to 172,Sep.1994。
【发明内容】
[0018]技术问题
[0019]上文解释的传统技术具有以下缺点。
[0020]如作为示例的专利文献I中的技术等的技术具有以下缺点:这种技术难以反映图像中的特征(即，建筑物、建筑结构等)的屋顶上的精细结构。
[0021]这是因为由于如上文所解释的激光数据的有限分辨率，因此不能获得高精度的屋顶息。
[0022]如作为示例的专利文献2中的技术等的技术需要高人力成本，特别是当处理具有高建筑物密度的住宅街道时，并且由于对地面上的图像拍摄的限制，因此该技术也不能处
理高建筑物。
[0023]因此，为了处理宽区域中的各种建筑物，必须基于航空照片或卫星图像来产生三维数据。
[0024]如非专利文献I和2中的技术等的技术仅能够通过感知分组来产生具有简单成形轮廓(例如，矩形屋顶)的特征的三维模型。然而，当在具有高住宅建筑物密度的住宅街道的情况下提取的线的数量非常高时，感知分组将存在问题。此外，因为相同街区中的大多数住宅建筑物通常被建在与道路平行的相同方向上，因此与住宅建筑物的每一个提取的线具有平行关系和垂直关系的线的数量变得相当大，因而难以仅基于简单的几何关系来提取每一个住宅建筑物的轮廓。此外，在高建筑物的情况下，视差非常大，因此存在以下缺点:不能找到分别处于右图像和左图像中的一对相应线，而是将这对相应线分别与其它线错误地关联。
[0025]提出了本发明以处理这些缺点，并且本发明的目的是使得能够以低成本来产生反映详细屋顶结构的高精度三维特征数据。
[0026]问题的解决方案
[0027]本发明的第一示例方案提供了一种三维特征数据产生设备，其根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所述三维特征数据产生设备包括:
[0028]立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0029]线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；
[0030]线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0031]无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0032]线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；
[0033]立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；
[0034]线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；
[0035]平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0036]平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0037]本发明的第二示例方案提供了一种三维特征数据产生方法，用于根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所述三维特征数据产生方法包括:
[0038]立体视差计算步骤，用于计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0039]线提取步骤，用于从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；
[0040]线分类步骤，用于根据通过所述线提取步骤提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0041]无意义线消除步骤，用于消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0042]线对确定步骤，用于针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算步骤的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；
[0043]立体视差校正步骤，用于基于通过所述线对确定步骤获得的每一个线对的对应关系来计算更精确的视差值，以校正通过所述立体视差计算步骤获得的预测立体视差值；
[0044]线对聚类步骤，用于首先在通过所述线对确定步骤获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；
[0045]平面提取步骤，用于基于通过所述线对聚类步骤获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0046]平面组合步骤，用于计算通过所述平面提取步骤提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0047]本发明的第三示例方案提供了一种其中存储有三维特征数据产生程序的记录介质，所述三维特征数据产生程序使计算机用作:
[0048]立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0049]线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；
[0050]线分类单元，根据由所述提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0051]无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0052]线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；
[0053]立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；
[0054]线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；
[0055]平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0056]平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0057]本发明的有利效果
[0058]根据本发明，有可能以低成本来产生反映详细屋顶结构的高精度三维特征数据。
【专利附图】
【附图说明】
[0059]图1是示出了根据第一实施例的三维特征数据产生设备的一般结构的框图；
[0060]图2是示出了密集坐落的住宅建筑物的轮廓线的示例的示例图；
[0061]图3是用于解释对下采样立体图像进行的立体匹配的搜索范围的示例图；
[0062]图4是用于解释核线(bipolar line)上的搜索范围的限制的示例图；
[0063]图5A是用于解释线对聚类的具体示例的示例图；
[0064]图5B是用于解释线对聚类的具体示例的示例图；
[0065]图5C是用于解释线对聚类的具体示例的示例图；
[0066]图是用于解释线对聚类的具体示例的示例图；[0067]图5E是用于解释线对聚类的具体示例的示例图；
[0068]图6是示出了当在计算机中实现第一实施例的三维特征数据产生设备时的示例结构的框图；
[0069]图7是示出了根据第一实施例的三维特征数据产生过程的整个流程的流程图；
[0070]图8是示出了根据第一实施例对立体图像进行的相对定向的细节的流程图；
[0071]图9是示出了根据第一实施例的立体视差计算过程的细节的流程图；
[0072]图10是示出了根据第一实施例的线提取过程的细节的流程图；
[0073]图11是示出了根据第一实施例的线分类过程的细节的流程图；
[0074]图12是示出了根据第一实施例的无意义线消除过程的细节的流程图；
[0075]图13是示出了根据第一实施例的线对确定过程的细节的流程图；
[0076]图14是示出了根据第一实施例如何在右图像中提取与左图像中的线相对应的线的细节的流程图；
[0077]图15是示出了根据第一实施例构建分别处于右图像和左图像中的一对线之间的对应关系的细节的流程图；
[0078]图16是示出了根据第一实施例的立体视差校正过程的细节的流程图；
[0079]图17是示出了根据第一实施例的线对聚类过程的细节的流程图；
[0080]图18是示出了根据第一实施例的平面提取过程的细节的流程图；
[0081]图19是示出了根据第一实施例如何对闭合多边形进行分类的细节的流程图；
[0082]图20是示出了根据第一实施例的平面确定过程的细节的流程图；
[0083]图21是示出了根据第一实施例的平面组合过程的细节的流程图；
[0084]图22是示出了根据第二实施例的三维特征数据产生设备的一般结构的框图；
[0085]图23是示出了根据第二实施例的三维特征数据产生方法的整个流程的流程图；
[0086]图24是示出了根据第二实施例的多尺度立体视差计算过程的细节的流程图；
[0087]图25是示出了根据第三实施例的三维特征数据产生设备的一般结构的框图；
[0088]图26是示出了根据第三实施例的三维特征数据产生过程的整个流程的流程图；
[0089]图27是示出了根据第三实施例的多尺度线提取过程的细节的流程图；
[0090]图28是示出了根据第四实施例的三维特征数据产生设备的一般结构的框图；
[0091]图29是示出了地图数据的示例的图；
[0092]图30是示出了根据第四实施例的三维特征数据产生过程的整个流程的流程图；以及
[0093]图31是示出了根据第四实施例的地图相关无意义线消除过程的细节的流程图。【具体实施方式】
[0094]下面将参照附图来描述本发明的实施例。
[0095]下面的实施例仅用于说明本发明，而并不旨在限制本发明的范围和精神。因此，本领域技术人员可以采用以下实施例的结构组件中的每一个或全部由等同物所替换的实施例，并且这些实施例也落入本发明的范围和精神内。
[0096](第一实施例)
[0097]图1是示出了根据本发明的第一实施例的三维特征数据产生设备100的一般结构的框图。三维特征数据产生设备100基于来自从天空以朝向包含特征(即，住宅建筑物和建筑结构等)在内的相同陆地区域的不同角度拍摄的若干图像的立体信息以及特征的线信息，产生包括住宅建筑物、建筑结构等在内的特征的三维模型。将参照该图给出下面的解释。
[0098]如图1所示，三维特征数据产生设备100包括:立体图像数据输入单元10、线类型输入单元20、线类型存储器21、处理规则输入单元30、处理规则存储器31、立体视差计算单元40、线提取单元50、线分类单元60、无意义线消除单元70、线对确定单元80、立体视差校正单元90、线对聚类单元110、平面提取单元120、以及平面组合单元130。
[0099]立体图像数据输入单元10具有输入图像数据的功能。用户通过立体图像数据输入单元10输入具有立体信息的图像对，S卩，立体图像，包括左图像和右图像。
[0100]在本发明中使用的示例立体图像是从航空照片或卫星照片等转换的数字图像，但是不限于此。具体地，在航空照片的情况下，立体图像可以是以通过扫描等对来自模拟照相机的模拟照片进行数字化而获得的数字图像。
[0101]举例说明，当立体图像是航空照片时，可以以航线上的两个相邻拍摄之间60%的端搭叠(endlap)和两个相邻航线之间30%的侧边搭叠(sidelap)的标准来拍摄立体航空照片。
[0102]线类型输入单元20具有输入要处理的立体图像中的线类型的功能。用户通过线类型输入单元20输入用于对立体图像中的每一条线进行分类的所有必需的线类型。
[0103]例如，线类型输入单元20可以提供通常存在于航空照片中的线的所有可能的类型。接下来，用户选择出现在要处理的当前航空照片中的线类型，并且通过线类型输入单元20输入这些线类型。将通过线类型输入单元20输入的线类型存储在线类型存储器21中，并且当在线类型分类单元60中需要这些线类型以确定每一条线的线类型时，获得这些线类型。
[0104]下面是航空照片中存在的示例线类型，例如，阴影区域的轮廓线、建筑物的外部轮廓线、建筑物的内部屋顶线、道路标线、停车场中的线、水面上的噪声线、树上的噪声线、以及其它噪声线。可以通过线类型输入单元20将这些线类型分别作为独立的线类型进行输入，或者可以通过组合多个类型将这些线类型作为新线类型进行输入。例如，建筑物的外部轮廓线、建筑物的内部屋顶线可以被组合为称作建筑物的轮廓线的新类型。此外，水面上的噪声线、树上的噪声线和其它噪声线可以被组合为称作噪声线的新类型。此外，道路标线、停车场中的线可以被组合为称作地面线的新类型。
[0105]实际上，线类型集合的细度是根据处理照片的内容、地形的特性以及照片中的特征来确定的。举例说明，如图2中所示，当密集坐落的住宅建筑物具有彼此类似的结构时，为了更精确地确定线对的关系，与仅一个线类型作为建筑物的轮廓线相比，最好设置两个线类型，即，建筑物的外部轮廓线和建筑物的内部屋顶线。
[0106]此外，可以根据实际的应用和目的来确定线类型集合。更具体地，例如，整个180度的范围被均匀地划分为六个部分，从而根据线的角度获得六个线类型。此外，当特征(包括住宅建筑物、建筑结构等)的屋顶结构由多边形构成时，可以根据线方向将建筑物轮廓上的线分类为不同的线类型。通过这种方式，可以更容易地实现稍后要讨论的线对确定过程和线对聚类过程。[0107]还将解释其它示例。例如，通过将与航空照片相同的区域的地图进行转换以将地图对准到航空照片，地图上的街区的范围信息被反映在图像上，然后可以按每一个街区对线进行分类。也即是说，相同街区中的所有线被分类为相同的线类型，从而减小稍后要讨论的相应候选线的搜索范围。
[0108]此外，基于各种线类型集合的组合构建的任何新的线类型集合也是可应用的。
[0109]返回图1，处理规则输入单元30具有输入与产生三维特征数据相关联的所有参数的功能。用户向处理规则输入单元30输入分别对于稍后要讨论的立体视差计算过程和线对确定过程必需的参数。
[0110]通过处理规则输入单元30输入的参数包括例如在计算立体视差期间用于下采样立体图像的采样率以及用于确定线对的匹配分数阈值。
[0111]通过处理规则输入单元30输入的参数被存储在处理规则存储器31中。当在立体视差计算过程和线对确定过程中需要参数时，分别从处理规则存储器31获得参数。
[0112]立体视差计算单元40计算立体航空照片的重叠区域中的所有特征的立体视差。针对相同的特征，视差效应使得相同的特征在左图像和右图像中显得不同，并且该差别反映高度信息。
[0113]为了获得视差，必须首先找出左航空图像和右航空图像中的相应区域。对于两个立体图像，执行立体匹配以获得右图像和左图像中的区域的相关性。
[0114]在立体匹配过程中，在左图像和右图像的重叠区域中，通过特定计算技术来计算右图像和左图像中的相应区域的相似性。该相似性指示分别来自右图像和左图像的两个区域彼此相对应的可能性。
[0115]可以在相似性计算期间直接利用图像中的每一个像素的颜色信息或灰度信息。此夕卜，还可以首先执行图像分割，然后计算针对每一个分割部分的相似性。还可以基于典型的图像特征(例如，特征点、特征线和特征曲线)来计算相似性。
[0116]应当在立体匹配之前对右图像和左图像执行相对定向，从而使相应像素或区域的搜索范围从二维减小到一维。也即是说，在相对定向以后，图像对中的另一图像中的相应像素仅存在于相同的核线上。
[0117]通过立体视差计算单元40获得的视差仍然是实际视差的预测值，然后将由立体视差校正单元90基于线对信息来校正该视差，如稍后将讨论的。可以由立体视差校正单元90校正的视差是由于图像噪声产生的匹配噪声，而不能校正闭塞区域中的视差信息，这是因为在当前图像对中丢失了必需的信息。
[0118]此外，通过立体视差计算单元40获得的视差不是实际的高度，而仅是正比于实际高度的相对高度信息。因为视差反映了特征的相对高度，因此视差用作稍后要讨论的线对确定过程和线对聚类过程中的辅助信息。
[0119]在三维模型的最后结果上，特征的高度可以是简单地正比于实际高度的视差值，或者基于输入的航空照片的拍摄信息从视差转换的实际高度。
[0120]在立体视差计算单元40中，除了直接基于原始尺寸的立体图像来计算视差的技术以外，其它技术也是可应用的。例如，可以计算为了某些特定目的而以特定采样率来下采样的立体图像上的视差，然后将获得视差映射到原始尺寸的图像，从而获得整个图像的视差。[0121]与原始尺寸的立体图像的情况相比，当以相同的采样率对右图像和左图像进行下采样时，可以以更有效的方式获得来自更宽的搜索范围的优化的相应点。具体地，当可能的搜索范围较宽以获得立体图像的视差时，也即是说，当地形极大地改变时，通过该技术计算视差更加有效和精确。
[0122]在实际的航空照片中，存在多种极大地改变的地形的情况。例如，在山区的情况下，存在较大的正视差和较大的负视差。此外，在市区中的高建筑物的情况下，与图像中的平均视差相比，存在极大的正视差。在视差的可能值的范围较宽的这些情况下，如果以原始图像尺寸直接计算立体视差，则难以在计算时间与准确度之间达到良好的平衡。
[0123]当应用的目的是获得整个图像中的每一个像素上的精确视差时，必须使用从最低负视差到最高正视差的搜索范围来对所有像素进行计算。在该情况下，处理时间不可避免地变长。
[0124]相反，当应用的目的是实现良好的计算效率时，与具有从图像中最低负视差到最高正视差的搜索范围的情况相比，通过将每一个像素的搜索范围设置为整个图像的平均搜索范围，可以减小处理时间。然而，通过这种方式，不能获得针对具有极高正视差或极低负视差的像素的正确的视差，这是因为它在平均搜索范围之外，因此这些像素由于未能正确匹配而看起来像是闭塞区域中的像素。
[0125]为了处理上面的缺点，一些传统的技术通过以下方式出现:设置整个图像上的平均搜索范围以首先计算视差，然后仅针对失配的像素将搜索范围手动地放大至某一程度，并再次对这些像素执行立体匹配。通过该技术，可以以特定效率正确地获得整个图像的视差信息，但是该技术不是自动的，这是因为用户的手动设置是必需的。此外，为了设置放大的搜索范围，对图像中的所有可能的视差值的了解是必需的。
[0126]相比之下，根据本发明，通过对下采样立体图像执行立体匹配，可以自动且有效地获得所有像素的视差。更具体地，如图3所示，搜索范围被设置为下采样立体图像上的图像的宽度。也即是说，关于左图像301a中的点P，计算它与右图像301b中在相同核线302上从Ps到Pe的每一个点的相似性，并且将这些点中具有最高相似性的点设置为点P的相应点。在该情况下，因为搜索范围是下采样图像的宽度，因此除了真实闭塞点以外，可以正确地获得最大正视差和最小负视差二者。此外，虽然搜索范围是图像的宽度，但是因为对下采样图像进行计算，因此采样率越大，处理时间减少得越多。
[0127]当将从下采样立体图像获得的视差映射到原始尺寸的图像时，采样率越大，原始尺寸的图像中具有未知视差信息的像素的数量就越大。将在这里以举例说明的方式给出解释。当原始尺寸的图像中的像素的数量为N时并且采样率为2时，具有未知视差信息的像素的数量为(1-0.5X0.5) XN = 0.75XN。此外，当采样率为10时，具有未知视差信息的像素的数量为(1-0.1X0.1) XN = 0.99XN。
[0128]当存在不仅对高效率而且对高精度的要求时，在下采样图像上获得的视差不直接映射到原始尺寸的图像，而是用作用于对原始尺寸的立体图像进行立体匹配的辅助信息。更具体地，首先，对于原始尺寸的图像中具有已知视差信息的像素，设置以已知视差为中心的搜索范围，然后在该范围中计算更精确的视差。接下来，在获得具有未知视差信息的像素的视差的过程期间，已经计算出的视差信息还可以用作搜索限制。通过这种方式，可以自动地且有效地设置每一个像素的适合的搜索范围。[0129]期望在实际应用中应当设置使得实现效率和精度二者的采样率。当对效率的要求较高时，设置相对大的采样率尺度。相反，当对视差的精度的要求较高时，设置相对小的采样率。此外，设置采样率还与图像内容有关。例如，在没有很多特征的逐渐改变的地形的情况下，即使设置较大的采样率，也不会过多地影响整个视差的精度。相反，在密集坐落的特征的情况下，为了得到更精确的三维数据以反映图像上的精细内容，最好设置较小的采样率。
[0130]返回图1，线提取单元50分别处理立体图像的右图像和左图像，首先提取图像中的边缘，然后基于边缘提取线。
[0131]存在用于边缘提取和线提取的各种技术，但是在该实施例中对使用任何特定的技术没有限制。
[0132]例如，Canny提取技术可应用于边缘提取。
[0133]此外，Hough变换技术可应用于线提取。
[0134]线分类单元60分别处理立体图像的右图像和左图像，并且基于通过线类型输入单元20输入的期望被应用于当前立体图像的线类型信息，将图像中的所有线分类为各种线类型。
[0135]应用的线类型集合可以是一个特定的集合，或者若干线类型集合的组合。期望根据图像内容使用要应用的线类型集合。例如，具有针对每一个街区的相应线类型的线类型集合可应用于没有高建筑物的住宅街道。因为在高建筑物的情况下存在较大的正视差，因此在立体图像对中的另一图像中，其屋顶轮廓的相应线可能出现在不同的街区中。
[0136]线分类单元60基于通过线类型输入单元20输入的线类型信息将图像中的所有线分类为不同类型。在这里，线分类单元60利用线的特性(例如，角度、位置、长度、从立体视差计算单元40获得的视差以及立体图像的特性)来进行分类。
[0137]基于分类标准和在分类中利用的特性可以应用各种线分类技术，但是在该实施例中对使用任何特定的技术没有限制。举例说明，下面解释一个可应用的分类技术。
[0138]可以基于线及其相邻区域上的视差信息来了解线上的平均视差以及视差在线方向上的改变。通过使用视差阈值来区分地面和建筑物，具有低于阈值的平均视差的线被分类为与特征(即，建筑物或建筑结构)无关的线。然后，基于线的长度、线的相邻区域中的颜色或纹理分布图案的平滑度将剩余的线进一步分类为两种类型，即，树上的噪声线和与特征有关的线。然而，当地形在整个图像中极大地改变时或者当特征的高度是各种各样的时，必须为图像的不同区域设置自适应阈值。
[0139]线分类单元60还基于图像的视差信息和特性将与特征有关的线进一步分类为建筑物的外部轮廓线和内部屋顶线。当线两侧的视差有很大的差异因此两侧的颜色分布图案有很大的差异时，线分类单元将该线分类为建筑物的外部轮廓线。相反，不论线两侧的视差的差别如何，如果在垂直于线的方向上的相邻区域中计算的相应平均视差在线的左侧和右侧是大致相同的，并且分别位于左侧和右侧的相邻区域中的颜色分布图案也是类似的只是亮度有略微差别，则线分类单元将该线分类为内部屋顶线。
[0140]虽然与特征无关的线不直接用于产生特征的三维模型，但是为了促进对与特征有关的线的线对确定过程以及线对聚类过程，可以进一步对与特征无关的线进行分类。例如，可以基于图像的颜色特性来检测阴影区域，然后可以将阴影区域的轮廓线与其它线区分开。在阴影区域附近始终存在诸如住宅建筑物或建筑结构等的特征。此外，沿着道路上的白线提取的线被标记为道路标线，然后用于通过获得道路标线之间的交叉关系来确定街区的范围。当不存在地图信息时，这种技术可以应用于获得街区的范围。
[0141]此外，图像的颜色特性和纹理特性以及视差的纹理特性可以用于提取例如水面，并且水域中的所有线被分类为水面上的噪声线。此外，还可以基于地图数据来检测水域和绿地。
[0142]将线分类为若干线类型使得更容易执行稍后要讨论的线对确定过程、无意义线消除过程和线对聚类过程。
[0143]通过将分别处于右图像和左图像中的相应线分类为相同的线类型，对于一个图像中的线，当在线对确定过程期间搜索其在另一图像中的相应线时，搜索范围可以限制在具有与当前处理线相同线类型的线中。
[0144]此外，在当决定线对是否属于特征时的线对聚类过程期间，每一条线的线类型信息也是有用的。例如，相同街区中的线对可能属于相同的建筑物，因此在线对聚类期间优选地将相同街区中的线对视为一个线对群集。
[0145]此外，线分类还使得稍后要讨论的线消除过程更加有效。例如，当已经将线分类为与特征有关的线或者与特征无关的线时，可以简单地消除与特征无关的线。此外，当已经针对每一个街区区域将所有线分类为不同的线类型时，除了要处理的街区中的线以外，可以将其它线均作为无意义线进行消除。
[0146]无意义线消除单元70将不在诸如线对确定过程和线对聚类过程等后续过程中处理的所有线标记为无意义线，并且对这些线进行消除，从而提高后续过程的效率和准确度。
[0147]实际上，无意义线的定义根据特定应用而改变。例如，当仅对等于或大于特定尺寸的建筑物执行应用时，可以应用与线长度有关的阈值来将短于该阈值的所有线标记为无意义线。
[0148]在无意义线消除单元70中，当一个线类型被确定为无意义时，可以基于线分类单元60的结果来消除具有这种线类型的多条线。基本上，除了与特征有关的线以外，其它线均被确定为无意义的并且然后被消除，以促进下面的过程。
[0149]例如，所有线已经被分类为下面的类型:特征的外部轮廓线、特征的内部屋顶线、道路标线、阴影区域的轮廓线、树噪声线和水面噪声线。在该环境下，在真实世界中来自立体对的一个图像的阴影区域的轮廓线在立体对的另一图像中不具有相应线，从而应当消除该线。此外，树噪声线和水面噪声线随机分布在右图像和左图像中，因此在真实世界中这些线不具有相应线，因此应当消除这些线。
[0150]虽然道路标线用于确定街区区域，但是当街区的信息已经可用时，这些线不用于在稍后过程中产生特征的三维模型，因此还应当消除这些线。
[0151]对于在消除无意义线之后的所有剩余线，线对确定单元80关于一个图像中的每一条线找出其在立体图像对中的另一图像中的相应线。
[0152]在搜索相应线期间，通过选择具有与当前处理线相同线类型的线并且计算每一个候选相应线与当前处理线之间的匹配分数来首先利用线分类结果。
[0153]此外，在搜索相应线期间，还可以利用通过立体视差计算单元40获得的视差。更具体地，基于当前处理线的每一个像素上的视差，获得在另一图像中与每一个像素相对应的像素。接下来，找出相邻区域中具有相应像素集合的线作为候选相应线，并且计算每一个候选相应线与当前处理线之间的匹配分数。接下来，基于匹配分数来确定相应线。
[0154]通过利用视差信息来得到候选相应线，提高了线对确定的准确度和效率，特别是在传统技术未解决的情况(例如，具有类似颜色和类似高度的住宅建筑物密集分布的区域或者具有高建筑物的区域)下。
[0155]当计算分别来自右图像和左图像的当前处理线与候选相应线之间的匹配分数时，可以利用各种特性。例如，可以基于以下特性的相似性的组合来计算匹配分数，例如，线两侧的颜色或纹理分布图案、线的角度、以及线的长度。
[0156]根据传统的技术，匹配分数的阈值用于将具有等于或大于阈值的匹配分数的线对确定为相应线，而具有低于阈值的分数的对均被确定为失配线。这导致很多错误的匹配对，特别是在具有密集分布的建筑物的区域中，这是因为这些区域中的线的数量很大，并且附近的线也可能具有类似的视差。
[0157]为了处理该缺点，根据本发明，应用逐步匹配。首先设置具有最高可靠性的线对的对应关系，其可以用作下面的匹配过程的约束。接下来，在剩余的线对中具有最高可靠性的线对被决定为相应线，其也可以与先前决定的相应线对一起用作下面的匹配过程的约束。通过这种逐步过程可以增强所有可能的相应线对的对应关系的整体可靠性。
[0158]线对应关系的可靠性不限于在该实施例中利用的特性，而是可以基于各种特性来定义。例如，匹配分数、线长度和视差。通过使用这些特性，首先决定具有高匹配分数的线对的对应关系，因此可以减少错误匹配对。通常，因为一般在图像中不多的大特征，因此决定长线对的对应关系也可以减少错误匹配对。此外，在传统的技术中，始终仅在当前处理线的相邻区域中搜索相应线。因此，难以找到高建筑物的轮廓线的相应线。为了处理该缺点，首先基于视差信息来设置高建筑物的线对的对应关系。因此，避免了与高建筑物有关的错误匹配对，并且还减少了高建筑物附近的其它建筑物的轮廓线的错误匹配对。
[0159]下面将以举例说明的方式给出解释，以阐明设置右图像和左图像中的线的对应关系的技术。
[0160]目的是搜索一个图像中的线在另一图像中的相应线。例如，右图像中的线Srl被确定为左图像中的线Sll的相应线，而左图像中的线S12被确定为右图像中的线Srl的相应线。在该情况下，仅当线Sll和线S12是相同的线时，才设置线Sll与线Srl之间的对应关系。
[0161]立体视差校正单元90利用通过线对确定单元80确定的线对的对应关系，并且还校正根据右图像和左图像获得的视差。
[0162]当线对的对应关系已知时，可以设置相同核线上的诸如点N和M等的相应点之间的对应关系。因此，通过获得线对与核线的交叉点作为一对相应点，当搜索相同核线上的其它点的各自相应点时，可以应用基于这些交叉点的约束。举例说明，如图4所示，存在彼此对应的线对Al和A2以及彼此对应的另一线对BI和B2，它们与核线402的交叉点分别为Ml、M2以及N1、N2。左图像401a上在核线402上的起点和终点是SI和El，而右图像401b上的起点和终点是S2和E2。在该情况下，在S2与M2之间始终存与SI与Ml之间的点相对应的点。此外，在M2和N2之间始终存在与Ml与NI之间的点相对应的点。此外，在N2与E2之间始终存在与NI与El之间的点相对应的点。[0163]利用上面解释的约束，可以校正线对之间存在的点的视差。在这里，仅利用与诸如住宅建筑物或建筑结构等的特征有关的线对。通过这种方式，特别是对于建筑物的外部轮廓线与内部屋顶线之间的屋顶区域，可以将这些区域的视差校正为更精确的值。此外，还可以校正不同住宅建筑物的外部轮廓线之间的区域中的视差。通过这种方式，在多数情况下，闭塞区域的轮廓线被校正为更精确的值。此外，校正屋顶区域中的视差噪声以及在闭塞区域的轮廓周围的视差噪声成为可能。
[0164]返回图1，线对聚类单元110将从线对确定单元80获得的线对分类为不同的集群，其中，每一个集群包括与诸如住宅建筑物或建筑结构等的一个特征有关的所有线对。对于线对聚类的处理结果，属于相同建筑物的所有线对被聚集为集群，并且还确定这些线之间的连接关系。
[0165]基于该处理步骤中的线对仅是与诸如住宅建筑物或建筑结构等的特征有关的线对这样的事实，可以通过分析视差信息和线对在三维空间之间的关系来实现线对聚类。因为在后面的处理中在三维空间中对每一个线对进行分析，因此下面的解释中，还将线对称
作三维线。
[0166]首先，在所有线对中，满足下面的约束的两条三维线被视为属于相同的特征并且还在三维空间中彼此相连。第一约束是两条三维线彼此相交或者一条三维线在另一条三维线的顶点的相邻区域中具有顶点。
[0167]除了上述约束以外，当前处理的两条三维线必须进一步满足下面的条件。第一，由两条三维线围绕的面积大于提前输入的建筑物面积阈值。第二，由两条三维线围绕的区域中的视差等于或高于两条三维线上的平均视差，并且同时该区域中的视差高于之前输入的视差阈值，以处理当前处理的两条三维线所处的街区中的建筑物的可能最低高度。
[0168]第三，在凸面限制下，可以根据彼此具有连接关系的三维线来获得表示屋顶区域的外部轮廓并且表示内部屋顶结构的多边形。图5A示出了示例情况。为了获得外部闭合轮廓，在当前处理的两条三维线(例如，图5A中示出为L(al)和L(a2)的两个线)满足诸如凸面限制、在另一线的顶点的相邻区域中具有顶点的约束(相互地)、以及与周围的多边形的视差有关的以下约束等的约束的情况下，虽然这两条三维线最初未彼此相连，但是它们被联合在一起以获得直线R(al)。必要的是，由两条三维线围绕的多边形区域中的视差应当等于或高于形成该多边形的两条三维线的平均视差，并且多边形中的视差还应当高于视差阈值以用于处理当前处理的两条三维线所处的街区中的建筑物的可能最低高度。
[0169]在获得两条三维线的连接关系的上述过程以及获得屋顶多边形的最后一个步骤中，可以使用整条线或者这条线的仅一部分。考虑提取的线实际上是由来自多个建筑物的若干独立的线构成的可能情况，也允许在这里使用线的一部分。该现象在多个建筑物被建造在相同的方向上并且它们之间的距离非常近时发生，并且在一些情况下，相同方向上的相应建筑物的轮廓线被提取作为一条线。图5B示出了该情况。在图5B中所示的这种情况下，线L(bl)被切成分别属于R(bl)、R(b2)和R(b3)的若干段。此外，还存在诸如图5C中所示的情况等的情况下，在图5C中，由于噪声的影响，因此提取长于原始轮廓线的线L(Cl)。在该情况下，提取的线的仅一部分是建筑物的屋顶轮廓，因此仅该部分用于得到R(Cl)。
[0170]如图5B中所示，为了在线对聚类的最后一个步骤中产生多边形，最初未彼此相交的两条线可以被延伸以彼此相交。在该情况下，当由于阴影等的影响而只能检测到线的一部分时，整条线可以被恢复并且然后用作建筑物的轮廓的一部分。
[0171]此外，如图5A中所示，在实际图像中，即使由于图像噪声等的影响，一条线最初被分成若干部分，也可以在获得其所属的闭合多边形的过程期间通过将该若干部分结合在一起来恢复这条线。
[0172]在线对聚类过程中，每一条三维线不限于专属于一个建筑物，而是还可以属于多个建筑物。这是由于以下可能的情况。一个情况是图5B中所示的上述情况，由建造在相同方向上的多个建筑物共享三维线。此外，还存在图中所示的另一情况，即，两个相邻建筑物共享一条三维线L (dl)。
[0173]由于与多边形相关的面积阈值和视差约束，因此属于相邻建筑物的三维线未被错误地确定为属于相同的建筑物。将参照图5B中所示的示例情况来解释这一点。举例说明，由线L(b4)和线L(b5)形成的区域实际上是地面，因此其中的视差不满足视差约束。此外，由线L(b4)和线L(b5)形成的区域太小而不满足面积阈值约束。此外，由线L(b2)和线L(b5)形成的区域满足面积阈值约束，但是由于其中存在地面，因此不满足视差约束。
[0174]此外，在屋顶区域的一部分被遮挡因此与另一部分具有不同的亮度的环境下，难以仅基于颜色特性和纹理特性来提取整个屋顶区域。然而，通过可用的视差信息，可以提取整个屋顶区域，这是因为由属于该屋顶的所有三维线围绕的区域满足视差约束。图5E示出了该情况。
[0175]根据传统的技术，垂直关系或水平关系用于确定三维线属于哪个特征，而在本发明中，根本不使用线之间的这些几何关系。通过这种方式，对特征的屋顶结构或轮廓形状没有限制。
[0176]返回图1，平面提取单元120从通过线对聚类获得的三维线群集中提取形成特征的屋顶的所有平面，其中，每一个群集对应于每一个特征。
[0177]通过线对聚类过程获得形成每一个特征的屋顶的多边形。在提取的多边形中，存在表示屋顶的外部轮廓的轮廓多边形，还存在表示屋顶的内部结构的内部多边形。首先，对于每一个特征的群集，检查存在于外部轮廓多边形中的每一个内部多边形是否是平面。当内部多边形是平面时，提取该多边形作为屋顶平面。相反，当基于内部多边形内的区域的视差分布发现内部多边形不是平面，同时区域的一部分满足平面约束时，将该区域划分为若干平面。但是当检查的多边形未发生上述两个情况时，确定多边形的内部区域包括曲面。接下来，还以与内部多边形相同的上述方式来处理除了任何内部多边形内的该部分以外的外部轮廓多边形内部的区域。
[0178]作为上述处理的结果，特征的屋顶轮廓多边形满足以下情况中的任意一种情况。
[0179](I)当存在平坦屋顶时，平面。⑵当存在仅由平面构成的屋顶时，多个平面。(3)当存在诸如圆顶等具有曲面的屋顶时，曲面。在该情况下，与(2)中的屋顶类似，屋顶由若干平面近似，并且最终作为由多个平面构成的屋顶来产生。在上文解释的图2中所示的示例建筑物中，建筑物201和202是由“多个平面”构成的建筑物，并且建筑物203是由“一个平面”构成的建筑物。
[0180]返回图1，平面组合单元130还基于通过平面提取单元120获得的每一个特征的内部屋顶结构来确定屋顶的每一个部分的几何关系，并且最终提取每一个特征的三维模型。
[0181]对于来自平面提取单元120的处理结果的不同情况，平面组合单元130按以下不同的方式处理这些情况。
[0182](I)当建筑物的屋顶是平面时，直接基于屋顶的平面的视差来产生特征的三维模型。(2)当屋顶是由多个平面构成时，基于视差信息来分析所有平面之间的连接关系，并且基于屋顶的三维结构来产生特征的三维模型。(3)当屋顶是曲面时，首先通过与(2)的情况中的方式类似的方式来确定所有平面之间的连接关系，然后产生特征的三维模型。
[0183]图6是示出了当在计算机中实现第一实施例的三维特征数据产生设备100时的示例物理配置的框图。
[0184]本发明的三维特征数据产生设备100可以通过与典型计算机的硬件结构类似的硬件结构来实现，并且包括控制器201、输入/输出单元202、显示器203、操作单元204、主存储器205、外部存储器206、以及系统总线207。
[0185]输入/输出单元202、显示器203、操作单元204、主存储器205以及外部存储器206均通过系统总线207与控制器201耦合在一起。
[0186]控制器201包括例如CPU(中央处理单元)等。控制器201根据存储在外部存储器206中的控制程序300来执行三维特征数据产生过程。
[0187]输入/输出单元202包括例如无线发射机/接收机、无线调制解调器或网络终端设备、以及与上述调制解调器或设备相连的串行接口或LAN(局域网)接口。要处理的图像数据、处理参数和线类型信息可以通过输入/输出单元202来接收，并且由操作员提供的指令可以通过输入/输出单元202来输入。此外，经处理的结果数据也可以通过输入/输出单元202来发送。
[0188]显示器203包括诸如CRT (阴极射线管)或IXD (液晶显示器)等的显示器、以及打印机等。显示器203显示输入的图像数据和通过三维特征数据产生设备100的处理结果。
[0189]操作单元204包括诸如键盘和鼠标等的指向设备以及将指向设备与系统总线207相连的接口设备。可以通过操作单元204来输入立体图像数据、处理参数、线类型信息。此夕卜，诸如发送/接收等的指令以及用于显示处理结果的指令通过操作单元204输入并且被提供给控制器201。
[0190]主存储器205例如是诸如RAM (随机存取存储器)等的主存储器。存储在外部存储器206中的控制程序300被加载在主存储器205中，该主存储器205用作控制器201的工作区域。
[0191]外部存储器206由非易失性存储器构成，例如，闪存存储器、硬盘、DVD-RAM(数字通用光盘随机存取存储器)、R0M(只读存储器)、磁盘和半导体存储器。外部存储器206提前存储用于使控制器201执行三维特征数据产生过程的控制程序300。此外，外部存储器206根据来自控制器201的指令向控制器201提供与控制程序300有关的存储数据。此外，外部存储器206存储从控制器201提供的数据。
[0192]由控制程序300通过利用控制器201、输入/输出单元202、显示器203、操作单元204、主存储器205和外部存储器206作为资源来执行由如上所解释的图1中所示的三维特征数据产生设备100的相应单元执行的过程。
[0193]当由计算机处理设备上的控制器201运行实现上文所解释的相应功能的控制程序300时，可以通过软件来实现三维特征数据产生设备100。在该情况下，控制器201将存储在外部存储器206中的控制程序300加载到主存储器205中，并且通过控制所有操作组件来运行该程序，以实现上文所解释的相应功能，从而通过软件实现三维特征数据产生设备 100。
[0194]执行本发明的三维特征数据产生设备100的过程的核心部分不限于专用系统，而是可以使用通常的计算机系统来实现。
[0195]此外，可以通过在诸如LSI (大规模集成)等的硬件组件上构建如上文所解释的产生三维数据的功能并且构造电路来实现三维特征数据产生设备。
[0196]下面将参照附图给出关于实现上文所解释的功能的三维特征数据产生设备100的操作的解释。首先，将参照图7解释过程的整体流程。图7是示出了三维特征数据产生过程的流程图。
[0197]当分别将立体图像数据输入到立体图像数据输入单元10中，将线类型信息输入到线类型输入单元20中，并且将处理参数输入到处理规则输入单元30中时，三维特征数据产生设备100开始如图7中所示的三维特征数据产生过程。
[0198]首先，三维特征数据产生设备100对立体图像进行相对定向(步骤S100)，然后执行获得立体视差的过程(步骤S110)。也即是说，立体视差计算单元40基于输入的立体图像和图像拍摄参数对右图像和左图像执行相对定向，然后计算立体视差。此外，立体视差计算单元40通过立体匹配来计算立体视差。
[0199]在步骤SllO之后的步骤中，三维特征数据产生设备100执行线提取过程(步骤S120)。也即是说，线提取单元50分别从输入的右图像和左图像提取线。
[0200]在步骤S120之后的步骤中，三维特征数据产生设备100执行线分类过程(步骤S130)。也即是说，线分类单元60基于输入的线类型信息以及从立体视差计算单元40获得的视差信息，将由线提取单元50提取的所有线分类为不同的线类型。还分别对右图像和左图像执行该步骤。
[0201]在步骤S130之后的步骤中，三维特征数据产生设备100执行消除无意义线的过程(步骤S140)。也即是说，无意义线消除单元70针对每一个线类型来消除无意义线。在该步骤中的处理以后，仅留下与特征有关的线。还分别对右图像和左图像执行该步骤。
[0202]在步骤S140之后的步骤中，三维特征数据产生设备100执行确定线对的过程(步骤S150)。也即是说，线对确定单元80利用从立体视差计算单元40获得的视差，来设置来自右图像和左图像的与特征有关的相应线之间的对应关系。
[0203]在步骤S150之后的步骤中，三维特征数据产生设备100执行校正立体视差的过程(步骤S160)。也即是说，立体视差校正单元90基于从线对确定单元80获得的线对来校正由立体视差计算单元40先前计算的视差。
[0204]在步骤S160之后的步骤中，三维特征数据产生设备100执行线对聚类过程(步骤S170)。也即是说，线对聚类单元110基于立体视差校正单元90校正的视差来确定从线对确定单元80获得的一个线对与特征的所属关系，并且还提取具有视差信息的线对，也即是说，从有关的三维线中提取形成每一个特征的屋顶的闭合多边形。
[0205]在步骤S170之后的步骤中，三维特征数据产生设备100执行平面提取过程(步骤S180)。也即是说，平面提取单元120从通过线对聚类单元110获得的形成每一个特征的屋顶的闭合多边形中，在不同的条件下提取一个平面或多个平面或近似屋顶的曲面的多个平面。[0206]在步骤S180之后的步骤中，三维特征数据产生设备100执行组合平面的过程(步骤S190)。也即是说，平面组合单元130分析从平面提取单元120获得的形成当前处理的特征的屋顶结构的平面，同时确定来自相同屋顶结构的平面之间的几何关系，并最终产生每一个特征的三维模型。
[0207]下面将参照图8至图21的流程图来解释从步骤SlOO至步骤S190的相应过程的细节。
[0208]首先，将参照图8给出关于上述步骤SlOO中对立体图像进行的相对定向的解释。
[0209]如图8所示，通过立体图像数据输入单元100输入立体图像的信息(步骤S101)。也即是说，输入包括立体图像和图像拍摄参数在内的立体图像数据。
[0210]接下来，立体视差计算单元40基于输入的立体图像和图像拍摄参数来对右图像和左图像进行相对定向(步骤S102)。在相对定向以后，相应点的搜索空间从二维减小为一维，即，右图像和左图像上的相应点仅存在于相同的核线上。
[0211]接下来，参照图9，将给出关于上述步骤SllO中计算立体视差的过程的解释。
[0212]立体视差计算单元40首先获取提前存储在处理规则存储器31中的采样率(步骤S111)，基于所获取的采样率产生分别关于右图像和左图像的下采样立体图像(步骤SI 12)，然后对下采样的右图像和左图像执行立体匹配(步骤SI 13)，并且执行下采样立体图像上的视差到原始尺寸的立体图像的映射(步骤S114)。
[0213]接下来，参照图10，将给出关于上述步骤S120中的线提取的过程的解释。
[0214]线提取单元50提取图像上的边缘(步骤S121)，然后基于提取的边缘来提取线(步骤 S122)。
[0215]接下来，参照图11，将给出关于上述步骤S130中的线分类的过程的解释。
[0216]线分类单元60首先获取提前存储在线类型存储器21中的线类型信息(步骤S131)。
[0217]线分类单元60确定每一条线的线类型(步骤S132)。也即是说，基于输入的线类型信息来对所有线进行分类。
[0218]接下来，参照图12，将给出关于上述步骤S140中的消除无意义线的过程的解释。
[0219]无意义线消除单元70确定线是否与特征无关(步骤S141)，然后当确定线与特征有关(步骤S141:否)时，使过程前进至下一步骤S143，或者当确定线与特征无关(步骤S141:是)时，消除线(步骤S142)。然后，无意义线消除单元70检查是否对所有线进行检查(步骤S143)，如果还未对所有线进行检查(步骤S143:否)，则移至下一条线(步骤S144)，并且使过程返回到上述步骤S141。相反，如果已经对所有线进行检查(步骤S43:是)，则无意义线消除单元终止消除无意义线的过程。
[0220]接下来，参照从图13至图15的图，将给出关于上述步骤S150中的确定线对的过程的解释。
[0221]如图13所示，线对确定单元80找出针对左图像中的每一条线的相应线(步骤S151)。也即是说，找出右图像中与左图像中的每一条线相应的线。
[0222]更具体地，在搜索与左图像中的线相应的线期间，如图14所示，输入提前存储在处理规则存储器31中的匹配分数阈值(步骤S151-1)，并且初始化与左图像中的每一条线相应的线的标签(步骤S151-2)。然后，基于视差信息来获得右图像中包括与当前处理线的相应的候选线在内的区域(步骤S151-3)。也即是说，基于视差信息来获得右图像中可能包括与当前处理线的相应的候选线在内的区域。接下来，检查该区域中是否存在线(步骤S151-4)。
[0223]当在区域中不存在线(步骤S151-4:否)时，过程前进至稍后要讨论的步骤S151-11。相反，当在区域中存在线(步骤S151-4:是)时，计算区域中的每一条线与当前处理线的匹配分数(步骤S151-5)。然后，检查分数以确定它是否等于或大于匹配分数阈值(步骤S151-6)，并且还确定它是否是针对当前处理线的最高分数(步骤S151-7)。
[0224]当匹配分数小于阈值(步骤S151-6:否)或者匹配分数不是针对当前处理线的最高匹配分数(步骤S151-7:否)时，该过程前进至稍后要讨论的步骤S151-9。相反，当匹配分数等于或大于阈值(步骤S151-6:是)并且同时是针对当前处理线的最高分数(步骤S151-7:是)时，该候选相应线的线号被设置为当前处理线的相应线标签(步骤S151-8)。
[0225]然后，线对确定单元80检查是否对区域中的所有线进行检查(步骤S151-9)，并且如果已经对区域中的所有线进行检查(步骤S151-9:否)，则移至区域中的下一条线(步骤S151-10)，并且使过程返回到上述步骤S151-5。
[0226]相反，如果未对区域中的所有线进行检查(步骤S151-9:是)，则线对确定单元80检查是否已经对左图像中的所有线进行处理(步骤S151-11)。如果未对左图像中的所有线进行处理(步骤S151-11:否)，则线对确定单元80移至左图像中的下一条线(步骤S151-12)，并且返回上述步骤S151-3。相反，当已经对左图像中的所有线进行处理(步骤S151-11:是)时，在这里终止搜索针对左图像中的每一条线的相应线的过程。
[0227]返回图13，线对确定单元80找出与右图像中的每一条线相应的线(步骤S152)。
[0228]在用右图像替换左图像的情况下，可以用上述图14中的相同步骤来执行搜索与右图像中的每一条线相应的线的过程。因此，将省略搜索与右图像中的每一条线相应的线的过程的流程图。
[0229]返回图13，线对确定单元80将来自右图像的线与来自左图像的线之间的对应关系进行组合(步骤S153)。
[0230]更具体地，来自右图像和左图像的线之间的对应关系的组合过程被解释如下。如图15所示，当右图像中的线Rf被确定为当前处理线Lf的相应线(步骤S153-1)时，则检查线Lf以确定它是否是线Rf的相应线(步骤S153-2)。
[0231]如果线Lf不是Rf的相应线(步骤S153-2:否)，则过程前进至稍后要讨论的步骤S153-4。相反，如果线Lf是与Rf相应的线(步骤S153-2:是)，则建立Lf与Rf之间的对关系(步骤S153-3)。
[0232]然后，线对确定单元80检查是否已经针对线对关系确定而检查了左图像中的所有线(步骤S153-4)，当还未对所有线进行检查(步骤S153-4:否)时，过程移至下一条线(步骤S153-5)并且返回前述步骤S153-1。相反，当已经对所有线进行检查(步骤S153-4:是)时，终止右图像和左图像上的对应关系的组合。
[0233]接下来，参照图16，将给出关于上述步骤S160中校正立体视差的过程的解释。
[0234]立体视差校正单元90获得当前处理核线与所有线对之间的交叉点(步骤S161)。也即是说，获得当前处理核线与所有线对之间的交叉点。
[0235]立体视差校正单元90校正交叉点之间的视差(步骤S162)。也即是说，基于分别处于右图像和左图像中的每一对交叉点的对应关系来校正交叉点之间的视差。
[0236]接下来，立体视差校正单元90检查是否对所有核线进行处理(步骤S163)。
[0237]当还未对所有核线进行处理(步骤S163:否)时，立体视差校正单元90移至下一条核线(步骤S164)，并且返回上述步骤S161。
[0238]相反，当已经对所有核线进行处理(步骤S163:是)时，立体视差校正单元90在这里终止校正立体视差的过程。
[0239]接下来，参照图17，将给出关于上述步骤S170中的线对聚类的过程的解释。
[0240]线对聚类单元110初始化每一个线对的所属群集(步骤S171)。
[0241]线对聚类单元110检查所有线对之间的相互连接关系(步骤S172)。
[0242]线对聚类单元110提取闭合多边形(步骤S173)。也即是说，基于线对的连接关系以及视差限制、面积约束和凸面约束等，提取闭合多边形。
[0243]接下来，线对聚类单元110针对每一个建筑物来确定形成每一个闭合多边形的线对的所属关系(步骤S174)。
[0244]接下来，参照图18至图20，将给出关于上述步骤S180中针对每一个特征进行平面提取的过程的解释。
[0245]如图18中所示，平面提取单元120将所有闭合多边形分类为内部多边形和外部轮廓多边形(步骤S181)。
[0246]更具体地，在分类闭合多边形时，如图19所示，首先检查当前处理的多边形的要处理的边是否是内部屋顶线(步骤S181-1)。当发现边是内部屋顶线(步骤S181-1:是)时，将当前处理的多边形确定为内部多边形(步骤S181-2)。相反，当边不是内部屋顶线(步骤S181-1:否)时，平面提取单元120进一步检查是否已经对当前处理的多边形的所有边进行处理(步骤S181-3)。当还未对当前处理的多边形的所有边进行处理(步骤S181-3:否)时，过程移至当前处理的多边形的下一条边(步骤S181-4)，并且返回上述步骤S181-1。相反，当对当前处理的多边形的所有边进行了处理(步骤S181-3:是)时，当前处理的多边形被确定为外部轮廓多边形(步骤S181-5)。
[0247]返回图18，平面提取单元120执行内部多边形平面提取过程(步骤S182)。
[0248]更具体地，如图20所示，平面提取单元120检查当前处理的多边形的内部区域是否是平面(步骤S182-1)，并且如果它是平面(步骤S182-1:是)，则将多边形的内部区域表达为平面(步骤S182-2)。另一方面，如果内部区域不是平面(步骤S182-1:否)，则平面提取单元120检查它是否可以将多边形的内部区域划分为多个平面(步骤S182-3)，如果内部区域不可以划分为多个平面(步骤S182-3:否)，则多边形的内部区域由多个平面近似(步骤S182-4)。相反，如果内部区域是可划分的(步骤S182-3:是)，则多边形的内部区域被直接划分为多个平面(步骤S182-5)。
[0249]返回图18，平面提取单元120在外部轮廓多边形区域内部的、但未被包含在任何内部多边形中的区域中执行平面提取过程(步骤S183)。
[0250]关于这些区域中的平面提取，执行与上述图20中所示的过程相同的步骤。
[0251]最后，参照图21，将给出关于上述步骤S190中的平面组合过程的解释。
[0252]首先，平面组合单元130检查特征的屋顶是否是平面(步骤S191)。也即是说，检查当前处理特征的屋顶是否是平面。[0253]当发现当前处理屋顶是平面(步骤S191:是)时，平面组合单元130使过程前进至稍后要讨论的步骤S193。
[0254]相反，当当前处理屋顶不是平面(步骤S191:否)时,平面组合单元130确定属于该屋顶的多个平面的连接关系(步骤S192)。也即是说，确定属于处理屋顶的多个平面之间的连接关系。
[0255]平面组合单元130提取三维特征模型(步骤S193)。也即是说，提取当前处理特征的三维特征模型。
[0256]平面组合单元130检查是否已经对所有特征进行处理(步骤S194)。
[0257]当还未对所有特征进行处理(步骤S194:否)时，平面组合单元130将过程移至下一个特征(步骤S195)，并且使过程返回到上述步骤S191。
[0258]相反，当已经对所有特征进行处理(步骤S194:是)时，平面组合单元130在这里终止平面组合过程。
[0259]如上文所解释的，图7(图8至图21)中所示的三维特征数据产生过程可以基于从空中以不同的角度拍摄的若干图像的立体信息以及与住宅建筑物和建筑结构相关的固有线信息来产生包括诸如住宅建筑物和建筑结构等特征在内的区域的内部的每一个特征的
三维模型。
[0260](第二实施例)
[0261]接下来，将参照附图给出关于本发明的第二实施例的详细解释。
[0262]首先，图22的框图示出了根据本发明的第二实施例的三维特征数据产生设备100的一般结构。
[0263]参照图22，本发明的第二实施例与第一实施例的不同之处在于，使用多尺度立体视差计算单元140来替换图1中所示的第一实施例的立体视差计算单元40。
[0264]多尺度立体视差计算单元140以多个尺度产生立体图像，在每一个尺度上计算视差，并且最终将多个尺度的视差信息进行组合，从而获得与原始尺寸的立体图像相关的视差。
[0265]在该情况下，可以根据较粗略尺度的立体图像来有效地获得用于计算视差的宽搜索范围，而在更精细尺度的立体图像中，反映图像的更多细节从而可以获得更精确的视差。当利用多个尺度的立体图像时，可以同时得到上述两个优点。
[0266]在该实现中，期望不仅根据期望的处理效率而且还根据期望的处理效果和图像内容来设置用于多尺度分析的尺度级别的数量和用于产生每一个层的采样步长。
[0267]根据第二实施例，处理规则输入单元30的基本功能与第一实施例的基本功能相同。然而，与第一实施例不同的是，在立体视差计算期间通过处理规则输入单元30输入到多尺度立体视差计算单元140中的参数是尺度级别的数量和用于产生每一个层的采样步长。此外，用于确定线对的过程的参数与第一实施例的参数相同，因此将省略其解释。
[0268]实现在计算机中的第二实施例的三维特征数据产生设备100的物理结构与图6的框图中所示的第一实施例的结构基本上相同，因此将省略其解释。
[0269]接下来，将参照附图给出关于根据第二实施例的三维特征数据产生设备100的操作的详细解释。
[0270]首先，将参照图23解释过程的整体流程。图23是示出了根据第二实施例的三维特征数据产生过程的流程图。
[0271]与第一实施例类似，当分别将立体图像数据输入到立体图像数据输入单元10中，将线类型信息输入到线类型输入单元20中，并且将处理参数输入到处理规则输入单元30中时，图23中的三维特征数据产生过程开始。
[0272]除了获得多尺度视差(步骤S210)以外，整体过程的流程中的每一个步骤中的过程与第一实施例的过程相同，因此将省略其解释。
[0273]参照图24，将解释上述步骤S210中的获得多尺度立体视差的过程。
[0274]多尺度立体视差计算单元140获取提前存储在处理规则存储器31中的尺度级别的数量以及用于产生每一个层的采样步长(步骤S211)，基于输入的参数(尺度级别的数量和采样步长)产生用于右图像和左图像的多个尺度的立体图像(步骤S212)，并且在每一个层上进行立体匹配(步骤S213)。接下来，执行所有层上的视差的组合过程(步骤S214)。也即是说，将所有层上的视差信息进行组合以获得原始尺寸的立体图像中的立体视差。
[0275](第三实施例)
[0276]接下来，将参照附图给出关于本发明的第三实施例的详细解释。
[0277]图25的框图示出了根据本发明的第三实施例的三维特征数据产生设备100的一般结构。
[0278]参照图25，本发明的第三实施例与图1中所示的第一实施例的不同之处在于:使用多尺度线提取单元150来替换第一实施例的线提取单元50。此外，第三实施例与第二实施例也以这种方式不同。
[0279]多尺度线提取单元150关于每一个层的图像从多尺度图像金字塔中提取线，并且最终向来自相应层的线应用特定限制，并输出组合结果作为一个线集合。
[0280]与来自单尺度图像的结果相比，从多尺度图像金字塔中提取的线集合具有更少的噪声线，并且从多尺度图像中提取的线与真实世界更相关，例如，建筑物的具有良好连接特性的轮廓线。
[0281]可以应用各种技术以实现上述过程，但是该实施例中应用的技术不限于任何特定的技术。例如，多尺度线检测技术是可应用的。
[0282]在第三实施例中，处理规则输入单元30的基本功能与第一实施例的基本功能相同。然而，与第一实施例不同，用于多尺度线提取的参数是通过处理规则输入单元30输入的尺度级别的数量和用于产生每一个层的采样步长。此外，用于线对确定的处理参数与第一实施例的处理参数相同，因此将省略其解释。
[0283]在计算机中实现的第三实施例的三维特征数据产生设备100的物理结构与图6的框图中所示的第一实施例的结构基本上相同，因此将省略其解释。
[0284]接下来，将参照附图给出关于根据第三实施例的三维特征数据产生设备100的操作的详细解释。
[0285]首先，将参照图26解释过程的整体流程。图26是示出了根据第三实施例的三维特征数据产生过程的流程图。
[0286]与第一实施例类似，当分别将立体图像数据输入到立体图像数据输入单元10中，将线类型信息输入到线类型输入单元20中，并且将处理参数输入到处理规则输入单元30中时，图26中所示的三维特征数据产生过程开始。[0287]除了获得多尺度线(步骤S320)以外，整体过程的流程中的每一个步骤的过程与第一实施例的过程相同，因此将省略其解释。
[0288]参照图27，将解释上述步骤S320中的获得多尺度线的过程。
[0289]多尺度线提取单元150获取提前存储在处理规则存储器31中的尺度级别的数量以及采样步长(步骤S321)，基于输入的参数(尺度级别的数量和采样步长)产生针对右图像和左图像的多尺度图像(步骤S322)，提取每一个层上的边缘(步骤S323)，并且提取每一个层上的线(步骤S324)。接下来，多尺度线提取单元执行所有层上的线的组合过程(步骤S325)。也即是说，将在每一个层上提取的线进行组合以最终获得一个线集合。
[0290](第四实施例)
[0291]接下来，将参照附图给出关于本发明的第四实施例的详细解释。
[0292]图28的框图示出了根据本发明的第四实施例的三维特征数据产生设备100的一般结构。
[0293]参照图28，本发明的第四实施例与图1中所示的第一实施例的不同之处在于:使用地图相关无意义线消除单元170替换第一实施例的无意义线消除单元70，并且添加了地图数据输入单元160。此外，第四实施例与第二实施例和第三实施例在这些点上是不同的。
[0294]地图数据输入单元160具有输入地图数据作为辅助数据的功能，该辅助数据用于定义有效区域以移除噪声线。
[0295]地图数据是包括与要处理的区域中的特征有关的地理信息在内的数据，例如，建筑物、道路、河流、绿地和树的位置、范围和形状信息。
[0296]在本发明中利用的地图数据可以是基于特定精度的经度和纬度信息来反映与地形和特征有关的地理信息的任何地图数据，例如，商用地图、国家底图(national basemap)、地形图等。
[0297]更具体地，在图29中示出了也可应用的国家底图的示例。在图29中所示的地图数据中，可以找到具有密集分布的住宅建筑物、道路、铁路、河流和绿地的诸如居住区等的各种地形结构。由于提交附图的规定，而使得图29是单色的，但是实际上，要使用的地图数据是用彩色表示的，并且诸如住宅建筑物、池塘和绿地等的相应地形结构可由不同的颜色来区分。
[0298]在该实施例中，将给出关于利用图29中所示的地图数据(数字地图数据)的示例情况的解释。
[0299]注意，在本发明中利用的地图数据可以是针对建筑结构、道路或河流的轮廓线上的每一个点具有坐标形式的经度和纬度信息的矢量地图，并且还可以是具有特定尺度的栅格地图。
[0300]此外，对于地形或每一个特征，可以添加诸如城镇名字或河流名字等的指示实际位置的其有关符号信息。当添加符号信息时，它成为确定是否应当处理地形或特征的辅助手段。
[0301]地图相关无意义线消除单元170应用基于地图信息来消除无意义线的技术。除了住宅建筑物和建筑结构以外，要处理的立体航空照片可以包含各种地貌。对于本发明的过程而言，与存在住宅建筑物或建筑结构的有效区域相比，应当忽略不存在任何住宅建筑物或建筑结构的区域。如果可以清楚地将无效区域与有效区域区分开，则无效区域中的所有线可以作为无意义线被消除，并且下面的过程变得更加有效。
[0302]诸如河流、池塘和海洋等的不包括住宅建筑物或建筑结构的水域通常占据与其它特征无关的区域，因此对于三维模型产生过程而言，这些水域可以作为无效区域被提取。此夕卜，市区中诸如公园、森林、稻田和农田等的具有特定面积的绿地也可以作为无效区域从三维模型产生过程中被消除。
[0303]此外，诸如道路、铁路、路边的树等的与住宅建筑物或建筑结构无关的地形结构通常存在于住宅建筑物和建筑结构周围。因此，不能仅基于地图信息简单地从还包括住宅建筑物或建筑结构在内的区域中分割出这些无关的地形结构。对于这些地形结构，不执行获得有效区域和无效区域的过程。
[0304]相比之下，对于从住宅建筑物或建筑结构(水域或绿地)中明确划分出来的区域，可以手动地，或者通过基于航空照片和地图数据的组合进行自动提取以更有效的方式，绘制该区域的轮廓线。在确定地图中的水域和绿地以后，通过将地图重叠在航空照片上，可以在航空照片上反映这些区域，并且可以在航空照片上自动地提取这些区域。
[0305]通过航空图像拍摄与航空照片一起获取的信息是:指示航空照片在真实世界中的位置的图像中心点的坐标、指示航空照片在真实世界中的方位的飞机的姿态角、设置航空照片在真实世界中的范围的大小和分辨率。
[0306]例如，对于立体航空照片对，首先基于图像拍摄时图像中心的坐标和飞机的姿态角来执行航空三角测量，然后对立体图像进行相对定向。接下来，对地图执行几何变换，并且找出地图和图像上的相同点的对应关系以准备重叠地图和图像。
[0307]为了与图像对齐(register)，对地图进行几何变换。基本上，基于图像拍摄信息和图像内容，通过例如仿射变换来对地图进行变换，以与描述相同区域的图像对齐。
[0308]一般在地图上使用不同的颜色来表示不同的地形结构。由于要对提交附图的规定，因此以单色方式来表达上述图29中所示的地图，但是在实际的彩色地图中，下面的信息是可用的。也即是说，用灰色表示建筑物，用白色表示普通道路，用黄色表示主要道路，用蓝色表示水域，并且用绿色表示绿地。基于该颜色信息，不同的地形结构可以区分开，并且每一个地形结构的范围也是可确定的。通过将提前获得的地图和图像进行对齐，可以在图像上直接显示提取的水域和绿地的轮廓线。
[0309]在矢量地图的情况下，通常，用多边形表示每一个地形结构的区域，并且将颜色信息作为多边形的属性进行存储。因此，可以基于颜色信息容易地确定诸如水域或绿地等的地形结构。然而，因为区域的轮廓不能直接作为矢量应用于航空照片，因此必须首先在航空照片中找到处于相同位置的每一个像素，并且将其转换为轮廓线像素。相反，在栅格地图图像的情况下，基于颜色信息对图像进行分割，水域或绿地的轮廓线作为像素被提取，从而可以被直接反映在航空照片上。
[0310]在计算机中实现的第四实施例的三维特征数据产生设备100的物理结构与图6的框图中所示的第一实施例的结构基本上相同。然而，下面的方面与第一实施例不同。
[0311]通过输入/输出单元202输入的数据不仅包括要处理的图像数据、处理参数、处理方式、和线类型信息，而且还包括地图数据。
[0312]在显示器203上显示的数据不仅包括输入的图像数据和三维特征数据产生设备100的处理结果，而且还包括地图数据。[0313]通过操作单元204输入的数据不仅包括在第一实施例中解释的立体图像数据、处理参数、和线类型信息，而且还包括地图数据。
[0314]接下来，将参照附图给出关于第四实施例的三维特征数据产生设备100的操作的详细解释。
[0315]首先，将参照图30解释过程的整体流程。图30是示出了根据第四实施例的三维特征数据产生过程的流程图。
[0316]与第一实施例类似，当分别通过立体图像数据输入单元10输入立体图像数据，通过线类型输入单元20输入线类型信息，通过地图数据输入单元160输入地图数据，并且通过处理规则输入单元30输入处理参数时，图30中的三维特征数据产生过程开始。
[0317]除了地图相关无意义线消除过程(步骤S440)以外，整体过程的流程中的每一个步骤的过程与第一实施例的过程相同，因此将省略其解释。
[0318]将参照图31给出上述步骤S440中的地图相关无意义线消除过程的解释。
[0319]地图相关无意义线消除单元170通过地图数据输入单元160获取地图数据(步骤S441)，提取地图上的水域和绿地(与诸如住宅建筑物和建筑结构等的特征无关的区域)(步骤S442)，对地图执行几何变换以与图像对齐(步骤S443)，并且在图像上反映从地图中提取的区域(步骤S444)。接下来，消除提取的区域中的线(步骤S445)。也即是说，消除图像中包括水域和绿地在内的区域中的所有线。
[0320]当应用第二实施例至第四实施例中解释的技术时，三维特征数据产生设备100能够基于从空中在不同的角度拍摄的若干图像的立体信息以及住宅建筑物和建筑结构上的固有线信息来产生存在要处理的住宅建筑物或建筑结构的区域的内部的每一个特征的三维模型。
[0321]也即是说，第二实施例的三维特征数据产生设备100以多个尺度计算视差，并且使用多尺度视差计算单元以最终获得原始尺寸的立体图像上的视差。因此，与以单尺度方式进行视差计算相比，可以获得更精确的视差。
[0322]此外，第三实施例的三维特征数据产生设备100以多个尺度提取线，并且使用多尺度线提取单元以最终输出作为来自所有图像层的线的组合结果的线集合。因此，与以单尺度方式进行线提取相比，减少了噪声线的数量，并且提取的线的连接特性也变得更好。
[0323]此外，第四实施例的三维特征数据产生设备100在消除无意义线时使用地图信息。通过将与住宅建筑物或建筑结构无关的区域确定为无效区域，该无效区域中的所有线可以作为无意义线被消除。因此，可以更有效地执行无意义线消除。
[0324]可以将上述实施例的一部分或全部描述为下面的附加注释，但是本发明不限于这些附加注释。
[0325](附加注释I)
[0326]一种三维特征数据产生设备，根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所述三维特征数据产生设备包括:
[0327]立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0328]线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；[0329]线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0330]无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0331]线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；
[0332]立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；
[0333]线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；
[0334]平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0335]平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0336](附加注释2)
[0337]如附加注释I所述的三维特征数据产生设备，其中，所述立体视差计算单元基于立体图像来预测图像中的地形和所有特征的视差和相对高度信息。
[0338](附加注释3)
[0339]如附加注释I或2所述的三维特征数据产生设备，其中，所述立体视差计算单元根据应用要求来获得当前处理立体图像的具有特定采样率的下采样立体图像，根据下采样立体图像来计算视差，并且将下采样立体图像中的视差映射到原始尺寸的立体图像，从而获得整个图像中的视差的预测值。
[0340](附加注释4)
[0341]如附加注释I至3中任一项所述的三维特征数据产生设备，其中，所述立体视差计算单元产生当前处理立体图像的多个尺度的下采样立体图像，在每一个尺度上计算视差，并且将多个尺度的视差信息进行组合以获得原始尺寸的图像中的视差的预测值。
[0342](附加注释5)
[0343]如附加注释I所述的三维特征数据产生设备，其中，所述线提取单元基于通过特定图像处理技术提取的边缘来从立体图像中的一个图像中提取线。
[0344](附加注释6)
[0345]如附加注释I或5所述的三维特征数据产生设备，其中，所述多尺度线提取单元根据以多尺度方式从立体图像中的一个图像获得的若干下采样图像来构造图像金字塔，从所述图像金字塔上的每一个层的图像中提取线，在特定限制下将从多个图像层中提取的线进行组合，以最终输出原始尺寸的图像中的一个线集合。
[0346](附加注释7)
[0347]如附加注释I至6中任一项所述的三维特征数据产生设备，其中，所述线分类单元基于由所述立体视差计算单元获得的视差和输入的立体图像将由所述线提取单元提取的线分为两类，作为与特征有关的线和与特征无关的线。
[0348](附加注释8)
[0349]如附加注释I至7中任一项所述的三维特征数据产生设备，其中，所述线分类单元从由所述线提取单元提取的所有线中选择与特征有关的线，并且基于由所述立体视差计算单元获得的视差、输入的立体图像、以及与屋顶结构有关的线的不同特性，将与特征有关的线分为两类，即，特征的内部屋顶线和特征的外部轮廓线。
[0350](附加注释9)
[0351]如附加注释I至8中任意一项所述的三维特征数据产生设备，其中，所述线分类单元从由所述线提取单元提取的所有线中选择与特征无关的线，并且基于由所述立体视差计算单元获得的视差和输入的立体图像，将与特征无关的线分为三类，即，阴影区域的轮廓线、道路标线、和其它线。
[0352](附加注释10)
[0353]如附加注释I至9中任一项所述的三维特征数据产生设备，其中，所述线分类单元基于由所述立体视差计算单元获得的视差和输入的立体图像，根据来自用户的特定应用要求将由所述线提取单元提取的线进行分类。
[0354](附加注释11)
[0355]如附加注释I至10中任一项所述的三维特征数据产生设备，其中，所述线分类单元基于由所述立体视差计算单元获得的视差和输入的立体图像，根据通过组合多个分类标准产生的分类规则将由所述线提取单元提取的线进行分类。
[0356](附加注释12)
[0357]如附加注释1、5或6所述的三维特征数据产生设备，其中，所述无意义线消除单元从由所述线提取单元提取的所有线的集合中消除由于图像噪声和阴影区域的影响所产生的线，所述所有线不仅包括上面消除的线，而且还包括在真实世界中有意义的线。
[0358](附加注释13)
[0359]如附加注释1、5、6或12所述的三维特征数据产生设备，其中，所述无意义线消除单元接收从外部输入的包括与立体图像中表示的区域相同的区域在内的地图信息，将地图与立体图像对齐以保证其相同位置的对应关系，基于所述地图信息来确定无效区域，以及将无效区域中的所有线作为噪声线进行消除。
[0360](附加注释14)
[0361]如附加注释1、5、6、12或13所述的三维特征数据产生设备，其中，所述无意义线消除单元从由所述线提取单元提取的所有线中消除根据用户的特定应用要求来定义的噪声线。
[0362](附加注释15)
[0363]如附加注释1、5、6、7、8、9、10或11所述的三维特征数据产生设备，其中，所述线对
确定单元针对由所述线提取单元在立体图像中的一个图像中提取的每一条线，在搜索其在另一图像中的相应线时，基于由所述线分类单元分类的线类型，根据包括匹配分数在内的标准来确定在另一图像中具有与当前处理线相同线类型的线是否是相应线。
[0364](附加注释16)
[0365]如附加注释1、5、6、7、8、9、10、11或15所述的三维特征数据产生设备，其中，所述线对确定单元针对由所述线提取单元从立体图像中的一个图像中提取的线的一部分或全部，通过用户分别设置其在另一图像中的相应线。
[0366](附加注释17)
[0367]如附加注释1、2、3、4、15或16所述的三维特征数据产生设备，其中，所述立体视差校正单元使用由所述线对确定单元获得的线对的对应关系作为针对右图像和左图像中的相同核线上的其它点的匹配约束来获得更精确的视差，从而校正由所述立体视差计算单元获得的视差的预测值。
[0368](附加注释18)
[0369]如附加注释1、2、3、4、15、16或17所述的三维特征数据产生设备，其中，所述立体视差校正单元利用由所述线对确定单元获得的线对的对应关系作为针对相同核线上的其它点的匹配约束，以更精确地确定存在于具有特定高度的特征附近的闭塞区域的范围，从而校正由立体视差计算单元获得的视差的预测值。
[0370](附加注释19)
[0371]如附加注释1、15、16、17或18所述的三维特征数据产生设备，其中，所述线对聚类单元在由所述线对确定单元获得的线对中选择与特征有关的线对，并且使用由所述立体视差校正单元获得的视差和多个线对之间的几何关系以将属于一个特征的所有线对聚类为群集。
[0372](附加注释20)
[0373]如附加注释1、15、16、17、18或19所述的三维特征数据产生设备，其中，所述线对聚类单元针对由所述线对确定单元获得的每一个线对，基于属于相同特征的线对需要满足来自用户的特定应用要求的条件，根据应用要求来确定线对的所属关系。
[0374](附加注释21)
[0375]如附加注释1、15、16、17、18、19或20所述的三维特征数据产生设备，其中，所述平面提取单元基于由所述立体视差校正单元获得的视差信息和每一个线对的相邻区域中的视差分布图案，在平面约束下从由所述线对确定单元获得的属于每一个特征的线对的群集中提取平面。
[0376](附加注释22)
[0377]如附加注释1、15、16、17、18、19、20或21所述的三维特征数据产生设备，其中，所
述平面提取单元基于由所述立体视差校正单元获得的视差信息和每一个线对的相邻区域中的视差分布图案，在平面约束以及将平面上的颜色分布图案的平滑度或纹理分布图案的平滑度作为约束下从由所述线对确定单元获得的属于每一个特征的线对的群集中提取平面。
[0378](附加注释23)
[0379]如附加注释1、17、18、21或22所述的三维特征数据产生设备，其中，所述平面组合单元基于由所述平面提取单元提取的形成屋顶的所有平面来产生每一个特征的三维屋顶结构，并且利用由所述立体视差校正单元获得的视差信息来产生特征的三维模型。
[0380](附加注释24)
[0381]一种三维特征数据产生方法，用于根据立体图像来产生特征(即，住宅建筑物、建筑结构等)的三维数据，以及所述三维特征数据产生方法包括:[0382]立体视差计算步骤，用于计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0383]线提取步骤，用于从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；
[0384]线分类步骤，用于根据通过所述线提取步骤提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0385]无意义线消除步骤，用于消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0386]线对确定步骤，用于针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算步骤的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在立体图像对中的另一图像中的相应线；
[0387]立体视差校正步骤，用于基于通过所述线对确定步骤获得的每一个线对的对应关系来计算更精确的视差值，以校正通过所述立体视差计算步骤获得的预测立体视差值；
[0388]线对聚类步骤，用于首先在通过所述线对确定步骤获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；
[0389]平面提取步骤，用于基于通过所述线对聚类步骤获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0390]平面组合步骤，用于计算通过所述平面提取步骤提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0391](附加注释25)
[0392]一种其中存储有三维特征数据产生程序的记录介质，所述三维特征数据产生程序使计算机用作:
[0393]立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；
[0394]线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线；
[0395]线分类单元，根据由所述提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；
[0396]无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线；
[0397]线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线；
[0398]立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值；
[0399]线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集；[0400]平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及
[0401]平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
[0402]本发明可以在不脱离本发明的最宽范围和精神的情况下采用各种实施例和修改。此外，上述实施例用于解释本发明，而不用于限制本发明的范围和精神。也即是说，本发明的范围和精神应当由所附权利要求而非实施例来指示。所附权利要求的范围及其等同范围内的各种修改也应当落入本发明的范围和精神内。
[0403]本申请基于2011年6月29日提交的日本专利申请N0.2011-143835。日本专利申请N0.2011-143835的整个说明书、权利要求和附图通过引用的方式并入本说明书中。
[0404]工业实用性
[0405]如上所述，提供了能够以低成本来产生反映详细的屋顶结构的高精度三维特征数据的三维特征数据产生设备、三维特征数据产生方法和程序。
[0406]附图标记列表
[0407]100-:维特征数据产^设备10 、>:体W像数据输入中.儿
20线炎型输入中.儿
21线类型存储器
30处现规则输入中.儿
31处Jl规则存储器40 、>:体视斧计--:Φ.儿50线提収中.儿
60线分类中.儿
70无怠义线消除中元
80线对确?.儿
90 、>:体视斧校:ιΚ单元HO线对聚类中-./U
120t:|il丨提取节儿
130〒1_丨[介中-儿
140多.尺度、>:体视斧计兑中.儿
150多.尺度线提取1Tuc
160地W数据输入单元
170地_ 411 %无意义线消除中.元
201控制器
202输入/输出单元
203显示器
204操作中-元
205上存储器
206外部存储器
207系统总线300控制程序
【权利要求】
1.一种三维特征数据产生设备，根据立体图像来产生特征，即，住宅建筑物、建筑结构等的三维数据，以及所述三维特征数据产生设备包括: 立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线； 线分类单元，根据由所述线提取单元提取的线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线； 无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线； 线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线； 立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值； 线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线 对聚类为一个线对群集； 平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及 平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
2.根据权利要求1所述的三维特征数据产生设备，其中，所述立体视差计算单元产生当前处理立体图像的多个尺度的下采样立体图像，在每一个尺度上计算视差，并且将多个尺度的视差信息进行组合以获得原始尺寸的图像中的视差的预测值。
3.根据权利要求1所述的三维特征数据产生设备，其中，多尺度线提取单元根据以多尺度方式从所述立体图像中的一个图像获得的若干下采样图像来构造图像金字塔，从所述图像金字塔上的每一个层的图像中提取线，在特定限制下将从多个图像层中提取的线进行组合， 以最终输出原始尺寸的图像中的一个线集合。
4.根据权利要求1至3中任意一项所述的三维特征数据产生设备，其中，所述线分类单元基于由所述立体视差计算单元获得的视差和输入的立体图像将由所述线提取单元提取的线分为两类，作为与特征有关的线和与特征无关的线；并且还基于与屋顶结构有关的线的不同特性将所述与特征有关的线分为两类，即，特征的内部屋顶线和特征的外部轮廓线；并且还将所述与特征无关的线分为三类，即，阴影区域的轮廓线、道路标线、和其它线。
5.根据权利要求1或3所述的三维特征数据产生设备，其中，所述无意义线消除单元从由所述线提取单元提取的所有线的集合中消除由于图像噪声和阴影区域的影响所产生的线，所述所有线不仅包括上面消除的线，而且还包括在真实世界中有意义的线。
6.根据权利要求1或3所述的三维特征数据产生设备，其中，所述无意义线消除单元接收从外部输入的包括与所述立体图像中表示的区域相同的区域在内的地图信息，将地图与立体图像对齐以保证其相同位置的对应关系，基于所述地图信息来确定无效区域，以及将所述无效区域中的所有线作为噪声线进行消除。
7.根据权利要求1或3所述的三维特征数据产生设备，其中，所述线对确定单元针对由所述线提取单元在所述立体图像中的一个图像中提取的每一条线，在搜索其在另一图像中的相应线时，基于由所述线分类单元分类的线类型，根据包括匹配分数在内的标准来确定在另一图像中具有与当前处理线相同线类型的线是否是所述相应线。
8.根据权利要求1或7所述的三维特征数据产生设备，其中，所述线对聚类单元在由所述线对确定单元获得的所述线对中选择与特征有关的线对，并且利用由所述立体视差校正单元获得的所述视差和多个线对之间的几何关系以将属于一个特征的所有线对聚类为群集。
9.一种三维特征数据产生方法，用于根据立体图像来产生特征，即，住宅建筑物、建筑结构等的三维数据，以及所述三维特征数据产生方法包括: 立体视差计算步骤，用于计算与地形和所有特征的高度信息有关的立体视差的预测值； 线提取步骤，用于从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线； 线分类步骤，用于根据通过所述线提取步骤提取的所述线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线； 无意义线消除步骤，用于消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线； 线对确定步骤，用于针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算步骤的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线； 立体视差校正步骤，用于基于通过所述线对确定步骤获得的每一个线对的对应关系来计算更精确的视差值，以校正通过所述立体视差计算步骤获得的预测立体视差值； 线对聚类步骤，用于首先在通过所述线对确定步骤获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集； 平面提取步骤，用于基于通过所述线对聚类步骤获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及 平面组合步骤，用于计算通过所述平面提取步骤提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
10.一种其中存储有三维特征数据产生程序的记录介质，所述三维特征数据产生程序使计算机用作: 立体视差计算单元，计算与地形和所有特征的高度信息有关的立体视差的预测值；线提取单元，从图像中提取线，所述线是表示每一个特征的屋顶的内部结构的特征线、表示每一个特征的外部形状的轮廓线、和每一个非特征对象的特征线； 线分类单元，根据由所述提取单元提取的所述线在真实世界中的相应意义来将所述线分为三类，即，特征的内部屋顶线、特征的外部轮廓线、和阴影区域的轮廓线；无意义线消除单元，消除不存在于真实世界中而是由于阴影或图像噪声的影响而产生的线； 线对确定单元，针对立体图像对中的一个图像中的每一条线，基于来自所述立体视差计算单元的视差信息、每一条线周围的相邻区域的颜色分布图案和纹理分布图案、以及线分类结果，来确定所述每一条线在所述立体图像对中的另一图像中的相应线； 立体视差校正单元，基于由所述线对确定单元获得的每一个线对的对应关系来计算更精确的视差值，以校正由所述立体视差计算单元获得的预测立体视差值； 线对聚类单元，首先在由所述线对确定单元获得的所有线对中仅选择与包括住宅建筑物、建筑结构等在内的特征有关的线对，然后利用每一个线对的视差信息和若干线对的几何关系，以最终将属于相同特征的线对聚类为一个线对群集； 平面提取单元，基于由所述线对聚类单元获得的每一个线对群集中的线对的几何关系和视差信息来提取构成特征的基本平面；以及 平面组合单元，计算由所述平面提取单元提取的每一个特征的平面之间的三维相对位置关系，以产生表示每一个特征的整体结构的三维模型。
【文档编号】G06T17/05GK103703490SQ201280036113
【公开日】2014年4月2日 申请日期:2012年6月27日 优先权日:2011年6月29日
【发明者】王晶 申请人:Nec软件系统科技有限公司