基于视差信息的街景图像目标分割方法及装置制造方法
【专利摘要】本申请涉及一种基于视差信息的街景图像目标分割方法及装置。所述方法包括：建立街景图像数据库，所述街景图像数据库中包括若干立体像对；通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合；将所述对应场景的视差数据投影到三维空间中；根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。本申请将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间的变化规律实现了对目标的有效分割。
【专利说明】基于视差信息的街景图像目标分割方法及装置
【技术领域】
[0001]本申请涉及图像处理【技术领域】，特别是涉及一种基于视差信息的街景图像目标分割方法及装置。
【背景技术】
[0002]现在越来越多的网络地图搜索服务趋向于将街景也作为一项服务呈现给用户，网络地图的页面中为街景服务提供了很多入口。用户在使用地图进行搜索和查询的时候，能够很方便的点击进入获取街景服务。当用户搜索到某一地点，点击进入街景模式后，可以看到地点以及周边环境的街景展现。
[0003]现有的街景展现一般使用全景图技术。全景图技术可以将平面照及计算机图变为360度全景景观，把街景采集系统所采集的二维的平面图根据特定的模型模拟成真实的三维空间，呈现给用户。
[0004]随着移动测量技术以及三维实景技术的发展，立体街景也开始出现在街景展现的应用中。立体街景图像采集系统集成了多部相机、GPS、惯导系统、控制设备等，能够实时获取场景的立体像对和采集设备的位置和姿态信息。立体街景图像的采集系统在采集车高速行进之中，快速采集道路及两旁地物的实景影像的立体像对。立体像对(stereo pair)是指由两个不同的相机(如CCD)或一个立体摄像机获取的，具有一定影像重叠的两幅图像。一对立体像对记录了成像装置成像范围内空间对象的三维立体空间。
[0005]立体街景图像的采集系统可以以道路巡航的方式高密度的采集城市的连续立体像对，在车辆高速行进过程中，能够以5米的间隔采集一次覆盖360度范围的影像。通过沿城市道路进行地毯式扫描，可以建立城市的海量立体影像库。该影像库实际上全方位的记录了城市的真实环境和三维空间尺寸。
[0006]对于立体街景图像，尤其是立体像对，如果知道图像中各个目标的属性，将更有利于针对不同的目标进行不同的处理，同时将为给予立体像对的三维建模提供基础信息。但是，由于立体街景数据的复杂性，传统的基于二维灰度图像的图像分割算法并不能直接用于立体街景图像的图像分割，因此，有必要提供一种新的适用于立体街景图像的目标分割方法。
【发明内容】
[0007]本申请的目的在于，提供一种基于视差信息的街景图像目标分割方法及装置。
[0008]一种基于视差信息的街景图像目标分割方法，所述方法包括:建立街景图像数据库，所述街景图像数据库中包括若干立体像对；通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合；将所述对应场景的视差数据投影到三维空间中；根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
[0009]一种基于视差信息的街景图像目标分割装置，所述装置包括:街景图像数据库、视差数据获取模块、投影模块、分割模块。所述街景图像数据库中包括若干立体像对。视差数据获取模块用于通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合。投影模块用于将所述对应场景的视差数据投影到三维空间中。分割模块用于根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
[0010]相对于现有技术，本申请提供的基于视差信息的街景图像目标分割方法及装置，将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间上具有明显不同的深度分布特征，通过分析视差数据的投影密度实现了对目标的有效分割。
[0011]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
【专利附图】
【附图说明】
[0012]图1为本申请第一实施例中的基于视差信息的街景图像目标分割方法的流程示意图。
[0013]图2为图1中步骤S12的具体流程示意图。
[0014]图3为本申请第二实施例中的基于视差信息的街景图像目标分割方法的流程示意图。
[0015]图4为视差空间的示意图。
[0016]图5为图4经过拟合的结果。
[0017]图6为一幅图像的地面分割结果示意图。
[0018]图7为另一幅图像的地面分割结果示意图。
[0019]图8为本申请第三实施例中的基于视差信息的街景图像目标分割装置的结构示意图。
[0020]图9为图8中视差数据获取模块的具体结构示意图。
[0021]图10为本申请第四实施例中的基于视差信息的街景图像目标分割装置的结构示意图。
【具体实施方式】
[0022]为更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请提出的基于视差信息的街景图像目标分割方法及装置其【具体实施方式】、方法、步骤、结构、特征及其功效，详细说明如下。
[0023]有关本申请的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过【具体实施方式】的说明，当可对本申请为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本申请加以限制。
[0024]第一实施例
[0025]图1为本申请第一实施例中的基于视差信息的街景图像目标分割方法的流程示意图。如图1所示，本实施例中的基于视差信息的街景图像目标分割方法包括:
[0026]步骤Sll:建立街景图像数据库，所述街景图像数据库中包括若干立体像对。
[0027]街景图像数据库可以在采集街景图像的过程中建立。街景图像数据中包括成像装置所采集的若干连续的立体像对，每对立体像对包括两幅图像，这两幅图像对应的是相同的场景，只是拍摄的角度不同，因此并不完全相同，但是具有重叠区域。
[0028]进一步的，可以根据采集的顺序对立体像对进行排序形成立体像对序列。
[0029]进一步的，街景图像数据库中还可以包括拍摄位置、姿态、POI信息等其他数据。
[0030]步骤S12:通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合。
[0031]请参见图2，于本实施例中，步骤S12可以包括:
[0032]步骤S121:对每对立体像对中的两幅图像进行立体校正；
[0033]步骤S122:将每对立体像对中经过立体校正的两幅图像进行立体匹配，获得所述两幅图像所对应场景的视差数据集合。
[0034]对所述立体图像中的两幅图像进行校正可以获得满足纯平移关系的两幅新图像，以为后续的立体匹配做好准备。立体校正的方法很多，例如，可以对所述立体像对中的两幅图像的同名点进行校正，使所述两幅图像的同名点具有相同的行坐标，当然，其他的立体校正方法同样适用于本申请，本申请并不以此为限。对同名点校正的方法也很多，例如可以根据所述立体像对中的两幅图像的位置和姿态参数，并利用共面关系，对所述立体像对中的两幅图像的同名点进行校正，也可以利用所述立体像对中的两幅图像的同名点对，对所述立体像对中的两幅图像的同名点进行校正。当然，其他对同名点校正的方法也同样适用于本申请，本申请并不以此为限。
[0035]对每对立体像对中经过立体校正的两幅图像(一幅作为参考图像，另一幅作为匹配图像)进行立体匹配是为了找到立体像对中的这两幅图像像素的对应关系。
[0036]对所述立体像对序列中的每对立体像对进行立体匹配的算法可以采用图像密集匹配算法。图像密集匹配算法包括基于局部优化的立体匹配算法和基于全局优化的立体匹配算法。于本实施例中，可以采用基于全局优化的GC(Graph Cut，图像切割，简称图割)匹配算法或者SGBM匹配算法。当然，其他的立体匹配算法也同样适用于本申请，本申请并不以此为限。
[0037]经立体匹配获得所述两幅图像所对应场景的视差数据集合由三维坐标点(X，y, z)构成。其中X，y分别代表参考图像的每个像素的i，j坐标，z代表立体匹配生成的对应像素点的视差值。于本申请中，视差值z=f*e/v,其中，f为相机的焦距，e为基准线的长度(也就是两个相机之间的距离)，V为基准线到空间物点的距离(也就是深度)。
[0038]步骤S13:将所述对应场景的视差数据投影到三维空间中。
[0039]步骤S14:根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
[0040]根据立体采集设备的拍摄时的物距和相机的焦距，确定合适的缩放比例。确定合适的比例系数，将步骤S12中得到的视差数据集合中的三维坐标点(x，y，z)投影在三维坐标系X-Y-Z中形成视差空间，其中，z代表立体匹配生成的对应像素点的视差值。
[0041]由视差值的定义z=f*e/v可以看出，视差值可以用来表征图像的深度信息。根据近大远小的透视成像原理，匹配生成的视差值Z也是近大远小，且具有相同深度的物点，具有相同的视差值。根据上述原理，在视差空间上具有明显不同的深度分布特征，例如，图像中的“地面”在视差空间由近及远的变化时，其对应的视差值会连续的减小，图像中的人或灯柱等目标其对应的视差值是基本不变的，而且在其轮廓边缘视差值会有阶跃变化。根据上述特征，将视差空间的点投影到X-O-Z平面，分析局部点的分布密度(也可以称为投影密度)就可以有效的确定大部分的目标的初始范围，将目标分割出来。投影密度指的是将三维坐标点(视差数据)直接投影到水平面(Χ-0-Ζ平面)上，统计和计算水平面任意位置处所含投影点的个数。
[0042]因为相同深度具有相同的视差值，在街景立体像对中，定义深度方向为拍摄方向(z方向)，则建筑、植被、行人等目标在y方向分布。将视差空间中的数据点投影在X-O-Z平面，会产生聚集效果。对于类似地面的目标来讲，投影密度比较均匀且整体上比较小；对于类似建筑物边界的目标来讲，投影密度远大于其他区域，并形成可连续的带；对于类似建筑物内部的目标来讲，投影密度近似为O ;对于类似灯柱的独立点状物来讲，投影密度局部比较大，周围比较小；对于类似汽车等块状物来讲，投影密度局部比较大且占有一定的面积。利用以上特征，选取合理的阈值就可以对不同的目标进行分割。
[0043]当然，也可以通过对初始范围的后处理，例如平面拟合、形态学分析等处理进一步确定目标的精确范围，然后再将目标分割出来。
[0044]相对于现有技术，本实施例提供的基于视差信息的街景图像目标分割方法，将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间上具有明显不同的深度分布特征，通过分析视差数据的投影密度实现了对目标的有效分割。
[0045]第二实施例
[0046]图3为本申请第二实施例中的基于视差信息的街景图像目标分割方法的流程示意图。于本实施例，将具体以分割“地面”为例，对本申请进行进一步的说明。如图3所示，本实施例中的基于视差信息的街景图像目标分割方法包括:
[0047]步骤S21:建立街景图像数据库，所述街景图像数据库中包括若干立体像对。此步骤与第一实施例中的对应步骤相同，这里不再赘述。
[0048]步骤S22:通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合。此步骤与第一实施例中的对应步骤相同，这里不再赘述。
[0049]步骤S23:将所述对应场景的视差数据投影到三维空间中。此步骤与第一实施例中的对应步骤相同，这里不再赘述。
[0050]步骤S24:根据所述视差数据的投影密度确定初始地面点。
[0051]步骤S25:对所述初始地面点进行拟合。
[0052]步骤S26:对经拟合的地面点进行形态学分析，确定地面的范围。
[0053]步骤S27:将所述地面的范围反投影到对应的立体像对的图像上，结合所述图像的内容再次确定地面的范围。
[0054]步骤S24至步骤S27是根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的地面进行分割的具体步骤。根据步骤S21至步骤S23可以获得对应场景的视差空间，如图4所示。将视差空间中的数据点投影在X-O-Z平面，由于地面相对于其他目标物来讲，投影密度比较均匀且整体上比较小，通过选取合适的阈值即可确定初始地面点。初始地面点指的是根据视差数据的投影密度确定的地面的初始范围内的数据点。得到初始地面点后对所述初始地面点进行拟合以去除视差值中误差较大的点。于本实施例中，可以，但不限于使用RANSAC算法对地面点进行拟合，请参照图5，图5为图4经过拟合的结果，图5中用线框表示经过拟合的地面的范围。然后，对经拟合的地面进行形态学分析，确定地面的范围。具体来说，就是对初始拟合的地面范围进行膨胀、腐蚀，去除边界中拟合误差较大和错误拟合的部分。最后，将地面的范围反投影到对应图像上，结合所述图像的内容再次确定地面的范围。请参照图6及图7，图6及图7是采用第二实施例中的地面分割方法获得的地面分割结果的示意图，其中黑色区块表示被分割出来的地面。当然，为了获得更精确的分割结果，在进行反投影前，也可以对地面范围内的数据进一步进行内差、拟合、除错等处理，本发明并不以此为限。
[0055]相对于现有技术，本实施例提供的基于视差信息的街景图像目标分割方法，将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间上具有明显不同的深度分布特征，通过分析视差数据的投影密度实现了对目标的有效分割。
[0056]第三实施例
[0057]图8为本申请第三实施例中的基于视差信息的街景图像目标分割装置的结构示意图。本实施例中的基于视差信息的街景图像目标分割装置可以实现第一实施例中的基于视差信息的街景图像目标分割方法。如图8所示，本实施例中的基于视差信息的街景图像目标分割装置10包括:街景图像数据库11、视差数据获取模块12、投影模块13以及分割模块14。
[0058]其中，街景图像数据库11中包括若干立体像对。视差数据获取模块12用于通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合。投影模块13用于将所述对应场景的视差数据投影到三维空间中。分割模块14用于根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
[0059]进一步的，请参照图9，视差数据获取模块12还可以包括:校正模块121，用于对每对立体像对中的两幅图像进行立体校正；数据获取子模块122，用于将每对立体像对中经过立体校正的两幅图像进行立体匹配，获得所述两幅图像所对应场景的视差数据集合。
[0060]进一步的，所述校正模块121对所述立体像对中的两幅图像的同名点进行校正，使所述两幅图像的同名点具有相同的行坐标。所述校正模块121可以根据所述立体像对中的两幅图像的位置和姿态参数，并利用共面关系，对所述立体像对中的两幅图像的同名点进行校正；或者利用所述立体像对中的两幅图像的同名点对，对所述立体像对中的两幅图像的同名点进行校正。
[0061]进一步，所述视差数据获取模块12所进行的立体匹配采用图像密集匹配算法实现。
[0062]相对于现有技术，本实施例提供的基于视差信息的街景图像目标分割装置，将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间上具有明显不同的深度分布特征，通过分析视差数据的投影密度实现了对目标的有效分割。[0063]第四实施例
[0064]图10为本申请第四实施例中的基于视差信息的街景图像目标分割装置的结构示意图。本实施例中的基于视差信息的街景图像目标分割装置可以实现第二实施例中的基于视差信息的街景图像目标分割方法。如图11所示，本实施例中的基于视差信息的街景图像目标分割装置20包括:街景图像数据库21、视差数据获取模块22、投影模块23以及分割模块24。
[0065]于本实施例中，分割模块24进一步包括:初始地面点确认模块241，用于根据所述视差数据的投影密度确定初始地面点；拟合模块242，用于对所述初始地面点进行拟合；形态学分析模块243，用于对经拟合的地面点进行形态学分析，确定地面的范围；地面范围再确认模块244，用于将所述地面的范围反投影到对应的立体像对的图像上，结合所述图像的内容再次确定地面的范围。
[0066]相对于现有技术，本实施例提供的基于视差信息的街景图像目标分割装置，将二维图像上的目标分割转化为三维空间上的目标分割，充分利用了立体街景图像中的目标在视差空间上具有明显不同的深度分布特征，通过分析视差数据的投影密度实现了对目标的有效分割。
[0067]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0068]需要说明的是， 术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0069]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0070]以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本申请技术方案的范围内。
【权利要求】
1.一种基于视差信息的街景图像目标分割方法，其特征在于，所述方法包括: 建立街景图像数据库，所述街景图像数据库中包括若干立体像对； 通过对每对立体像对中的两幅图像进行立体匹配,获得每对立体像对所对应场景的视差数据集合； 将所述对应场景的视差数据投影到三维空间中； 根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
2.如权利要求1所述的基于视差信息的街景图像目标分割方法，其特征在于，所述通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合的步骤，包括: 对每对立体像对中的两幅图像进行立体校正； 将每对立体像对中经过立体校正的两幅图像进行立体匹配，获得所述两幅图像所对应场景的视差数据集合。
3.如权利要求2所述的基于视差信息的街景图像目标分割方法，其特征在于，所述对每对立体像对中的两幅图像进行立体校正的步骤，包括: 对所述立体像对中的两幅图像的同名点进行校正，使所述两幅图像的同名点具有相同的行坐标。
4.如权利要求3所述的基于视差信息的街景图像目标分割方法，其特征在于，根据所述立体像对中的两幅图像的位置和姿态参数，并利用共面关系，对所述立体像对中的两幅图像的同名点进行校正；或者利用所述立体像对中的两幅图像的同名点对，对所述立体像对中的两幅图像的同名点进行校正。
5.如权利要求4所述的基于视差信息的街景图像目标分割方法，其特征在于，所述立体匹配采用图像密集匹配算法实现。
6.如权利要求1所述的基于视差信息的街景图像目标分割方法，其特征在于，所述目标为地面，所述根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割的步骤，包括: 根据所述视差数据的投影密度确定初始地面点； 对所述初始地面点进行拟合； 对经拟合的地面进行形态学分析，确定地面的范围； 将所述地面的范围反投影到对应的立体像对的图像上，结合所述图像的内容再次确定地面的范围。
7.一种基于视差信息的街景图像目标分割装置，其特征在于，所述装置包括: 街景图像数据库，所述街景图像数据库中包括若干立体像对； 视差数据获取模块，用于通过对每对立体像对中的两幅图像进行立体匹配，获得每对立体像对所对应场景的视差数据集合； 投影模块，用于将所述对应场景的视差数据投影到三维空间中； 分割模块，用于根据投影在所述三维空间中的视差数据的投影密度对所述对应场景中的目标进行分割。
8.如权利要求7所述的基于视差信息的街景图像目标分割装置，其特征在于，所述视差数据获取模块，包括: 校正模块，用于对每对立体像对中的两幅图像进行立体校正； 数据获取子模块，用于将每对立体像对中经过立体校正的两幅图像进行立体匹配，获得所述两幅图像所对应场景的视差数据集合。
9.如权利要求8所述的基于视差信息的街景图像目标分割装置，其特征在于，所述校正模块对所述立体像对中的两幅图像的同名点进行校正，使所述两幅图像的同名点具有相同的行坐标。
10.如权利要求9所述的基于视差信息的街景图像目标分割装置，其特征在于，所述校正模块根据所述立体像对中的两幅图像的位置和姿态参数，并利用共面关系，对所述立体像对中的两幅图像的同名点进行校正；或者利用所述立体像对中的两幅图像的同名点对，对所述立体像对中的两幅图像的同名点进行校正。
11.如权利要求10所述的基于视差信息的街景图像目标分割装置，其特征在于，所述视差数据获取模块所进行的立体匹配采用图像密集匹配算法实现。
12.如权利要求7所述的基于视差信息的街景图像目标分割装置，其特征在于，所述目标为地面，所述分割模块，包括: 初始地面点确认模块，用于根据所述视差数据的投影密度确定初始地面点； 拟合模块，用于对所述初始地面点进行拟合； 形态学分析模块，用于对经拟合的地面进行形态学分析，确定地面的范围； 地面范围再确认模块，用于将所述地面的范围反投影到对应的立体像对的图像上，结合所述图像的内容再次确定地面的范围。
【文档编号】G06T7/00GK103971356SQ201310043317
【公开日】2014年8月6日 申请日期:2013年2月4日 优先权日:2013年2月4日
【发明者】屈孝志, 马腾 申请人:腾讯科技（深圳）有限公司