基于快速局部匹配的立体图像对象分割方法
【专利摘要】基于快速局部立体匹配的立体图像对象分割方法，求取图像上的可靠匹配点，运用Delaunay三角化进行插值求视差；然后构建图，将像素作为顶点，像素与其八近邻的连线作为图的边，边的权值由相连像素的颜色和视差信息决定；采用Kruskal最小生成树策略根据边的权值确定相连两个像素所在区域是否属于同一分割区域，如果是则合并，否则保持不变；对得到的分割区域，判断是否属于需要分割出来的对象，取出分割区域，得到最终的对象。本发明方法快速有效，能够有效处理物体边缘等视差不连续区域；能够快速地分割出多个对象，本发明时间效率高，分割效果好，能够满足快速自动对象分割的需求。
【专利说明】基于快速局部匹配的立体图像对象分割方法
【技术领域】
[0001]本发明涉及双目立体视觉领域的立体匹配方法、对象分割方法，属于计算机视觉领域，主要应用是快速获取双目图像的视差信息，从而利用视差信息和图片本身的颜色信息进行对象分割，为一种基于快速局部匹配的立体图像对象分割方法。
【背景技术】
[0002]立体视觉使得人们能够获取物体和场景中的深度信息，是后期应用包括3D重建和内容分析的基础。立体匹配是立体视觉的关键技术之一，它通过对两幅或者多幅图像进行像素配准来获取像素的深度信息。
[0003]匹配精确度和运行时效性是立体匹配的两个核心因素，然而，前期的研究表明，这两个因素是相矛盾的。一般的，根据匹配策略，立体匹配方法可以分为两类:全局和局部立体匹配。全局立体匹配方法能够产生高精度的深度图，然而花费的时间较长。与此相反，局部立体匹配方法产生的深度图没有全局方法精度高，但是时效性高，能够满足实时或者接近实时的运用需求。所以，按照实际运用的需求，局部立体匹配方法值得我们进行深入的研究。
[0004]视差插值广泛地运用于局部立体匹配中，这主要基于在局部平滑区域视差保持连续变化。对三角区域进行视差插值也在先前的研究中被采用。这些三角区域是通过对一些初始匹配点运用三角化形成的，假设三角区域内的视差保持连续变化，利用该三角区域形成的视差面进行插值是可行的。然而，如果该三角形出现在物体的边界或者形成它的顶点包含异常初始匹配点，利用该三角形进行插值得到的视差则是无效的。针对这些问题，本发明中的局部立体匹配方法给出了自己的解决方案，并且实验结果也印证了该方案的可行性。
[0005]对象分割，即图像分割，一直是计算机视觉的研究热点，它是大多数视觉问题(如对象识别)的基础。如何快速有效地对图像进行分割一直是该研究领域的重点与难点。目前分割效果较好的算法大多时间复杂度高，并且需要人工交互，分割的对象需要手动指定，这类算法的代表是基于图割的分割算法。与此相反，以均值漂移为代表的分割算法，时间效率高，并且不需要人工投入，但是它的分割效果大大不如图割算法，容易过分割，同一对象极易分割成多个区域。
【发明内容】
[0006]本发明一个方面提供了一种有效地基于扩展三角插值的局部立体匹配方法，该方法能够有效解决基于三角化的局部立体匹配算法在某些区域，如跨越物体边界的三角形或者由异常匹配点组成的三角形，插值不准确的问题。
[0007]本发明的技术方案为:基于快速局部匹配的立体图像对象分割方法，包括以下步骤:
[0008]I)求取可靠匹配点:输入校验后的左图像，右图像对左图像进行均匀采样，对采样点运用自适应权重局部立体匹配方法在右图像中搜寻最佳匹配点，在计算像素点的匹配代价时采用sobel纹理特征与像素点的RGB颜色信息，然后对匹配结果进行后期校验，最后剩下的点作为可靠匹配点；
[0009]2)对可靠匹配点运用Delaunay三角化:将左图像求得的可靠匹配点组织成三角网格，对每个三角形进行可靠性判断，判断的依据是检查三角形与其临近的三角形是否共面，对三角形内的点，根据三角形的可靠性，利用三角形及与其共边的三个三角形进行插值求视差；对得到的视差图进行后期校验得到最终的视差图；
[0010]3)对左图像构建图:左图像每个像素作为图的顶点，将像素与其八近邻的连线作为图的边，边的权值由相连像素的颜色和视差信息决定，视差信息由最终的视差图得到；
[0011]4)利用构建的图进行图像分割:采用Kruskal最小生成树策略，将边按照权值的大小由低到高排序，根据边的权值确定相连的两像素所在区域是否属于同一分割区域，判断的阈值根据区域自适应变化，依次处理完图中的所有边，则图片中所有像素都划归到相应的区域，得到分割区域；
[0012]5)提取出分割区域中感兴趣的对象:对得到的分割区域，按照视差大小、分割区域的紧凑度及分割区域所占整幅图片的比例，判断是否属于需要分割出来的对象，按照对象划分取出各对象的分割区域，完成对象分割。
[0013]后期校验采用左右一致性检测。
[0014]所述步骤2)中，对每个三角形利用其临近的三角形进行可靠性判断具体为:
[0015]根据三角形的平面法向量的夹角Θ判断三角形是否共面:
[0016]
【权利要求】
1.基于快速局部匹配的立体图像对象分割方法，其特征是包括以下步骤: 1)求取可靠匹配点:输入校验后的左图像，右图像对左图像进行均匀采样，对采样点运用自适应权重局部立体匹配方法在右图像中搜寻最佳匹配点，在计算像素点的匹配代价时采用SObel纹理特征与像素点的RGB颜色信息，然后对匹配结果进行后期校验，最后剩下的点作为可靠匹配点； 2)对可靠匹配点运用Delaunay三角化:将左图像求得的可靠匹配点组织成三角网格，对每个三角形进行可靠性判断，判断的依据是检查三角形与其临近的三角形是否共面，对三角形内的点，根据三角形的可靠性，利用三角形及与其共边的三个三角形进行插值求视差；对得到的视差图进行后期校验得到最终的视差图； 3)对左图像构建图:左图像每个像素作为图的顶点，将像素与其八近邻的连线作为图的边，边的权值由相连像素的颜色和视差信息决定，视差信息由最终的视差图得到； 4)利用构建的图进行图像分割:采用Kruskal最小生成树策略，将边按照权值的大小由低到高排序，根据边的权值确定相连的两像素所在区域是否属于同一分割区域，判断的阈值根据区域自适应变化，依次处理完图中的所有边，则图片中所有像素都划归到相应的区域，得到分割区域； 5)提取出分割区域中感兴趣的对象:对得到的分割区域，按照视差大小、分割区域的紧凑度及分割区域所占整幅图片的比例，判断是否属于需要分割出来的对象，按照对象划分取出各对象的分割区域，完成对象分割。
2.根据权利要求1所述的基于快速局部匹配的立体图像对象分割方法，其特征是所述后期校验采用左右一致性检测。
3.根据权利要求1所述的基于快速局部匹配的立体图像对象分割方法，其特征是所述步骤2)中，对每个三角形利用其临近的三角形进行可靠性判断具体为: 根据三角形的平面法向量的夹角Θ判断三角形是否共面:
4.根据权利要求3所述的基于快速局部匹配的立体图像对象分割方法，其特征是步骤2)中，根据三角形的可靠性求视差具体为: 如果三角形fp可靠，即其临近的三角形都与其共面，可靠度为1，则利用三角形决定的视差面对其内的点P求视差:
5.根据权利要求1所述的基于快速局部匹配的立体图像对象分割方法，其特征是在步骤3)构建图时，基于假设:临近的颜色相似的像素应该位于同一对象内，临近的深度信息一致的两像素应该位于同一对象内，设定边的权值由相连两像素的颜色和视差共同决定，如果图中边相连的两像素都包含视差信息，则将视差和颜色按照7:3的比例确定边的权值，否则，只按照颜色信息确定权值。
6.根据权利要求1所述的基于快速局部匹配的立体图像对象分割方法，其特征是步骤4)中，第一次进行图像分割后，进行后期处理:结合视差信息，将临近的分割较细的属于同一视差面的分割区域进行合并，这里用于判断是否合并的分割细度根据图像分割需求确定。
7.根据权利要求1所述的基于快速局部匹配的立体图像对象分割方法，其特征是步骤5)中需要分割出来的对象的判断原则为: A)视差最大的区域:深度靠前，对象离镜头近，处于视觉显著位置； B)分割区域紧凑:即分割区域内像素数目与分割区域所在最小矩形区域面积的比值最小； C)分割区域所占整个图像区域的比例适中:长宽比例符合预先设定的参数:
【文档编号】G06T7/00GK103714549SQ201310745606
【公开日】2014年4月9日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】武港山, 夏春容, 居然 申请人:南京大学