一种基于弱边缘与纹理分类的立体视觉匹配方法【
技术领域：
】[0001]本发明涉及图像处理与机器视觉领域，特别涉及一种基于弱边缘与纹理分类的立体视觉匹配方法。【
背景技术：
】[0002]双目立体视觉测量过程中，通过立体匹配获得图像点的对应关系后，即可得到相应的视差图，结合标定过程所确定的投影成像模型，通过运算可以确定相应点的深度信息。由于特征本身的稀疏性和不连续性，基于特征的立体匹配算法无法直接得到非特征像素点的对应关系，只能得到稀疏的视差图，需要通过后续的复杂插值过程才能生成致密的视差图。如果希望直接获得致密的视差图，需要选择针对每个像素都适用的匹配基元，通常采用基于区域的匹配算法或基于相位的匹配算法，而这些算法中，全局函数优化算法可以实现较高精度的匹配，但其计算复杂度高，难以实现实时性，局部优化算法匹配速度较快，但匹配精确度低。[0003]作为一个活跃的研究领域，图像对的致密立体匹配研究发展迅速，然而由于以下几个方面的因素，立体匹配仍然面临以下技术问题有待解决：[0004]⑴遮挡区域匹配[0005]立体视觉中所提到的遮挡问题是两幅图像的一种半遮挡现象，即一些像素点在一幅图像中可见，在另一幅图像中由于视角变化发生遮挡而导致的不可见，一幅图像中遮挡区域的点在另一幅图像中没有对应点，匹配时需要检测该区域并进行视差值的推理填充。[0006]⑵弱纹理区域匹配[0007]图像中的弱纹理区域是指彩色或灰度梯度值小于一定阈值的区域，由于弱纹理区域内像素点区别较小，导致图像信噪比低，匹配时歧义性增大，受噪声影响大。[0008]⑶深度不连续区域匹配[0009]深度不连续区域主要分布在场景中深度变化较大的物体边界上，视差连续性约束是匹配过程中所使用的重要约束，而在深度不连续区域平滑性假设无法得到满足，从而导致区域误匹配率较高。[0010]⑷光照变化引起的匹配[0011]由于光照角度、物体表面反射特性等因素的差异，图像对中物体表面色彩或灰度的一致性在实际情况中只能粗略得到满足，从而对相似性测度的鲁棒性提出挑战。[0012](5)匹配精确度与匹配效率的权衡[0013]匹配精度较高的全局算法往往运算量都非常大，导致算法的实时性难以得到满足;而实时性较好的局部算法由于缺乏针对视差连续性的有效优化，往往匹配精度较低;在保证匹配精确度的同时提高运算效率，是立体匹配算法所面临的一个重要问题。【
发明内容】[0014]为实现快速精确的致密匹配，本发明提出一种基于边缘与弱纹理区域分类的立体匹配方法（astereomatchingmethodbasedonclassificationofedgeandtexturelessregion，简称CETR算法)该方法主要包括:边缘与弱纹理区域划分、边缘、弱纹理区域匹配、视差修正与填充、深度边缘视差求精和致密视差图。[0015]方法根据图像中边缘的分布将图像分为边缘扩展区域和弱纹理区域，使用本发明提出的MADC(ModifiedAD-Census)匹配代价，按区域的不同特性分别进行匹配，并根据匹配结果相互进行视差修正或填充，然后，针对遮挡和视差不连续区域进行视差求精，获得完整致密的视差图。[0016]针对立体匹配所存在的这些问题，本发明提出以下解决方法：[0017]⑴针对弱纹理区域的匹配问题，提出边缘与弱纹理区域分类匹配的方法，对弱纹理区域进行基于行列线段的视差估计和基于边缘的视差修正。[0018]⑵针对遮挡和深度不连续区域的匹配问题，提出基于重复检验的遮挡处理和基于邻域像素信息的视差不连续区域处理方法，实现深度边缘的视差求精。[0019]⑶针对光照变化引起的匹配问题，提出MADC匹配代价计算方法，提高匹配代价计算的鲁棒性。[0020]⑷针对匹配精确度与匹配效率的权衡问题，本发明算法不使用全局优化，并通过限制视差搜索范围降低算法运算量，从而提高实时性，同时根据区域类型相应使用合理的约束提高了匹配的正确率。[0021]本发明公开一种基于弱边缘与纹理分类的立体视觉匹配方法，是由以下步骤实现的：[0022]步骤1.边缘检测和区域划分[0023]=为各彩色分量经Canny边缘检测得到的边缘点集，则彩色图像的边缘点集Sedge表示为：[0024]Sedge=SrUSgUSb(1)[0025]弱纹理区域为像素彩色值平滑的区域，定义8邻域内不存在边缘点的像素点集ST:[0027]其中NE(P)代表图像中P点的8领域像素点集合[0028]边缘及其相邻像素区域组成边缘扩展区域Sexpend，表示弱纹理区域补集：[0029]Sexpend=S-ST(3)[0030]其中S为图像所有像素点的集合；[0031]步骤2.边缘匹配[0032]A.求得左图像的边缘点初始视差估值：[0033]估计边缘点集Sedge的视差，边缘点匹配代价聚合选用较小的矩形窗口作为支持区域，聚合后的匹配代价表示为：[0035]其中AGG(P)表示以P为中心的矩形代价聚合支撑区域，区域大小为mXη，取mXη=5X5窗口，匹配代价采用MADC;[0036]将边缘点的匹配点搜索区域限定为右图中处于同一行的边缘扩展区域，进行代价聚合后使用WTA策略选取最小聚合代价的视差值作为边缘点的初始视差估计，如式(5)所示。[0038]B.左右图像一致的重复性检验：[0039]重复性检验根据A获得的视差值，计算左图中各点在右图中的对应点，如果左图中多个点与右图中同一点对应，取其中匹配代价最低的点作为正确匹配，其它点标记为错误匹配点；[0040]C.稳定边缘视差检验[0041]稳定边缘视差检验按照边缘视差的分布特性和统计特性判断边缘视差是否稳定，视差稳定的边缘必有相同视差的邻域边缘，且边缘视差图像内某一视差的边缘点数量达到一定阈值，步骤如下：[0042]⑴:对应经过简化的左右一致性检验的边缘视差图，检验每个边缘点8邻域内的边缘点视差值，若8邻域内的边缘视差值唯一，则认为该边缘点视差初步稳定，否则不稳定，所有初步稳定的边缘点构成集合·[0043]⑵:对于初步稳定边缘点的对应视差值DInitai，统计对应每个视差值d的边缘点个数h(d)，舍弃边缘点个数未超过阈值TDh的视差值，剩下的视差值构成稳定视差值集合Dstable，如式(6);[0044]Dstabie={d|h(d)>TDh，deDinitai}(6)[0045]⑶:根据稳定视差值集合Dstable对初步稳定边缘点史：^u/进行检测，舍弃视差值不包含在稳定视差值集合内的边缘点，获得稳定边缘点集合兄，如式(7);[0047]步骤3.弱纹理区域匹配[0048]A·弱纹理线段匹配[0049]利用线段内的视差连续性约束算法，设同一线段中的像素点具有相同的视差值，进行最优视差值的搜索，令SEG表示一条弱纹理线段，根据弱纹理线段的长度length(SEG)，分别进行匹配代价的聚合：[0050]取Tiength=5,当length(SEG)2Tiength，其匹配代价的聚合表示为整条线段的MADC匹配代价的平均，如式(8)。[0054]其中dilate(SEG)表示以aXb的矩形算子对线段进行膨胀操作得到的矩形区域，算法中取5X5的膨胀算子；[0055]进行最优视差值的搜索，其视差搜索范围限定为:步骤2边缘匹配中，C.稳定边缘视差检验的⑵所得到的稳定视差值集合Dstable，使用WTA策略选取最小聚合代价的视差值，如式(10)所示：[0057]匹配代价的聚合时，线段内每一像素点的视差值都取SEG的视差值；[0058]B.弱纹理线段视差修正[0059]弱纹理区域被边缘所包围，其视差与边缘视差有着密切关系，可根据弱纹理线段两端的边缘视差及线段本身视差，对线段视差值进行修正，以实现倾斜表面的视差估计；[0060]令弱纹理线段经匹配得到的视差估计值为do,其真实视差为dseg，弱纹理线段两端对应的边缘视差分别为CU和cU2，进行视差修正时，将遵循以下关系：[0061]①(1^<1^奴(1(31，(1(32)，如果弱纹理区域视差值大于较大的边缘视差，则由于遮挡将产生与弱纹理区域视差相等的新的深度边缘，从而发生矛盾；[0062]②(^化^心汕:^弱纹理区域视差与边缘视差无关^弱纹理区域视差值小于较小边缘视差时，边缘视差值取决于相邻较高表面的视差，而不受当前区域视差值影响；[0063]③当弱纹理区域为斜面时，弱纹理线段至少有一端视差与相应边缘视差相近，且do可视为线段中点的视差；[0064]C.代价聚合与惩罚因子[0065]视差分布假设:根据边缘视差和弱纹理线段视差的估计值，以及弱纹理区域表面呈正向平行或倾斜情况假设，弱纹理线段视差分布存在以下6种可能：[0066]正向平行表面:线段视差取线段某一端点处视差(del、de2)及中点处视差(do):[0068]倾斜表面:线段视差分布线性变化，按已知两端点及中点的三点，其中两点视差估计线段的线性视差分布：[0072]其中：正向平行表面假设下线段视差为恒定视差值；[0073]倾斜表面假设下线段视差按渐变直线分布；[0074]根据视差分布假设分别计算6种情况下的线段匹配聚合代价，选取其中代价最低的视差分布作为修正后的视差分布，线段聚合匹配代价的计算如式(11);[0076]其中1Crefine表示不同视差分布假设下的匹配代价，由式(11)定义，Penalty为惩罚因子项，根据步骤3.弱纹理区域匹配A.弱纹理线段匹配中公式(8)、(9)、（10)，匹配代价的计算将引入不同惩罚因子，惩罚因子的设置如下：[0078]其中Π为常数，算法中取Π=0.2;[0079]使用WTA策略当前第1页1 2 3 4