一种基于混合匹配代价和自适应窗口的立体匹配方法
【专利摘要】本发明提出了一种基于混合匹配代价和自适应窗口的立体匹配方法。首先对传统梯度匹配代价进行了改进，引入梯度相位信息。为进一步提高算法的鲁棒性，本发明结合灰度绝对差和(SAD)代价，并用指数函数对它们进行归一化，提出一种新的混合匹配代价；然后采用一种基于十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。对聚合后的代价，采用“胜者为王”(Winner-Takes-All(WTA))策略选择使总代价最小对应的视差值作为初始匹配结果；最后，提出一种局部视差直方图的视差精化方法，获得了高精度的视差图。实验结果表明，所提方法匹配精度高，且对幅度失真条件具有较高的鲁棒性。
【专利说明】—种基于混合匹配代价和自适应窗口的立体匹配方法
【技术领域】:
[0001]本发明涉及一种双目图像立体匹配获取深度图方法，特别涉及一种基于混合匹配代价和自适应窗口的立体匹配方法，本发明所获得的深度图结果可进一步应用于视觉测量、三维重构、虚拟视点图像绘制等领域。
【背景技术】:
[0002]立体匹配是计算机视觉中的一个经典问题，一直是研究的热点。多年来，研究者们提出了大量的算法试图解决这个问题，但由于问题本身的病态性，目前还没有比较完美的角军决方案° Scharstein(参见 Daniel Scharstein, Richard Szelisk1.A taxonomyand evaluation of dense two-frame stereo correspondence algorithms[J].1nternational Journal of Computer Vision, 2002, 47 (I):7-42.)等深入研究了 一些典型的立体匹配算法，对各种主要方法进行了较全面的综述。他们把立体匹配过程概括为匹配代价计算、匹配代价聚合、初始视差计算和视差精化四步，并根据代价聚合方式把立体匹配算法划分为局部方法和全局方法。全局方法一般有较高的匹配精度，但是效率较低；局部方法运行速度快，易于实现，但是如何选择合适的支持窗口和像素的匹配代价计算方法是个难题(参见Yang Qing-xiong.A non-local cost aggregationmethod for stereo matching[C].IEEE Conference on Computer Vision and PatternRecognition, 2012:1402-1409.)。
[0003]大多数立体匹配算法的相似性测度都是基于像素的灰度值，即两幅图像中的同一特征点在理想光照条件下应该具有相同的灰度值(参见王军政，朱华建，李静.一种基于Census变换的可变权值立体匹配算法[J].北京理工大学学报，2013，33(7):704-710.)。例如灰度差绝对值和(AD)、灰度差平方和(SD)、Adapt Weight (参见Yoon K, Kweon S.Locallyadaptive support weight approch for visual correspondence search[J].1EEETransactions on Pattern Analysis and Machine Intelligence, 2006, 28(4):924-931.)>Segment Support (参见 Tombari F, Mattoccia S.Segmentation based adaptive supportfor accurate stereo correspondence[C].1EEE Pacific Rim Symposium on Video andTechnology, 2007:427-438.)等对于理想图像能够获得较高精度的匹配结果,但是这些方法对于由光照变化、曝光差异、相机暗角等因素引起的图像幅度失真非常敏感，因此难以用于真实场景图像的匹配。对幅度失真不敏感的匹配代价主要有归一化互相关(NCC)、梯度(Gradient)(参见 Daniel Scharstein.View synthesis using stereo vision.Phdthesis, 1997，23 (5): 98-109.)、Rank 和 Census 变换(参见 Ramin Zabih, John Woodf ill.Non-parametric local transforms for computing visual correspondence[C].Proceedings of European Conference on Computer Vision, 1994:151-158.)等。
[0004]传统的固定窗口存在变换窗口大小的选择问题:若窗口太小，贝1J匹配代价区分度过低，在低纹理区域容易出现误匹配；若窗口过大，又会在深度不连续区域出现误匹配(参见周龙，徐贵力，李开宇等.基于Census变换和改进自适应窗口的立体匹配算法[J].航空学报，2012，33(5):886-892.)。Fusiello 和 Roberto (参见 Fusiello A, RobertoV.Efficient stereo with multiple windowing[C].IEEE Computer Society Conferenceon Computer vision and Pattern Recognition, 1997:858-863.)提出在预先给定的多个窗口中选择最优窗口作为支持窗口 ；Veksler (参见Veksler 0.Fast variable window forstereo correspondence using integral image[C].1EEE Computer Society Conferenceon Computer vision and Pattern Recognition, 2003:556-561.)提出逐点自适应选取支持窗口的形状和大小；Zhang (参见 Zhang K.Cross-based local stereo matching usingorthogonal integral images[J].1EEE Transactions on Circuits and systems forVideo Technology, 2009, 19(7): 1073-1079.)根据相邻像素的色彩关系自适应选择任意形状和大小的支持窗口，取得较好的视差结果。
【发明内容】
:
[0005]针对上述匹配代价和窗口选择问题，本发明提出了一种基于混合匹配代价和自适应窗口的立体匹配方法。首先对传统梯度匹配代价进行了改进，引入梯度相位信息，并结合SAD代价提出一种新的混合匹配代价；然后利用图像结构和色彩信息构建自适应窗口进行代价聚合及“胜者为王”(Winner-Takes-All(WTA))策略进行视差选择；最后，提出一种局部视差直方图的视差精化方法，获得了高精度的视差图。
[0006]本发明要解决的技术问题是:
[0007]1.传统局部匹配方法对图像幅度失真鲁棒性较低，在光照失真条件下匹配精度迅速降低的问题。
[0008]2.固定窗口的代价聚合方法难以在图像低纹理和深度不连续区域同时获得较高匹配精度的问题。
[0009]本发明解决其技术问题所采用的技术方案:基于混合匹配代价和自适应窗口的匹配方法，其特征在于包括以下步骤:
[0010]步骤一:匹配代价计算:匹配代价是左右图像之间对应点相似度的度量，利用梯度向量在图像X、y方向的两个分量，定义梯度向量的模m和相角Φ，然后采用模和相角的线性结合及SAD作为匹配代价函数，并将其归一化到O?I之间。
[0011]步骤二:自适应窗口构造:对待匹配图像的每个像素构造一个自适应大小的聚合窗口，窗口的大小将直接决定参与聚合的邻域像素多少。本发明采用一种改进的十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。
[0012]步骤三:代价聚合:确定每个像素的自适应窗口之后，需对窗口内每个单像素的原始匹配代价进行聚合获得总代价，最后选择使总代价最小对应的视差值作为初始匹配结果O
[0013]步骤四:视差精化:通过上述步骤得到的初始视差与真实视差还存在一些误匹配点和不可信值，需要进行视差精化处理。本发明提出一种基于局部视差直方图的视差精化方法对初始视差图进行进一步处理。然后，采用左右一致性检验检测仍然存在的误匹配点，利用相邻有效点中视差较小的值对误匹配点进行赋值。【专利附图】
【附图说明】:
[0014]图1为本发明方法的流程图。
[0015]图2为自适应窗口构造过程示意图。
[0016]图3(a)为Tsukuba图像对的实验结果。
[0017]图3(b)为Venus图像对的实验结果。
[0018]图3(c)为Teddy图像对的实验结果。
[0019]图3(d)为Cones图像对的实验结果。
[0020]图4(a)为相同光照和曝光条件下的实验结果。
[0021]图4(b)为不同光照条件下的实验结果。
[0022]图4(c)为不同曝光条件下的实验结果。
[0023]图4(d)为不同光照和曝光条件下的实验结果。
【具体实施方式】:
[0024]下面结合附图及【具体实施方式】进一步详细介绍本发明。
[0025]本发明提出了一种基于混合匹配代价和自适应窗口的立体匹配方法，主要有四个步骤。
[0026]步骤一:匹配代价计算。具体实现方法如下:
[0027]图像梯度定义为图像沿X和y方向的一阶偏导数:
【权利要求】
1.一种基于混合匹配代价和自适应窗口的立体匹配方法，其特征在于:该方法在传统梯度匹配代价仅包含幅值信息的基础上，引入梯度相位信息，并结合灰度SAD(Sum OfAbsolute Difference)提出一种新的混合匹配代价；然后利用图像结构和色彩信息构建自适应窗口进行代价聚合及“胜者为王”(Winner-Takes-All(WTA))策略进行视差选择?’最后，提出一种基于局部视差直方图的视差精化方法，获得了高精度的视差图。方法具体步骤如下: 步骤一:匹配代价计算:匹配代价是左右图像之间对应点相似度的度量，利用梯度向量在图像x、y方向的两个分量，定义梯度向量的模m和相角V，然后采用模和相角的线性结合及SAD作为匹配代价函数，并将其归一化到O~I之间。 步骤二:自适应窗口构造:对待匹配图像的每个像素构造一个自适应大小的聚合窗口，窗口的大小将直接决定参与聚合的邻域像素多少。本发明采用一种改进的十字交叉自适应窗口生成方法，可以根据相邻像素的色彩和空间位置关系构建自适应窗口。在低纹理区域，提供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节信息。 步骤三:代价聚合:确定每个像素的自适应窗口之后，需对窗口内每个单像素的原始匹配代价进行聚合获得总代价，最后选择使总代价最小对应的视差值作为初始匹配结果。 步骤四:视差精化:通过上述步骤得到的初始视差与真实视差还存在一些误匹配点和不可信值，需要进行视差精化处理。本发明提出一种基于局部视差直方图的视差精化方法对初始视差图进行进一步处理。然后，采用左右一致性检验检测仍然存在的误匹配点，利用相邻有效点中视差较小的值对误匹配点进行赋值。
2.根据权利要求1中所 述的一种基于混合匹配代价和自适应窗口的立体匹配方法，其特征在于:所述步骤一的匹配代价应用混合匹配代价，具体计算过程如下: 图像梯度定义为图像沿X和I方向的一阶偏导数:
(SI Λ
(G Λ ^ Cr- Λ — KJ —一 _ ^G olV y J — 其中I为图像灰度，实际应用中，可以通过水平方向和竖直方向的模板计算梯度向量。这样就可以得到左、右图像的梯度图q= (GLx, GLy)T,GE= (GKx，GKy)T;考虑校正后的图像，设p(x, y)为左图像上一点，则右图像上对应视差d的匹配点为pd(x-d，y)。 利用梯度向量在X、I方向的两个分量，定义梯度向量的模和相角: ^ = P；+G1y
+ (Gv)
φ = arctan — 梯度的模m表征灰度变化率，相角Φ表征灰度变化率最大时的方向，它们提供了像素邻域的不同信息，并且对光照失真有不同的不变性。输入图像对增益失真会影响梯度模，而相角则不会变化，但是它们都不会受到偏置失真影响。因而，将梯度的模和相角分开考虑更有利于控制算法对噪声的敏感性。本发明采用模和相角的线性结合作为匹配代价函数，以便最大限度利用梯度信息。表达如下:
3.根据权利要求1中所述的一种基于混合匹配代价和自适应窗口的立体匹配方法，其特征在于:所述步骤二和步骤三应用改进的十字交叉自适应窗口生成方法，具体过程如下: 首先，根据图像结构和色彩信息确定当前待匹配像素P的一个十字交叉区域，该十字交叉区域包含水平和垂直方向，分别用H(P)和V(P)表示，区域的大小由4个方向的臂长{hpXp,v；,v；}确定，并可根据图像的结构和色彩信息自适应地改变。以h;为例，臂长的判别准则如下: LDdpX ^和 Dc(PilPjaO)XT1 ;
2.Ds (Pi, PXL1 ；
3.Dc (Pi, P)〈 τ 2，L2^Ds (P” P) (L1 ο其中，Ds (Pi, p)为像素Pi和P的空间距离差^(Pi, P)是色彩差，定义为
4.根据权利要求1中所述的一种基于混合匹配代价和自适应窗口的立体匹配方法，其特征在于:所述步骤四提出了基于局部视差直方图的视差精化方法，具体计算过程如下: 对于视差图中某个像素P，以其为中心，在它的邻域范围内构造一个局部视差直方图% P)，统计领域内每个视差值出现的次数。在直方图中将出现一个峰值，表示视差出现的最大次数。该峰值对应的视差值是统计意义上的最优视差值,，本发明采用这一最优值代替像素P的初始视差"
【文档编号】G06T7/00GK103996202SQ201410259310
【公开日】2014年8月20日 申请日期:2014年6月11日 优先权日:2014年6月11日
【发明者】祝世平, 李政 申请人:北京航空航天大学