一种图像快速立体匹配方法及装置制造方法
【专利摘要】本发明公开了一种图像快速立体匹配方法及装置，该方法包括如下步骤：将参考视图过分割为互不重叠的多个区域；计算参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；确定当前像素i处的候选视差子集合和支持子集合；迭代计算像素i的聚合匹配代价，根据聚合匹配代价更新缩小候选视差子集合和支持子集合，使候选视差子集合和支持子集合中的元素不断减少，直至候选视差子集合中的候选视差数目降低至设定视差数目；选择候选视差子集中最小匹配代价对应的视差值作为像素i的第一视差值。本发明在保证匹配精度的同时大大加快了算法运行速度；另外使用了基于PatchMatch算法的视差平面拟合方法，能够较快地收敛到最优平面参数估计值。
【专利说明】【【技术领域】】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种图像快速立体匹配方法及装置。 -种图像快速立体匹配方法及装置 【【背景技术】】
[0002] 高精度的深度信息在计算机视觉领域的很多应用场合都起着至关重要的作用，尤 其是在立体视觉中，高质量稠密深度图的获取是三维重建、基于深度图绘制以及虚拟视点 合成的关键。双目立体匹配是经典的视差图或深度图获取技术，也是计算机视觉领域中的 研究热点之一。一个完整有效的立体匹配算法框架可分为像素级匹配代价计算、匹配代价 聚合、视差优化及计算、视差修正这四个步骤。目前主流的立体匹配算法可分为局部算法和 全局算法两类。局部算法的优点是简单、有效、快速，全局算法由于加入了全局优化的过程， 其视差图结果更好，但全局优化一般需要极大的计算复杂度，算法运行速度较慢。此外还有 一类基于图像分割和视差平面拟合的立体匹配算法，在使用局部算法得到初始视差图结果 后对每个分割区域在视差空间中拟合一个平面，并可以进一步构建能量函数优化这些平面 标号，确定了平面参数即确定了该区域内像素的视差值。此类算法可得到接近全局算法的 结果，但运行时间较短，是目前最主流的立体匹配算法之一。
[0003] 现有算法中以当前像素为中心的一个矩形窗口中所有邻域像素都要参与匹配代 价聚合，这种算法的运行速度较慢。目前的视差平面拟合收敛太慢。 【
【发明内容】
】
[0004] 为了克服现有技术的不足，本发明提供了一种图像快速立体匹配方法及装置，以 保证输出良好的视差图结果的同时，相比现有算法在快速性与高效性上有较大提高。
[0005] -种图像快速立体匹配方法，包括如下步骤：
[0006] S10,将参考视图过分割为互不重叠的多个区域；
[0007] S20,对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计 算所述参考视图中的像素 i与目标视图中的像素广之间的像素初始匹配代价；其中，所述 像素广与像素 i之间的视差是所述候选视差d ;
[0008] S30,根据所述确定原始候选视差集合D计算所述像素 i的像素初始匹配代价，确 定最大的像素初始匹配代价和最小的像素初始匹配代价；
[0009] 选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素 i处的候选 视差子集合，选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合；其中， 所述候选视差子集合包含所述支持子集合；
[0010] S40,根据所述候选视差子集合中的候选视差d、所述像素 i周围的设定窗口，迭代 计算所述像素 i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视差子集合和 支持子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并判断所述候 选视差子集合中的候选视差数目是否降低至设定视差数目，若是则执行步骤S50,否则继续 执行步骤S40 ;
[0011] S50,选择候选视差子集中最小匹配代价对应的视差值作为所述像素 i的第一视 差值ι?(?)。
[0012] 优选地，还包括如下步骤：
[0013] S60,对获得的视差图进行修复：
[0014] 以当前目标视图为参考视图，以当前参考视图为目标视图，采用步骤S10至S50的 方法计算第二视差值并获得第二视差图士；
[0015] 逐一检查当前参考视图中的每一像素i，根据第一视差值--〇:)在当前目标视图中 确定对应的像素 j，如果像素 j根据第二视差值&(/)在当前参考视图中对应的像素不是像 素 i，则认为像素 i属于被遮挡区域，像素 i的视差值d(i)用距离像素 i最近的非遮挡像素 的视差值替换。
[0016] 优选地，还包括如下步骤：
[0017] S70,以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合，迭代优 化拟合平面参数并确定最终的视差图。
[0018] 优选地，还包括如下步骤：
[0019] 在所述步骤S30中：
[0020] 根据像素初始匹配代价Cji，d)计算最大的像素初始匹配代价和最小的像 素初始匹配代价Q :
[0021]
【权利要求】
1. 一种图像快速立体匹配方法，其特征是，包括如下步骤： S10,将参考视图过分割为互不重叠的多个区域； S20,对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计算所 述参考视图中的像素 i与目标视图中的像素广之间的像素初始匹配代价；其中，所述像素 广与像素 i之间的视差是所述候选视差d ; S30,根据所述确定原始候选视差集合D计算所述像素 i的像素初始匹配代价，确定最 大的像素初始匹配代价和最小的像素初始匹配代价； 选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素 i处的候选视差 子集合，选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合；其中，所述 候选视差子集合包含所述支持子集合； S40,根据所述候选视差子集合中的候选视差d、所述像素 i周围的设定窗口，迭代计算 所述像素 i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视差子集合和支持 子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并判断所述候选视 差子集合中的候选视差数目是否降低至设定视差数目，若是则执行步骤S50,否则继续执行 步骤S40 ; S50,选择候选视差子集中最小匹配代价对应的视差值作为所述像素 i的第一视差值 d(t)〇
2. 如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤： S60,对获得的视差图进行修复： 以当前目标视图为参考视图，以当前参考视图为目标视图，采用步骤S10至S50的方法 计算第二视差值并获得第二视差图士； 逐一检查当前参考视图中的每一像素 i，根据第一视差值办〇在当前目标视图中确定 对应的像素 j，如果像素 j根据第二视差值&(/)在当前参考视图中对应的像素不是像素 i， 则认为像素 i属于被遮挡区域，像素 i的视差值奴〇用距离像素 i最近的非遮挡像素的视 差值替换。
3. 如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤： S70,以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合，迭代优化拟 合平面参数并确定最终的视差图。
4. 如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤： 在所述步骤S30中： 根据像素初始匹配代价Cji，d)计算最大的像素初始匹配代价和最小的像素初 始匹配代价:
候选视差子集合Di candidate (〇)满足：
支持子集合Di suppOTt (0)满足：
shigh(0)和slOT(o)是参数，且
5. 如权利要求4所述的图像快速立体匹配方法，其特征是，步骤S40包括： S401，在第k次迭代中，对于像素 i和候选视差
：在像素 i周围的矩形 窗I内随机采样
个领域像素 j，
，且选取的邻 域像素 j与像素 i之间的视差
，i，j e S。，则像素 i的聚合匹配代价Ck(i， d)为：
其中Wij为邻域像素 j参与像素 i代价聚合的加权值，S。表示参考视图经过过分割的区 域； S402,根据当前聚合代价Ck(i，d)更新所述支持子集合Di suppOTt和所述候选视差子集合 Di-candidate ·
其中，
判断&中的视差值数目减少到满足：
，若是则对于像素 i 处的迭代终止，否则返回步骤S402继续进入下一轮迭代，其中，| Di eandidate |表示Di eandidate中 的元素数目，|DI表示原始候选视差集合d中的元素数目。
6. 如权利要求5所述的图像快速立体匹配方法，其特征是：
〇 1?和σ s为预设参数，Ni saniple固定包含像素 i，且
7. 如权利要求3所述的图像快速立体匹配方法，其特征是：
其中，像素 i的坐标为（Xi，yD，像素广的坐标为（xr，yr )，且
h为灰度差或彩色差的截断阈值，￥2为8邻域梯度差和的截断阈值，α为加权值，8邻域 梯度定义为：
8. -种图像快速立体匹配装置，其特征是，包括： 第一处理单元，用于将参考视图过分割为互不重叠的多个区域； 第二处理单元，用于对于原始候选视差集合D以及所述原始候选视差集合D的元素候 选视差d，计算所述参考视图中的像素 i与目标视图中的像素 i'之间的像素初始匹配代 价；其中，所述像素 i'与像素 i之间的视差是所述候选视差d ; 第三处理单元，用于根据所述确定原始候选视差集合D计算所述像素 i的像素初始匹 配代价，确定最大的像素初始匹配代价和最小的像素初始匹配代价；选择匹配代价小于第 一像素初始匹配代价阈值的视差作为当前像素 i处的候选视差子集合，选择匹配代价小于 第二像素初始匹配代价阈值的视差作为支持子集合；其中，所述候选视差子集合包含所述 支持子集合； 第四处理单元，用于根据所述候选视差子集合中的候选视差d、所述像素 i周围的设定 窗口，迭代计算所述像素 i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视 差子集合和支持子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并 判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目，若第五处理单元工 作，否则第四处理单元继续工作； 第五处理单元，用于选择候选视差子集中最小匹配代价对应的视差值作为所述像素 i 的第一视差值--⑴。
9. 如权利要求8所述的图像快速立体匹配装置，其特征是，还包括： 第六处理单元，用于对获得的视差图进行修复： 以当前目标视图为参考视图，以当前参考视图为目标视图，采用步骤S10至S50的方法 计算第二视差值并获得第二视差图士 ； 逐一检查当前参考视图中的每一像素 i，根据第一视差值以〇在当前目标视图中确定 对应的像素 j，如果像素 j根据第二视差值1(7)/￡当前参考视图中对应的像素不是像素 i， 则认为像素 i属于被遮挡区域，像素 i的视差值以〇用距离像素 i最近的非遮挡像素的视 差值替换。
10. 如权利要求8所述的图像快速立体匹配装置，其特征是，还包括： 第七处理单元，用于以过分割得到的区域为单位基于PatchMatch算法作视差平面拟 合，优化拟合平面参数并确定最终的视差图。
【文档编号】G06T7/00GK104091339SQ201410342671
【公开日】2014年10月8日 申请日期:2014年7月17日 优先权日:2014年7月17日
【发明者】王好谦, 田雨时, 宣慧明, 戴琼海 申请人:清华大学深圳研究生院