专利名称：一种基于双向加权聚合的实时立体匹配方法
技术领域：
本发明涉及一种基于行列双向聚合和可变权值的实时立体匹配方法，应用在双目 立体视觉领域中，通过立体匹配计算图像对中像素点的视差，进而求得像素点的深度信息， 属于计算机图形学和计算机视觉领域。
背景技术：
立体匹配技术是从多视点图像中求取深度信息的主要方法之一。立体匹配的目标 是在给定校正的立体图像之后，寻找参考图像中每个像素点处的视差，即与其在目标图像 中对应点之间的列坐标之差。立体匹配技术是计算机图形学、计算机视觉、人工智能、机器 人等领域的重要研究方向。总体上，立体匹配方法可以分为全局匹配法和局部匹配法。全局匹配法是通过建 立一个全局能量函数来求解每个像素点深度。其优点是匹配精度高，错误率低，但缺点是计 算复杂度较高，计算速度较慢，难以达到实时要求。局部匹配法通过引入支持窗口的概念， 匹配根据支持窗口进行，优点是运行速度较快，缺点是容易受到噪声点和无纹理区域的影 响，匹配精度较低，且支持窗口的大小对算法性能有较大影响，不易确定最优值。实时立体 匹配的应用中，一般采用局部立体匹配的方法。基于可变权值的局部算法是一种精度较高的立体匹配算法，该方法取得了接近于 全局算法的效果，但时间复杂度较高。有些方法将支持窗口设为一维的纵向窗口，聚合过程 中只对匹配代价进行一次纵向聚合，然后利用沿行的动态规划进行视差选择。该方法通过 并行编程可以达到实时，但由于匹配代价的纵向聚合不能充分描述位于同一行上的相邻像 素点间的相关性，导致该算法的匹配精度比原算法下降了很多。
发明内容
本发明的技术解决问题克服立体匹配算法时间效率提高后精度降低的问题，提 出了一种基于支持窗口和可变权值的实时立体匹配方法，该方法在保证实时性的前提下达 到了较高的匹配精度。本发明所采取的技术方案是一种基于支持窗口和可变权值的实时立体匹配方 法，步骤如下(1)根据匹配代价函数计算出图像中各点的匹配代价；(2)完成(1)步骤后，对支持窗口内的代价函数值先后进行行列加权聚合以提高 匹配精度；支持窗口内各点权值仅由该点与中心点颜色相似度决定；聚合过程中设计了 一种可信度评估机制，提高匹配结果的可信度，降低由于两次聚合造成的误差的概率和范 围；(3)根据步骤O)的聚合结果，在扫描行方向进行动态规划和贪心策略相结合的 视差选择；(4)完成步骤C3)后，对得到的整幅图像的视差进行优化，去除噪声点，使整个视差选择的结果更加精确；(5)由各点视差图以及整幅图像的视差范围求出各点深度。本发明的原理是所述的立体匹配过程中，通过将行列双向聚合应用于加权聚合中，降低了加权聚 合的时间复杂度，提高了算法的并行度，使算法能够使用GPU并行加速，从而实现实时。所述的在聚合过程采用的行列双向聚合，将对一个二维支持窗口的加权聚合转化 为对两个相互垂直的一维支持窗口的加权聚合，由于所有像素点在行方向聚合与列方向聚 合这两个过程中分别是相互独立的，所以可以并行执行。首先所有的像素点并行执行行方 向加权聚合，待聚合完毕后再进行并行的列方向加权聚合，从而大大降低了加权聚合过程 的并行度以及时间消耗，为立体匹配算法的实时化提供了可能。所述的权值计算公式，只使用颜色相似度作为权值参数，去除了其他因素对权值 的干扰，而且降低了计算量。所述的可信度评估机制对行列双向加权聚合过程中产生的误差进行控制，减小了 误差产生的概率和范围。所述的动态规划与贪心相结合的视差选择，在保持动态规划在行方向上平滑的优 点的同时，贪心策略的适时介入将使视差跳变处的视差选择更为准确。与现有技术相比，本发明的优点是(1)本发明通过行列双向聚合和可变权值聚合的结合，一方面降低了算法的时间 复杂度，另一方面通过一种可信度评估机制降低两者结合带来的精度损失。通过GPU加速， 对于320*240大小的图像，本算法已实现实时。本算法在一个实时应用中的截图如图7所 示，其中7(a)为两幅图像中的左图像，7(b)为实时求取的深度图；(2)本发明中的视差选择采用了动态规划和贪心策略相结合的方法。这种结合 的策略在保留动态规划算法取得行方向上平滑性较好的优点的同时，又避免了由此带来 的过度平滑以至于造成视差边界模糊的不足。在动态规划选择视差的过程中，贪心策略 的适时介入不仅不会增加算法的复杂度，而且在视差跳变处取得更准确的视差值，本算 法在middlebury平台上的测试结果如表1所示。其中tuskuba，venus, teddy, cones是 middlebury平台上提供的4组dataset，nonocc，all, disc为三种不同的误差计算方式， Adaptiveffeight, RealTimeABff, RealTimeBP, RealTimeVar, RTCensus, Real-Time GPU 为 middlebury上的实时算法。Average Rank为算法四组dataset的平均排名，Average Error 为四组dataset的平均误差率。误差率是图像中视差错误的像素点的个数占图像总像素点 的比例。表1 middlebury平台的测评数据
权利要求
1. 一种基于双向加权聚合的实时立体匹配方法，其特征在于实现步骤如下(1)根据匹配代价函数计算图像对中各个像素点的匹配代价函数值，计算公式为
全文摘要
一种基于双向加权聚合的实时立体匹配方法，包括以下步骤(1)计算图像对中各个像素点的匹配代价函数值；(2)对(1)步骤中计算出的匹配代价函数进行行列双向的加权聚合，仅以颜色相似度作为权值参数，设计了一种权值可信度评估机制降低行列双向加权聚合产生的误差；(3)对(2)步骤的聚合结果沿行方向选择视差，设计了一种动态规划与贪心策略相结合的选择策略。实验证明，本发明提出的方法在保证实时性的前提下达到了较高的匹配精度。本发明可应用于各种形式的交互类应用，在科研、教育、娱乐领域均有较为广阔的应用前景。
文档编号G06T7/00GK102096919SQ20101062391
公开日2011年6月15日 申请日期2010年12月31日 优先权日2010年12月31日
发明者史英杰, 吴威, 周忠, 常雪枫, 赵沁平 申请人:北京航空航天大学