一种基于fpga的自适应支撑权重的立体匹配方法
【技术领域】
[OOOU 本发明属于双目立体视觉领域，具体设及一种基于FPGA的自适应支撑权重的立 体匹配方法。
【背景技术】
[0002] 双目立体视觉是直接模拟人类双眼视觉的生理结构，它是=维场景下深度信息提 取的重要技术手段，在机器人导航、无人机定位W及=维测量中具有广泛的运用，立体视觉 中最关键和难点在于双目图像的立体匹配，匹配过程中由于需要进行大量数据的重复运 算，因此在CPU上对双目图像进行立体匹配需要花费大量的运算时间，难W满足实时性的 要求。例如，对于主频为1G监的CPU,利用区域立体匹配算法对两幅中型大小的图片进行稠 密视差图计算，需要花费几秒的时间，该样低速率的处理结果极大的限制了立体视觉的发 展，特别是一些需要得到实时匹配视差结果的实际运用场合。因此，近年来如何在保证匹配 精度的条件下提高立体匹配算法的实时性，成为了人们研究的热点。
[0003] 区域立体匹配算法包含全局区域立体匹配算法和局部区域立体匹配算法，全局区 域立体匹配算法匹配准确度高，但计算复杂、运算量大，在提高实时性方面可W采用GPU来 实现，但是GPU处理过程中功耗很大，因此限制器实际的运用场合。对应局部区域立体匹配 算法，该方法是通过左右图像上的局部窗口的相似性关系来获得每个待匹配点的视差值， 计算量小，且匹配过程中如果能够找到一个合适的匹配代价关系，也能获得一个较好的匹 配结果，而FPGA作为一种可编程的逻辑口阵列，灵活性强，利用其内部的并行流水线技术 可W实时的实现局部区域立体匹配算法。
[0004] 目前，利用FPGA实现实时的局部区域立体匹配方法有Ambrosch K等人提出的基 于FPGA实现的SAD立体匹配方法（详见文献Hardware implementation of an SAD based stereo vision algorithm)、化en L等人提出的基于FPGA实现的实时立体匹配方法（详 见文献 A Parallel reconf igurable architecture for real-time stereo vision) 〇 该 类方法能够实时的获得到实时的稠密视差结果，但匹配过程中的局部窗口为固定值，且对 窗口内的匹配点在匹配过程中没有分配合适的权重信息，因此在深度不连续点处、低纹理 处W及场景重复区域处容易匹配出错，匹配准确率不高。
【发明内容】
[0005] 本发明的目的针对现有立体匹配方法在匹配准确率和实时性方面存在的不足，提 出了一种基于FPGA的自适应支撑权重的立体匹配方法，该方法可W解决深度不连续点处、 低纹理处W及场景重复区域处容易匹配出错的问题，从而可W提高整体的匹配效果，同时， 该方法利用FPGA内部的并行流水线技术，可W在FPGA内进行并行的局部区域立体匹配，获 得实时的稠密视差结果，具有较强的鲁椿性。
[0006] 为了解决上述技术问题，本发明提供一种基于FPGA的自适应支撑权重的立体匹 配方法，在FPGA中对左右图像建立一个mXn大小的局部立体匹配窗口，视频输入口的输入 数据为预处理后的左右图像，像素点的时钟为左右图像每个像素点进入FPGA内部的系统 同步时钟，用先进先出缓存器对匹配点进行行缓存，用FPGA内部的D触发器对匹配点进行 列缓存；然后根据局部窗口内匹配点与局部窗口中屯、点间的灰度相似性和曼哈顿距离相似 性，求取待匹配点的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹 配点的权重代价关系值w(p，q)，权重代价关系值w(p，q)如式（1)所示，
[0007] W (P, q) = wdk ? wRi (1)
[000引式（1)中，wdk表示在FPGA内部通过查找表获得的像素点p和q的曼哈顿距离 相似性函数值的对应值，Ri表示像素点P和q的灰度值在经过rank变换后的灰度相似性 关系，wRi表示在FPGA内部通过查找表获得的像素点P和q的灰度相似性函数值的对应 值；最后根据所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关 系，然后利用胜者为王准则，求取每个像素点的视差结果；所述每个匹配点的代价聚合关系 ￡(/，，万)如式似所示，
[0009]
【主权项】
1. 一种基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，在FPGA中对左右图 像建立一个mXn大小的局部立体匹配窗口，视频输入口的输入数据为预处理后的左右图 像，像素点的时钟为左右图像每个像素点进入FPGA内部的系统同步时钟，用先进先出缓存 器对匹配点进行行缓存，用FPGA内部的D触发器对匹配点进行列缓存。
2. 如权利要求1所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，根据 局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点 的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹配点的权重代价关 系值w(p，q)，权重代价关系值w(p，q)如式（1)所示， w (p, q) = wdk ? wRx (1) 式（1)中，wdk表示在FPGA内部通过查找表获得的像素点p和q的曼哈顿距离相似性 函数值的对应值，&表示像素点P和q的灰度值在经过rank变换后的灰度相似性关系，wRi 表示在FPGA内部通过查找表获得的像素点p和q的灰度相似性函数值的对应值。
3. 如权利要求2所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，根据 所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系，然后利用 胜者为王准则，求取每个像素点的视差结果。
4. 如权利要求3所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于， 所述每个匹配点的代价聚合关系如式（2)所示，
式⑵中，Np表示左图像的局部匹配窗口，心表示右图像的局部匹配窗口，w(p，q)为 左图像中匹配点q的权重关系值，Mi,为右图像中的匹配点^的权重关系值，对于左 右图像的局部窗口，P点和5点对应，q点和f点相对应，〃",(士石）为匹配点经rank变换后 的比较值，表达式如式（3)所示：
式⑶中，RM表示q点的rank变换值，表示点的rank变换值。
5. 如权利要求1所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，选用 高斯函数对视频图像进行预处理，滤除噪声。
【专利摘要】本发明提出了一种基于FPGA的自适应支撑权重的立体匹配方法。在FPGA中对左右图像建立局部立体匹配窗口；然后根据局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹配点的权重代价关系值；最后根据所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系，然后利用胜者为王准则，求取每个像素点的视差结果。本发明提高了整体匹配效果，可以获得实时的稠密视差结果，具有较强的鲁棒性。
【IPC分类】G06T7-00
【公开号】CN104616304
【申请号】CN201510072013
【发明人】顾国华, 龚文彪, 吕芳, 任建乐, 钱惟贤, 路东明, 任侃, 于雪莲
【申请人】南京理工大学
【公开日】2015年5月13日
【申请日】2015年2月11日