一种使用时域视觉传感器的双目立体深度匹配方法
【技术领域】
[0001] 本发明设及计算机视觉、数字图像处理W及图像传感器设计等多个技术领域，具体设 及一种使用时域视觉传感器的双目立体深度匹配方法。
【背景技术】
[0002] -、双目立体深度匹配方法 双目立体视觉系统模拟生物双眼的视差功能，使用两台性能相同、相对位置固定的摄 像机，同时从不同的角度获取同一场景的两幅图像，然后计算原空间中任意一点在运两幅 图像中的（位置)视差，进而通过=角测距原理计算出该点的=维坐标信息。双目立体视觉 是机器视觉的重要分支之一，已应用于工业检测、追踪定位、=维重建、机器人导航避障、图 像分割等很多领域。
[0003] 双目立体视觉通过W下几个步骤获取空间点的立体深度:摄像机标定、图像获取、 图像校正、立体深度匹配、计算深度和表面差。其中核屯、的立体深度匹配是使用图像匹配算 法获取空间一点在左右图像中的匹配点对，根据左右匹配点对的视差信息获得视差图，为 进一步计算深度及其它处理奠定基础。
[0004] 附图1给出双目视觉立体深度计算的基本原理。经过严格配准与标定的两台相同 像机平行固定，则空间一点P在两台相机中的成像原理如左图所示。图中Or和化为两个成像 面的焦点，他们之间的连线称为基线，长度为b;成像焦距为f。空间一点P距基线为Z，其在左 右成像面的成像点分别为P和P'（双目立体视觉系统中的左右相机经过配准及校正后，两个 匹配点P和P'应当具有相同的行坐标和不同的列坐标）。设P点的横坐标为Xr，p'的横坐标为 财。由相似S角形定理可得： 上式变形可得： 上式中d=XR-村为P和P'的横坐标之差(左右两个成像面的相同行）。由此只要获得了坐 标差d，就可W获得空间点到基线的距离Z，然后根据坐标平面的变换可W确定空间点的深 度距离。上述寻找空间点P在两个成像面中的两个投影点P和P'的过程称为立体(深度）匹 配。
[0005] 在匹配过程中均W-幅图像为参考图像，另外一幅为目标图像。如果左视图中一 点（x，y)，在右视图中对应的匹配点为(X'，y'），运两个匹配点的坐标差值为d(x，y)。则对 于已经校正过的左、右视图，运两个匹配点只在横向扫描线 上存在差异。因此有：
对于参考图像中的每一像素点(x，y)，均能求出视差d，进而形成与像素坐标一致的视 差图。附图I右图为最常见的左右相机平行匹配方法。
[0006] 已经提出的基于"帖图像"的立体匹配算法有很多种，大体分为基于区域的匹配与 基于特征的匹配。基于区域的匹配通过度量左右图像中两个小区域的某种相似度来判断其 是否匹配。而基于特征的匹配则是首先提取参考图像中的某种特征，例如边缘、角点等，然 后在目标图像中寻找对应的特征并计算其位置差。在实际双目相机产品中基于区域的匹配 方法得到了广泛使用。通常匹配算法由四个步骤组成：匹配代价函数计算、代价叠加、视差 计算和一致性检查优化。代价函数表示图像像素（局部）的相似性测度，一般W能量最小化 策略构成，即同一空间点在左右两幅图像中的对应成像点(或周围小区域)之间具有最小的 亮度差。常用的代价函数有：SAD(绝对差值之和）、SSD(差平方和）、归一化SSD、归一化相关 等。W上运些代价函数的基本形式在实际应用中可进行各种变形。
[0007] 图2给出双目立体深度匹配的示例说明。W左图为参考，使用右图进行匹配得到的 深度图如（C)所示，由图可见，距离相机较近的空间点（高亮度)具有较大的视差，距离愈远 则视差越小。
[000引二、视觉传感器 依据成像原理，当前规范使用的半导体图像传感器忍片（CCD及CMOS)都是基于"帖采 样"模式进行图像采集的： 1、 所有像素在复位后开始感光(收集光电荷），在达到设定曝光时间后停止感光； 2、 依次读出每个像素所收集的光电荷，并将其转换为电压； 3、 该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像 素亮度值组成的二维矩阵即为所拍摄图像。
[0009] 在使用上述"帖采样"图像传感器相机的机器视觉系统中，图像序列(视频)的拍摄 速度通常为30帖/秒。机器视觉系统中的计算机执行图像处理算法提取目标并进行判别与 分析。
[0010] 上述"帖采样"成像方式存在的缺点： (1) 、背景数据冗余。相邻两帖间存在大量的冗余背景信息，不变的背景区域被重复采 样读出，对系统的处理和存储能力带来巨大压力。拍摄速度越高，则传输、存储和处理压力 越大，实时性差； (2) 、高响应延迟。场景中的变化不能立即被图像传感器感知并输出，而必须按照"帖" 的节奏被感知和输出。运种高响应延迟对于高速运动目标的跟踪与识别非常不利，运动速 度越快则检测结果的间断性和误差越明显。
【发明内容】
[0011] 本发明针对上述现有技术中存在的技术问题，提供了一种使用时域视觉传感器的 双目立体深度匹配方法。
[0012] 本发明为解决运一问题所采取的技术方案是： 一种使用时域视觉传感器的双目立体深度匹配方法，该方法使用一对经标定配准的时 域视觉传感器作为视觉输入源，W左视觉传感器输出的事件序列为参考，对右视觉传感器 的事件序列进行时间--空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹 配顺序一致性和视差平滑性检查的事件作为匹配对象。
[0013]该方法包括如下步骤： 设空间运动点在经过标定校正的左右TVS产生的AE序列分别为{
其中L代表左相机，R代表右相机;上标 1〇分别表示左、右相机产生的第1和第^个46，？为事件极性，*1，^'为46的时间标记； 循环执行W下步骤： (1) 接收AE，根据其来源归入A垃或AEr: FPGA控制器收集来自左右相机的AE，进行时间戳标记和来源标记，输出的AE流为：
(式1)
匹配计算将左TVS的AE流作为参考序列，在右AE流中寻找其对应的AE;因此根据时间戳 t及来源source将AE流分为依时间排序的左右两列： (式2) (式3) 更新Tc; (2) 若Tc < AT,返回（1);否则继续； (3) 自中选择未被处理且与Tc间隔大于A T的最近、.片扔心.I;作为参考事件，将 满足W下条件自^
扣入匹配目标候选集合：
I、时间差有限 泣、视差距离宅 鎌、极线平行： 跋、事件属性： 扛、匹配唯一性:，
衣与其他AE匹配； (4) 计算匹配代价;使用W下公式计算；
与匹配目标集合中每 个AE的匹配代价：
上式中Wl为极线差权重，当yL=y拙寸，此项为0 ;W2为时间差权重； 巧)匹配事件确定： $:、选择匹配目标集中具有最小匹配代价的AE进行匹配顺序一致性检查:对深度匹配图 中（)周围A L范围内的视差值进行匹配顺序一致性检查； 妓、视差平滑性检查:将当前所得视差与（心周围A L范围内的已有视差平滑一致 性检查;若当前视差为公C，周围已有视差的平均值为志，标准差为^
溢、若当前AE满足W上条件，认为其为匹配AE，将视差M-Jl写入深度匹配图口^〇心 )位置，标记
为已匹配；若不满足，则选取具有 次最小代价的AE重复上述过程;若选择匹配目标集中的AE均不满足上述条件，则深度匹配 图位置标记为0; (6)返回（1)继续或结束。
[0014] 本发明具有的优点和积极效果是： 本发明根据双目立体深度测量的原理，使用TVS为输入源，通过比较左右TVS产生的AE 序列进行时间-空间匹配。由于TVS采用变化采样、异步输出、地址事件表示的成像原理，因 此具有极低数据冗余、高实时性与时间分辨率的优势，非常适合于运动目标的立体深度测 量计算。
[0015] 同时由于采用"变化采样+像素异步输出"的采样原理，因此场景中的变化能够W 微秒级的延迟被感知和输出，相当于帖采样下的几千~几万帖/每秒。如此高的时间分辨率 深度计算具有更高的准确性，适合于高速运动目标跟踪与定位应用;TVS的数据输出量通常 只有"帖采样"图像传感器的5-10%，因此计算量大为降低，深度计算的实时性大大提高，同 时有利于系统成本的降低。
【附图说明】
[0016] 图1是双目视觉立体深度计算的基本原理W及平行式双目相机的构成图；左:=角 测距原理;右:双目相机平行配置； 图2是使用双目视觉方法进行立体深度匹配计算的示例图；从左到右分别为：左视图； 右视图；视差图； 图3是本发明的TVS双目视觉系统的硬件结构图； 图4是本发明的使用时域视觉传感器的双目立体深度匹配方法的流程图。
【具体实施方式】
[0017] W下参照附图对本发明的使用时域视觉传感器的双目立体深度匹配方法进行详 细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的 限制。
[0018] 近年来，研究者依据生物视觉"变化采样"的原理，采用超大规模集成电路(VLSI) 技术设计出新型工作模式的"视觉传感器(Vision Sensor, VS)"。原理包括： (1) 、生物视觉系统不W "帖"的方式进行成像，视觉感光细胞只对变化敏感，并将运种 变化W神经脉冲的形式传递到大脑视皮层进行处理； (2) 、模仿生物视觉的成像机理，VS像素只对场景中的"变化事件(Activity Event， AE)"敏感并采样输出。按其性质，AE可分为空间变化(某像素与其周边像素的亮度关系发生 变化)和时间变化(像素自身的亮度发生变化)两大类。时域变化敏感的视觉传感器称之为 时域视觉传感器(Temporal Vision Sensor ,TVS); (3) 、TVS中的各像素自主地检测所感受的光强是否发生变化。具体方法是每个像素周 期测量极短时间内的光生电流变化量。当光生电流变化量超过设定的阔值时，表明该点所 受的光强发生变化，因此每个AE的产生代表了光强发生了固定的变化量。像素产生的AE通 过串行总线异步输出，像素间互不关联； (4)