基于深度相机与双目视觉复合的三维成像系统及成像方法
【技术领域】
[0001] 本发明设及一种=维成像系统，尤其设及一种基于深度相机与双目视觉复合的= 维成像系统及成像方法。
[0002] 背景介绍
[0003] =维成像技术因其可W探测场景内物体的形状W及相对位置等信息，现已越来越 广泛应用于社会各领域，如航空航天、测绘、机器人导航、影视制作等。当前，主动式深度相 机和被动式双目立体视觉技术是获取场景=维图像的两种主要技术手段。本文在实验室项 目组W往研究成果的基础上，对深度相机与双目立体视觉复合=维成像技术进行研究，W 期结合两种技术的各自优势实现近距离处快速、高精度场景=维探测。目前实现=维成像 的方法主要有飞行世间法和双目视觉法。
[0004] 飞行时间法是利用脉冲光源，通过测量光信号在物体之间的传播时间获得其相对 距离，运种方法可W达到比较高的测量精度和成像分辨率。 阳〇化]双目视觉法，即是=角测距法，运种方法测量系统的两个摄像机从不同的角度对 同一场景进行拍摄，获取该场景的两张含有视差信息的数字图像。通过立体匹配确定场景 中同一点在两幅图像中的坐标位置，根据两摄像机的相对位置，利用=角关系即可计算该 点的空间S维坐标。
[0006] 上述方法中，第一种方法成本低，成像速度快，分辨率较高，但其探测距离和精度 受到有较大的局限。第二种方法虽然在近距离成像精度高，但是只限于近距离，而且=维图 像恢复算法复杂，计算量大，不容易实现高速成像。
[0007] 将深度相机与双目立体视觉技术进行融合，利用两种技术的各自优势实现快速、 高精度的=维测量是当前检测领域的研究热点之一。深度相机和双目立体视觉的融合，根 据方法的不同可W分为两种类型，后融合和先融合。后融合是指分别利用深度相机和双目 立体视觉技术获取同一场景的=维数据，然后对场景中的不同区域根据两种技术的优缺点 进行数据级的融合，W使系统最终输出的=维数据更加准确。先融合是指将深度相机的数 据作为先验知识融入双目立体视觉的匹配算法中，对立体匹配进行先验约束，W简化立体 匹配过程。
【发明内容】
[0008] 本发明的目的在于针对现有技术的局限和不足，结合深度相机和双目视觉相机， 提供一种基于深度相机与双目视觉复合的=维成像系统及成像方法，W实现高分辨、高精 度、高速成像。
[0009] 本发明的目的是通过W下技术方案实现的：一种基于深度相机与双目视觉复合的 =维成像系统，它包括：一台双模相机、一台普通相机、数据处理器和显示终端；双模相机、 普通相机和显示终端均与数据处理器相连；所述双模相机包括多个窄脉冲激光光源、光带 通滤波器、图像传感器、电子快口和成像物镜；其中，窄脉冲激光光源和图像传感器均与数 据处理器相连；成像物镜、光带通滤波器、图像传感器依次排列于同一光路上，窄脉冲激光 光源固定在成像物镜上；电子快口与图像传感器相连。
[0010] 一种=维成像方法，包括W下步骤：
[0011] (1)双模相机采用深度相机工作模式采集T0F深度图像，具体为：窄脉冲激光光源 向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜、光带通滤波器，被 图像传感器感光；数据处理器通过电子快口控制图像传感器在曝光时间内成像，并对图像 进行处理，获得T0F深度图像；
[0012] (2)双模相机和普通相机同时采集普通视图图像：双模相机采用普通相机工作模 式采集普通视图图像：脉冲激光光源不工作，使用环境光进行照明，图像传感器获得场景的 普通灰度视图，数据处理器对普通灰度视图进行处理，获得普通视图图像；同时，普通相机 采集普通视图图像。
[0013] (3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器在T0F深 度图像的视差捜索范围内约束引导完成双目立体匹配，获得双目视差图；双目匹配过程中， 利用双模相机采用深度相机工作模式获得的T0F深度图像作为约束条件，利用Census变换 方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并W灰度的联合概 率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。
[0014] 所述约束条件为：双目匹配过程W任意一副普通视图图像为参考视图，像素点 P(i，j)对应于深度相机获得的T0F深度图像的T0F距离为Z，则该点视差捜索范围的两个 边界值可表示为：
阳017] 其中，B为双模相机和普通相机物镜的中屯、轴之间的距离，F为双模相机和普通相 机的等效焦距，5为双模相机在深度相机模式下的测距精度。
[0018] (4)针对双目视差图中的无效区域，用T0F深度图像中的对应部分进行对填充，生 成场景=维图像；所述无效区域为：双目视差图中与无视差区域相对应的区域，无视差区 域为两个普通视图图像中，无视差的区域。
[0019] 本发明的有益效果是，若没有深度相机获得的深度图像的约束，则像素P(i，j)对 应的视差捜索范围为[0，w-j]，其中W为图像的像素宽度。根据上式和深度相机获得的T0F 深度图像，可计算待匹配视图中每一个像素的视差捜索范围，在此约束下进行双目匹配可 W有效加速匹配过程并减小匹配误差。同时可W实现高分辨、高精度、高速成像的=维成像 系统。
【附图说明】
[0020] 图1是某环境下场景实验效果图；
[0021] 图2是双目视觉匹配结果图；
[0022] 图3是双目匹配无效区域填充后场景1对应深度图像；
[0023] 图4是深度相机与双目视觉系统结合原理示意图；
[0024] 图5是S维成像系统的结构原理示意图； 阳0巧]图6是双模相机的结构原理示意图；
[0026] 图7是双目相机系统工作流程不意图；
[0027] 图中：窄脉冲激光光源1、光带通滤波器2、图像传感器3、电子快口 4、成像物镜5、 数据处理器6。
【具体实施方式】
[0028] 下面结合附图详细描述本发明。
[0029] 如同5所示，一种基于深度相机与双目视觉复合的=维成像系统，它包括：一台双 模相机、一台普通相机、数据处理器6和显示终端；双模相机、普通相机和显示终端均与数 据处理器6相连；如图6所示，所述双模相机包括多个窄脉冲激光光源1、光带通滤波器2、 图像传感器3、电子快口 4、成像物镜5;其中，窄脉冲激光光源1是由能产生微秒纳秒级光 脉冲的