一种融合了深度相机和普通相机的传感器及实现方法与流程

本发明属于仪器技术领域，涉及一种融合了深度相机和普通相机的传感器及实现方法。

背景技术：

随着商用机器人，家用机器人，工业机器人的兴起，对机器视觉的需求越来越高。目前普通相机(2d相机)已经广泛的应用到机器人的视觉系统中，完成识别检测等各种功能。同时3d相机(具有深度信息的相机)也越来越多的得到使用，提供深度避障，构建地图等功能。这两种相机传感器往往需要同时使用，提供深度信息，同时提供丰富的颜色和2d信息，以完成复杂的功能，比如像人一样的自然导航。

tof(timeofflight)原理的深度相机是深度相机中的一种，通过测量光的飞行时间来探测物体到相机的距离。这种深度相机包含光的发射端和接收端。接收端的结构和普通相机非常类似，包含光学镜头和感光芯片。和普通彩色相机不同的是，tof深度相机通常采用红外光作为主动发射光。

目前集成了深度相机和彩色普通相机的一体化模组已经成为趋势。如图4所示，这两种模组单个模组具有各自独立的镜头，并分别成像，然后通过刚体结构绑定在一起。同时因为他们的视野不同，往往需要进行两个相机的外参标定。因为物理上两个相机有一定的距离，在近处会形成盲区；通过标定参数进行像素级别的对准也需要消耗大量的计算资源。

在现有技术中，硬件部分一般需要有两套光学系统，一套是彩色普通相机系统，一套是tof深度相机系统。每个系统有分别有成像的镜头和感光的芯片。这两套系统再通过刚体固定板进行固定，保证之后运行过程中不会有两套系统的位姿变化。

如图5所示，这两套光学系统有自己的光路系统，如果希望得到一幅整合了2维颜色信息，和3维深度信息的图像，还需要进行软件的处理。流程如下：1.分别标定两套光学系统的内参；2.标定两套光学系统的外参(旋转和平移矩阵等)；3.结合两套光学系统的内参和外参，通过几何投影关系把两幅数据进行融合，这其中需要进行像素基本的计算，比较消耗外部的计算资源。

现有技术有如下缺点：在近距离有盲区；需要进行标定校准；需要消耗外部的计算资源。

技术实现要素：

本发明解决现有技术存在的技术问题，从而提供一种融合了深度相机和普通相机的传感器及实现方法。

一种融合了深度相机和普通相机的传感器，包括光学镜头，分光棱镜，感光芯片和电子电路，整体支撑；光学镜头、分光棱镜、感光芯片和电子电路分别固定在整体支撑上；分光棱镜包含分光镜和棱镜；感光芯片包含tof深度相机芯片和普通彩色相机芯片；电子电路的供电电路给红外光源、tof深度相机芯片和普通彩色相机芯片提供电源，tof深度相机芯片和普通彩色相机芯片分别接收控制信号和发送数据传输给模组对外接口。

分光棱镜把可见光和红外光分开成两路；分光棱镜包含组合棱镜装置；组合棱镜装置包括红外发射及五棱镜反射装置，红外发射及五棱镜反射装置分别位于透镜分界的地方，光线穿透光学镜头通过红外发射膜，一部分光线穿透红外发射膜打在普通彩色相机芯片上，另一部分光线折射在五棱镜反射装置，通过五棱镜反射装置反射在红外发射上，这一部分光线经过红外发射由tof深度相机芯片接收。

光线穿透光学镜头，透过光学镜头的光线通过五棱镜装置，五棱镜装置上有红外发射及红外发射膜，红外发射膜把可见光和红外光分开成两路；一路红外光折射在红外发射上，通过tof深度相机芯片接收，另一路可见光穿透红外发射膜由普通彩色相机芯片接收。

分光棱镜包括五棱镜装置；通过红外发射膜把红外光反射到和可见光垂直的方向；可见光光路不变，沿行进方向到达普通彩色相机的普通彩色相机芯片上；红外光通过五棱镜两次反射后到达tof深度相机的tof深度相机芯片上。

光学镜头能够透过400nm-950nm的光，同时在这些光谱上进行像差的优化。

一种融合了深度相机和普通相机的传感器实现方法，含有以下步骤；

集成两种相机的传感器模组，通过光学方法进行光心对准，整合两套光学系统到一套光学系统上，通过一套光学系统实现深度图像的采集和普通光学图像的采集。

光线穿透光学镜头通过光学系统的红外发射膜，一部分光线穿透红外发射膜打在普通彩色相机芯片上，另一部分光线折射在五棱镜反射装置，通过五棱镜反射装置反射在红外发射上，这一部分光线经过红外发射由tof深度相机芯片接收。

透过光学镜头的光线通过光学系统的五棱镜装置，五棱镜装置上有红外发射及红外发射膜，红外发射膜把可见光和红外光分开成两路；一路红外光折射在红外发射上，通过tof深度相机芯片接收，另一路可见光穿透红外发射膜由普通彩色相机芯片接收。

光学系统的红外发射膜把红外光反射到和可见光垂直的方向；可见光光路不变，沿行进方向到达普通彩色相机的普通彩色相机芯片上；红外光通过五棱镜两次反射后到达tof深度相机的tof深度相机芯片上。

本发明提供一种集成了两种相机的传感器模组，可以在减小整体传感器模组的情况下，实现免外参标定，通过光学方法进行光心对准。新型的深度彩色传感器模组没有盲区，同时不需要后端提供像素对准所需的计算资源。

本发明通过光学设计，解决了两种模组的光学标定和对准的问题。提升了模组的集成度和外部的计算效率。

本发明的优点是整合两套光学系统到一套光学系统上，通过一套光学系统实现深度图像的采集和普通光学图像的采集。

相对于传统的方法有如下优点：

光学系统和整体的结构系统更紧凑，两个传感器芯片共用同一颗镜头，成本更低，避免了标定的过程；不需要消耗外部的计算资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。如图其中：

图1为本发明的之一结构示意图。

图2为本发明的之二结构示意图。

图3为本发明的之三结构示意图。

图4为现有技术的结构之一示意图。

图5为现有技术的结构之二示意图。

图6为本发明的控制电路示意图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：如图1、图2、图3及图6所示，一种融合了深度相机和普通相机的传感器，包括光学镜头2，分光棱镜3，感光芯片和电子电路，整体支撑1。

光学镜头2、分光棱镜3、感光芯片和电子电路分别固定在整体支撑1上。

光学镜头2能够透过400nm-950nm的光，同时在这些光谱上进行像差等的优化。

分光棱镜3将可见光和红外光分开成两路，分光棱镜3包含分光镜和棱镜。

感光芯片包含tof深度相机芯片5和普通彩色相机芯片4,tof深度相机芯片5和普通彩色相机芯片4为现有技术产品。

电子电路的供电电路给红外光源、tof深度相机芯片5和普通彩色相机芯片4提供电源，tof深度相机芯片5和普通彩色相机芯片4分别接收控制信号和发送数据传输给模组对外接口。

实施例2：如图1、图2、图3及图6所示，一种融合了深度相机和普通相机的传感器，包括光学镜头2，分光棱镜3，感光芯片和电子电路，整体支撑1。

光学镜头2、分光棱镜3、感光芯片和电子电路分别固定在整体支撑1上。或者整体支撑1连接支撑光学镜头2、分光光路3、感光芯片和电子电路。

光学镜头2能够透过400nm-950nm的光，同时在这些光谱上进行像差等的优化。

分光棱镜3将可见光和红外光分开成两路，分光棱镜3包含分光镜和棱镜。

感光芯片包含tof深度相机芯片5和普通彩色相机芯片4,tof深度相机芯片5和普通彩色相机芯片4为现有技术产品。

电子电路的供电电路给红外光源、tof深度相机芯片5和普通彩色相机芯片4提供电源，tof深度相机芯片5和普通彩色相机芯片4分别接收控制信号和发送数据传输给模组对外接口。

光学镜头：tof深度相机通常采用红外光，光谱在850nm-950nm之间，但是一般都用窄波段，比如918nm。普通彩色相机采用可见光，光谱在400nm-760nm之间。光学镜头2需要同时透过400nm-950nm的光，同时在这些光谱上进行像差等的优化。

分光棱镜3把可见光和红外光分开成两路。这个方案中分光棱镜3包含组合棱镜装置。两个透镜分界的地方采用红外反射膜把红外光反射回去，可见光部分可以透过，到达普通彩色相机的感光芯片上；红外光通过两次反射到达tof深度相机的感光芯片上。

如图2所示，组合棱镜装置包括红外发射6及五棱镜反射装置7，红外发射6及五棱镜反射装置7分别位于透镜分界的地方，光线穿透光学镜头2通过红外发射膜8，一部分光线穿透红外发射膜8打在普通彩色相机芯片4上，另一部分光线折射在五棱镜反射装置7，通过五棱镜反射装置7反射在红外发射6上，这一部分光线经过红外发射6由tof深度相机芯片5接收。

实施例3：如图1、图2、图3所示，一种融合了深度相机和普通相机的传感器，包含四部分：光学镜头、分光光路、感光芯片和电子电路部分，整体支撑结构部分，结构如同实施例1和实施例2。

如图3所示，光线穿透光学镜头2，透过光学镜头2的光线通过五棱镜装置9，五棱镜装置9上有红外发射6及红外发射膜8，红外发射膜8把可见光和红外光分开成两路。一路红外光折射在红外发射6上，通过tof深度相机芯片5接收，另一路可见光穿透红外发射膜8由普通彩色相机芯片4接收。

分光棱镜3包括五棱镜装置9。通过红外发射膜8把红外光反射到和可见光垂直的方向。可见光光路不变，沿行进方向到达普通彩色相机的普通彩色相机芯片4上。红外光通过五棱镜两次反射后到达tof深度相机的tof深度相机芯片5上。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。