一种基于多类型相机的SLAM融合方法及其系统与流程

文档序号:19276902发布日期:2019-11-29 22:24阅读:来源:国知局

技术特征:

1.一种基于多类型相机的slam融合方法,其特征在于:包括以下步骤,

在车身前侧分别安装多类型的摄像机模块(100);

对所述摄像机模块(100)进行相机标定;

所述摄像机模块(100)采集图像信息并对其采集的图像进行矫正和orb特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐;

所述硬件同步模块(200)将所述摄像机模块(100)采集的不同类型图像信息在时间戳上同步;

slam融合模块(300)将所述摄像机模块(100)采集的不同类型图像进行图像融合进行车载显示。

2.如权利要求1所述的基于多类型相机的slam融合方法,其特征在于:所述摄像机模块(100)还包括单目相机模块(101)、双目相机模块(102)、rgb-d相机模块(103)。

3.如权利要求2所述的基于多类型相机的slam融合方法,其特征在于:所述单目相机模块(101)采集图像信息并对其采集的图像进行矫正和orb特征点的抽取,同时所述双目相机模块(102)对其采集的图像进行深度图的计算,同时所述rgb-d相机模块(103)将其采集的彩色图与深度图对齐。

4.如权利要求1~3任一所述的基于多类型相机的slam融合方法,其特征在于:所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵,多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。

5.如权利要求4所述的基于多类型相机的slam融合方法,其特征在于:所述相机相对于车载坐标系的变换矩阵获取包括如下步骤,

标定摄像机模块(100)并将所述摄像机模块(100)设置于车身(400)的预设目标位置上;

在预设拍摄位置上放置原始标定图案(500);

利用所述摄像机模块(100)拍摄所述原始标定图案(500)得到所述拍摄图像(600);

对所述拍摄图像(600)进行预处理,获取所述拍摄图像(600)的像素坐标与参照坐标系间的坐标变换关系。

6.如权利要求5所述的基于多类型相机的slam融合方法,其特征在于:定义所述参照坐标系包括以下步骤,

选取所述车身(400)上的任一位置为原点o;

根据所述原点o定义车身坐标系o1为所述参照坐标系。

7.如权利要求6所述的基于多类型相机的slam融合方法,其特征在于:所述变换矩阵推算包括以下步骤,

标定所述摄像机模块(100)并获取其标定数据;

所述拍摄图像(600)根据所述标定数据进行畸变校正,获得消除畸变图像并求出畸变校正的图像变换映射e1;

利用所述消除畸变图像中标定图案的特征点获取像素坐标;

利用所述像素坐标和所述原始标定图案(500)的位置坐标求出透视变换矩阵e2,且所述位置坐标相对于所述车身坐标系o1;

定义所述拍摄图像(600)的像素坐标与所述车身坐标系o1的变换关系为e=e2·e1。

8.如权利要求4~7任一所述的基于多类型相机的slam融合方法,其特征在于:所述硬件同步模块(200)包括单片机模块(201)、gps时间接收机(202)和rtc芯片;

所述单片机模块(201)时间信息接收模块接收所述gps时间接收机(202)的时间信息和时间脉冲;所述rtc芯片与所述单片机模块(201)内的rtc模块连接;相机反馈信号连接所述单片机模块(201)的反馈信号检测模块。

9.如权利要求8所述的基于多类型相机的slam融合方法,其特征在于:所述slam融合包括以下步骤,

根据实时所处的场景的环境因数,决策单元选择合适的相机作为当前场景下的主使用相机;

将其它相机的特征点通过变换矩阵计算出在当前主使用相机的图像坐标点,并以所述图像坐标点为坐标原点;

固定半径范围内搜索得出距离最短的特征点,滤出超出一定距离阈值的外点,输出更加可靠的特征点。

10.一种基于多类型相机的slam融合系统,其特征在于:包括摄像机模块(100)、硬件同步模块(200)和slam融合模块(300);

所述摄像机模块(100)设置于车身(400)且与水平面平行的多类型相机,还包括单目相机模块(101)、双目相机模块(102)、rgb-d相机模块(103);

所述硬件同步模块(200)用于所述单目相机模块(101)、所述双目相机模块(102)和所述rgb-d相机模块(103)在时间戳上的同步;

所述slam融合模块(300)将所述摄像机模块(100)采集的多类型图像信息进行融合并与车载显示器进行显示。


技术总结
本发明公开了一种基于多类型相机的SLAM融合方法及其系统,包括以下步骤,在车身前侧分别安装多类型的摄像机模块;对所述摄像机模块进行相机标定;所述摄像机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐;所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步;SLAM融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。本发明的有益效果:将辅助用的相机的信息投射到主用的相机中,从而能提高整个系统的鲁棒性,解决单种类相机的使用瓶颈方案硬件成本低。

技术研发人员:马鑫军
受保护的技术使用者:的卢技术有限公司
技术研发日:2019.08.30
技术公布日:2019.11.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1