基于RGB相机和雷达的自动标定生成模型的方法和装置与流程

本发明涉及多传感器数据融合，具体为一种基于rgb相机和雷达的自动标定生成模型的方法和装置。

背景技术：

1、目前，rgb相机用于平面图像拍摄，激光雷达用于三维点云获取，两者处于不同维度，数据不能直接融合；而对于多个rgb相机不同拍摄角度的照片，难以融合建模，计算时间长，虽然雷达建模时间短，速度快，但是无法和rgb相机图片直接融合；研究人员经过大量研究，研究出了融合rgb相机数据和雷达数据的检测模型，以集合两者优点，但是检测模型还存在一些问题，具体地，融合rgb相机数据和雷达数据中雷达数据较单一，因为多个雷达的不同角度的三维数据，往往要经过复杂的标定，才能融合在一个模型中，而且由于多个雷达的扫描数据的叠加，以及同一个雷达中心点数据数十倍于边缘点数据，这些融合数据的计算非常缓慢，从而基于rgb相机数据和雷达数据的融合速度慢，生成模型也慢；并且对于雷达坐标，要自动计算矫正，传统的方式中采用三坐标同时矫正，会面临较大的计算量和很长的计算时间，进一步影响模型的生成速度。

2、因此现在急需一种基于rgb相机和雷达的自动标定生成模型的方法，能让任意数量的rgb相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有rgb信息和激光强弱信号的3d大场景模型。

技术实现思路

1、本发明的目的之一在于提供一种基于rgb相机和雷达的自动标定生成模型的方法，能让任意数量的rgb相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有rgb信息和激光强弱信号的3d大场景模型。

2、本发明提供的基础方案一：基于rgb相机和雷达的自动标定生成模型的方法，包括如下内容：

3、场景准备，构建需要识别的场景，并进行设备设置；其中设备包括：rgb相机和雷达；

4、进行设备自检；其中雷达自检，包括：雷达基于地平面的自动检测，包括：雷达坐标的自动校正，通过寻找场景中的地面构成特征，围绕垂直于地面的z轴，进行模糊计算，并围绕z轴旋转雷达，完成雷达坐标校准；

5、获取rgb相机数据和雷达数据；

6、判断rgb相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数。

7、基础方案的有益效果：本方案先进行场景准备，构建需要识别的场景，并进行设备设置，即在需要识别的场景设置rgb相机和雷达，个数根据需求设置；然后进行设备自检，其中雷达自检，包括：雷达基于地平面的自动检测，用于雷达坐标的自动校正，包括：寻找场景中的地面构成特征，全自动精确矫正地面雷达坐标，围绕垂直于地面的z轴，进行模糊计算，并围绕z轴旋转雷达，完成雷达坐标校准；相对于传统的方式中采用三坐标同时矫正，会面临较大的计算量和很长的计算时间，进一步影响模型的生成速度，上述雷达坐标更简单快速，既节约了计算量和系统的硬件成本，又能降低绝大部分人工参与工作量和保证精度。

8、设备自检完成后，获取rgb相机数据和雷达数据；判断rgb相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数，从而让任意数量的rgb相机数据和雷达数据进行融合，快速生成带有rgb信息和激光强弱信号的3d大场景模型。

9、综上所述，本方案能让任意数量的rgb相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有rgb信息(rgb相机数据)和激光强弱信号(雷达数据)的3d大场景模型。

10、进一步，所述设备，还包括：计算硬件资源；

11、所述进行设备自检，包括：

12、进行雷达自检，若通过则进行摄像头自检，若未通过则执行场景准备；

13、进行摄像头自检，若通过则进行计算硬件资源自检，若未通过则执行场景准备；

14、进行计算硬件资源自检，若通过则进行获取扫描数据和抓拍，若未通过则执行场景准备。

15、有益效果：设备进行逐个自检，自检通过后才进行后续步骤，以保障数据采集和后续计算的准确性。

16、进一步，所述雷达分辨率不低于640乘以480。

17、有益效果：雷达分辨率不低于640乘以480，以保障后续计算精度。

18、本发明的目的之二在于提供一种基于rgb相机和雷达的自动标定生成模型的装置。

19、本发明提供基础方案二：基于rgb相机和雷达的自动标定生成模型的装置，采用上述基于rgb相机和雷达的自动标定生成模型的方法，包括：雷达、rgb相机、poe交换机和终端；

20、雷达、rgb相机和终端均与poe交换机连接，通过poe交换机进行信息传输；

21、雷达和rgb相机用于对构建的需要识别的场景进行识别，并生成雷达数据和rgb相机数据通过poe交换机发送给终端；

22、终端，用于判断rgb相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数；

23、还用于寻找场景中的地面构成特征，围绕垂直于地面的z轴，进行模糊计算，并围绕z轴旋转雷达，完成雷达坐标校准。

24、进一步，所述雷达分辨率不低于640乘以480。

技术特征：

1.基于rgb相机和雷达的自动标定生成模型的方法，其特征在于，包括如下内容：

2.根据权利要求1所述的基于rgb相机和雷达的自动标定生成模型的方法，其特征在于，所述设备，还包括：计算硬件资源；

3.根据权利要求1所述的基于rgb相机和雷达的自动标定生成模型的方法，其特征在于，所述雷达分辨率不低于640乘以480。

4.基于rgb相机和雷达的自动标定生成模型的装置，其特征在于，采用如权力要求1-3任一项所述基于rgb相机和雷达的自动标定生成模型的方法，包括：雷达、rgb相机、poe交换机和终端；

5.根据权利要求4所述的基于rgb相机和雷达的自动标定生成模型的装置，其特征在于，所述雷达分辨率不低于640乘以480。

技术总结
本发明涉及多传感器数据融合技术领域，具体为一种基于RGB相机和雷达的自动标定生成模型的方法和装置，其中方法包括：场景准备，进行设备自检；其中雷达自检，包括：雷达基于地平面的自动检测，包括：雷达坐标的自动校正，通过寻找场景中的地面构成特征，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准；获取RGB相机数据和雷达数据；判断RGB相机数据和雷达数据是否已经标定，对未标定和已标定的RGB相机数据和雷达数据进行不同处理。本方案能让任意数量的RGB相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有RGB信息和激光强弱信号的3D大场景模型。

技术研发人员：张怒涛,易春华,黄菠,白庆平,谭波,陈帆
受保护的技术使用者：重庆凯瑞测试装备有限公司
技术研发日：
技术公布日：2024/1/5