一种基于空时域配准的多模态三维感知方法和系统

本发明涉及计算机视觉，尤其涉及一种基于空时域配准的多模态三维感知方法和系统。

背景技术：

0、技术背景

1、在日常生活中的智慧交通、安防监控等应用领域中，可见光相机无法捕获场景中的三维信息，且在恶劣天气条件下会失去作用，无法获取场景的颜色及纹理信息，这就使得对自然场景的全天候三维感知变得尤为困难。而多模态的数据融合可以利用不同模态传感器间的互补优势，如激光雷达的精准三维信息获取能力、红外相机在低光照环境下的成像能力以及毫米波雷达具有极强穿透力的感知能力，目前已经在自动驾驶、医学诊断、遥感等领域得到了广泛应用。然而，现有的空时域配准方法难以覆盖多模态系统中的所有传感器，从而造成系统整体空时域配准精度不足的问题。

2、以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。

技术实现思路

1、为解决全天候条件下的感知问题，本发明提出一种基于空时域配准的多模态三维感知方法和系统，保证多模态感知系统整体具有很高的空时域配准精度，提高多模态三维感知性能。

2、为了达到上述目的，本发明实施例采用以下技术方案：

3、一种基于空时域配准的多模态三维感知方法，包括以下步骤：

4、z1：搭建多模态三维感知系统，所述多模态三维感知系统包括激光雷达稠密点云采集子系统、可见光相机阵列二维光场采集子系统、红外相机热像采集子系统和毫米波雷达点云采集子系统；所述激光雷达数据采集子系统用于采集包含场景三维空间信息的稠密点云；所述可见光相机阵列可以采集包含场景深度及纹理和色彩信息的二维光场数据，从而进一步提高深度感知分辨率；所述毫米波雷达点云采集子系统用于采集场景中物体的速度信息，并补充深度信息；所述红外相机热像采集子系统用于采集场景的热分布信息；

5、z2：通过同步模块对激光雷达的数据采集时序进行检测，所述同步模块以激光雷达的数据采集时序为基准生成触发信号给可见光相机阵列二维光场采集子系统和红外相机热像采集子系统，同时输出触发报文给毫米波雷达点云采集子系统，从而实现各个子系统之间的硬触发同步；并结合全局统一授时以及最近邻匹配算法实现系统的时域配准；

6、z3：对数据采集子系统进行外参标定以确定空间相对位置关系，通过统一数据的空间坐标系实现系统的空域配准；

7、z4：基于场景三维稠密点云进行数据融合，实现三维点云增强，提高三维目标检测、语义分割等应用的性能。

8、进一步地：

9、步骤z2中，通过捕获激光雷达的数据采集时序，在可见光相机之间通过硬触发电平信号进行同步，激光雷达和可见光相机之间通过硬触发电平信号进行同步，激光雷达和红外相机之间通过硬触发电平信号进行同步，激光雷达和毫米波雷达之间通过硬触发报文进行同步。

10、步骤z2中，采用gps作为统一的时钟源为各个模态提供时间基准，将gps同步器连接可见光相机，从而将gprmc信息转换为毫秒级时间信息发送给相机；红外相机基于硬触发，以上位机接收到数据的时间作为基准，寻找最邻近的相机阵列帧的时间作为其数据的时间戳；毫米波雷达接收同步模块发送的授时报文从而获取时间信息；激光雷达提供接口，可以直接接收gps输出的gprmc报文，从而实现授时；由此，各模态在相同gps时钟源输出的时间基准之下，使用最近邻匹配算法，实现时域配准。

11、步骤z3具体包括：以所述可见光相机阵列二维光场采集子系统为参考基准，通过所述可见光相机阵列二维光场采集子系统自标定、所述可见光相机阵列二维光场采集子系统与所述激光雷达稠密点云采集子系统之间的外参联合标定、所述可见光相机阵列二维光场采集子系统与所述毫米波雷达点云采集子系统之间的外参联合标定、所述可见光相机阵列二维光场采集子系统与所述红外相机热像采集子系统之间的外参联合标定得到各个数据采集子系统之间的空间位置关系，然后将不同模态的数据进行坐标系变换，统一到相同的空间坐标系中，实现空域配准。

12、所述可见光相机阵列二维光场采集子系统的可见光相机之间的空域配准具体包括：通过在场景中不同位置不同位姿放置棋盘格标定板，进行棋盘格角点检测，使用图像处理算法检测每张图片中棋盘格的角点；通过张正友标定法实现内参标定，使用检测到的棋盘格角点，通过计算相机内部参数的优化算法，获得相机的内部参数；使用棋盘格角点的3d坐标和对应的2d像素坐标，通过pnp算法优化算法，得到可见光相机与可见光相机之间的外参标定结果实现内外参数标定。

13、所述可见光相机阵列二维光场采集子系统与所述激光雷达稠密点云采集子系统之间的外参联合标定具体包括：利用棋盘格边界产生3d线对应关系；在相机帧中，通过计算线的反投影平面与棋盘格的交点来获得3d线；在激光雷达坐标系中，从边界上的激光点估计3d线；通过结合平面和线对应关系，同时从激光雷达和相机数据中提取棋盘格在激光雷达为原点的坐标系中的角点和平面以及在像素坐标系下棋盘格角点的坐标位置，最后求解出它们之间空间坐标系的几何关系。

14、所述可见光相机阵列二维光场采集子系统与所述毫米波雷达点云采集子系统之间的外参联合标定具体包括：通过在场景中放置雷达标定物角反射器，获取以雷达坐标系为原点的得到的反射强度最大的角点，并识别出相机中角反射器中心在图像坐标系下的位置，计算真实三维点和对应像素的全局单应性矩阵，完成毫米波雷达与可见光相机间相对位置关系的求解。

15、所述可见光相机阵列二维光场采集子系统与所述红外相机热像采集子系统之间进行外参联合标定具体包括：通过加热红外标定板，在场景中不同位置以不同位姿放置红外标定板，通过棋盘格检测算法得到可见光相机与红外相机各自检测到棋盘格角点的位置，得到在可见光相机与红外相机坐标系下其对应角点的坐标，计算对应角点对应的全局单应性矩阵，实现所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的标定。

16、步骤z4具体包括：基于各个子系统之间的空间位置关系，将多模数据进行坐标系变换，使得所有数据在相同的空间坐标系中配准对齐，进而实现多模数据的融合。

17、一种基于空时域配准的多模态三维感知系统，包括处理器，所述处理器经配置以执行计算机程序，实现所述的基于空时域配准的多模态三维感知方法。

18、在一些实施例中，所述激光雷达数据采集子系统用于采集包含丰富场景三维信息的稠密点云数据；所述可见光相机阵列数据采集子系统用于采集包含场景深度以及纹理和色彩信息的二维光场数据；所述毫米波雷达点云采集子系统用于采集场景中物体的速度信息以及补充深度信息；所述红外相机数据采集子系统用于采集场景的热分布信息。

19、在一些实施例中，步骤z2具体包括通过捕获激光雷达的数据采集时序，在可见光相机之间通过硬触发电平信号进行同步，激光雷达和可见光相机之间通过硬触发电平信号进行同步，激光雷达和红外相机之间通过硬触发电平信号进行同步，激光雷达和毫米波雷达之间通过硬触发报文进行同步。

20、在一些实施例中，各个数据采集子系统的全局统一授时包括：采用gps作为统一的时钟源为各个模态提供时间基准，通过将gps信号发送给可见光相机，获取当前帧的精准时间戳，红外由于硬触发因此时间戳与可见光相机相同，毫米波雷达与激光雷达都根据gps输出的报文获取精准时间，实现全局统一授时。

21、在一些实施例中，步骤z3具体包括：以所述可见光相机阵列二维光场采集子系统为参考基准，通过所述可见光相机阵列数据采集子系统自标定、所述可见光相机阵列数据采集子系统与所述激光雷达点云数据采集子系统之间的外参联合标定、所述可见光相机阵列数据采集子系统与所述毫米波雷达点云采集子系统之间的外参联合标定、所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的外参联合标定得到各个数据采集子系统之间的相对位置关系，以实现系统的空域配准。

22、在一些实施例中，所述可见光相机阵列二维光场采集子系统与所述毫米波雷达点云采集子系统之间的外参联合标定具体包括：通过在场景中放置雷达标定物角反射器，计算雷达扫过平面真实三维点和对应像素的全局单应性矩阵，完成雷达与可见光相机间相对位置关系的求解。

23、在一些实施例中，所述可见光相机阵列二维光场采集子系统与所述红外相机热像采集子系统之间进行外参联合标定具体包括：通过加热红外标定板，在场景中不同位置放置红外标定板，得到可见光相机与红外相机各自检测到标点板角点的位置，计算对应角点对应的单应性矩阵，实现所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的标定。

24、在一些实施例中，所述可见光相机阵列二维光场采集子系统与所述激光雷达稠密点云采集子系统之间的外参联合标定具体包括：使用棋盘格标定板。从激光雷达和相机数据中提取棋盘格的角点和平面，然后建立它们之间坐标系的几何关系来进行校准。

25、与现有技术相比，本发明的有益效果在于：

26、本发明提出的基于稠密点云的多模态三维感知方法及系统，构建由激光雷达稠密点云采集子系统、可见光相机阵列二维光场采集子系统、红外相机热像采集子系统及毫米波雷达点云采集子系统，并且设置同步模块，利用该同步模块，各数据采集子系统之间通过激光雷达的数据采集时序生成触发信号，实现各个子系统之间的硬触发同步，并结合全局统一授时以及最近邻匹配算法实现系统的时域配准。具体地，本发明通过同步模块对激光雷达的数据采集时序进行检测，所述同步模块以激光雷达的数据采集时序为基准生成触发信号给可见光相机阵列二维光场采集子系统和红外相机热像采集子系统，同时输出触发报文给毫米波雷达点云采集子系统，从而实现各个子系统之间的硬触发同步；并结合全局统一授时以及最近邻匹配算法实现系统的时域配准。进一步地，各个数据采集子系统之间进行外参标定以确定相对位置关系，然后进行坐标系变换，将数据统一到相同空间坐标系中，实现系统的空域配准；最终，利用所述激光雷达稠密点云采集子系统提供丰富场景三维空间信息，利用可见光相机阵列二维光场采集系统提供深度、颜色及纹理信息，从而提高三维深度感知分辨率，利用所述红外相机热像采集子系统提供场景轮廓及热分布信息，利用所述毫米波雷达点云采集子系统提供物体速度信息，多模态数据间进行数据融合，充分利用不同模态数据间的互补优势，实现全天候条件下的三维点云增强，提高三维目标检测，语义分割等应用的性能。