一种用于多传感器融合的时间同步方法、系统及装置

本发明涉及一种用于多传感器融合的时间同步方法、系统及装置，属于人工智能、多传感器融合应用领域。

背景技术：

1、传感器是智能驾驶系统感知外界环境的关键，其协同性能直接决定了自动驾驶车辆的安全性。多传感器融合(multi-sensor fusion,msf)技术，是利用现有计算机相关知识与技术，综合利用不同传感器的信息和数据，以一定的准则进行自动分析和融合，避免了感知限制和不确定性，形成对环境更全面的感知和识别。目前，多传感器融合技术已广泛应用于故障检测领域、遥感、人体健康监测、机器人系统、人机交互、目标识别和跟踪、同时定位和映射和高级驾驶员辅助系统(adas)等领域。

2、为实现多传感器数据的有效融合，首先需要实现多传感器的高度集成，同时采用一定的技术手段实现各传感的多源数据统一于同一时间基准，时间基准的统一需要保证采集系统绝对时间精度在一定误差范围内并能够对多传感器数据进行超低时延的同步采集。

3、当前多源传感器时间同步方案主要是基于以太网的ieee 1588(或ieee802.1as)时钟同步协议，以太网的ieee 1588是基于以太网的高精度时钟同步协议，能够实现以太网中多个从节点(各种传感器)与主节点(主机)之间的亚微秒级时钟同步，但是前提是所有节点之间都通过以太网互联，并且每个节点都支持1588协议，从而导致现有的时间同步方案适用范围小。

技术实现思路

1、本发明提供了一种用于多传感器融合的时间同步方法、系统及装置，解决了背景技术中披露的问题。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、一种用于多传感器融合的时间同步方法，包括：

4、向激光雷达发送包含utc时间的gprmc报文和pps信号，利用pps信号的上升沿将utc时间写入激光雷达，使激光雷达与utc时间同步；

5、向所有光学设备发送统一的触发信号，触发所有光学设备，并使各类光学设之间时间同步；

6、计算最近时间的一帧光学设备数据和一帧激光雷达数据的时间差，利用时间差对触发信号进行补偿，并用补偿后的触发信号重新触发所有光学设备，使所有光学设备与激光雷达之间时间同步；

7、将imu数据帧与激光雷达数据帧进行就近时间戳对齐，使imu与激光雷达之间时间同步。

8、利用pps信号的上升沿将utc时间写入激光雷达，使激光雷达与utc时间同步，包括：

9、在激光雷达接收到gprmc报文后，将后续接收到的第一个pps信号的上升沿作为激光雷达内部时钟重新计算的触发信号，将utc时间写入激光雷达内部，完成激光雷达的授时，使激光雷达与utc时间同步。

10、触发信号为方波信号，将方波信号的上升沿作为触发光学设备的信号。

11、在进行就近时间戳对齐时，若相邻两imu数据帧分布在一激光雷达数据帧两侧，并且与激光雷达数据帧的距离均大于阈值，对相邻两imu数据帧之间的区间进行插值，获得与激光雷达数据帧对齐的imu数据帧。

12、一种用于多传感器融合的时间同步系统，包括：

13、gprmc报文和pps信号模块，向激光雷达发送包含utc时间的gprmc报文和pps信号，利用pps信号的上升沿将utc时间写入激光雷达，使激光雷达与utc时间同步；

14、触发信号模块，向所有光学设备发送统一的触发信号，触发所有光学设备，并使各类光学设之间时间同步；

15、触发信号补偿模块，计算最近时间的一帧光学设备数据和一帧激光雷达数据的时间差，利用时间差对触发信号进行补偿，并用补偿后的触发信号重新触发所有光学设备，使所有光学设备与激光雷达之间时间同步；

16、时间戳对齐模块，将imu数据帧与激光雷达数据帧进行就近时间戳对齐，使imu与激光雷达之间时间同步。

17、一种用于多传感器融合的时间同步装置，其特征在于，包括工控机、以及与工控机连接的激光雷达、imu和多种光学设备；工控机采用用于多传感器融合的时间同步方法进行时间同步。

18、多种光学设备包括彩色相机、灰度鱼眼相机、深度相机、热成像仪和多光谱相机。

19、本发明所达到的有益效果：本发明采用gprmc报文和pps信号实现激光雷达与utc时间同步，采用统一的触发信号实现各类光学设之间时间同步，采用补偿后的触发信号实现光学设备与激光雷达之间时间同步，采用就近时间戳对齐方法实现imu与激光雷达之间时间同步，可以避免对1588协议的依赖，大大增强了适用范围。

技术特征：

1.一种用于多传感器融合的时间同步方法，其特征在于，包括：

2.根据权利要求1所述的一种用于多传感器融合的时间同步方法，其特征在于，利用pps信号的上升沿将utc时间写入激光雷达，使激光雷达与utc时间同步，包括：

3.根据权利要求1所述的一种用于多传感器融合的时间同步方法，其特征在于，触发信号为方波信号，将方波信号的上升沿作为触发光学设备的信号。

4.根据权利要求1所述的一种用于多传感器融合的时间同步方法，其特征在于，在进行就近时间戳对齐时，若相邻两imu数据帧分布在激光雷达数据帧两侧，并且与激光雷达数据帧的距离均大于阈值，对相邻两imu数据帧之间的区间进行插值，获得与激光雷达数据帧对齐的imu数据帧。

5.一种用于多传感器融合的时间同步系统，其特征在于，包括：

6.一种用于多传感器融合的时间同步装置，其特征在于，包括工控机、以及与工控机连接的激光雷达、imu和多种光学设备；工控机采用权利要求1～4任一项所述的方法进行时间同步。

7.根据权利要求6所述的一种用于多传感器融合的时间同步装置，其特征在于，多种光学设备包括彩色相机、灰度鱼眼相机、深度相机、热成像仪和多光谱相机。

技术总结
本发明公开了一种用于多传感器融合的时间同步方法、系统及装置，本发明采用GPRMC报文和PPS信号实现激光雷达与UTC时间同步，采用统一的触发信号实现各类光学设之间时间同步，采用补偿后的触发信号实现光学设备与激光雷达之间时间同步，采用就近时间戳对齐方法实现IMU与激光雷达之间时间同步，可以避免对1588协议的依赖，大大增强了适用范围。

技术研发人员：高浩,朱海鹏,葛森林,宋杰
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/12