一种激光雷达和相机时间同步系统及方法与流程

本发明涉及轨道交通技术领域，具体涉及无人驾驶传感器技术。

背景技术：

在无人驾驶领域，需用到多传感器(典型的如激光和相机)数据融合。但传统的传感器之间没有时间同步(这里的同步包括数据采样频率和相位同步)接口，导致最后的数据融合质量较差、甚至失败。尤其在采样频率较低、被检测目标运动速度很快的时候，由于多传感器时间同步引起的性能问题尤为明显。

技术实现要素：

针对现有技术存在的缺陷，本发明所要解决的技术问题就是提一种激光雷达和相机时间同步系统及方法，实现激光雷达和相机时间同步，提高数据融合质量。

为解决上述技术问题，本发明采用如下技术方案：一种激光雷达和相机时间同步系统，包括：

激光雷达：所述激光雷达设有时间接收恢复模块和点云生成模块，所述时间接收恢复模块接收卫星授时信号，恢复出标准时间，并输出给点云生成模块，同时向可编程逻辑器件输出标准时间接口信号，所述点云生成模块根据标准时间生成并向可编程逻辑器件输出带时间戳的激光点云数据；

可见光相机：所述可见光相机设有时间同步协议模块一和图像生成模块，所述图像生成模块根据触发信号完成图像采集和输出，且图像输出带有时间戳；可编程逻辑器件：所述可编程逻辑器件设有本地时间恢复模块、时间同步协议模块二、激光采样周期和相位计算模块，所述本地时间恢复模块用于实现该可编程逻辑器件和激光雷达的时间同步，所述时间同步协议模块二与时间同步协议模块一配合实现该可编程逻辑器件和可见光相机的时间同步，所述激光采样周期和相位计算模块从激光点云数据中提取时间戳信息，计算出激光采样的周期和相位，并根据激光采样的周期和相位向可见光相机输出触发信号，触发可见光相机输出带有时间戳的图像，完成激光点云数据和和图像输出频率和相位同步。

优选的，所述本地时间恢复模块接收激光雷达发过来的标准时间接口信号并通过维持一个本地时间计数器实现该可编程逻辑器件和激光的时间同步。

优选的，所述激光采样周期和相位计算模块通过数字锁相环的方式，计算出平滑后的激光雷达采样时间序列，可见光相机在连续触发模式下，用该采样时间序列生成触发信号。

优选的，所述可编程逻辑器件设有计算激光点云数据的时间戳和图像输出的时间戳之间时延的时延消除模块，所述时延消除模块通过多次测量取得时延的平均值δ，并在生成触发信号时，通过调整触发信号的相位消除该延时δ。

优选的，在可见光相机处于触发校准模式时，触发信号在延时δ大于设定门限值的时候生成一次。

优选的，所述激光采样周期和相位计算模块通过滑窗或数字锁相环的方法，计算出激光采样的周期和相位。

优选的，所述卫星授时信号采用gps或者北斗授时，所述标准时间接口信号为1pps/tod。

优选的，所述可编程逻辑器件为fpga或者cpld。

本发明还提供了一种激光雷达和相机时间同步方法，包括如下步骤：

s1:激光雷达接收卫星授时信号，时间接收恢复模块锁定卫星授时信号的时间,并输出给点云生成模块，同时对外输出标准时间接口信号；

s2：可编程逻辑器件接收标准时间接口信号，本地时间恢复模块根据标准时间接口信号完成可编程逻辑器件和激光雷达的时间同步；

s3:可编程逻辑器件通过时间同步协议模块与可见光相机中的对等时间同步协议模块，完成可编程逻辑器件和可见光相机的时间同步；

s4：点云生成模块接收时间接收恢复模块锁定的时间，并随激光点云数据同步输出时间戳；

s5:激光采样周期和相位计算模块通过提取激光点云数据中的时间戳信息，通过数字锁相环的方式，计算出平滑后的激光雷达采样时间序列，可见光相机在连续触发模式下，根据该采样时间序列生成触发信号，触发可见光相机输出带时间戳的图像，完成激光点云数据和图像数据的频率和相位同步。

进一步的，还包括：

s6：步骤5未考虑处理和传输延时，开始在不考虑处理和传输延时的时候，激光点云数据的时间戳和图像输出的时间戳有个时间延时，可编程逻辑器件通过多次测量，取得这个时延的平均值δ；在可编程逻辑器件生成触发信号时，调整触发信号相位，消除这个延时δ；

s7:如果可见光相机处于触发校准模式，触发信号在可编程逻辑器件测量的延时δ大于设定门限值的时候生成一次，可见光相机根据这个触发信号调整生成图像的相位，完成激光点云数据和图像输出的时间同步。

本发明采用的技术方案，不仅实现了激光雷达、可编程逻辑器件以及可见光相机的时间同步，而且完成了激光点云数据和图像数据的频率和相位同步，提高了数据融合质量。

本发明的具体技术方案及其有益效果将会在下面的具体实施方式中进行详细的说明。

附图说明

下面结合附图和具体实施方式对本发明作进一步描述：

图1为本发明一种激光雷达和相机时间同步系统结构框图。

图2为本发明处理时延示意图。

具体实施方式

下面对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。

实施例一

如图1所示，一种激光雷达和相机时间同步系统，包括：

激光雷达：所述激光雷达设有时间接收恢复模块和点云生成模块，所述时间接收恢复模块接收卫星授时信号，恢复出标准时间，并输出给点云生成模块，同时向可编程逻辑器件输出标准时间接口信号，所述点云生成模块根据标准时间生成并向可编程逻辑器件输出带时间戳的激光点云数据；

可见光相机：所述可见光相机设有时间同步协议模块一和图像生成模块，所述图像生成模块支持触发信号，在外部有触发信号的时刻(如上升沿)，完成图像采集输出，且图像输出带有时间戳；

可编程逻辑器件：所述可编程逻辑器件设有本地时间恢复模块、时间同步协议模块二、激光采样周期和相位计算模块，所述本地时间恢复模块用于实现该可编程逻辑器件和激光雷达的时间同步，所述时间同步协议模块二与时间同步协议模块一配合实现该可编程逻辑器件和可见光相机的时间同步，所述激光采样周期和相位计算模块从激光点云数据中提取时间戳信息，计算出激光采样的周期和相位，并根据激光采样的周期和相位向可见光相机输出触发信号，触发可见光相机输出带有时间戳的图像，完成激光点云数据和和图像输出频率和相位同步。

进一步的，所述可编程逻辑器件设有计算激光点云数据的时间戳和图像输出的时间戳之间时延的时延消除模块，所述时延消除模块通过多次测量取得时延的平均值δ，并在生成触发信号时，通过调整触发信号的相位消除该延时δ。在可见光相机处于触发校准模式时，触发信号在延时δ大于设定门限值的时候生成一次。

另外，需要说明的是本发明是基于以下前提：

1、激光采样或者发出点云的周期是均匀的，如10hz，也就是每100ms发出一次点云。这个也业界产品的通用规格。

2、本发明所采用的可见光相机支持外部触发信号触发相机曝光拍照，有两种模式：给一个触发信号(如电平信号的上升沿)输出一张图片，这种模式称之为连续触发模式；或者给一个触发信号(如电平信号的上升沿)，然后按设置的周期连续输出一段时间图片，这种模式称之为触发校准模式。

3、这里假设每个环节的处理延时都是固定的，如激光点云从激光传输到fpga的延时，fpga提取激光点云时间戳的处理时间，fpga生成触发信号的时延，可见光相机从触发信号到输出视频图像的时间等。

实施例二

一种激光雷达和相机时间同步方法，具体实施包括如下步骤：

1、激光雷达接收gps信号，时间接收恢复模块锁定gps时间,并输出给内部点云生成模块，同时对外输出1pps/tod信号；

2、fpga接收1pps/tod信号，本地时间恢复模块在fpga内部维持一个时间计数器(可以通过数字锁相环实现)，完成了fpga和激光的时间同步；

3、fpga同时通过一个时间同步协议模块，和可见光相机中的对等时间同步协议模块，完成fpga和可见光相机的时间同步；

通过步骤1、2、3，激光雷达、fpga、可见光相机完成了时间同步。

4、激光雷达点云生成模块接收时间接收恢复模块锁定的gps时间，并随点云数据同步输出时间戳；

5、fpga中激光采样周期和相位计算模块，提取激光点云数据中时间戳信息，通过数字锁相环的方式，计算出平滑后的激光雷达采样时间序列t1、t2、t3…。在连续触发模式下，可见光相机用这个采样时间序列生成触发信号，触发可见光相机输出带时间戳的视频数据序列；这样就完成了激光点云数据和视频数据的频率和相位同步。

6、步骤5如果简单处理，可以直接用激光点云数据中的时间戳序列生成触发信号。

7、步骤5、6均未考虑处理和传输延时。按照步骤5的处理方式，从激光雷达把数据传输到fpga、然后fpga提取激光点云的时间戳、通过数字锁相环输出采样时间序列、产生触发信号，均需要一定时间；一开始在不考虑处理和传输延时的时候，激光雷达输出的点云时间戳和视频输出的时间戳有个时间延时(参考图2处理时延示意图)。fpga通过多次测量，取得这个时延的平均值δ；在fpga生成触发信号的时候，将触发信号调整相位，消除这个延时δ，保证激光点云输出的时间戳和视频图像输出的时间戳控制在一个很小的范围内。

8、如果相机处于触发校准模式，那么触发信号只需在fpga测量的δ大于某个门限值的时候生成一次，可见光相机内部根据这个触发信号调整生成视频流的相位，也可以完成点云数据和视频流的时间同步。

通过步骤5、6、7、8，完成了激光点云和视频数据的频率和相位同步。

因此，本发明不仅实现了激光雷达、可编程逻辑器件以及可见光相机的时间同步，而且完成了激光点云数据和图像数据的频率和相位同步，提高了数据融合质量。

本领域技术人员可以理解的是，gps提供卫星授时信号，因此也可以采用北斗授时进行替换。fpga作为可编程逻辑器件的一种，可以用cpld等进行替换。时间同步协议可以采用ieee1588v2协议或者ntp协议，也可以是其他时间同步协议。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。