适应低频、高延迟视觉感知数据的融合定位方法、装置、设备及存储介质与流程

本技术涉及视觉融合，尤其涉及适应低频、高延迟视觉感知数据的融合定位方法、装置、设备及存储介质。

背景技术：

1、随着智能驾驶级别的不断提升，高精定位对于高阶智能驾驶的重要性也越发凸显。而在实际定位算法开发过程中，基本是采用多源数据融合定位的方式来获取稳定的高精度定位。在现阶段，常用的成本较低的融合定位方案主要是视觉感知数据、高精地图数据、rtk数据、imu数据与轮速数据的融合定位，但由于主体是视觉融合定位方式，而且融合定位结果往往需要高频输出，一旦视觉感知数据存在低频、高延迟问题，会严重影响到最终的实时融合定位精度。在实际实车搭载时，由于相机输出频率低、搭载平台算力不足、感知数据处理耗时过长、通信延迟等问题，视觉感知数据往往输出频率很低，数据延迟也很明显。为了应对视觉感知数据低频、高延迟问题，往往需要换用高性能相机、优化感知数据处理耗时、换用高性能搭载平台、优化通讯方式等，但以上方式均会导致较大的人力资源消耗以及部件成本的上升。

2、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种适应低频、高延迟视觉感知数据的融合定位方法、装置、设备及存储介质，旨在解决现有技术定位数据的硬件成本极大提高，人力资源消耗大的技术问题。

2、为实现上述目的，本技术提出一种适应低频、高延迟视觉感知数据的融合定位方法，所述适应低频、高延迟视觉感知数据的融合定位方法包括：

3、在第二时刻接收到第一时刻采集的第一视觉感知数据时，根据所述第一视觉采集数据与高精地图数据得到车辆在所述第一时刻的第一感知信息；

4、根据惯性测量数据、轮速数据和所述第一时刻的车辆位置信息得到航迹数据；

5、根据所述第一时刻和所述第二时刻确定视觉感知数据中的定位数据；

6、根据所述定位数据、所述航迹数据、所述高精地图数据和所述第一感知信息进行融合定位，得到目标融合结果。

7、在一实施例中，所述在第二时刻接收到第一时刻采集的第一视觉感知数据时，根据所述第一视觉采集数据与高精地图数据得到车辆在所述第一时刻的第一感知信息的步骤包括：

8、在第二时刻接收到第一时刻采集的第一视觉感知数据时，对所述第一视觉采集数据进行解析，得到车道线类型信息、车道线颜色信息和车道宽度信息；

9、根据所述第一视觉感知数据确定车辆在所述第一时刻的车辆位置；

10、根据所述第一时刻的车辆位置与高精地图数据匹配，得到所述车辆位置对应的地图信息；

11、根据所述车辆位置对应的地图信息与所述车道线类型信息、车道线颜色信息和车道宽度信息进行匹配，得到所述第一时刻的第一感知信息。

12、在一实施例中，所述根据惯性测量数据、轮速数据和所述第一时刻的车辆位置信息得到航迹数据的步骤包括：

13、根据所述惯性测量数据确定所述车辆的加速度信息；

14、根据所述加速度信息与所述轮速信息得到所述车辆的运动信息；

15、根据所述运动信息与所述第一时刻的车辆位置信息得到航迹数据。

16、在一实施例中，所述根据所述第一时刻和所述第二时刻确定视觉感知数据中的定位数据的步骤包括：

17、遍历实时动态差分定位缓存中的时间戳，获取与所述第一时刻和所述第二时刻对应的实时动态差分定位缓存数据；

18、对所述实时动态差分定位缓存数据进行插值处理，得到实时动态差分定位结果；

19、将所述实时动态差分定位结果与所述第一感知信息进行坐标系转换，得到在世界坐标系下的视觉感知数据中的定位数据。

20、在一实施例中，所述对所述实时动态差分定位缓存数据进行插值处理，得到实时动态差分定位结果的步骤之前，还包括：

21、对所述第二时刻对应的实时动态差分定位缓存数据进行检测，得到检测结果；

22、在所述检测结果为所述第二时刻对应的实时动态差分定位缓存数据为空时，确定当前时间与所述第一时刻的时间间隔；

23、在所述时间间隔小于预设时间阈值时，将所述第一时刻的对应的实时动态差分定位缓存数据作为定位数据；

24、在所述检测结果为所述第二时刻对应的实时动态差分定位缓存数据不为空时，执行所述对所述实时动态差分定位缓存数据进行插值处理，得到实时动态差分定位结果的步骤。

25、在一实施例中，所述根据所述定位数据、所述航迹数据、所述高精地图数据和所述第一感知信息进行融合定位，得到目标融合结果的步骤包括：

26、确定所述航迹数据的时间戳信息，根据所述第一时刻和所述第二时刻匹配对应的目标时间戳信息；

27、基于所述目标时间戳信息对所述定位数据进行插值，得到插值定位结果；

28、根据所述插值定位结果、所述高精度地图数据和所述第一感知信息进行融合定位，得到目标融合结果。

29、在一实施例中，所述根据所述插值定位结果、所述高精度地图数据和所述第一感知信息进行融合定位，得到目标融合结果的步骤包括：

30、基于所述高精度地图数据生成世界坐标系地图；

31、根据所述生成世界坐标系地图、所述第一感知信息和插值定位结果得到初始预测结果；

32、根据所述初始预测结果确定当前时刻的上一帧定位结果；

33、根据所述上一帧定位结果和所述航迹信息进行融合定位，得到目标融合结果。

34、此外，为实现上述目的，本技术还提出一种适应低频、高延迟视觉感知数据的融合定位装置，所述适应低频、高延迟视觉感知数据的融合定位装置包括：

35、视觉感知模块，用于在第二时刻接收到第一时刻采集的第一视觉感知数据时，根据所述第一视觉采集数据与高精地图数据得到车辆在所述第一时刻的第一感知信息，所述第一时刻在所述第二时刻之前；

36、航迹确定模块，用于根据惯性测量数据、轮速数据和所述第一时刻的车辆位置信息得到航迹数据；

37、差分定位模块，用于根据所述第一时刻和所述第二时刻确定视觉感知数据中的定位数据；

38、视觉融合模块，用于根据所述定位数据、所述航迹数据、所述高精地图数据和所述第一感知信息进行融合定位，得到目标融合结果。

39、此外，为实现上述目的，本技术还提出一种适应低频、高延迟视觉感知数据的融合定位设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的适应低频、高延迟视觉感知数据的融合定位方法的步骤。

40、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的适应低频、高延迟视觉感知数据的融合定位方法的步骤。

41、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的适应低频、高延迟视觉感知数据的融合定位方法的步骤。

42、本技术提出的一个或多个技术方案，至少具有以下技术效果：在第二时刻接收到第一时刻采集的第一视觉感知数据时，根据所述第一视觉采集数据与高精地图数据得到车辆在所述第一时刻的第一感知信息，所述第一时刻在所述第二时刻之前；根据惯性测量数据、轮速数据和所述第一时刻的车辆位置信息得到航迹数据；根据所述第一时刻和所述第二时刻确定视觉感知数据中的定位数据；根据所述定位数据、所述航迹数据、所述高精地图数据和所述第一感知信息进行融合定位，得到目标融合结果，实现在硬件不变的情况下，解决视觉融合过程中的低频和高延迟问题，降低硬件成本和提升处理效率。