一种多传感器的目标融合方法、装置和车辆与流程

本发明涉及汽车辅助驾驶，尤其涉及一种多传感器的目标融合方法、装置和车辆。

背景技术：

1、随着自动驾驶技术的发展，单一传感器已无法满足车辆对复杂环境感知的需求，因此，多传感器数据融合技术逐渐成为业内研究主流。目前行业内使用最多的传感器为摄像头和雷达传感器等。

2、然而，发明人发现现有技术至少存在如下问题：目前行业内已存在一些基于视觉和毫米波雷达数据融合的技术方案，但存在误匹配及追踪误差较大的问题，且获取的目标状态信息较单一。

技术实现思路

1、本发明实施例的目的是提供一种多传感器的目标融合方法、装置和车辆，其能够更加准确地匹配视觉传感器和雷达传感器检测的目标，从而获得更加准确且丰富的融合目标的状态信息。

2、为实现上述目的，本发明实施例提供了一种多传感器的目标融合方法，应用于车辆，所述车辆上设有视觉传感器和雷达传感器，所述方法包括：

3、获取当前时刻通过所述视觉传感器检测的视觉目标的状态信息、通过所述雷达传感器检测的雷达目标的状态信息；

4、当存在历史目标时，将每一所述历史目标分别与每一所述视觉目标和每一所述雷达目标进行匹配，得到目标匹配结果；其中，所述历史目标为当前时刻的上一时刻的融合目标；

5、根据所述目标匹配结果，确定当前时刻的融合目标的状态信息的参考测量值；

6、根据所述参考测量值，确定当前时刻的融合目标的状态信息。

7、作为上述方案的改进，所述当存在历史目标时，将每一所述历史目标分别与每一所述视觉目标和每一所述雷达目标进行匹配，得到目标匹配结果，具体为：

8、当存在历史目标时，将每一所述历史目标分别与每一所述视觉目标进行匹配，得到每一所述历史目标的视觉匹配结果；其中，所述视觉匹配结果为：与视觉目标匹配成功，或与视觉目标无法匹配；

9、若存在与任意所述历史目标均未匹配成功的视觉目标，根据所述与任意所述历史目标均未匹配成功的视觉目标的状态信息创建的新的融合目标，作为新建目标；

10、将每一所述历史目标、每一所述新建目标分别与每一所述雷达目标进行匹配，得到每一所述历史目标的雷达匹配结果和每一所述新建目标的雷达匹配结果；其中，所述雷达匹配结果为：与雷达目标匹配成功，或与雷达目标无法匹配；

11、根据所述视觉匹配结果和所述雷达匹配结果，得到所述目标匹配结果。

12、作为上述方案的改进，所述方法还包括：

13、当不存在历史目标时，根据当前每一所述视觉目标的状态信息创建的新的融合目标，作为新建目标；

14、将每一所述新建目标与每一所述雷达目标进行匹配，得到每一所述新建目标的雷达匹配结果，作为目标匹配结果。

15、作为上述方案的改进，所述将每一所述历史目标分别与每一所述视觉目标进行匹配，得到每一所述历史目标的视觉匹配结果，具体为：

16、分别计算每一所述历史目标的状态信息与每一所述视觉目标的状态信息的匹配分值，并形成第一匹配矩阵；

17、根据所述第一匹配矩阵，采用匈牙利算法计算得到每一所述历史目标的视觉匹配结果；

18、所述将每一所述历史目标、每一所述新建目标分别与每一所述雷达目标进行匹配，得到每一所述历史目标的雷达匹配结果和每一所述新建目标的雷达匹配结果，具体为：

19、分别计算每一所述历史目标、每一所述新建目标的状态信息与每一所述雷达目标的状态信息的匹配分值，并形成第二匹配矩阵；

20、根据所述第二匹配矩阵，采用匈牙利算法计算得到每一所述历史目标的雷达匹配结果和每一所述新建目标的雷达匹配结果。

21、作为上述方案的改进，通过以下步骤计算所述历史目标的状态信息与视觉目标的状态信息的匹配分值：

22、计算所述历史目标与所述视觉目标的状态信息的差值；

23、当所述状态信息的差值大于预设的差值阈值时，所述历史目标的状态信息与所述视觉目标的状态信息的匹配分值为预设的匹配分值区间的上限值；

24、当所述状态信息的差值小于等于所述预设的差值阈值时，采用预设的匹配分值计算公式，计算所述历史目标的状态信息与所述视觉目标的状态信息的初始匹配分值；

25、若所述初始匹配分值大于预设的匹配分值阈值，则所述匹配分值为预设的匹配分值区间的上限值；若所述初始匹配分值小于等于所述预设的匹配分值阈值，则所述匹配分值为所述初始匹配分值。

26、作为上述方案的改进，通过以下步骤计算所述历史目标或所述新建目标的状态信息与雷达目标的状态信息的匹配分值：

27、计算所述历史目标或所述新建目标的状态信息与所述雷达目标的状态信息的差值；

28、当所述差值大于预设的差值阈值时，所述历史目标或所述新建目标的状态信息与所述雷达目标的状态信息的匹配分值为预设的匹配分值区间的上限值；

29、当所述差值小于等于所述预设的差值阈值时，采用预设的匹配分值计算公式，计算所述历史目标或所述新建目标的状态信息与所述雷达目标的状态信息的初始匹配分值；

30、若所述初始匹配分值大于预设的匹配分值阈值，则所述匹配分值为预设的匹配分值区间的上限值；若所述初始匹配分值小于等于所述预设的匹配分值阈值，则所述匹配分值为所述初始匹配分值。

31、作为上述方案的改进，所述状态信息至少包括位置和速度；

32、所述预设的匹配分值计算公式，具体为：

33、

34、其中，ai≥0，且δx为纵向位置的差值，δy为横向位置的差值，δvx为纵向速度的差值，δx为横向速度的差值，s为预设的匹配分值区间的上限值。

35、作为上述方案的改进，所述根据所述目标匹配结果，确定当前时刻的融合目标的状态信息的参考测量值，具体为：

36、对于每一所述历史目标，当所述历史目标同时与视觉目标和雷达目标匹配成功时，根据匹配的所述雷达目标的纵坐标方向上的状态信息，以及匹配的所述视觉目标的横坐标方向上的状态信息，得到当前时刻的融合目标的状态信息的参考测量值；

37、当所述历史目标仅与视觉目标匹配成功时，根据匹配的所述视觉目标的状态信息，得到当前时刻的融合目标的状态信息的参考测量值；

38、当所述历史目标仅与雷达目标匹配成功时，根据匹配的所述雷达目标的状态信息，得到当前时刻的融合目标的状态信息的参考测量值；

39、对于每一所述新建目标，当所述新建目标与雷达目标匹配成功时，根据匹配的所述雷达目标的纵坐标方向上的状态信息，以及创建所述新建目标的所述视觉目标的横坐标方向上的状态信息，得到当前时刻的融合目标的状态信息的参考测量值；

40、当所述新建目标与雷达目标无法匹配时，根据创建所述新建目标的所述视觉目标的状态信息，得到当前时刻的融合目标的状态信息的参考测量值。

41、作为上述方案的改进，所述根据所述参考测量值，确定当前时刻的融合目标的状态信息，包括：

42、将根据所述历史目标的目标匹配结果构建的当前时刻的融合目标的参考测量值，采用预设的状态更新算法进行更新，以确定所述当前时刻的融合目标的状态信息；

43、将根据所述新建目标的目标匹配结果构建的当前时刻的融合目标的参考测量值，直接确定为所述当前时刻的融合目标的状态信息。

44、作为上述方案的改进，所述预设的状态更新算法为卡尔曼滤波算法。

45、作为上述方案的改进，所述获取当前时刻通过视觉传感器检测的视觉目标的状态信息、通过雷达传感器检测的雷达目标的状态信息，具体为：

46、以所述视觉传感器采集数据的时间作为当前时刻的基准，获取当前时刻所述视觉传感器采集的图片数据，并根据所述图片数据计算得到在当前时刻的所述视觉目标的状态信息；

47、获取在第一时刻所述雷达传感器采集的雷达数据，并根据所述雷达数据计算得到在所述第一时刻的雷达目标的状态信息，作为原始状态信息；其中，所述第一时刻为在所述当前时刻之前的且最接近所述当前时刻的所述雷达传感器采集数据的时间；

48、将所述原始状态信息与当前时刻的所述视觉目标的状态信息进行数据对齐操作，得到在当前时刻的所述雷达目标的状态信息。

49、作为上述方案的改进，所述将所述原始状态信息与当前时刻的所述视觉目标的状态信息进行数据对齐操作，得到在当前时刻的所述雷达目标的状态信息，具体为：

50、获取在当前时刻所述车辆的车辆状态信息；

51、根据所述车辆状态信息，计算在时间差内所述车辆的状态信息变化量；其中，所述时间差为所述当前时刻和所述第一时刻的差值；

52、根据所述原始状态信息、所述车辆的状态信息变化量，计算得到在当前时刻的所述雷达目标的状态信息。

53、本发明实施例还提供了一种多传感器的目标融合装置，应用于车辆，所述车辆上设有视觉传感器和雷达传感器，所述装置包括：

54、状态信息获取模块，用于获取当前时刻通过所述视觉传感器检测的视觉目标的状态信息、通过所述雷达传感器检测的雷达目标的状态信息；

55、目标匹配结果获得模块，用于当存在历史目标时，将每一所述历史目标分别与每一所述视觉目标和每一所述雷达目标进行匹配，得到目标匹配结果；其中，所述历史目标为当前时刻的上一时刻的融合目标；

56、参考测量值确定模块，根据所述目标匹配结果，确定当前时刻的融合目标的状态信息的参考测量值；

57、目标状态信息获得模块，根据所述参考测量值，确定当前时刻的融合目标的状态信息。

58、本发明实施例还提供了一种车辆，其特征在于，包括视觉传感器、雷达传感器，以及如上所述的多传感器的目标融合装置。

59、与现有技术相比，本发明公开的多传感器的目标融合方法、装置和车辆，通过综合处理视觉传感器和毫米波雷达传感器的检测数据，能够比较准确地匹配视觉目标和毫米波雷达目标，根据匹配结果确定当前时刻的融合目标的参考测量值，从而获得更加准确且丰富的融合目标的状态信息，能够有效避免误匹配和追踪误差较大的问题，提高了多传感器的目标融合算法的准确性，进而提高了对车辆的行驶控制的准确性，保证车辆的安全行驶。