一种自动驾驶运动规划及其模型的训练方法、装置和设备与流程

本公开属于自动驾驶领域，具体涉及一种自动驾驶运动规划及其模型的训练方法、装置和设备。

背景技术：

1、数据驱动的自动驾驶规划方法因为能够直接从数据中学习复杂的驾驶模式，因此可以更加灵活的应对城市复杂的道路结构和动态的交通环境，从而成为自动驾驶技术研究的热点。

2、end2end和mid2mid是两种主要的数据驱动的自动驾驶规划方案，其中mid2mid方法通常分为感知一张网和规划一张网，规划网络以感知结果作为输入，输出可行驶轨迹。相比较end2end方法，mid2mid方法更加模块化和灵活，结构简单且具有可解释性，使得系统更易于调试，有较高的泛化性，利于通过数据闭环来驱动规划网的性能提升。

3、但是，现有的mid2mid方法都是对输入数据编码后预测轨迹，首先没有考虑输入信息的重要性对自车规划的影响不同，其次预测时没有考虑自车预测轨迹与周围代理预测轨迹间的交互，从而导致在极端场景容易疏忽场景中的更重要信息，同时做出的运动规划存在与周围代理的碰撞风险。因此现有基于mid2mid的自动驾驶规划方案在极端场景性能较差。

技术实现思路

1、本公开实施例提出了一种自动驾驶运动规划方案，以解决现有基于mid2mid的自动驾驶规划方案在极端场景规划性能较差的问题。

2、本公开实施例的第一方面提供了一种自动驾驶运动规划模型的训练方法，包括：

3、获取预设时间段自动驾驶感知数据并确定自车轨迹和周边预设范围内的代理轨迹；

4、构建运动规划神经网络，其中所述运动规划神经网络包括数据裁剪模块和预测模块，所述数据裁剪模块用于评估所述感知数据对所述自车运动轨迹的影响，基于所述影响按预设规则去除部分所述感知数据，所述预测模块用于基于保留的所述感知数据预测未来预设帧数的自车轨迹和代理轨迹；

5、以所述自动驾驶感知数据作为训练样本，所述自车轨迹和所述代理轨迹分别作为真值，对所述运动规划神经网络进行训练，生成所述自动驾驶运动规划模型。

6、在一些实施例中，所述以所述自动驾驶感知数据作为训练样本，所述自车轨迹和所述代理轨迹分别作为真值，对所述运动规划神经网络进行训练包括：

7、基于所述训练样本预测预设帧数的自车轨迹，根据自车预测轨迹以及自车轨迹真值确定自车轨迹规划损失；

8、基于所述训练样本预测预设帧数的代理轨迹，根据代理预测轨迹以及代理轨迹真值确定代理轨迹预测损失；

9、基于所述自车预测轨迹以及所述代理预测轨迹确定交互损失，其中，所述交互损失用于描述所述自车预测轨迹与所述代理预测轨迹的碰撞机率；

10、由所述自车轨迹规划损失、所述代理轨迹预测损失和所述交互损失的加权和组成总损失，基于所述总损失调整所述运动规划神经网络的参数，生成所述自动驾驶运动规划模型。

11、在一些实施例中，所述基于所述自车预测轨迹以及所述代理预测轨迹确定交互损失包括：

12、在每个时间步，计算自车与预设范围内的邻居车辆的欧式距离并确定自车与所有所述邻居车辆的最近距离，其中，忽略在所述时间步所述欧式距离大于预设阈值的所述邻居车辆；

13、基于所述最近距离确定每个所述时间步的潜在风险因子，其中，对与小于预设阈值的所述最近距离对应的所述潜在风险因子按预设规则加权；

14、由所有时间步的潜在风险因子之和的均值组成所述交互损失。

15、在一些实施例中，所述运动规划神经网络还包括基于transformer结构的编码器，所述编码器用于对接收的感知数据进行编码并将编码结果输入所述数据裁剪模块。

16、在一些实施例中，所述评估所述感知数据对自车运动轨迹的影响，基于所述影响按预设规则去除部分所述感知数据包括：

17、基于注意力机制对所述编码结果中各标记以及各标记之间注意力权重的连接对自车运动轨迹的影响进行排序；

18、以预设规则将排序较低的所述标记和所述注意力权重的连接去除。

19、在一些实施例中，所述基于保留的所述感知数据预测未来预设帧数的自车和代理轨迹包括：

20、所述预测模块是基于transformer结构的解码器，所述解码器基于所述数据裁剪模块输出的所述编码结果预测当前时刻未来预设帧数的自车轨迹和代理轨迹。

21、本公开实施例的第二方面提供了一种自动驾驶运动规划方法，包括：

22、获取自动驾驶感知数据，其中，所述自动驾驶感知数据包括但不限于当前帧的红绿灯检测结果、车辆行驶的全局路线、十字路况感知结果、车道线感知结果、自车状态、周边预设范围内的代理过去预设帧数的感知信息；

23、将所述自动驾驶感知数据输入根据本公开第一方面所述的自动驾驶运动规划模型预测未来预设帧数的自车轨迹。

24、本公开实施例的第三方面提供了一种自动驾驶运动规划模型的训练装置，包括：

25、数据获取模块，用于获取预设时间段自动驾驶感知数据并确定自车轨迹和周边预设范围内的代理轨迹；

26、模型构架模块，用于构建运动规划神经网络，其中所述运动规划神经网络包括数据裁剪模块和预测模块，所述数据裁剪模块用于评估所述感知数据对所述自车运动轨迹的影响，基于所述影响按预设规则去除部分所述感知数据，所述预测模块用于基于保留的所述感知数据预测未来预设帧数的自车轨迹和代理轨迹；

27、模型训练模块，用于以所述自动驾驶感知数据作为训练样本，所述自车轨迹和所述代理轨迹分别作为真值，对所述运动规划神经网络进行训练，生成所述自动驾驶运动规划模型。

28、本公开实施例的第四方面提供了一种自动驾驶运动规划装置，包括：

29、数据获取模块，用于获取自动驾驶感知数据，其中，所述自动驾驶感知数据包括但不限于当前帧的红绿灯检测结果、车辆行驶的全局路线、十字路况感知结果、车道线感知结果、自车状态、周围代理过去预设帧数的感知信息；

30、轨迹规划模块，用于将所述自动驾驶感知数据输入根据本公开第一方面所述的自动驾驶运动规划模型预测未来预设帧数的自车轨迹。

31、本公开实施例的第五方面提供了一种自动驾驶运动规划设备，包括存储器和处理器：

32、所述存储器，用于存储计算机程序；

33、所述处理器，用于当执行所述计算机程序时，实现根据本公开第一方面或本公开第二方面所述的方法。

34、综上所述，本公开各实施例提供的自动驾驶运动规划模型的训练方法和装置，自动驾驶运动规划方法和装置以及自动驾驶运动规划设备，通过设计一种针对感知输入数据的排序和稀疏化策略，对感知输入数据编码后的标记（token）数量和不同token之间在注意力权重中的连接数量进行稀疏修剪，实现对输入感知数据的优化，以一定比例去除和自车规划较不相关的数据，保留那些与当前驾驶情境高度相关的数据，提高规划网络的精准性和有效性；考虑周围不同信息对于自车规划的影响不同，在运动规划网络处理过程中去掉部分影响较低的信息，并对输入信息进行重要性的排序，以促使网络做规划时更关注场景中的重要信息，提高规划效果；同时，在规划网络训练过程中通过与周围代理的交互损失函数鼓励自车尽量避免与周围代理未来轨迹发展碰撞，提高与周围代理交互的安全性。