一种基于图注意力的端到端自动驾驶行为规划方法

本发明属于自动驾驶，具体内容为一种基于图注意力的端到端自动驾驶行为规划方法。

背景技术：

1、自动驾驶(autonomous driving)技术包含一整条技术链，各类感知(perception)算法已经达到了很高的水准，但与之相配套的规划(planning)算法仍是以基于有限状态机(fsm)、决策树等的传统方案为主。目前，深度学习算法快速发展，算力普遍提高，数据获取更加容易，各项有利条件使人们开始探索端到端(end to end)方案在自动驾驶规划任务上的可行性。端到端的方案相较于模块化级联设计，有其独特的优势：1)避免了级连误差，可以提升视觉信息表达；2)行为规划作为自动驾驶的终极问题，端到端方案可以直接聚焦结果，优化终端性能体验。但对于自动驾驶任务而言，车辆行驶的安全性问题是重中之重，对于直接控制车辆行为的规划模型，端到端算法因其可解释性的缺乏，距离实际应用还存在许多技术问题需要解决。

2、对于自动驾驶车辆来说，感知模型可以提供丰富的场景信息，而规划算法则需要通过这些信息实现对车辆的控制，所以感知信息的合理运用是车辆安全行驶的前提，如何高效得将感知结果应用于规划任务，是目前亟待解决的技术难题。在现有的端到端自动驾驶行为规划方案中，大都采取隐式(implicit)的方法使用感知信息，其缺点在于难以调式及迭代。相比之下，显式(explicit)运用感知结果，不仅更加直观，还可以更好地将有效信息传递到下游任务。

3、在实际的自动驾驶场景中，对车辆路径规划至关重要的前景(foreground)物体往往以离散的形式分布在场景内，这些前景物体自身所包含的语义信息和互相之间的位置信息能够为行为规划提供关键参考，因此，如何有效地利用关键前景信息实现路径规划就成为了解决问题的核心。针对前景物体离散分布的这一特性，图(graph)作为一种特殊的数据形式，信息包含在节点和边中，正好符合自动驾驶场景下的需要。

技术实现思路

1、本发明的目的是克服传统端到端自动驾驶行为规划算法缺乏可解释性的弊端，提出了一种基于图注意力的端到端自动驾驶行为规划方法和系统，能够显式地利用感知算法对场景信息的捕获，使模型聚焦于对行为规划具有关键指导的前景物体，从而实现安全的自动驾驶，同时也为端到端自动驾驶行为规划提供了一种全新的范式。

2、本发明所采用的技术方案如下：

3、设变量下标“img”和“pc”分别用于表示摄像头图像(image)数据和激光雷达点云(point cloud)数据，变量下标“seg”和“det”分别表示语义分割(segmentation)任务和目标检测(detection)任务，变量下标“node”表示图形式，变量下标“wp”和“ctrl”分别表示预测路径点(waypoints)和行为控制(control)。

4、一种基于图注意力的端到端自动驾驶行为规划方法，包括以下步骤：

5、步骤(1).获取摄像头和激光雷达采集的多模态数据，分别提取图像特征和点云特征；

6、步骤(2).对图像特征和点云特征分别进行语义分割和目标检测，得到针对图像的语义分割结果和针对点云的目标检测结果；

7、步骤(3).根据步骤(2)中得到的语义分割结果和目标检测结果，将步骤(1)中提取到的图像特征和点云特征分别映射为图像模态的图形式和点云模态的图形式，实现感兴趣特征筛选；

8、步骤(4).初始化用于路径预测的可学习查询向量，采用图注意力神经网络对步骤(3)得到的图像模态的图形式和点云模态的图形式进行特征聚合，更新用于路径预测的可学习查询向量；

9、步骤(5).将车辆当前位置与目标位置的相对位置编码为高维特征，将更新后的用于路径预测的可学习查询向量和编码后的高维特征作为循环神经网络的输入，输出车辆从当前位置到目标位置的一系列预测路径点；

10、步骤(6).将车辆从当前位置到目标位置的一系列预测路径点转化为车辆的底层控制信号，完成自动驾驶车辆行为规划任务。

11、进一步地，所述的步骤(1)包括：

12、步骤(1.1).获取摄像头图像数据，通过图像特征提取网络生成图像特征；

13、步骤(1.2).获取激光雷达点云数据，先将无规则的点云规范化到体素空间，再通过点云特征提取网络生成点云特征。

14、进一步地，所述的步骤(2)包括：

15、步骤(2.1).将图像特征输入语义分割输出头，得到针对图像的语义分割结果；所述的语义分割结果包括图像中各像素点的类别信息；

16、步骤(2.2).将点云特征输入目标检测输出头，得到针对点云的目标检测结果；所述的目标检测结果包括目标类别和位置。

17、进一步地，所述的语义分割输出头和目标检测输出头采用两个独立的多层感知机实现。

18、进一步地，所述的步骤(3)包括：

19、步骤(3.1).将图像划分为相互之间不重叠的图像块，每个像素对应一种语义分割结果，选取语义分割结果属于前景的像素多于50％的图像块作为有效节点，根据有效节点对应的图像块在全图中的位置，获取有效节点对应的局部图像特征，将局部图像特征在像素维度做平均池化生成有效节点特征，有效节点之间的位置关系使用邻接矩阵记录，得到初始的图像模态的图形式；

20、步骤(3.2).对图像特征做全局平均池化，得到图像模态全局特征，并将其作为一个有效节点与步骤(3.1)中生成的每一个有效节点相连，更新步骤(3.1)中的邻接矩阵，得到更新后的图像模态的图形式；

21、步骤(3.3).确定目标检测获得的前景物体中心在三维空间中的位置，根据位置筛选得到前景物体对应的体素，将其作为有效节点，并将前景对应的点云特征作为有效节点特征，有效节点之间的位置关系使用邻接矩阵记录，得到初始的点云模态的图形式；

22、步骤(3.4).对点云特征做全局平均池化，得到点云模态全局特征，并将其作为一个有效节点与步骤(3.3)中生成的每一个有效节点相连，更新步骤(3.3)中的邻接矩阵，得到更新后的点云模态的图形式。

23、进一步地，所述的有效节点之间的位置关系使用邻接矩阵记录，包括：

24、对于图像，根据有效节点所在图像中的位置关系确定边，若两个有效节点对应的图像块在全图中相邻，则这两个有效节点相连；

25、对于点云，设置一个距离阈值，每一个有效节点会与该阈值距离内的其他有效节点相连。

26、分别通过两个邻接矩阵记录相连的边。

27、进一步地，所述的图注意力神经网络包括第一图卷积网络编码器、第二图卷积网络编码器、transformer解码器。

28、进一步地，所述的步骤(4)包括：

29、步骤(4.1).将图像模态的图形式输入第一图卷积网络编码器中，将编码结果作为环境信息相关的第一键向量和第一值向量；

30、步骤(4.2).将点云模态的图形式输入第二图卷积网络编码器中，将编码结果作为环境信息相关的第二键向量和第二值向量；

31、步骤(4.3).初始化一个用于路径预测的可学习查询向量，将第一键向量和第二键向量拼接，将第一值向量和第二值向量拼接，以可学习查询向量、拼接后的键向量、拼接后的值向量作为transformer解码器的输入，输出更新后的用于路径预测的可学习查询向量。

32、进一步地，所述的步骤(5)中，采用多层感知机将车辆当前位置与目标位置的相对位置编码为高维特征。

33、进一步地，所述的车辆的底层控制信号包括油门、刹车和转向指令。

34、本发明的有益效果：

35、(1)本发明提出了一套完整的基于图注意力的端到端自动驾驶行为规划方法，引入了图的数据形式，借助感知结果，将对最终行为规划起到关键性作用的前景物体所对应的特征构建为图的形式，使模型可以聚焦于有效信息从而得到高质量的规划结果。

36、(2)本发明利用先验知识可以有效地从密集的场景信息中获取相对稀疏的前景特征，同时保留其空间位置关系，依靠图注意力神经网络的强大性能实现用于路径规划的全局信息提取。

37、(3)本发明通过显式地利用感知信息，在一定程度上弥补了端到端模型缺乏可解释性的不足，同时为端到端自动驾驶行为规划任务提供了一种全新的范式，为本领域后续的相关研究和产业落地创造了新的可能性。