驾驶场景分析的模型训练和使用方法、装置、介质及设备与流程

本技术涉及机器学习，特别涉及一种驾驶场景分析的模型训练和使用方法、装置、介质及设备。

背景技术：

1、随着自动驾驶技术的发展，机器学习和深度学习技术在自动驾驶中的应用越来越广泛，这些基于数据驱动的技术和数据一起构成了自动驾驶的数据闭环。在数据闭环中，我们经常需要对自动驾驶场景进行分析。由于道路路网的多样性以及交通参与者的行为的复杂性，如何使用场景特征表示一个交互程度较高的场景是自动驾驶场景分析中的难题。也是制约自动驾驶交互性长尾问题收集的关键点。

2、相关技术中，通过采用以下两种方法来提取场景特征：

3、(1)根据一帧或者一个序列的前视摄像头拍摄数据进行特征提取和分类。其中，特征提取的方法是利用诸如cnn(convolutional neural network，卷积神经网络)、rnn(recurrent neural network，循环神经网络)之类的深度神经网络对前视图像或者视频信息进行处理，得到高维的场景特征。前视摄像头获得的图像如图1所示。

4、(2)将道路特征和交通参与者投影到bev(bird‘s eye view，鸟瞰图视角)下的栅格图中，基于栅格图表示场景特征。bev下的栅格图如图2所示。

5、对于第一种场景特征提取方法，前视摄像头拍摄到的是一个视角的数据，无法表示其他视角下的交通参与者；且无法表达道路结构，缺少了重要的环境信息，即其主要缺点在于信息量太少。对于第二种场景特征提取方法，其弥补了视角不够的问题，但是栅格图的大部分图像面积没有道路或交通参与者信息，因此可用信息非常稀疏，且一帧栅格图无法有效地表示交通参与者之间的交互行为，即其主要缺点在于信息比较稀疏，交互行为无法表达等问题。

技术实现思路

1、本技术提供了一种驾驶场景分析的模型训练和使用方法、装置、介质及设备，用于解决信息量太少、信息比较稀疏，交互行为无法表达的问题。所述技术方案如下：

2、一方面，提供了一种驾驶场景分析的模型训练方法，所述方法包括：

3、获取训练集，所述训练集中的每个训练样本包括一个自动驾驶场景的编码图和多个第一节点特征，所述自动驾驶场景是自动驾驶车辆在一段时间内的感知结果所构成的场景，所述编码图中的节点表示所述感知结果中的交通参与者和静态地图元素，所述编码图中的连线表示各个节点之间的连接关系，所述第一节点特征表示所述节点的特征；

4、创建分析模型；

5、对于每个训练样本，利用所述分析模型中的编码模型对所述编码图进行处理，得到所述自动驾驶场景的场景特征；利用所述分析模型中的解码模型对所述场景特征进行处理，得到各个节点之间的连接关系和各个节点的第二节点特征；根据所述编码图、所述第一节点特征、所述连接关系和所述第二节点特征调整所述分析模型的损失函数；根据所述损失函数训练所述分析模型。

6、在一种可能的实现方式中，所述利用所述分析模型中的编码模型对所述编码图进行处理，得到所述自动驾驶场景的场景特征，包括：

7、当所述编码模型包括两个图卷积神经网络时，利用所述两个图卷积神经网络对所述编码图进行特征提取，得到所述自动驾驶场景的场景特征。

8、在一种可能的实现方式中，所述利用所述分析模型中的解码模型对所述场景特征进行处理，得到各个节点之间的连接关系和各个节点的第二节点特征，包括：

9、当所述解码模型包括第一解码分支和第二解码分支时，利用所述第一解码分支中的多层感知机对所述场景特征进行处理，得到各个节点之间的连接关系；利用所述第二解码分支中的多层感知机和卷积神经网络对所述场景特征进行处理，得到各个节点的第二节点特征。

10、在一种可能的实现方式中，所述根据所述编码图、所述第一节点特征、所述连接关系和所述第二节点特征调整所述分析模型的损失函数，包括：

11、计算所述连接关系和所述编码图中的连接关系的匹配度，并计算所述第一节点特征与所述第二节点特征的匹配度；

12、根据所述匹配度调整所述分析模型的损失函数。

13、在一种可能的实现方式中，所述方法还包括：

14、获取所述感知结果；

15、从所述感知结果中提取所述交通参与者的第三节点特征，从所述感知结果中或从高精地图中提取静态地图元素的第四节点特征；

16、利用长短期记忆网络对所述第三节点特征进行处理，得到所述交通参与者的第一节点特征；

17、利用卷积神经网络对所述第四节点特征进行处理，得到所述静态地图元素的第一节点特征。

18、一方面，提供了一种驾驶场景分析的模型使用方法，所述方法包括：

19、获取自动驾驶车辆在一段时间内的感知结果；

20、根据所述感知结果生成编码图，所述编码图中的节点表示所述感知结果中的交通参与者和静态地图元素，所述编码图中的连线表示各个节点之间的连接关系；

21、利用所述分析模型中的编码模型对所述编码图进行处理，得到每个节点的场景特征，所述场景特征用于分析所述自动驾驶场景。

22、在一种可能的实现方式中，所述方法还包括：

23、当所述分析模型中的解码模型包括第一解码分支时，利用所述第一解码分支中的多层感知机对所述场景特征进行处理，得到各个节点之间的连接关系。

24、在一种可能的实现方式中，所述方法还包括：

25、当所述分析模型中的解码模型包括第二解码分支时，利用所述第二解码分支中的多层感知机和卷积神经网络对所述场景特征进行处理，得到各个节点的第二节点特征，所述第二节点特征用于分析所述节点。

26、一方面，提供了一种驾驶场景分析的模型训练装置，所述装置包括：

27、获取模块，用于获取训练集，所述训练集中的每个训练样本包括一个自动驾驶场景的编码图和多个第一节点特征，所述自动驾驶场景是自动驾驶车辆在一段时间内的感知结果所构成的场景，所述编码图中的节点表示所述感知结果中的交通参与者和静态地图元素，所述编码图中的连线表示各个节点之间的连接关系，所述第一节点特征表示所述节点的特征；

28、创建模块，用于创建分析模型；

29、训练模块，用于对于每个训练样本，利用所述分析模型中的编码模型对所述编码图进行处理，得到所述自动驾驶场景的场景特征；利用所述分析模型中的解码模型对所述场景特征进行处理，得到各个节点之间的连接关系和各个节点的第二节点特征；根据所述编码图、所述第一节点特征、所述连接关系和所述第二节点特征调整所述分析模型的损失函数；根据所述损失函数训练所述分析模型。

30、一方面，提供了一种驾驶场景分析的模型使用装置，所述装置包括：

31、获取模块，用于获取自动驾驶车辆在一段时间内的感知结果；

32、生成模块，用于根据所述感知结果生成编码图，所述编码图中的节点表示所述感知结果中的交通参与者和静态地图元素，所述编码图中的连线表示各个节点之间的连接关系；

33、分析模块，用于利用所述分析模型中的编码模型对所述编码图进行处理，得到每个节点的场景特征，所述场景特征用于分析所述自动驾驶场景。

34、一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的驾驶场景分析的模型训练方法；或者，所述至少一条指令由处理器加载并执行以实现如上所述的驾驶场景分析的模型使用方法。

35、一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的驾驶场景分析的模型训练方法；或者，所述指令由所述处理器加载并执行以实现如上所述的驾驶场景分析的模型使用方法。

36、本技术提供的技术方案的有益效果至少包括：

37、通过将一个自动驾驶场景中的交通参与者和静态地图元素编码为节点，再通过连线表示各个节点的连接关系，从而可以使用一张编码图来表示一个自动驾驶场景，既能够避免使用前视摄像头时的信息缺失的问题，也能够避免使用栅格图所造成的信息比较稀疏，交互行为无法表达的问题，还能避免信息稀疏导致的计算资源浪费。并且，可以采用分析模型来学习编码图的场景特征，能够增强场景特征的表达，提升自动驾驶场景分类的准确性；还能够对节点和连接关系进行学习，能够对编码图的特征进行完整的高维抽象，且利用编码图的结构对时间和空间信息进行了描述。