用于评估具有多个交通参与者的交通场景的方法与流程

本发明涉及一种用于评估具有多个交通参与者的交通场景的方法。本发明此外涉及用于此目的的计算机程序、设备、训练方法以及存储介质。

背景技术：

1、专注于通过可微模拟进行驾驶员建模或预测的传统方法通常使用(具有地图和代理的)作为离散输入的渲染网格或具有旋转聚焦区域(感兴趣区)的渲染网格。例如，这种解决方案在scibior等人的“imagining the road ahead:multi-agent trajectoryprediction via differentiable simulation”,arxiv:2104.11212v1中或者在suo等人的“trafficsim:learning to simulate realistic multi-agent behaviors”,cvpr2021,arxiv:2101.06557v1中公布。

2、不具有可微模拟的方法例如在gao等人的“vectornet:encoding hd maps andagent dynamics from vectorized representation”,arxiv:2005.04259v1中公布。

技术实现思路

1、本发明的主题是具有权利要求1的特征的方法、具有权利要求8的特征的计算机程序、具有权利要求9的特征的训练方法、具有权利要求10的特征的设备以及具有权利要求11的特征的计算机可读存储介质。本发明的进一步特征和细节从相应的从属权利要求、说明书和附图中得出。在此，结合根据本发明的方法描述的特征和细节当然结合根据本发明的计算机程序、根据本发明的训练方法、根据本发明的设备以及根据本发明的计算机可读存储介质也适用，并且分别反之亦然，使得关于各个发明方面的公开始终互相参考或可以互相参考。

2、本发明的主题尤其是一种用于评估具有多个交通参与者的交通场景的方法。在此，该方法可以包括提供输入数据，所述输入数据例如以诸如视频记录的数字数据的形式存在并且可以从交通场景的采集中得到。例如，为了采集交通场景，可以使用相机，所述相机记录车辆的环境并且提供所述环境作为输入数据。输入数据因此可以指定交通参与者和所属的特征，其中这些特征可以至少部分地基于交通参与者的——优选可微的——当前和过去状态。这尤其是可以理解为输入数据指定交通参与者针对当前以及至少一个或多个过去驾驶情形的状态。这些状态可以说明可微的状态，诸如交通参与者的速度或加速度。由此可以根据输入数据对状态变化过程进行(数学)微分。

3、此外，根据本发明的方法可以包括提供交通参与者的代表和/或交通参与者在交通场景中彼此间的关系的代表和/或交通场景的基础设施的代表。在此，可以基于特征来指定所述关系，例如通过说明相对速度等。

4、基础设施可以由参数化表示来代表。这尤其是可以理解为，诸如行车道的基础设施不是基于网格来代表的，也即例如不是通过网格的单元来代表的，而是通过诸如线条等参数或者通过标量值来代表的。这使得能够连续地代表基础设施。从而可以明显地改善预报的训练和准确度。

5、此外，该代表可以具有图形的多个节点，所述节点代表相应的交通参与者。此外，该代表可以具有图形的多个边，所述边指定交通参与者彼此间的关系，优选地明确地指定彼此间的关系。这尤其是可以通过使用图形神经网络(简称gnn)作为机器学习模型而成为可能。尤其是，可以通过以下方式明确地指定彼此间的关系，即(尤其是在输入数据中或作为用于模型的输入)使用诸如距离、差速度等的相对特征(feature)。换句话说，可以规定，如果例如简单地使用相应的绝对特征作为用于模型的输入(诸如位置、速度等)，则明确地指定这些关系，而不是(仅)由机器学习模型、尤其是网络本身来学习这些关系。

6、此外，该方法可以包括尤其是基于所提供的代表来预报交通场景的未来发展。在此可以在考虑交通参与者的当前和/或过去状态的情况下执行预报。此外，可以基于所提供的代表、尤其是基于单个代表、尤其是gnn来预报所有所代表的交通参与者的行为。这具有以下优点，即只需要唯一的代表、优选唯一的图形、优选唯一的gnn，就能预报交通场景的多个交通参与者的行为。随后可以提供预报的结果，例如以相应交通参与者的运动的预测轨迹的形式。根据本发明的方法具有以下优点，即可以改善代表并且因此改善交通场景的预报。交通参与者在下面也称为代理。

7、此外可能的是，特征是语义特征，可以从当前和过去状态中计算出所述语义特征，尤其是以恒定的和/或可微的方式，其中优选地所述特征相对于交通场景的尤其是全局的坐标是旋转和平移不变的。因此，所述特征、尤其是节点特征可以是可微的和/或语义的特征。在此，尤其是规定，这些特征要么是恒定的，例如代理类型或代理维度，要么以可微的方式从诸如速度、加速度、偏航率等可微状态的历史中计算出来。尤其是，通过使用可微状态，可以进行可微训练以用于预报，通过所述可微训练可以减少在预报时的误差和不准确性。全局坐标优选地可以是全局坐标系的坐标，尤其是位置固定的坐标系的坐标，即例如相对于交通场景的街道位置固定的坐标系的坐标。

8、此外，可以从代理的角度说明输入数据中的特征，即“代理相关的”。从而获得以下优点，即可以改善代表并且因此改善交通参与者的行为的预报。

9、输入数据可以具有坐标，以例如在地图上定位交通参与者。输入数据和/或代表在此可以是旋转和平移不变的。这意味着即使地图连同代理被转动或推移，代表、尤其是机器学习模型的行为也保持不变。

10、表述“微分的”可以涉及使用导数、尤其是偏导数。从而可以计算输入变量中的小变化对输出变量或模型误差的影响。这种技术也称为微分学习，并且应用在机器学习的不同算法和技术中，尤其是应用在神经网络和具有梯度下降的其他模型的优化中。在微分学习的情况下关于输入数据计算损失函数或其他函数的偏导数，以确定输入数据中的小变化如何强烈地影响模型的输出。如果所基于的函数是平滑的或连续可微的，则状态例如可以是可微的。在这种情况下，可以基于可微状态来应用机器学习方法。这种状态例如是交通参与者的速度，然而例如不是与在前行驶的车辆的距离，因为在前行驶的车辆可能变道，这导致所述距离的跃变。

11、此外有利的是，在本发明的范围内借助于机器学习模型来执行预报，所述机器学习模型优选地被实施为图形神经网络。机器学习模型可以具有节点和边，其中节点优选地代表相应交通参与者的状态。机器学习模型也可以简称为模型，并且尤其是可以被实施为以代理为中心的图形神经网络。gnn是一种人工神经网络，其可以用于处理图形上的数据和其他结构化数据。从而可能的是，对图形的节点之间的复杂关系进行建模。图形可以具有由边(也称为“边缘”)连接的多个节点(也称为“顶点”或“node”)。以这种方式，边可以表示节点之间的关系。在本发明的情况下，节点可以表示代理的状态。此外，节点可以包括不同嵌入(英语：embedding)的组合，所述嵌入以下称为第一嵌入、第二嵌入等。输入数据可以包括特定数量的特征(例如6个)，而嵌入同样可以具有嵌入大小，例如64。对应地，编码器将会嵌入特征，以便能够通过网络进一步处理所述特征。如果特征例如说明可微状态，诸如交通参与者的速度，则第一嵌入可以解释这些特征，并且必要时从中导出另外的状态。

12、如果使用以下机器学习模型来提供代表，则在本发明的范围内可以获得进一步的优点，所述机器学习模型包括至少部分地基于特征的第一嵌入并且包括在交通场景的情况下指定拓扑的第二嵌入，其中优选地第一和/或第二嵌入相对于交通场景的尤其是全局的坐标是旋转和平移不变的。第一嵌入可以是基于语义特征的可微嵌入，所述语义特征要么是恒定的，例如代理类型、代理维度等，要么可以以可微的方式从诸如速度、加速度、偏航率等状态的历史中计算出来。这些特征可以被设计为使得所述特征关于尤其是全局的坐标是旋转和平移不变的。第二嵌入可以是拓扑的可微嵌入并且尤其是基础设施的可微嵌入，所述可微嵌入优选地相对于尤其是全局的坐标是旋转和平移不变的。

13、此外，边可以表示两个代理之间的空间的和基于状态的关系，尤其是基于以可微的方式从代理的状态变化过程中计算出的语义特征，诸如位置的差、速度的差、加速度的差、航向的差等。这些特征又可以被选择为使得所述特征关于尤其是全局的坐标是旋转和平移不变的。

14、此外可能的是，使用机器学习模型来提供代表，其中特征至少部分地基于(尤其是可微的)当前和过去状态并且优选地以可微的方式从所述状态的历史中计算出来，并且优选地以可微的方式来实施机器学习模型的第一和/或第二嵌入，以借助于必要时可微的模拟来训练机器学习模型。所提出的解决方案关于旋转和平移可以是不变的，并且因此利用了关于驾驶任务的现有知识。这样，所述解决方案可以更好地概括新的场景并且与其他方案相比需要更少的训练数据。与对于不变性使用例如复杂群论算子的传统解决方案相比，本发明的不变方案更简单并且因此更快速且资源更高效。同时，由此也可以明确地对代理之间的交互进行建模，这能够实现比传统方案更好的预测。此外，可微的性质还使得能够利用可微的模拟方案进行训练。这使得能够尤其是基于顺序决策而不是单个预测来准确预测长期行为。

15、例如，在scibior等人的“imagining the road ahead:multi-agent trajectoryprediction via differentiable simulation”,arxiv:2104.11212v1[stat.ml]2021年4月22日中或者在suo等人的“trafficsim:learning to simulate realistic multi-agentbehaviors”,cvpr2021,arxiv:2101.06557v1[cs.ro]2021年1月17日中描述了使用可微模拟来训练模型。从而可以例如将交通场景建模为顺序过程，其中交通参与者交互并且在每个时间步骤中规划其行为。借助于用于交通参与者的可微观测模块和共用策略(或也称为“policy”)，可以对交通场景进行代表，其方式是在多个步骤期间模拟交通参与者的运动。然后可以通过可微模拟使用反向传播，以计算和优化在每个模拟步骤时的损耗。这尤其是可能的，因为以完全可微的方式对状态过渡进行建模。通过经由具有交通参与者作为节点的完全连接的图形、尤其是交互图形来转交消息，潜在空间可以学习不仅采集各个交通参与者的目标和风格，而且采集多个交通参与者的交互。

16、可选地可设想的是，基于机器学习来执行预报，其中在机器学习时设置模拟，在所述模拟时基于交通参与者的当前和过去状态的差来执行机器学习，其中所述模拟优选地被实施为可微模拟。尤其是，借助于梯度下降对模型的训练也可以通过对相应交通参与者的运动进行正向模拟来实现，其中作为新位置例如使用交通参与者的旧位置并且使用由模型估计的差。如果所使用的特征是恒定的(例如车辆类型)或者可以以数学上可微的方式从代理的状态历史中计算出来，则这尤其是可能的。

17、此外，节点和边特征可以提供紧凑、表现力强的和灵活的表示。与车辆位置以像素坐标被离散化的网格化表示相比，节点和边特征可以更明确并且更准确地对信息进行建模，因为不需要离散化。此外，基本上可以仅是信息矢量的节点和边特征可以更灵活，因为可以容易地向所述节点和边特征扩展在网格化表示中将会难以可视化的信息。

18、此外，可设想的是，基于所提供的预报结果来执行至少部分自主的机器人并且尤其是车辆的行为规划，其中机器人可以是交通场景的一部分并且可以装备有车辆自身的传感器系统，诸如至少一个相机，以采集输入数据。因此，可以使用本发明来分析从至少一个传感器获取的数据，例如在诸如车辆等至少部分自主的机器人的情况下。传感器可以对其环境执行测量，并且以传感器信号的形式提供这些测量的结果，所述传感器信号可以例如通过轨迹和地图数据给出。为此可以例如对传感器信号进行数字化，以在此基础上以数字数据的形式提供输入数据。可以例如将根据本发明的方法用于计算控制信号以用于控制机器人。这例如通过教导用于控制机器人的策略并且随后对应地运行机器人来进行。本发明还可以是用于机器学习的训练管道的一部分，所述训练管道使用模仿学习(行为方式的克隆)来训练驾驶员模型。

19、本发明的主题同样是一种用于训练机器学习模型以评估具有多个交通参与者的交通场景的训练方法。根据第一训练步骤，可以规定提供训练数据，其中训练数据可以指定交通场景中的交通参与者和所属的特征。这些特征可以至少部分地基于交通参与者的尤其是可微的当前和过去状态。根据第二训练步骤，可以规定训练机器学习模型以用于预报交通场景的未来发展。在此，交通参与者可以通过图形的节点代表，并且交通参与者在交通场景中彼此间的关系可以通过图形的边代表。此外可以基于特征来指定关系。也可能的是，交通场景的基础设施通过参数化表示来代表。在此可以通过必要时可微的模拟在考虑交通参与者的当前和过去状态的情况下训练预报，以基于所提供的代表来预报所有所代表的交通参与者的行为。因此，根据本发明的训练方法带来与详尽地参照根据本发明的方法描述的相同的优点。此外，在根据本发明的方法的情况下使用的机器学习模型可以通过根据本发明的训练方法训练过。

20、本发明的主题同样是一种计算机程序、尤其是一种计算机程序产品，其包括指令，当由计算机执行计算机程序时，所述指令促使所述计算机执行根据本发明的方法。因此，根据本发明的计算机程序带来了与详尽地参考根据本发明的方法描述的相同的优点。

21、本发明的主题同样是一种用于进行数据处理的设备，所述设备被设立用于执行根据本发明的方法。例如，可以设置计算机作为所述设备，所述计算机执行根据本发明的计算机程序。计算机可以具有至少一个用于执行计算机程序的处理器。还可以设置非易失性数据存储器，其中储存有计算机程序并且可以通过处理器从所述非易失性数据存储器中读出计算机程序以用于执行。

22、本发明的主题同样可以是一种计算机可读存储介质，所述计算机可读存储介质具有根据本发明的计算机程序和/或包括指令，所述指令在由计算机执行时促使所述计算机执行根据本发明的方法。存储介质例如被构造为数据存储器，诸如硬盘和/或非易失性存储器和/或存储卡。存储介质可以例如集成到计算机中。

23、此外，根据本发明的方法和/或根据本发明的训练方法也可以被实施为计算机实现的方法。