生成多个模拟边缘情况驾驶场景的制作方法

本公开中描述的一些实施例涉及模拟数据，且更具体且不排他地，涉及多个模拟驾驶场景。

背景技术：

1、如本文所使用的，术语驾驶场景指的是描述一驾驶环境及在所述驾驶环境中行动的一个或多个行动者的数据。所述驾驶环境可以包括描述一地形的一拓扑结构的一地图，及所述驾驶环境中的一个或多个静态对象，一些例子是一铺设道路、一路标、一人行道、一停放车辆、一树木、一交通标志及一建筑物。一行动者是所述驾驶环境中的一移动对象，例如一车辆或一行人。另一个例子是一动物。一行动者可以在所述驾驶环境的空中行动，例如一鸟或由所述驾驶环境的另一行动者抛出的一石头。另一个例子是一对象从另一对象上掉落，例如一物体从一建筑物上掉落，或者一物体从一移动车辆上掉落。

2、在自动驾驶领域，通常的做法是，一系统，例如一自动驾驶系统(autonomousdriving system,ads)或一高级驾驶辅助系统(advanced driver-assistance system,adas)，包括一个或多个机器学习模型。这类机器学习模型可以作为一系统学习如何在道路上良好运行的基石。通常的做法是使用多个驾驶场景来训练这类机器学习模型。多个驾驶场景在自动驾驶领域的其他多个用途包括一机器学习模型的验证，一机器学习模型的确认，以及一机器学习模型的测试。多个驾驶场景也可用于一系统，如一ads或一adas，的一个或多个测试、验证、确认及训练。

3、一驾驶场景可以在一真实实体驾驶景象中捕获，例如通过安装在穿越所述真实实体驾驶景象的一车辆上的一个或多个传感器。一驾驶场景可以是模拟的。可选地，一驾驶场景的部分被捕获。可选地，一驾驶场景的部分是模拟的。

4、如本文所用，术语“感兴趣驾驶场景”是指一不寻常的驾驶场景，也就是不太可能的一驾驶场景，即相对罕见，但也是可能的。一感兴趣驾驶情景有时被称为一边缘情况场景。一感兴趣驾驶场景的一个例子是一近距离碰撞，例如当一车辆快速靠近另一车辆时。一感兴趣驾驶场景的其他多个例子包括道路上的一对象、不寻常的行人行为、不寻常的骑车人行为、一车辆的一突然停止(可能伴随另一车辆的一不寻常反应)，以及一车辆的转向的一突然变化，例如当一车辆突然转向一静态对象，例如一人行道或一建筑物。一感兴趣驾驶场景的其他多个例子包括多个极端天气状况，一些例子是猛烈的风、一大雨及一突然的闪电。当开发对一驾驶场景做出反应的一系统时，例如一ads或一adas，在训练、测试、验证、确认及其任何组合中为所述系统提供多个感兴趣驾驶场景，可以提高系统的稳健性。有必要生成多个感兴趣模拟驾驶场景。

技术实现思路

1、本文所述的一些实施例的目的是提供用于生成多个模拟驾驶场景的一种系统及一种方法，包括一个或多个感兴趣驾驶场景。

2、上述及其他目标是通过独立权利要求的特征实现的。进一步的实施形式从从属权利要求、说明书及附图中可以看出。

3、根据本公开的一个方面，一种用于生成模拟驾驶场景的系统包括至少一硬件处理器，适于：生成多个模拟驾驶场景，每一个模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一个机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。使用另一个机器学习模型，经过训练以运算指示由机器学习模型产生的模拟驾驶场景包括感兴趣驾驶场景的可能性的分类，来训练用于生成多个模拟驾驶场景的机器学习模型，增加了多个模拟驾驶场景中的每一个场景包括至少一感兴趣驾驶场景的一可能性。

4、根据本公开的另一方面，一种用于生成模拟驾驶场景的方法包括：生成多个模拟驾驶场景，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。

5、根据本公开的另一方面，一种用于训练一自动驾驶模型的系统包括至少一硬件处理器，所述硬件处理器在多个迭代中的每一个适于：通过向所述自动驾驶模型提供至少一模拟驾驶场景来运算多个驾驶指令，所述至少一模拟驾驶场景是通过生成多个模拟驾驶场景生成的，每一个所述模拟驾驶场景是通过向一机器学习模型提供多个输入驾驶对象生成的，其中所述机器学习模型是使用另一机器学习模型训练以运算一分类，所述分类指示通过所述机器学习模型产生的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。根据所述多个驾驶指令及所述至少一模拟驾驶场景运算一分数；以及修改所述自动驾驶模型的至少一模型值，以增加在所述多个迭代中的一后续迭代中运算的另一分数。使用由一机器学习模型生成的一个或多个模拟驾驶场景训练所述自动驾驶模型，所述机器学习模型被训练为运算一分类，所述分类指示所述机器学习模型产生的一模拟驾驶场景包括感兴趣驾驶场景的一可能性，增加了所述自动驾驶模型使用一个或多个感兴趣驾驶场景训练的一可能性，从而提高所述自动驾驶模型响应一输入驾驶场景的一输出的准确性。

6、在所述第一及第二方面的一可能实施形式中，训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。可选地，所述机器学习模型是通过在多个训练迭代中的每一个使用其他机器学习模型进行训练的。由所述机器学习模型生成至少一模拟驾驶场景，以响应多个训练输入驾驶对象；将所述至少一模拟驾驶场景提供给其他机器学习模型，以运算至少一分类，指示所述至少一模拟驾驶场景包括至少一感兴趣驾驶场景的一可能性；以及根据所述至少一分类，修改所述机器学习模型的至少一模型值，以提高将在一后续训练迭代中生成的另一模拟驾驶场景分类为具有至少一其他感兴趣驾驶场景的一可能性。在一车辆穿越一实体景象时使用多个记录数据集训练其他机器学习模型，提高了其他机器学习模型的一输出的准确性，从而提高了生成所述多个模拟驾驶场景的所述机器学习模型的准确性。可选地，所述至少一感兴趣驾驶场景包括以下的至少一者：通过其他机器学习模型模拟的一车辆的一速度值、通过其他机器学习模型模拟的所述车辆的一加速度值、通过其他机器学习模型生成的一驾驶指令、通过其他机器学习模型模拟的所述车辆的一方向值、以及通过其他机器学习模型模拟的所述车辆与所述驾驶场景的至少一其他对象之间的一距离。

7、在所述第一及第二方面的另一种可能的实施形式中，所述至少一硬件处理器还适于向至少一自动驾驶模型提供多个模拟驾驶场景中的至少部分，以达到以下至少一目的：训练所述至少一自动驾驶模型，测试所述至少一自动驾驶模型，确认所述至少一自动驾驶模型，以及验证所述至少一自动驾驶模型。可选地，所述至少一自动驾驶系统是选自由以下组成的一群组的一系统的至少部分：一自动驾驶系统(ads)，以及一高级驾驶辅助系统(adas)。

8、在所述第一及第二方面的另一种可能的实施形式中，所述多个输入驾驶对象包括以下至少一者：一模拟驾驶环境的一移动对象，以及一模拟驾驶环境的一静态对象。可选地，所述移动对象选自由以下组成的多个移动对象的一群组：一车辆及一人。向所述机器学习模型提供一模拟驾驶环境中的一个或多个移动对象，以及额外地或可替换地提供一模拟驾驶环境中的一个或多个静态对象，提高了通过所述机器学习模型生成的一模拟驾驶环境的准确性。

9、在所述第一及第二方面的另一种可能的实施形式中，为了生成所述多个模拟驾驶场景中的至少一者，还向所述机器学习模型提供描述一模拟驾驶环境的一地形的一地图。向所述机器学习模型提供描述一模拟驾驶环境的一地形的一地图，提高了通过所述机器学习模型生成的一模拟驾驶环境的准确性。

10、在所述第一及第二方面的另一种可能的实施形式中，所述多个输入驾驶对象包括通过一随机对象生成器生成的至少一对象。向所述机器学习模型提供由一随机对象生成器生成的一个或多个对象，增加了多个生成场景之间的一多样性，增加了多个生成场景包括至少一感兴趣驾驶场景的一可能性。

11、在所述第一及第二方面的另一种可能的实施形式中，还向所述机器学习模型提供多个约束，并且所述机器学习模型根据所述多个约束生成所述多个模拟驾驶场景中的至少一者。使用多个约束来生成一模拟驾驶场景，提高了所述生成的模拟驾驶场景的准确性。

12、在所述第一及第二方面的另一个可能的实施形式中，所述多个模拟驾驶场景中的至少一者包括一模拟驾驶环境的多个模拟对象的多个移动矢量。

13、在所述第一及第二方面的另一种可能的实施形式中，生成所述多个模拟驾驶场景中的至少一生成场景还包括将至少一环境特征调整应用于所述至少一生成场景。将一个或多个环境特征调整应用于一生成的场景，提高了所述生成的场景的准确性。

14、在所述第一及第二方面的另一种可能的实施形式中，所述机器学习模型是一生成对抗性神经网络(gan)或一条件生成对抗性神经网络(cgan)的一生成器网络。可选地，其他机器学习模型是一神经网络。可选地，所述神经网络是使用一模仿学习方法训练的。使用gan或cgan的一生成器来生成所述多个模拟驾驶场景，并额外地或可替换地使用一个或多个神经网络来训练所述机器学习模型以生成所述多个模拟驾驶场景，提高了所述机器学习模型的一输出的准确性。

15、在所述第一及第二方面的另一个可能的实施形式中，还向所述机器学习模型提供表示至少一感兴趣驾驶场景的特征的多个模拟参数，并且所述机器学习模型还根据所述多个模拟参数生成所述多个模拟驾驶场景中的至少一者。向所述机器学习模型提供多个模拟参数提高了所述机器学习模型的一输出的准确性，还可以额外地提高通过所述机器学习模型生成的一模拟驾驶场景包括一感兴趣驾驶场景的一可能性。可选地，所述多个模拟参数包括多个时空矩阵距离值，描述在一确定的时间间隔内，通过一自动驾驶员模拟的一车辆与所述多个输入对象中的一个或多个对象之间的多个距离。可选地，所述多个时空矩阵距离值是使用捕获驾驶数据运算的。可选地，所述捕获驾驶数据的至少部分是通过安装在一车辆上的多个传感器在穿越一驾驶位置时捕获的。可选地，所述捕获驾驶数据是在执行另一自动驾驶模型时捕获的。可选地，所述捕获驾驶数据包括多个数字图像帧(frame)。可选地，运算所述多个时空矩阵距离值包括：运算多个时空矩阵，每一个所述时空矩阵与所述多个帧中的一帧相关联，且每一个所述时空矩阵包括多个时空矩阵距离值的一集合，每一个所述时空矩阵距离值描述在所述帧中确定的多个捕获对象中的一捕获对象与在所述帧中确定的所述多个捕获对象中的另一捕获对象的一距离。在所述多个时空矩阵中确定在一确定时间发生的所述多个捕获对象中的至少两个捕获对象之间的至少一捕获近距离碰撞；以及从所述多个时空矩阵中的至少部分选择与所述至少两个捕获对象有关的其多个时空矩阵距离值的个别集合的至少部分，在所述确定的时间间隔内结束于所述确定时间，以产生所述多个时空矩阵距离值。可选地，运算所述多个时空矩阵距离值还包括：运算所述多个时空矩阵距离值的至少一突变。可选地，运算所述多个时空矩阵距离值的所述至少一突变包括执行至少一推理机器学习模型。可选地，运算所述多个时空矩阵距离值的所述至少一突变包括递增或递减所述多个时空矩阵距离值中的至少一者。使用从穿越一驾驶位置时捕获的驾驶数据及执行一自动驾驶模型时额外地或可替换地捕获的多个时空矩阵距离值运算的多个模拟参数，增加了所述机器学习模型的一输出包括至少一感兴趣驾驶场景的一可能性。此外，运算多个时空矩阵距离值的一个或多个突变增加了生成包括感兴趣驾驶情景的一个以上模拟驾驶情景的一可能性。

16、在所述第三方面的一个实施形式中，所述系统还包括在训练后，在以下至少一者中使用所述自动驾驶模型：一自动驾驶系统(ads)，以及一高级驾驶辅助系统(adas)。在一ads中以及额外地或可替换地在一adas中使用如上所述的训练过的所述自动驾驶模型，提高了所述ads以及额外地或可替换地所述adas的一输出的准确性，从而提高所述ads以及额外地或可替换地所述adas的可用性。

17、在所述第三方面的另一个实施形式中，训练其他机器学习模型包括使用多个记录数据集，每一个所述记录数据集是在一车辆穿越一实体景象时记录的，并包括一记录驾驶场景及多个记录驾驶指令，所述训练是根据多个记录驾驶指令及通过其他机器学习模型响应所述记录驾驶场景运算的多个运算驾驶指令之间的一差异。

18、本公开的其他系统、方法、特征及优点对于本领域的技术人员来说，在审视以下附图及详细描述时将是或将变得明显。旨在将所有这些额外的多个系统、多个方法、多个特征及多个优点都包括在本说明书中，在本公开的范围内，并受所附权利要求的保护。

19、除非另有定义，本文使用的所有技术及/或科学术语的含义与本领域普通技术人员对其实施例的通常理解相同。尽管与本文描述的方法及材料相似或相当的方法及材料可用于实践或测试多个实施例，但下文描述了示例性的方法及/或材料。如果发生冲突，将以专利说明书，包括定义为准。此外，这些材料、方法及例子只是描述性的，并不意味构成限制。