自主车辆规划器测试工具的制作方法

本公开涉及测试自主车辆规划器性能的工具和技术及其实现方法、系统和计算机程序。

背景技术：

1、自主车辆领域取得了重大而迅速的发展。自主车辆是一种配备传感器和自主系统而能够在无人控制其行为的情况下运行的交通工具。本文中，术语“自主”涵盖半自主行为和全自主行为。传感器使车辆能够感知其物理环境，例如可包括摄像头、雷达和激光雷达。自主车辆配备适当编程的计算机，能够处理从传感器接收的数据，并根据传感器感知的环境做出安全且可预测的决策。测试特定自主车辆或某类自主车辆上传感器和自主系统的行为涉及不同方面。av测试可以在现实世界中进行，也可以基于模拟驾驶场景进行。测试车辆(现实或模拟)可以称为自我车辆或被测车辆。

2、业界的一种测试方法依赖于“影子模式(shadow mode)”操作。这种测试旨在使用人类驾驶作为评定自主决策的基准。自主驾驶系统(ads)在影子模式下根据从配备传感器但人类驾驶的车辆捕获的输入运行。ads处理人类驾驶车辆的传感器输入，并做出驾驶决策，就好像理论上控制车辆一样。然而，这些自主决策并未实际实行，而只是简单记录下来，目的是将它们与人类实际驾驶行为进行比较。如此累积“影子里程”，通常目的是证明ads可以比人类更安全高效地执行任务。

3、现有的影子模式测试存在许多缺点。影子模式测试可能会标记某些场景，其中可用的测试数据表明ads的表现与人类驾驶员不同。目前这需要对测试数据进行手动分析。每种场景的“影子里程”需要与相同场景的人类驾驶员里程进行比较来完成评估。

技术实现思路

1、根据本发明一方面，提供了一种评估自主机器人规划栈中至少一个组件性能的计算机实现方法，该方法包括：生成第一运行的第一评估数据，其中通过在场景中被测规划栈的控制下操作自主机器人；修改规划栈的至少一个组件的至少一个操作参数，其中通过对操作参数应用变量修改；生成第二运行的第二评估数据，其中通过在场景中已修改至少一个操作参数的规划栈的控制下操作自主机器人；使用至少一个比较性能度量来比较第一评估数据与第二评估数据。

2、一些实施例中，规划栈的至少一个组件是感知组件，并且变量修改应用于感知组件的感知准确度。

3、一些实施例中，至少一个组件是预测组件，并且变量修改是修改可用于操作规划栈中预测组件的计算资源。

4、一些实施例中，至少一个组件是控制组件。

5、一些实施例中，变量修改是基于正修改参数的修改值的统计分布来计算。这个实施例中，统计分布可以是高斯分布。

6、一些实施例中，响应于用户在图形用户界面处选择修改而对操作参数应用变量修改。这个实施例中，用户选择可以包括激活图形用户界面上的滑块，该滑块在第一端点与第二端点之间滑动百分比修改。

7、一些实施例中，用户选择是选择对多个操作参数进行百分比变量修改。

8、一些实施例中，场景是模拟场景。这个实施例中，模拟场景可以是基于从操作自主机器人的实际场景中提取的地面实况。

9、一些实施例中，性能度量使用交错点识别。交错点识别请参阅本申请人的英国专利申请gb2107645.0，其内容通过引用归并本文。

10、一些实施例中，比较结果显示为性能卡上的指示。性能卡请参阅本申请人的英国专利申请gb2107644.3，其内容通过引用归并本文。

11、根据第二方面，提供了一种包括计算机可读指令集的计算机程序，这些指令被处理器执行时促使处理器进行根据第一方面或其任何实施例的方法。

12、根据第三方面，提供了一种存储有根据第二方面的计算机程序的非暂态计算机可读介质。

13、根据第四方面，提供了一种包括处理器和代码存储器的装置，代码存储器存储有计算机可读指令集，这些指令被处理器执行时促使处理器：生成第一运行的第一评估数据，其中通过在场景中被测规划栈的控制下操作自主机器人；修改规划栈的至少一个组件的至少一个操作参数，其中通过对该操作参数应用变量修改；生成第二运行的第二评估数据，其中通过在场景中已修改至少一个操作参数的规划栈的控制下操作自主机器人；使用至少一个比较性能度量来比较第一评估数据与第二评估数据。

14、一些实施例中，规划栈的至少一个组件是感知组件，并且变量修改应用于感知组件的感知准确度。

15、一些实施例中，至少一个组件是预测组件，并且变量修改是修改可用于操作规划栈中预测组件的计算资源。

16、一些实施例中，至少一个组件是控制组件。

17、一些实施例中，变量修改是基于正修改参数的修改值的统计分布来计算。

18、一些实施例中，统计分布是高斯分布。

19、一些实施例中，计算机可读指令集被处理器执行时促使处理器：响应于用户在图形用户界面处选择修改而对操作参数应用变量修改。

20、一些实施例中，用户选择包括激活图形用户界面上的滑块，该滑块在第一端点与第二端点之间滑动百分比修改。

21、一些实施例中，用户选择是选择对多个操作参数进行百分比变量修改。

22、一些实施例中，场景是模拟场景。

23、一些实施例中，模拟场景是基于从操作自主机器人的实际场景中提取的地面实况。

24、一些实施例中，比较第一评估数据与第二评估数据使用到交错点识别。

25、一些实施例中，计算机可读指令集配置为被处理器执行时促使处理器：将比较结果显示为性能卡上的指示。

技术特征：

1.一种评估自主机器人规划栈中至少一个组件性能的计算机实现方法，该方法包括：

2.根据权利要求1所述的方法，其中，所述规划栈的至少一个组件是感知组件，并且所述变量修改应用于所述感知组件的感知准确度。

3.根据权利要求1所述的方法，其中，所述至少一个组件是预测组件，并且所述变量修改是修改可用于操作所述规划栈中所述预测组件的计算资源。

4.根据权利要求1所述的方法，其中，所述至少一个组件是控制组件。

5.根据权利要求1所述的方法，其中，所述变量修改是基于正修改参数的修改值的统计分布来计算。

6.根据权利要求5所述的方法，其中，所述统计分布是高斯分布。

7.根据权利要求1所述的方法，其中，响应于用户在图形用户界面处选择修改而对所述操作参数应用所述变量修改。

8.根据权利要求7所述的方法，其中，所述用户选择包括激活所述图形用户界面上的滑块，所述滑块在第一端点与第二端点之间滑动百分比修改。

9.根据权利要求7或8所述的方法，其中，所述用户选择是选择对多个操作参数进行百分比变量修改。

10.根据任一项前述权利要求所述的方法，其中，所述场景是模拟场景。

11.根据权利要求10所述的方法，其中，所述模拟场景是基于从操作所述自主机器人的实际场景中提取的地面实况。

12.根据任一项前述权利要求所述的方法，其中，比较所述第一评估数据与所述第二评估数据使用到交错点识别。

13.根据任一项前述权利要求所述的方法，包括：将比较结果显示为性能卡上的指示。

14.一种包括处理器和代码存储器的装置，所述代码存储器存储有计算机可读指令集，所述指令被所述处理器执行时促使所述处理器：

15.一种包括计算机可读指令集的计算机程序，所述指令被处理器执行时促使所述处理器：

技术总结
一种评估自主机器人规划栈中至少一个组件性能的计算机实现方法，该方法包括：生成第一运行的第一评估数据，其中通过在场景中被测规划栈的控制下操作自主机器人；修改规划栈的至少一个组件的至少一个操作参数，其中通过对该操作参数应用变量修改；生成第二运行的第二评估数据，其中通过在场景中已修改至少一个操作参数的规划栈的控制下操作自主机器人；使用至少一个比较性能度量来比较第一评估数据与第二评估数据。

技术研发人员：亚历山卓·博尔达略,本斯·马扎尔
受保护的技术使用者：法弗人工智能有限公司
技术研发日：
技术公布日：2024/1/22