一种基于动态虚拟场景的测试方法及评价方法与流程

1.本发明涉及自动驾驶车辆技术领域，特别是涉及一种基于动态虚拟场景的测试方法及评价方法。


背景技术：

2.随着自动驾驶技术不断发展，“软件定义汽车”在车辆试验和评价中的权重不断加大，快速有效的进行软件功能测试评价是实现良好用户体验的重要技术保证手段，也是以人为本进行自动驾驶软件功能ota升级改善的重要依据。自动驾驶软件功能测试评价以场景验证为基础，重点评价在各类场景下车辆决策规划算法和线控底盘执行对于车辆乘员的主观感受和各项功能实现的可行性，通过车载人员和非车载人员联合测评，并将测评结果进行数据融合，得出客观的软件功能测试评价结果。
3.现有自动驾驶软件功能测试通过人工搭建场景，驾驶人员在驾驶位逐个测评，虚拟场景的种类少，且覆盖率低，无法穷尽虚拟出所有可能出现的道路情景，自动驾驶车辆的测试结果并不完善，并且，现有的测试方法中只能依据位于自动驾驶车辆内的测试人员的主观经验进行评价，一车一人，测试效率低，测试成本高。
4.综上，现有技术中的自动驾驶技术中的软件功能测试方法存在测试效率低、场景覆盖少、测试成本高等问题。


技术实现要素：

5.鉴于以上现有技术的缺点，本发明的目的在于提供一种基于动态虚拟场景的测试方法及评价方法，用于解决现有技术中的自动驾驶技术中的软件功能测试方法存在测试效率低、场景覆盖少、测试成本高等问题。
6.为实现上述目的及其他相关目的，本发明提供一种基于动态虚拟场景的测试方法，应用于自动驾驶车辆，包括：
7.接收场景选择指令，并根据所述场景选择指令获取对应的场景数据；其中，所述场景数据包括该场景下的静态物体数据、环境数据和动态物体数据；
8.接收测试起始指令，将所述静态物体数据、所述环境数据和所述动态物体数据进行随机参数化组合，生成多个仿真测试场景；
9.将所有所述仿真测试场景依次发送至所述自动驾驶车辆，并获取所述自动驾驶车辆在各所述仿真测试场景下进行测试的车辆行驶数据；
10.根据所述车辆行驶数据和预存的标准行驶数据，获取当前自动驾驶车辆的测试结果，完成测试。
11.在本发明一实施例中，所述静态物体数据包括静态物体的雷达数据及虚拟静态物体图像。
12.在本发明一实施例中，所述环境数据包括光照数据、温度数据、湿度数据和虚拟天气图像。
13.在本发明一实施例中，所述动态物体数据包括动态物体的雷达数据及虚拟动态物体图像。
14.在本发明一实施例中，所述将所有所述仿真测试场景依次发送至所述自动驾驶车辆，并获取所述自动驾驶车辆在各所述仿真测试场景下进行测试的车辆行驶数据的步骤包括：
15.将多个目标车速与所述仿真测试场景进行随机参数化组合，形成多个场景-目标车辆数据组合；
16.将所述场景-目标车辆数据组合依次发送给所述自动驾驶车辆，并获取所述自动驾驶车辆在各所述场景-目标车辆数据组合下进行测试的车辆行驶数据。
17.在本发明一实施例中，所述获取所述自动驾驶车辆在各所述场景-目标车辆数据组合下进行测试的车辆行驶数据的步骤包括：
18.针对每个所述场景-目标车辆数据组合，控制所述自动驾驶车辆的实际车辆数据，直至所述实际车辆数据符合当前场景-目标车辆数据组合对应的目标车辆数据；
19.获取所述自动驾驶车辆根据当前场景-目标车辆数据组合对应的仿真测试场景进行测试的车辆行驶数据。
20.本发明还公开了一种基于动态虚拟场景的测试系统，应用于自动驾驶车辆，包括：
21.第一获取模块，用于接收场景选择指令，并根据所述场景选择指令获取对应的场景数据；其中，所述场景数据包括该场景下的静态物体数据、环境数据和动态物体数据；
22.组合模块，用于接收测试起始指令，将所述静态物体数据、所述环境数据和所述动态物体数据进行随机参数化组合，生成多个仿真测试场景；
23.第二获取模块，用于将所有所述仿真测试场景依次发送至所述自动驾驶车辆，并获取所述自动驾驶车辆在各所述仿真测试场景下进行测试的车辆行驶数据；
24.第三获取模块，用于根据所述车辆行驶数据和预存的标准行驶数据，获取当前自动驾驶车辆的测试结果，完成测试。
25.本发明还公开了一种计算机设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述测试方法。
26.本发明还公开了一种计算机可读的存储介质，包括程序，当其在计算机上运行时，使得计算机执行上述测试方法。
27.本发明还公开了一种基于动态虚拟场景的评价方法，包括车载终端、第一终端和第二终端，所述车载终端设置在自动驾驶车辆上，并安装有上述测试系统，所述第一终端设置于所述自动驾驶车辆内，并与所述车载终端无线连接，所述第二终端设置于所述自动驾驶车辆外，并与所述车载终端无线连接，所述评价方法包括：
28.将所述自动驾驶车辆当前的仿真测试场景同步至所述第一终端；
29.采用数字孪生对测试过程中的所述自动驾驶车辆进行仿真映射，并将仿真映射的结果同步至所述第二终端；
30.获取所述第一终端和所述第二终端对应的评分，并根据预设的权重比值计算得到所述自动驾驶车辆的评价结果。
31.综上所述，本发明提供的一种基于动态虚拟场景的测试方法及评价方法通过将多
种静态物体数据、多种环境数据和多种动态物体数据进行随机参数化组合，实现了在同一个场景下，多个变量随机组合得到多种仿真测试场景的效果，并将多种仿真测试场景依次输入自动驾驶车辆，使得自动驾驶车辆能够持续针对不同仿真测试场景进行测试，使得测试得到的最终结果更全面，更具参考性，且本发明中的评价方法为不同经验、处于不同位置的测试人员预先设置了多个维度的权重值，使得最终获取到的评价结果更具可信度。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1显示为本发明的一种基于动态虚拟场景的测试方法于一实施例中的流程示意图。
34.图2显示为本发明的一种基于动态虚拟场景的测试系统于一实施例中的结构示意图。
35.图3显示为本发明的一种计算机设备于一实施例中的结构示意图。
36.图4显示为本发明的一种基于动态虚拟场景的评价方法于一实施例中的车载终端300、第一终端400和第二终端500的结构示意图。
37.图5显示为本发明的一种基于动态虚拟场景的评价方法于一实施例中的流程示意图。
38.元件标号说明
39.100、基于动态虚拟场景的测试系统；110、第一获取模块；120、组合模块；130、第二获取模块；140、第三获取模块；200、计算机设备；210、处理器；220、存储器；300、车载终端；400、第一终端；500、第二终端。
具体实施方式
40.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。
41.请参阅图1至图5。须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或
调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
42.当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。
43.请参阅图1，显示为本实施例的基于动态虚拟场景的测试方法的流程示意图，该测试方法应用于自动驾驶车辆，在现有技术中，测试人员需要在测试场地搭建多种类的测试场景以供自动驾驶车辆进行测试，但实际搭建场景的成本极高，且能够覆盖的场景种类也十分有限，因此本实施例通过向自动驾驶车辆发送多种场景数据的方式来进行自动驾驶车辆的测试，自动驾驶车辆接收到场景数据，可近似认为是车辆上的雷达探测实际搭建的场景所得到的数据，通过该种方式，可以实现虚拟场景的搭建，不仅省时省力，还能够覆盖多种场景。
44.本实施例中的测试方法包括：
45.步骤s100、接收场景选择指令，并根据场景选择指令获取对应的场景数据；其中，场景数据包括该场景下的静态物体数据、环境数据和动态物体数据。
46.在实际测试过程中，测试人员例如选择城市街道、过桥路段、隧道路段、崎岖山路等场景作为目标测试场景，并根据选择场景发出场景选择指令，本实施例中的测试方法根据场景选择指令，从数据库中获取测试人员选择的场景对应的多个静态物体数据、多个环境数据和多个动态物体数据。
47.现有技术中的自动驾驶车辆一般采用超声波雷达、毫米波雷达、激光雷达摄像头和gnss定位天线来获取周边环境的数据。
48.则相应的，场景数据中的静态物体数据例如包括静态物体的超声波雷达数据、毫米波雷达数据、激光雷达数据、虚拟静态物体图像及静态物体的gnss定位天线定位数据，具体的，静态物体例如可以为建筑物、植物、花坛、阶梯等日常行驶过程中经常看见的静态物体。
49.场景数据中的环境数据例如包括光照数据、温度数据、湿度数据和虚拟天气图像，其中，光照数据、温度数据和湿度数据即自动驾驶车辆上光照传感器、温度传感器、湿度传感器的数据，在其他较优的实施例中，环境数据例如还包括风速传感器数据等，环境数据用以模拟实际行驶过程中会遇见的各种天气情况。
50.场景数据中的动态物体数据包括动态物体的超声波雷达数据、毫米波雷达数据、激光雷达数据、虚拟动态物体图像及动态物体的gnss定位天线定位数据，具体的，动态物体例如为行走的行人、行驶的车辆、跑动的动物、滚动的篮球等。
51.其中，根据gnss定位天线的定位数据，自动驾驶车辆能够获取到自身在如后所述的仿真测试场景中的精确位置。
52.步骤s200、接收测试起始指令，将静态物体数据、环境数据和动态物体数据进行随机参数化组合，生成多个仿真测试场景。
53.例如，测试人员选择了城市道路作为目标测试场景，此时静态物体数据包括了多组超声波雷达数据、毫米波雷达数据、激光雷达数据及虚拟图像，这些超声波雷达数据、毫
米波雷达数据、激光雷达数据及虚拟图像用于表示城市道路两边不同的建筑物；环境数据包括了大风天气时的风速传感器数据和虚拟图像、晴朗天气时的光照传感器数据和虚拟图像；动态物体数据包括了多个行人的超声波雷达数据、毫米波雷达数据、激光雷达数据及虚拟图像、多辆行驶车辆的超声波雷达数据、毫米波雷达数据、激光雷达数据及虚拟图像，进一步将静态物体数据、环境数据和动态物体数据进行随机参数化组合，形成的仿真测试场景例如可以是“两旁都是建筑物的城市道路，大风天气，多个路人探头”，也可以是“两旁没有建筑物的城市道路，晴朗天气，没有路人探头但有行驶车辆别车”等，通过随机参数化组合的方式，使得自动驾驶车辆能够获取到多种虚拟路况的场景数据，使得自动驾驶车辆能够在多种多样的仿真测试场景中进行测试，使得测试进行的更全面、更完整。
54.步骤s300、将所有仿真测试场景依次发送至自动驾驶车辆，并获取自动驾驶车辆在各仿真测试场景下进行测试的车辆行驶数据。
55.步骤s300具体包括：
56.将多个目标车辆数据与仿真测试场景进行随机组合，形成多个场景-目标车辆数据组合；将场景-目标车辆数据组合依次发送给自动驾驶车辆，并获取自动驾驶车辆在各场景-目标车辆数据组合下进行测试的车辆行驶数据。
57.其中，随机组合形成仿真测试场景的静态物体数据、环境数据和动态物体数据均为自动驾驶车辆外界的变量参数，目标车辆数据是自动驾驶车辆本身的变量参数。
58.具体的，自动驾驶车辆根据当前接收到的场景-目标车辆数据组合，控制自身的实际车辆数据，直至实际车辆数据符合当前场景-目标车辆数据组合对应的目标车辆数据；随后根据当前场景-目标车辆数据组合对应的仿真测试场景进行测试，得到当前场景-目标车辆数据组合对应的车辆行驶数据。
59.其中，目标车辆数据例如包括目标车速，车窗高度等车辆参数。
60.在步骤s200中获取到多种仿真测试场景后，还可以将多种目标车速与仿真测试场景进行随机组合，最终形成的场景-目标车辆数据组合意味着要求自动驾驶车辆在保持该目标车速的情况下，在该仿真测试场景中进行测试，例如，当仿真测试场景为“两旁都是建筑物的城市道路，大风天气，多个路人探头”时，该仿真测试场景与目标车速“10km/h”、目标车速“50km/h”、目标车速“60km/h”进行自由组合，可以形成三个场景-目标车辆数据组合，自动驾驶车辆将实际车速分别控制在“10km/h”、“50km/h”、“60km/h”下进行测试，能够获取到同一个场景，即“两旁都是建筑物的城市道路，大风天气，多个路人探头”这一场景下的三种车辆行驶数据。
61.具体的，车辆行驶数据例如包括车辆制动反应时间、车辆避障反应时间、车辆位置、车速、加速度、偏航角和偏航角速度等，车辆行驶数据包含了自动驾驶车辆相关的所有数据，再次不做一一陈述。
62.步骤s400、根据车辆行驶数据和预存的标准行驶数据，获取当前自动驾驶车辆的测试结果，完成测试。
63.在实际测试过程中，预存的标准行驶数据为一个标准范围，例如，标准范围包括标准制动反应时间，该标准制动反应时间为0-0.5s，获取到的自动驾驶车辆在仿真测试场景为“两旁都是建筑物的城市道路，大风天气，多个路人探头”和任意目标车速下的车辆行驶数据中的制动反应时间均处于0-0.5s范围内，则测试结果即为该自动驾驶车辆的制动反应
时间这一项测试项目合格。
64.请参阅图2，本实施例还包括一种基于动态虚拟场景的测试系统100，应用于自动驾驶车辆，包括：
65.第一获取模块110，用于接收场景选择指令，并根据场景选择指令获取对应的场景数据；其中，场景数据包括该场景下的静态物体数据、环境数据和动态物体数据；
66.组合模块120，用于接收测试起始指令，将所述静态物体数据、所述环境数据和所述动态物体数据进行随机组合，生成多个仿真测试场景；
67.第二获取模块130，用于将所有仿真测试场景依次发送至自动驾驶车辆，并获取自动驾驶车辆在各仿真测试场景下进行测试的车辆行驶数据；
68.第三获取模块140，用于根据车辆行驶数据和预存的标准行驶数据，获取当前自动驾驶车辆的测试结果，完成测试。
69.请参阅图3，在本实施例中，还包括一种计算机设备200，包括处理器210，处理器210和存储器220耦合，存储器220存储有程序指令，当存储器220存储的程序指令被处理器210执行时实现上述测试方法。处理器210可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器220可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器220也可以为随机存取存储器(random access memory，ram)类型的内部存储器，所述处理器210、存储器220可以集成为一个或多个独立的电路或硬件，如：专用集成电路(application specific integrated circuit，asic)。需要说明的是，上述的存储器220中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
70.在本实施例中，还包括一种计算机可读的存储介质，包括程序，当其在计算机上运行时，使得计算机执行上述测试方法。
71.请参阅图4和图5，本实施例还包括一种基于动态虚拟场景的评价方法，包括车载终端300、第一终端400和第二终端500，车载终端300设置在自动驾驶车辆上，并安装有上述测试系统，第一终端400设置于自动驾驶车辆内，并与车载终端300无线连接，第二终端500设置于自动驾驶车辆外，并与车载终端300无线连接。
72.具体的，车载终端300例如为车机界面、显示屏、交互式网络电视(internet protocol television，iptv)等。
73.具体的，第一终端400和第二终端500例如为vr，智能手机，平板电脑、交互式网络电视(internet protocol television，iptv)等可视化智能终端。
74.本实施例中的评价方法包括：
75.步骤ss100、将自动驾驶车辆当前的仿真测试场景同步至第一终端400。
76.第一终端400用于将当前仿真测试场景的画面展示给坐在自动驾驶车辆内的测试人员。
77.步骤ss200、采用数字孪生对测试过程中的自动驾驶车辆进行仿真映射，并将仿真映射的结果同步至第二终端500。
78.数字孪生技术(digital twin)是近年来最具颠覆性的前沿科技之一，数字孪生技术通过设计工具、仿真工具、虚拟现实等各种数字化手段，在虚拟空间构建一个与自动驾驶车辆相一致、表征物理实体各种属性的虚拟实体(数字孪生体)，以数据和模型为驱动，以数字孪生体和数字线程为支撑，直接通过操控数字孪生体进行模拟、仿真和预测，解决了虚拟世界和现实世界连接交互问题。
79.第二终端500用于将仿真映射后的自动驾驶车辆的虚拟实体展示给在自动驾驶车辆外部进行观察的测试人员。
80.在另一种较优的实施例中，第二终端500还可以用于将当前仿真测试场景的画面展示给在自动驾驶车辆外部进行观察的测试人员。
81.步骤ss300、获取第一终端400和第二终端500对应的评分，并根据预设的权重比值计算得到自动驾驶车辆的评价结果。
82.在另一种较优的实施例中，最终的评价结果除了参考第一终端400和第二终端500预设的权重比值外，还可以参考实际发出评分的测试人员对应的预设权重值，以实现评分的多维度权重计算，使得最终获取到的评价结果更具有参考性。
83.综上所述，本发明提供的基于动态虚拟场景的测试方法及评价方法通过将多种静态物体数据、多种环境数据和多种动态物体数据进行随机参数化组合，实现了在同一个场景下，多个变量随机组合得到多种仿真测试场景的效果，并将多种仿真测试场景依次输入自动驾驶车辆，使得自动驾驶车辆能够持续针对不同仿真测试场景进行测试，使得测试得到的最终结果更全面，更具参考性，且本发明中的评价方法为不同经验、处于不同位置的测试人员预先设置了多个维度的权重值，使得最终获取到的评价结果更具可信度。
84.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。