系统评价方法、装置、非易失性存储介质和计算机设备与流程

1.本发明涉及智能驾驶领域，具体而言，涉及一种系统评价方法、装置、非易失性存储介质和计算机设备。


背景技术：

2.作为辅助驾驶员进行汽车驾驶的系统，高级驾驶辅助系统(adas，advanced driving assistance system)可以提升车辆和道路的安全性，已逐步演化为发展最快的汽车应用领域之一。
3.adas利用安装在车上的雷达、摄像头等各式各样的传感器采集汽车周边环境数据进行感知，完成静态、动态物体的识别、侦测与跟踪，并根据感知到的环境信息，通过算法计算分析作出相应判断和执行决定，提供各种功能输出。所以，感知能力是adas所共有的，核心的技术能力，感知能力的优劣将直接影响到其提供的功能效果。市面上发布的adas产品多达上百款，另消费者眼花缭乱。如何选择和评价一款adas，成了一个待解决的问题。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种系统评价方法、装置、非易失性存储介质和计算机设备，以至少解决现有技术中没有对多个车辆感知系统同时刻同场景进行评价的方法的技术问题。
6.根据本发明实施例的一个方面，提供了一种系统评价方法，包括：分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；根据多个对象集合，融合生成参考集合；将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
7.可选地，获取分别与多个车辆感知系统一一对应的多个对象集合，包括：获取多个车辆感知系统分别输出的多个输出信息；将多个输出信息统一格式，生成多个对象集合。
8.可选地，获取分别与多个车辆感知系统一一对应的多个对象集合，包括：从多个车辆感知系统中获取多个原始对象集合以及获取多个原始对象集合对应的多个时刻，其中，原始对象集合为多个车辆感知系统中每个车辆感知系统输出的对对象的感知结果；获取车辆状态信息，其中，车辆状态信息包括车辆的速度和加速度；根据车辆状态信息和多个时刻分别处理多个原始对象集合，得到多个对象集合，其中，多个对象集合对应于同一时刻。
9.可选地，根据多个对象集合，融合生成参考集合，包括：将多个对象集合取并集，生成对象全集；采用聚类算法在对象全集中确定多个对象簇；在多个对象簇中，确定目标对象簇，其中，目标对象簇包括的对象个数不小于预定阈值；根据目标对象簇对应的代表对象，
生成参考集合。
10.可选地，根据多个对象集合，生成参考集合，包括：获取多个车辆感知系统分别对应的精度等级；确定多个车辆感知系统中精度等级最高的车辆感知系统为目标车辆感知系统；将多个对象集合中与目标车辆感知系统对应的对象集合作为参考集合。
11.可选地，系统评价方法还包括：获取多个感知区域，其中，多个感知区域通过将车辆前方的区域进行划分得到，多个感知区域的区域危险等级不同；根据多个感知区域分别对应的区域危险等级，分别为多个感知区域分配评价权重；根据评价权重和多个感知区域，生成评价规则。
12.可选地，系统评价方法还包括：确定多个第一评价结果对应的第一场景，其中，第一场景为车辆感知系统对车辆周围的对象进行感知以得到多个对象集合时的场景；在车辆处于第二场景的情况下，获取多个车辆感知系统在同一时刻下分别对应的多个第二评价结果；基于多个第一评价结果和多个第二评价结果，生成多个车辆感知系统各自对应的多个综合评价结果。
13.根据本发明实施例的另一方面，还提供了一种系统评价装置，包括：获取模块，用于分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；第一生成模块，用于根据多个对象集合，生成参考集合；确定模块，用于多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；第二生成模块，用于根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
14.根据本发明实施例的又一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述中任意一项系统评价方法。
15.根据本发明实施例的再一方面，还提供了一种计算机设备，计算机设备包括处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项系统评价方法。
16.在本发明实施例中，通过分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；根据多个对象集合，生成参考集合；将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度，达到了对多个adas的感知结果进行评价的目的，从而实现了评价多个adas的技术效果，进而解决了现有技术中没有对多个车辆感知系统同时刻同场景进行评价的方法的技术问题。
附图说明
17.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
18.图1示出了一种用于实现系统评价方法的计算机终端的硬件结构框图；
19.图2是根据本发明实施例提供的系统评价方法的流程示意图；
20.图3是根据本发明可选实施例提供的车辆前方区域划分的示意图；
21.图4是根据本发明可选实施例提供的系统评价方法实施的流程图；
22.图5是根据本发明实施例提供的系统评价装置的结构框图。
具体实施方式
23.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
24.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.首先，对本技术实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
26.高级驾驶辅助系统(advanced driving assistance system，简称adas)是一种主动安全功能集成控制系统，利用安装在车上的雷达、摄像头等各式各样的传感器采集汽车周边环境数据进行感知，完成静态、动态物体的识别、侦测与跟踪。
27.根据本发明实施例，提供了一种系统评价方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
28.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现系统评价方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
29.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机
终端10中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
30.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的系统评价方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的系统评价方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
31.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
32.图2是根据本发明实施例提供的系统评价方法的流程示意图，如图2所示，该方法包括如下步骤：
33.步骤s202，分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果。
34.本发明提供一种对多个adas进行评价的方法，adas是一种高级辅助驾驶系统，也即本发明中提到的车辆感知系统。由于adas通过各式各样的传感器采集汽车周边环境数据进行感知，进而完成后续的静态、动态物体的识别、侦测与跟踪等动作，所以adas的感知能力直接影响着adas能实现的功能和效果。因此，本发明通过评价多个adas的感知能力实现评价多个adas，是一种客观有效的评价方法。本发明中为了实现对多个adas进行较为客观的评价，可以将受评价的多个adas都设置在同一辆车辆上，根据多个adas对同一辆车辆周围的对象的感知结果评价多个adas，为多个adas提供相同的感知环境，最大程度上避免了由于环境不同导致的评价不客观。应用本发明的方法进行评价的软件和多个adas都设置在同一辆车辆上，在多个adas输出对周围对象的感知结果后，软件获取多个adas对应的多个对象集合，实时对多个adas进行评价。
35.本步骤中，当多个adas对车辆周围的对象进行感知后，每一个adas都可以输出一组自身产生的感知结果，此时获取与多个adas一一对应的、能表示adas的感知结果的多个对象集合，将多个对象集合进行数据处理，对多个adas的感知结果进行评价，进而得到对多个车辆感知系统的评价。具体地，在车辆行驶的过程中，多个adas会实时对车辆周围的对象进行感知，实施本发明的方法的软件将实时获取多个adas对应的多个对象集合，并进行评价得到评价结果。需要说明的是，车辆行驶过程中，每个adas都可能输出多个感知结果，本步骤中仅为多个adas在行驶过程中对车辆周围的对象进行一次感知时，对多个adas本次感知进行评价需要完成的动作。当车辆行驶过程中，多个adas中的每个adas都对车辆周围的对象进行多次感知时，只要多次运行本发明所涉及的步骤，即可实现多次对多个adas的感知结果的评价。
36.步骤s204，根据多个对象集合，生成参考集合。
37.多个对象集合表示的感知结果可能是相同的，也可能是不同的，想要实现对多个对象集合的评价，必须有对应的评价标准，即作为标准的感知结果，或者说“参考答案”。例
如，当阅卷者对试卷进行评价时，必须有一份正确的参考答案，通过参考答案才能对试卷进行评价。本发明中对多个对象集合的评价与对试卷的评价有相似之处，也需要一份“参考答案”才能实现对多个对象集合的评价。
38.本步骤中，根据多个对象集合中表示的感知结果，生成一份作为表示较优的感知结果的参考集合，以参考集合作为评价多个对象集合的评价标准。
39.步骤s206，将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态。
40.本步骤中，将多个对象集合分别与参考集合进行比对，即将多个感知系统得到的感知结果分别与作为评价标准的参考集合进行对比，能确定与多个对象集合一一对应的多个匹配状态，每个匹配状态都表示与其对应的对象集合与参考集合能匹配上的感知结果。例如，参考集合中表示的感知结果为3个对象，分别为在车辆正前方距离车辆5米的人、在车辆左前方距离车辆2米的汽车和在车辆右侧距车辆1米的车道线，多个对象集合中的某个对象集合表示的感知结果为2个对象，其中有2个对象能与参考集合中表示的在车辆左前方距离车辆2米的汽车和在车辆右侧距车辆1米的车道线匹配，但是对车辆正前方距离车辆5米的人没有感知到，此时这个对象集合与参考集合的匹配状态表示能匹配上的2个感知结果。
41.步骤s208，根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
42.本步骤中，根据上述步骤生成的能表示对象集合与参考集合匹配的感知结果的多个匹配状态，和预存在软件内的评价规则，生成对应与多个匹配状态的多个adas的多个第一评价结果。其中，预存在软件内的评价规则即如何根据多个匹配状态生成评价结果，例如，某个匹配状态表示匹配的感知结果为2个，但是参考集合中的感知结果为3个，此时根据评价规则，软件生成一个评价分数作为这个匹配状态对应的adas的评价结果。
43.通过上述步骤，达到了对多个adas的感知结果进行评价的目的，从而实现了评价多个adas的技术效果，进而解决了现有技术中没有对多个车辆感知系统同时刻同场景进行评价的方法的技术问题。
44.作为一种可选的实施例，获取分别与多个车辆感知系统一一对应的多个对象集合，可以通过以下步骤实现：获取多个车辆感知系统分别输出的多个输出信息；将多个输出信息统一格式，生成多个对象集合。
45.可选地，因为多个adas可能有不同的通讯协议和数据格式，多个adas也可能对不同的感知类型，无法直接对adas输出的感知信息进行分析对比，所以可以对多个adas输出的信息进行处理，将多个adas输出的感知信息转化为感知结果，再通过统一的格式生成多个对象集合。本可选实施例中只取多个adas感知类型的交集部分，即车道线、障碍物或交通标识等感知类型的信息对多个adas进行评价。
46.具体的，首先得到多个adas输出的感知到的事件信息，可以将每个事件信息表示为一个集合＜ti,si,pi＞，这个集合包括三个元素，其中，i表示adas的序号，ti表示第i个adas感知的事件信息的时间，si表示第i个adas感知的事件信息的状态信息，pi第i个adas感知的事件信息的感知结果，也即本发明中提到的对象集合。si表示为布尔型数据，即为true表示此次感知结果输出无异常，false表示此次感知结果输出异常，可能没有输出感知结果。当某个adas的某次输出结果中si记为false时，因为这个异常输出结果可能不是因为这
个adas的感知结果不好导致的，而是这个adas输出信息出现异常导致的，所以为了评价客观，后续评价不将这个异常输出结果纳入评价。pi可以表示为集合的形式，例如pi＝{mi,ni|o
i1
,o
i2
,
…
,o
im
|l
i1
,l
i2
,
…
,l
in
}，其中，mi表示第i个adas中的感知单元感知到的障碍物个数，{o
i1
,o
i2
,
…
,o
im
}分别表示第mi个障碍物的信息；ni表示第i个adas中的感知单元感知到的表示道路边缘的曲线个数，{l
i1
,l
i2
,
…
,l
in
}表示第ni条曲线的信息。
47.作为一种可选的实施例，获取分别与多个车辆感知系统一一对应的多个对象集合，可以通过以下步骤实现：从多个车辆感知系统中获取多个原始对象集合以及获取多个原始对象集合对应的多个时刻，其中，原始对象集合为多个车辆感知系统中每个车辆感知系统输出的对对象的感知结果；获取车辆状态信息，其中，所述车辆状态信息包括所述车辆的速度和加速度；根据车辆状态信息和多个时刻分别处理多个原始对象集合，得到多个对象集合，其中，多个对象集合对应于同一时刻。
48.可选地，由于多个adas的产品硬件形式和内部算法都不完全相同，所以在车辆行驶过程中感知车辆周围对象的时间和输出感知对象的时间都有些许差异，在车速较低的情况下，这些时间差异不会影响匹配感知结果，但是在车速较高的情况下，可能某个adas感知到周围对象的时间较早，但是输出结果的时间较晚，此时在高车速的影响下，这个adas输出的感知结果中，感知到的对象与车辆之间的距离会与其他adas的感知结果相差较大。所以本可选实施例中，在获取多个对象集合时，可以先获取多个adas的多个原始对象集合，并记录多个原始对象集合对应的多个时刻，即多个adas感知到对象的时间，再获取车辆状态信息，具体包括车辆的速度和加速度，根据车速、运动学公式和卡尔曼滤波法，可以调整多个原始对象集合中的感知对象的位置信息，使多个原始对象集合中的感知对象的时间统一至同一个时刻。将多个对象集合与参考集合对比时，本可选实施例可以减小由于车速和多个adas本身输出结果的时间长短不同，导致多个对象集合与参考集合中的感知对象匹配不上产生的评价不公平性。
49.作为一种可选的实施例，根据多个对象集合，融合生成参考集合，可以通过以下步骤实现：将多个对象集合取并集，生成对象全集；采用聚类算法在对象全集中确定多个对象簇；在多个对象簇中，确定目标对象簇，其中，目标对象簇包括的对象个数不小于预定阈值；根据目标对象簇对应的代表对象，生成参考集合。
50.可选地，本可选实施例中，当参与评价的多个adas为同等级时，可以取多个adas对应的多个对象集合的并集作为参考集合，其中，adas的等级可以根据adas所应用的辅助驾驶系统所服务的汽车的自动驾驶等级确定，例如，划分汽车的自动驾驶等级时，可以根据车辆是否能控制关键驾驶功能的原则，将自动驾驶分为了l0至l5六个等级，即从人类驾驶(l0)到辅助驾驶(l1/l2)，再到自动驾驶(l3/l4)，最终达到无人驾驶(l5)。需要说明的是，本可选实施例中，先对多个对象集合取并集，将多个对象集合中的所有感知对象都合并至对象全集中，然后再对对象全集中的对象采用聚类算法进行聚类，基于聚类结果确定对象全集中是否确实存在感知对象。具体的，可以先将多个对象集合取并集得到对象全集；再对对象全集中多个adas感知到的全部感知对象结果进行一次聚类算法，聚类算法可以将多个adas感知到的全部感知对象分为聚类为多个对象簇，每个对象簇中有一个或多个感知对象结果，其中，一个对象簇表示多个adas对一个对象的感知结果，对象簇中的对象可以是不同adas对同一个对象感知得到的，在这种情况下该簇内的对象可以互相匹配，即都表示车辆
周围的同一个对象。如果某一个对象簇中的感知对象结果的个数大于adas个数的一半，那么认为这个对象簇表示的感知对象存在，如果某一个对象簇中的感知对象结果的个数小于adas个数的一半，那么可以认为这个感知对象在现实中不存在；在聚类算法结束之后，将确认存在的感知对象放入参考集合，同时忽略基于算法认为不存在的感知对象。可选地，放入参考集合的感知对象是从对象簇中选择的代表对象，代表对象可以是对象簇中的聚类中心，也可以是对象簇中的任意一个对象，因为在对象簇中对象相互匹配的情况下，簇内的任意一个对象都可以代表车辆周围的同一个对象，选择簇内的哪个对象作为代表对象放入参考集合并不会对后续步骤产生较大影响。需要说明的是，本可选实施例中运用的聚类算法可以是邻近聚类算法，根据欧式距离对感知对象的坐标进行聚类计算，同时，还可以根据多个adas输出结果中描述感知对象的类型和大小等进行聚类。本可选实施例使得生成的参考集合较为准确的感知结果，进而提升评价方法的公平性。
51.作为一种可选的实施例，根据多个对象集合，生成参考集合，可以通过以下步骤实现：获取多个车辆感知系统分别对应的精度等级；确定多个车辆感知系统中精度等级最高的车辆感知系统为目标车辆感知系统；将多个对象集合中与目标车辆感知系统对应的对象集合作为参考集合。
52.可选地，当参与评价的多个adas为不同精度等级的adas时，根据adas的精度等级，取精度等级最高的adas对应的对象集合作为参考集合，去评价其他精度等级较低的adas的感知结果。本可选实施例使得生成的参考集合为较为准确的感知结果，进而提升评价方法的公平性。
53.作为一种可选的实施例，上述方法还包括：获取多个感知区域，其中，多个感知区域通过将车辆前方的区域进行划分得到，多个感知区域的区域危险等级不同；根据多个感知区域分别对应的区域危险等级，分别为多个感知区域分配评价权重；根据评价权重和多个感知区域，生成评价规则。
54.可选地，图3是根据本发明可选实施例提供的车辆前方区域划分的示意图，如图3所示，生成预存的评价规则可以将车辆前方的区域划分为不同危险等级的区域，表1为不同危险等级的区域定义，如表1所示，将车辆前方的区域划分为危险域、警戒域、安全域和非评价域，可以根据不同区域的危险等级不同为多个感知区域设置评价权重。具体的，可以设置危险域的评价权重为w3、警戒域的评价权重为w2、安全域的评价权重为w1且非评价域不设置权重，也就是说，非评价域中的感知结果不纳入评价。根据评价权重和多个感知区域的划分，可以生成对感知结果的评价规则。具体的，可以将评价规则设置为：
[0055][0056][0057][0058]
其中，m
i1
,m
i2
,m
i3
分别表示安全域、警戒域、危险域内融合后的障碍物数目，k
i1
,k
i2
,k
i3
分别为此adas感知输出的三个区域内匹配上的障碍物数目；n
i1
，n
i2
，n
i3
分别表示安
全域、警戒域、危险域内融合后的车道线数目，h
i1
，h
i2
，h
i3
分别为此adas感知输出的三个区域内的匹配上的车道线数目。由于危险区内的感知对行车的安全性至关重要，设置的在些区域内的障碍物或者车道感知有异常的话，bi参数可直接将其评分为0分。当某个adas的某次输出结果中si记为false时，因为这个异常输出结果可能不是因为这个adas的感知结果不好导致的，而是这个adas输出信息出现异常导致的，所以为了公平，qi参数为0，将这个异常输出结果记为0分，但是后续评价并不将这个异常输出结果纳入评价。
[0059]
表1
[0060][0061]
作为一种可选的实施例，评价adas系统时还可以包括如下步骤：确定多个第一评价结果对应的第一场景，其中，第一场景为车辆感知系统对车辆周围的对象进行感知以得到多个对象集合时的场景；在车辆处于第二场景的情况下，获取多个车辆感知系统在同一时刻下分别对应的多个第二评价结果；基于多个第一评价结果和多个第二评价结果，生成多个车辆感知系统各自对应的多个综合评价结果。
[0062]
可选地，在进行一次对多个adas的输出结果进行评价后，车辆仍然可以继续行驶，此后在车辆行驶过程中，多个adas将继续感知车辆周围的对象，并输出感知结果，车辆上的软件也继续对多次感知结果进行评价，每次评价都输出与多个adas的数量对应的多个评价结果，每一次adas对车辆周围感知时，车辆都在一个场景下。本可选实施例中，先确定第一评价结果对应的第一场景，在车辆处于第二场景的情况下，获取多个adas对应的多个第二评价结果，每个adas都有在不同场景下的多个评价结果，此时可以得到每个adas对应的综合评价结果。还可以将每个场景划分不同的类型，表2为多个adas的评价结果表，如表2所示，可以得到同一个场景类型下不同adas的综合评价结果，也可以得到每个adas在不同场景类型下的评价结果，实现了同一时刻同一场景各个adas感知结果的横向评价与不同时刻不同场景下adas感知结果的纵向评价的技术效果。
[0063]
表2
[0064][0065]
作为一个具体的实施例，图4是根据本发明可选实施例提供的系统评价方法实施的流程图，如图4所示，在对多个adas进行评价时，首先将多个adas系统部署在车辆上并与
多个adas通过can总线进行连接，同时接入车辆的can总线以获取车辆状态信息，例如车速或车辆轮胎摩擦系数等，如果单路can总线无法达到传输数据所需的带宽，可拓展多路can总线。其中，多个adas可以是多个同等级的，也可以是不同等级的，区别仅在于生成参考集合的方式不同，当多个adas为同等级时，评价没有固定的基准，也就是说对多个adas的感知结果进行独立评价，当多个adas为不同等级时，评价时将高等级的adas作为评价基准，是对多个adas的感知结果进行相对评价；多个adas应具备自动驾驶所需的组件和感知功能，包括无线电探测和测距雷达、摄像机、自动驾驶的传感器和障碍物检测、碰撞预警、车道检测和车道偏离预警。
[0066]
其次，启动部署了多个adas系统的车辆，使车辆行驶，为多个adas系统提供外部环境，行驶路线覆盖如下多种场景，每种场景对应一种外部环境：
[0067]
(1)直道行驶：车辆在平直道路上行驶超过100米距离；
[0068]
(2)弯道行驶：车辆行驶过程中经过弯道；
[0069]
(3)变道行驶：车辆在行驶过程中有变道操作；
[0070]
(4)红绿灯路口场景：车辆通过有红绿灯标志的路口；
[0071]
(5)行人场景：车辆前方有行人通过；
[0072]
(6)卡车场景：车辆行驶过程中，有前方视野中有卡车；
[0073]
(7)商用车场景：车辆行驶过程中，在前方视野中有大巴、公交等商用车场景；
[0074]
(8)动物场景:车辆行驶过程中，在前方视野中牛、羊、狗等动物；
[0075]
(9)复合场景：上述场景叠加，形成的复合场景。
[0076]
多个adas系统将感知存在在外部环境中的感知对象，得到多组感知数据，即多个原始对象集合，软件基于车速、运动学公式和卡尔曼滤波法等预测模型将多组感知数据进行时空同步处理，得到分别与多个车辆感知系统一一对应的多个对象集合。
[0077]
其次，根据车辆行驶状态初始化评价参数，即设置权重系数：按照满分为100分，可得表1中的评价参数w1+w2+w3＝50，此时，为不同危险等级设置不同的评价权重，w3》w2》w1，在本实施例中，设置w3＝25，w2＝15，w1＝10；并根据车辆的行驶状态和危险区域的定义计算划分危险区域的具体范围。
[0078]
其次，对多个车辆感知系统一一对应的多个对象集合基于感知信息静态关联关系的精确比对，即比对多个对象集合中每个对象的信息进行精确比对，并利用聚类算法等方法将每个对象的信息进行感知信息融合，在感知信息融合之后得到一个综合多个感知对象集合的参考集合，此时需要判断多个adas在评价时是否有基准，也就是判断是否有adas的级别高于其他adas，如果有，那么将高等级的adas输出的感知对象集合作为评价标准评价其他adas的感知结果，即在多个adas之间进行相对评价；如果没有adas的级别高于其他adas，则根据感知信息融合生成的参考集合对每个adas的感知结果进行评价，即独立评价多个adas中的每个adas。同时，在感知信息融合后，需要进行场景识别，为本次感知结果的评价确认对应的场景标签，即识别本次感知是在什么场景下进行的，场景标签可以是上述9个场景中的任意之一，也可以是其他感知场景。
[0079]
最后，可以输出在当前外部环境下，对多个adas感知场景得到的多个感知结果进行评价的最终评价结果，评价结果的输出形式可以如表2所示。实时评价多个adas的输出结果后，在目标车辆行驶经过所有外部环境之后，可以输出多个不同外部环境下的评价结果。
在最终统计本次试验下，多个adas的综合评价结果时，评价结果是按时间序列进行组织的，对应到adas的单次感知，同时添加了场景域，生成按场景的总体评价。评价结果和场景记录可对应上，可用于复盘查询。
[0080]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0081]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的系统评价方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0082]
根据本发明实施例，还提供了一种用于实施上述系统评价方法的装置，图5是根据本发明实施例提供的系统评价装置的结构框图，如图5所示，该系统评价装置包括：获取模块52，第一生成模块54，确定模块56和第二生成模块58，下面对该系统评价装置进行说明。
[0083]
获取模块52，用于分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果。
[0084]
第一生成模块54，用于根据多个对象集合，生成参考集合。
[0085]
确定模块56，用于多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态。
[0086]
第二生成模块58，用于根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
[0087]
此处需要说明的是，上述获取模块52，第一生成模块54，确定模块56和第二生成模块48对应于实施例中的步骤s202至步骤s208，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
[0088]
本发明的实施例可以提供一种计算机设备，可选地，在本实施例中，上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。
[0089]
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的系统评价方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的系统评价方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业
内部网、局域网、移动通信网及其组合。
[0090]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；根据多个对象集合，生成参考集合；将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
[0091]
可选的，上述处理器还可以执行如下步骤的程序代码：获取分别与多个车辆感知系统一一对应的多个对象集合，包括：获取多个车辆感知系统分别输出的多个输出信息；将多个输出信息统一格式，生成多个对象集合。
[0092]
可选的，上述处理器还可以执行如下步骤的程序代码：获取分别与多个车辆感知系统一一对应的多个对象集合，包括：从多个车辆感知系统中获取多个原始对象集合以及获取多个原始对象集合对应的多个时刻，其中，原始对象集合为多个车辆感知系统中每个车辆感知系统输出的对对象的感知结果；获取车辆状态信息，其中，车辆状态信息包括车辆的速度和加速度；根据车辆状态信息和多个时刻分别处理多个原始对象集合，得到多个对象集合，其中，多个对象集合对应于同一时刻。
[0093]
可选的，上述处理器还可以执行如下步骤的程序代码：根据多个对象集合，融合生成参考集合，包括：将多个对象集合取并集，生成对象全集；采用聚类算法在对象全集中确定多个对象簇；在多个对象簇中，确定目标对象簇，其中，目标对象簇包括的对象个数不小于预定阈值；根据目标对象簇对应的代表对象，生成参考集合。
[0094]
可选的，上述处理器还可以执行如下步骤的程序代码：根据多个对象集合，生成参考集合，包括：获取多个车辆感知系统分别对应的精度等级；确定多个车辆感知系统中精度等级最高的车辆感知系统为目标车辆感知系统；将多个对象集合中与目标车辆感知系统对应的对象集合作为参考集合。
[0095]
可选的，上述处理器还可以执行如下步骤的程序代码：获取多个感知区域，其中，多个感知区域通过将车辆前方的区域进行划分得到，多个感知区域的区域危险等级不同；根据多个感知区域分别对应的区域危险等级，分别为多个感知区域分配评价权重；根据评价权重和多个感知区域，生成评价规则。
[0096]
可选的，上述处理器还可以执行如下步骤的程序代码：确定多个第一评价结果对应的第一场景，其中，第一场景为车辆感知系统对车辆周围的对象进行感知以得到多个对象集合时的场景；在车辆处于第二场景的情况下，获取多个车辆感知系统在同一时刻下分别对应的多个第二评价结果；基于多个第一评价结果和多个第二评价结果，生成多个车辆感知系统各自对应的多个综合评价结果。
[0097]
采用本发明实施例，提供了一种系统评价的方案。通过分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；根据多个对象集合，生成参考集合；将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；根据多个匹配状态和预存的评价规则，生成多个车辆
感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度，达到了对多个adas的感知结果进行评价的目的，从而实现了评价多个adas的技术效果，进而解决了现有技术中没有对多个车辆感知系统同时刻同场景进行评价的方法的技术问题。
[0098]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一非易失性存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0099]
本发明的实施例还提供了一种非易失性存储介质。可选地，在本实施例中，上述非易失性存储介质可以用于保存上述实施例所提供的系统评价方法所执行的程序代码。
[0100]
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0101]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：分别获取与车辆上多个车辆感知系统一一对应的多个对象集合，其中，多个车辆感知系统用于感知车辆周围的对象，多个对象集合中的每个对象集合表征对应的车辆感知系统对车辆周围的对象的感知结果；根据多个对象集合，生成参考集合；将多个对象集合分别与参考集合进行比对，确定与多个对象集合一一对应的多个匹配状态；根据多个匹配状态和预存的评价规则，生成多个车辆感知系统分别对应的多个第一评价结果，其中，评价规则用于评价每个车辆感知系统的感知准确度。
[0102]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取分别与多个车辆感知系统一一对应的多个对象集合，包括：获取多个车辆感知系统分别输出的多个输出信息；将多个输出信息统一格式，生成多个对象集合。
[0103]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取分别与多个车辆感知系统一一对应的多个对象集合，包括：从多个车辆感知系统中获取多个原始对象集合以及获取多个原始对象集合对应的多个时刻，其中，原始对象集合为多个车辆感知系统中每个车辆感知系统输出的对对象的感知结果；获取车辆状态信息，其中，车辆状态信息包括车辆的速度和加速度；根据车辆状态信息和多个时刻分别处理多个原始对象集合，得到多个对象集合，其中，多个对象集合对应于同一时刻。
[0104]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：根据多个对象集合，融合生成参考集合，包括：将多个对象集合取并集，生成对象全集；采用聚类算法在对象全集中确定多个对象簇；在多个对象簇中，确定目标对象簇，其中，目标对象簇包括的对象个数不小于预定阈值；根据目标对象簇对应的代表对象，生成参考集合。
[0105]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：根据多个对象集合，生成参考集合，包括：获取多个车辆感知系统分别对应的精度等级；确定多个车辆感知系统中精度等级最高的车辆感知系统为目标车辆感知系统；将多个对象集合中与目标车辆感知系统对应的对象集合作为参考集合。
[0106]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：还包括：获取多个感知区域，其中，多个感知区域通过将车辆前方的区域进行划分
得到，多个感知区域的区域危险等级不同；根据多个感知区域分别对应的区域危险等级，分别为多个感知区域分配评价权重；根据评价权重和多个感知区域，生成评价规则。
[0107]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：还包括：确定多个第一评价结果对应的第一场景，其中，第一场景为车辆感知系统对车辆周围的对象进行感知以得到多个对象集合时的场景；在车辆处于第二场景的情况下，获取多个车辆感知系统在同一时刻下分别对应的多个第二评价结果；基于多个第一评价结果和多个第二评价结果，生成多个车辆感知系统各自对应的多个综合评价结果。
[0108]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0109]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0110]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0111]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0112]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0113]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0114]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。