本发明涉及智能驾驶测试,具体涉及一种虚拟摄像头的仿真置信度测试方法、装置及测试设备。
背景技术:
1、自动驾驶汽车中摄像头有着不可或缺的作用,具有自动驾驶功能的实车通过摄像头等传感器感知外界的环境,获得摄像头的图像信息后,再通过识别算法和几何算法识别到图像信息中的障碍物、车道线等目标以及它们与本车的距离关系,再根据识别到的目标以及目标与本车的距离设计驾驶路线。
2、在自动驾驶汽车的开发与测试过程中,为了测试的高效性与安全性,通常选择仿真测试,在仿真测试中需要用虚拟的画面来替代实际摄像头看到的真实画面,因此需要虚拟摄像头传感器从虚拟场景中截取出包含障碍物、车道线等目标的画面,输出给自动驾驶车辆的感知系统。理论上如果完全按照真实摄像头的参数输入到虚拟摄像头模型中得到的画面将与真实的一致,但是由于建模的准确度影响该结果会有偏差,因此虚拟摄像头截取的虚拟画面也会存在偏差,如果按照有偏差的虚拟画面继续对自动驾驶汽车进行仿真测试,将影响仿真测试的结果。因此,对摄像头画面的模拟质量尤为重要,其影响到感知系统的识别精度,进而影响到自动驾驶系统的性能表现。
3、而现有技术中,在自动驾驶系统的测试准备过程中,通常只涉及到虚拟摄像头的参数调节,例如专利《一种摄像头控制器测试系统及测试方法》(申请公布号cn 109413415a)等。这样在测试过程中只需要对虚拟摄像头进行参数标定,以实现对自动驾驶系统的验证,目前尚没有一套完整的虚拟摄像头仿真画面置信度测试方法。
技术实现思路
1、针对现有技术存在的不足,本发明提出一种虚拟摄像头的仿真置信度测试方法、装置及测试设备,以评估虚拟摄像头所生成输出的仿真画面的真实度和可信度,从而降低自动驾驶汽车仿真测试中的虚拟摄像头的误差,提高仿真测试结果的准确性。
2、第一方面,本发明提供一种虚拟摄像头的仿真置信度测试方法。
3、在第一种可实现方式中,一种虚拟摄像头的仿真置信度测试方法,包括:
4、对实际测试场景进行仿真,形成仿真测试场景;所述实际测试场景包括测试场地、测试实车以及测试实车上安装的实车摄像头;所述仿真测试场景包括仿真场地、仿真测试车以及仿真测试车上的虚拟摄像头;
5、分别对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试、虚拟摄像头静态识别精度测试和虚拟摄像头动态识别精度测试,获得测试结果;
6、根据测试结果获取虚拟摄像头的仿真置信度。
7、结合第一种可实现方式,在第二种可实现方式中,对实际测试场景进行仿真,形成仿真测试场景包括:
8、分别对测试场地和测试实车进行仿真,形成仿真场地和仿真测试车;
9、获取实车摄像头的安装信息和内部参数,根据安装信息在仿真测试车上设置虚拟摄像头,并按照内部参数设置虚拟摄像头的参数。
10、结合第二种可实现方式,在第三种可实现方式中,分别对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试、虚拟摄像头静态识别精度测试和虚拟摄像头动态识别精度测试,获得测试结果,包括:
11、对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试,获得虚拟摄像头静态画面模拟精度值;
12、对实际测试场景和仿真测试场景进行虚拟摄像头静态识别精度测试,获得虚拟摄像头静态识别精度值;
13、对实际测试场景和仿真测试场景进行虚拟摄像头动态识别精度测试,虚拟摄像头动态识别精度值。
14、结合第三种可实现方式,在第四种可实现方式中,对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试,获得虚拟摄像头静态画面模拟精度值,包括:
15、在实际测试场景中,将摄像头标定板垂直立于实车摄像头前方,从实车摄像头后台软件中观察摄像头画面,使标定板充满整个画面界面,并记录下标定板的位置;
16、在仿真测试场景中,在实际的标定板位置处设置1:1的标定板模型,进行场景复原;
17、按照真实摄像头画面分辨率,分别截取实车摄像头的第一拍摄画面与虚拟摄像头的第一输出画面;
18、根据第一拍摄画面和第一输出画面获取虚拟摄像头静态画面模拟精度值。
19、结合第三种可实现方式,在第五种可实现方式中,对实际测试场景和仿真测试场景进行虚拟摄像头静态识别精度测试,获得虚拟摄像头静态识别精度值,包括:
20、在实际测试场景中,在测试实车前方的多个预设位置处放置测试目标,获取实车摄像头的第二拍摄画面,利用感知系统对各第二拍摄画面中的测试目标进行距离识别,获得实际测试场景中测试目标的多个第一识别距离;
21、在仿真测试场景中,在仿真测试车前方的预设位置处设置测试目标,并获取虚拟摄像头的第二输出画面,利用感知系统对第二输出画面中的测试目标进行距离识别,获得仿真测试场景中测试目标的多个第二识别距离;
22、以测试目标在实际测试场景中的各第一识别距离为基准,根据各第二识别距离获取平均距离误差;
23、根据平均距离误差获取虚拟摄像头静态识别精度值。
24、结合第三种可实现方式,在第六种可实现方式中,对实际测试场景和仿真测试场景进行虚拟摄像头动态识别精度测试,虚拟摄像头动态识别精度值,包括:
25、在实际测试场景中,在测试实车前放置移动测试目标,将移动测试目标按照预设速度运动,同时记录移动测试目标的真实运动轨迹和各时刻的速度,并基于实车摄像头对移动测试目标进行距离识别和速度识别,获得第三识别距离和第一识别速度;
26、在仿真测试场景中,在仿真测试车前方设置移动测试目标,并导入真实运动轨迹和各时刻的速度,将仿真测试车前的移动测试目标按照导入的真实运动轨迹和各时刻的速度进行场景复原;获取虚拟摄像头的输出视频,基于感知系统对输出视频中的移动测试目标进行距离识别,获得第四识别距离,基于感知系统对输出视频中的移动测试目标进行速度识别,获得第二识别速度;
27、以移动测试目标在实际测试场景中的第三识别距离为基准,根据第四识别距离获取距离误差;
28、以移动测试目标在仿真测试场景中的第一识别速度为基准,根据第二识别速度获取速度误差;
29、根据距离误差和速度误差获取虚拟摄像头动态识别精度值。
30、结合第三种可实现方式,在第七种可实现方式中,根据测试结果获取虚拟摄像头的仿真置信度,包括:
31、将虚拟摄像头静态画面模拟精度值、虚拟摄像头静态识别精度值和虚拟摄像头动态识别精度值进行归一化处理;
32、将归一化处理后的各精度值进行加权计算,获得虚拟摄像头的仿真置信度。
33、结合第七种可实现方式,在第八种可实现方式中,虚拟摄像头的仿真置信度通过以下公式获取:
34、p=α1a1+α2a2+α3a3;
35、在上式中,p为虚拟摄像头的仿真置信度,α1为静态画面精度的权重,a1为静态画面模拟精度值,α2为静态识别精度的权重,a2为静态识别精度值,α3为动态识别精度的权重,a3为动态识别精度值。
36、第二方面,本发明提供一种虚拟摄像头的仿真置信度测试装置。
37、在第九种可实现方式中,一种虚拟摄像头的仿真置信度测试装置,包括:
38、场景仿真模块,被配置为对实际测试场景进行仿真,形成仿真测试场景;所述实际测试场景包括测试场地、测试实车以及测试实车上安装的实车摄像头;所述仿真测试场景包括仿真场地、仿真测试车以及仿真测试车上的虚拟摄像头;
39、测试结果获取模块,被配置为分别对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试、虚拟摄像头静态识别精度测试和虚拟摄像头动态识别精度测试,获得测试结果;
40、仿真置信度获取模块,根据测试结果获取虚拟摄像头的仿真置信度。
41、第三方面,本发明提供一种测试设备。
42、在第十种可实现方式中,一种测试设备,包括如上述的虚拟摄像头的仿真置信度测试装置。
43、由上述技术方案可知,本发明的有益技术效果如下:
44、1.本方案通过对实际测试场景进行仿真,形成仿真测试场景,然后分别对实际测试场景和仿真测试场景进行虚拟摄像头静态画面模拟精度测试、虚拟摄像头静态识别精度测试和虚拟摄像头动态识别精度测试,获得测试结果;根据测试结果获取虚拟摄像头的仿真置信度,通过仿真置信度实现对虚拟摄像头精度的量化,以评估虚拟摄像头所生成输出的仿真画面的真实度和可信度,进而能够判断出虚拟摄像头的精度是否满足仿真测试的精度需求,还有利于降低自动驾驶汽车仿真测试中的虚拟摄像头的误差,提高仿真测试结果的准确性。
45、2.本方案提供的虚拟摄像头的仿真置信度测试方法,以三个测试评估维度来对虚拟摄像头置信度进行评估,评估方案全面,结果可靠,弥补了目前业内对虚拟摄像头置信度测试评估方案的空白,具有先导性。同时本方案的试验步骤逻辑清晰,操作难度较低。