一种对抗测试方法、系统及存储介质与流程

本技术实施例涉及人工智能，尤其涉及一种对抗测试方法、系统及存储介质。

背景技术：

1、自动驾驶即自主行驶，无需人为操作，汽车自动驾驶是目前汽车智能化发展的一个趋势，智能汽车为通过搭载先进传感器等装置，运用人工智能等新技术来实现具有自动驾驶功能。在研发汽车自动驾驶技术时需要对自动驾驶进行各项性能测试，包括限速信息识别及响应、跟车行驶等对抗方面，因此，自动驾驶汽车涉及到的ai算法越来越多样性，从而导致了自动驾驶汽车的环境感知算法安全问题层出不穷。为此，在对汽车自动驾驶进行对抗功能测试时，如何更加安全高效地进行自动驾驶对抗测评愈发重要。

2、相关技术中，主要是将在数字图像上做的攻击图像直接打印成实物，然后在现实场景通过相机将对抗攻击后的图像信息输入到车辆感知模型，对测试场景进行模拟干扰，以验证车辆感知模型的对抗效果。但是在真实环境中很难对对抗样本做出穷尽，存在对抗测试场景下对抗样本不够全面的问题，并且，会增加车辆感知模型对抗测试的时间成本，从而增加车辆感知模型的迭代周期。无法满足对抗攻击测评要求。

技术实现思路

1、为克服相关技术中存在的问题，本技术实施例提供一种对抗测试方法、系统及存储介质，可以降低对车辆感知模型对抗测试的时间成本，从而缩短车辆感知模型的迭代周期。

2、一种对抗测试方法，应用于对抗测试系统，所述对抗测试系统包括仿真平台和自动驾驶车辆感知模型，所述仿真平台显示界面包括第一显示区域和第二显示区域；所述第二显示区域显示有按照预设脚本行驶状态的目标车辆，第一显示区域包含有多个候选对抗图案；该方法包括：

3、获取对抗样本；

4、以车载相机视角对包含所述对抗样本的仿真测试场景进行图像采集，得到视频流，基于自动化接口导入所述自动驾驶车辆感知模型；

5、基于所述自动驾驶车辆感知模型对所述视频流进行处理，得到所述目标车辆的测试结果；

6、其中，所述对抗样本的获得方法包括：

7、从预设目标对象库中获取当前测试环境所需的至少一个目标对象；

8、对所述至少一个目标对象进行对抗扰动处理，得到对抗样本。

9、上述方法中，车辆感知模型对所述视频流进行处理包括：车辆感知模型对所述视频流中所述对抗样本进行识别，得到第一置信度和第二置信度，将第一置信度与第二置信度进行比较获得目标车辆的驾驶指令；

10、所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度；

11、所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

12、进一步的，所述从预设目标对象库中获取当前测试环境所需的至少一个目标对象包括：响应用户从所述第二显示区域选定目标对象的指令，从所述第二显示区域选定目标对象；

13、响应用户的选定对抗图案的第一操作指令，从所述预设算法库中选定对抗图案；利用所述对抗图案对所述目标对象的有效区域添加对抗扰动，得到所述对抗样本。

14、上述方法中，所述对抗图案与所述目标对象预置有对应关系；以及，所述响应用户的选定对抗图案的第一操作指令，从所述预设算法库中选定对抗图案包括，响应于所述第一操作指令，在与所述目标对象具有对应关系的数个对抗图案中选择确定的对抗图案。

15、进一步的，上述方法还包括：接收用户的第二操作指令；响应所述第二操作指令，在仿真平台预设的驾驶场景数据库中，从多个候选驾驶场景中选取一个驾驶场景，并加载显示到所述第二显示区域。

16、上述方法中，所述利用所述对抗图案对所述目标对象的有效区域添加对抗扰动包括：对所述目标对象的形状或/和颜色进行扰动处理。

17、进一步的，所述方法还包括：若所述第一置信度不高于所述第二置信度，则调整所述对抗图案，利用调整后的对抗图案对所述仿真测试场景中的所述至少一个目标对象重新进行扰动处理得到对抗样本，直至所述第一置信度高于所述第二置信度。

18、上述方法中，按照预设策略调整所述对抗图案，所述预设策略包括以下项中的至少一项：调整频率、对抗样本的攻击效果、对抗攻击场景、对抗攻击类型。

19、进一步，所述方法还包括：实体化所述目标对抗样本，将所述实体化后的目标对抗样本置于物理环境，得到安装有车辆感知模型的自动驾驶车辆在所述物理环境下的测试结果；以及，将所述自动驾驶车辆测试结果与所述对抗测试系统所述目标车辆测试结果进行比较。

20、上述方法又一实施例，所述方法还包括：向所述目标对象库中添加目标对象；以及，针对所述添加的目标对象，向所述对抗图案库中添加对抗图案。

21、本技术实施例还提供了一种对抗测试系统，包括仿真平台、车辆感知模型；

22、仿真平台，所述仿真平台的显示界面包括第一显示区域和第二显示区域，第一显示区域包含有多个候选对抗图案，所述第二显示区域显示有按照预设脚本行驶状态的目标车辆；

23、目标对象库，用于保存目标对象；

24、对抗样本生成单元，用于利用对抗图案对所述目标对象库中的目标对象进行扰动处理，获得对抗样本；

25、第一仿真处理器，用于以车载相机视角对包含所述对抗样本的仿真测试场景进行图像采集，得到视频流；

26、车辆感知模型，用于基于自动驾驶算法对所述视频流进行处理，得到测试结果。

27、上述系统中，所述车辆感知模型对所述视频流进行处理得到第一置信度和第二置信度，若所述第一置信度不高于所述第二置信度，则调整所述对抗图案后对所述仿真测试场景中的所述至少一个目标对象重新进行扰动处理得到对抗样本；

28、所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度；

29、所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。

30、本技术实施例还提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的对抗测试方法。

31、本技术实施例提供的技术方案可以包括以下有益效果：

32、首先，本技术实施例技术方案提供一种对抗测试系统，用户通过与对抗测试系统中的仿真平台进行交互，可以手动直观地在仿真平台中的对抗图案添加到待攻击对象的有效区域内，得到目标对抗样本，然后系统自动将得到的目标对抗样本输入自动驾驶车辆感知模型，对自动驾驶车辆感知模型进行对抗测试，可见，本技术实施例技术方案提供的对抗测试系统使用简便高效，能够快速大量进行对抗测试，实现快速对自动驾驶车辆感知模型的迭代升级。并且用户和系统进行简单交互(例如在显示界面中选取目标对抗图案，并将目标对抗图案拖拽到待攻击对象上)即可生成对抗样本，系统操作简单。

33、其次，本技术实施例技术方案在对抗测试系统中即可实现对自动驾驶车辆感知模型进行对抗测试，通过仿真场景来模拟物理世界的测试流程，不需要实地对自动驾驶车辆感知模型进行对抗测试，能够保障对抗测试的安全性，并且由于本方案中的目标对抗样本基于仿真平台生成，不需要对对抗图案进行拍摄以及打印，通过用户交互即可以在车辆运行过程中不断生成对抗样本。

34、本技术实施例基于仿真平台通过从预设目标对象库中选取当前测试环境所需的目标对象得到对抗样本，可以实时动态的根据当前测试环境来调整对抗样本，从各维度更全面的完成自动驾驶算法对抗测试，以改善现有技术中自动驾驶对抗测试场景不够全面的问题，从而提高对抗检测效率。

35、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术实施例。