测试场景的检测方法、装置、电子设备及存储介质与流程

1.本发明涉及自动化测试领域，具体而言，涉及一种测试场景的检测方法、装置、电子设备及存储介质。


背景技术：

2.无人驾驶的核心是机器视觉识别技术。随着机器视觉识别技术的研究的不断深入，无人驾驶得到蓬勃发展。其中，无人驾驶车辆中的感知模块用于测量车辆行驶过程中的各项参数。而开发人员可以根据感知模块测量的各项参数不断调整驾驶路径以及驾驶状态，使得无人驾驶过程更符合驾驶要求。
3.通常，当开发人员规划好驾驶方案时，需要对该驾驶方案进行测试，并根据测试结果对驾驶方案进行调整，使得驾驶方案对应的驾驶结果更符合驾驶需求。在测试过程中，感知模块会根据测试需求进行测量，获得测试数据。这些测试数据均是后续进行驾驶方案调整的依据。然而测试过程中经常会出现测试错误的情况。这样，就会得到不合格的测试数据。
4.目前，通常用人工监测以及人工分析的方式对测试数据的合格性进行验证的。然而，随着业务功能的不断丰富，测试数据的数据量将越来越大。若仍然利用人工方式对测试数据进行检测，不仅需要投入大量人工成本，并且人工测试存在结果准确度不高、效率低、回归问题周期长的情况，检测效率极低。因此，如何低成本、高效、快速的进行测试场景的检测就成为亟待解决的问题。


技术实现要素：

5.本发明提供了一种测试场景的检测方法、装置、电子设备及存储介质。首先根据获取到的多媒体数据对测试过程进行还原，并获得测试数据。然后通过测试数据验收标准对全部测试数据进行分析评价，根据分析评价结果判断原测试场景的合格性，以实现测试场景的检测过程的自动化，提高测试场景的检测效率。
6.第一方面，本发明实施例提供了一种测试场景的检测方法，该检测方法包括：
7.根据测试需求获取测试场景对应的多媒体数据，多媒体数据为测试场景中获取到的图像数据。多媒体数据用于对测试场景进行仿真。
8.播放多媒体数据，得到测试场景对应的测试仿真过程，并在测试仿真过程中实时获取待测试目标对应的多个测试数据。
9.根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果。
10.在一个可选的实时方式中，该方法还包括：
11.当确定测试场景合格时，根据全部测试数据的数据内容分析测试场景中出现的故障；
12.根据所述故障调整测试场景对应的方案。
13.在一个可选的实时方式中，该方法还包括：
14.根据针对于测试参数的输入操作，确定测试参数。测试参数包括待测试目标和播放速度。
15.播放多媒体数据，包括：
16.根据播放速度播放多媒体数据。
17.在一个可选的实时方式中，在测试仿真过程中实时获取待测试目标对应的多个测试数据，包括：
18.在测试仿真过程中实时接收待测试目标对应的多个数据报文。其中，多个数据报文中的每个数据报文均包括一个测试数据。
19.根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果，包括：
20.确定多个数据报文之间的接收时间间隔。
21.根据测试数据验收标准确定周期间隔阈值。
22.若多个数据报文之间的接收时间间隔大于周期间隔阈值，则确定测试场景不合格。
23.在一个可选的实施方式中，根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果，包括：
24.对比相邻两个测试数据对应的数据内容，得到相邻两个测试数据之间的差别量。
25.根据测试数据验收标准确定差别量阈值。
26.若存在相邻两个测试数据之间的差别量大于差别量阈值，则确定测试场景不合格。
27.在一个可选的实施方式中，根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果，包括：
28.获取全部测试数据的数据内容。
29.若存在连续的多个测试数据的数据内容相同，则确定数据内容相同的连续的测试数据的个数。
30.根据测试数据验收标准确定个数阈值。
31.若连续的测试数据的个数大于个数阈值，则确定测试场景不合格。
32.在一个可选的实施方式中，该方法还包括：
33.当确定测试场景不合格时，发送预警提示。
34.第二方面，本发明实施例提供了一种测试场景的检测装置，该检测装置包括：
35.获取单元，用于获取测试场景对应的多媒体数据，多媒体数据为测试场景中获取到的图像数据，多媒体数据用于对测试场景进行仿真。
36.执行单元，用于播放多媒体数据，得到测试场景对应的测试仿真过程，并在测试仿真过程中实时获取待测试目标对应的多个测试数据。
37.处理单元，用于根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果。
38.在一个可选的实时方式中，处理单元，还用于当确定测试场景合格时，根据全部测试数据的数据内容分析测试场景中出现的故障；根据故障调整测试场景对应的方案。
39.在一个可选的实时方式中，该装置还包括确定单元。
40.确定单元，用于根据针对于测试参数的输入操作，确定测试参数。测试参数包括待待测试目标和播放速度。
41.执行单元，具体用于根据播放速度播放多媒体数据。
42.在一个可选的实时方式中，执行单元，具体用于在测试仿真过程中实时接收待测试目标对应的多个数据报文。其中，多个数据报文中的每个数据报文均包括一个测试数据。
43.处理单元，具体用于确定多个数据报文之间的接收时间间隔。根据测试数据验收标准确定周期间隔阈值。若多个数据报文之间的接收时间间隔大于周期间隔阈值，则确定测试场景不合格。
44.在一个可选的实施方式中，处理单元，具体用于对比相邻两个测试数据对应的数据内容，得到相邻两个测试数据之间的差别量。根据测试数据验收标准确定差别量阈值。若存在相邻两个测试数据之间的差别量大于差别量阈值，则确定测试场景不合格。
45.在一个可选的实施方式中，具体用于获取全部测试数据的数据内容。若存在连续的多个测试数据的数据内容相同，则确定数据内容相同的连续的测试数据的个数。根据测试数据验收标准确定个数阈值。若连续的测试数据的个数大于个数阈值，则确定测试场景不合格。
46.在一个可选的实施方式中，确定单元，还用于当确定测试场景不合格时，发送预警提示。
47.本技术实施例第三方面还提供了一种服务器，包括：存储器和处理器，存储器和处理器耦合。
48.其中，存储器用于存储一条或多条计算机指令。
49.处理器用于执行一条或多条计算机指令，以实现上述第一方面所述的测试场景的检测方法。
50.本技术实施例第四方面还提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现上述任意一种技术方案所述的测试场景的检测方法。
51.在本技术实施例中，首先根据测试需求确定测试数据验收标准，该测试数据验收标准即为确定测试数据是否合格的依据。然后获取测试场景中获取的多媒体数据。然后播放该多媒体数据对测试过程进行还原，并且获得测试过程中感知模块测量的测试数据。接着根据测试数据验收标准对测试数据进行分析，确定测试数据是否合格。本技术实施例可以实现对测试场景的自动化检测，通过测试数据验收标准对测试数据进行验证，无需人工检测测试数据。因此可以高效、快速且低成本的实现对测试数据进行检测的目的，提高测试数据的检测效率。
附图说明
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本技术实施例提供的自动化检测系统的结构示意图；
54.图2为本技术实施例提供的一种测试场景的检测方法的流程示意图；
55.图3为本技术实施例提供的另一种测试场景的检测方法的流程示意图；
56.图4为本技术实施例提供的一种测试场景的检测装置的结构示意图；
57.图5为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
58.本发明提供了一种测试场景的检测方法、装置、电子设备及存储介质。首先根据获取到的多媒体数据对测试过程进行还原，并获得测试数据。然后通过测试数据验收标准对全部测试数据进行分析评价，根据分析评价结果判断原测试场景的合格性，以实现测试数据的检测过程的自动化，提高测试数据的检测效率。
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
61.无人驾驶的核心是机器视觉识别技术。随着机器视觉识别技术的研究的不断深入，无人驾驶得到蓬勃发展。其中，无人驾驶车辆中的感知模块用于测量车辆行驶过程中的各项参数。而开发人员可以根据感知模块测量的各项参数不断调整驾驶路径以及驾驶状态，使得无人驾驶过程更符合驾驶要求。
62.通常，当开发人员规划好驾驶方案时，需要对该驾驶方案进行测试，并根据测试结果对驾驶方案进行调整，使得驾驶方案对应的驾驶结果更符合驾驶需求。在测试过程中，感知模块会根据测试需求进行测量，获得测试数据。这些测试数据均是后续进行驾驶方案调整的依据。然而测试过程中经常会出现测试错误的情况。这样，就会得到不合格的测试数据。
63.目前，通常用人工监测以及人工分析的方式对测试数据的合格性进行验证的。然而，随着业务功能的不断丰富，测试数据的数据量将越来越大。若仍然利用人工方式对测试数据进行检测，不仅需要投入大量人工成本，并且人工测试存在结果准确度不高、效率低、回归问题周期长的情况，检测效率极低。因此，如何低成本、高效、快速的进行测试数据的检测就成为亟待解决的问题。
64.基于上述问题，本技术实施例提供了一种测试场景的检测方法、装置、电子设备及存储介质。本技术实施例实现了对测试场景进行自动化检测，提高了测试场景的检测效率。可以理解的，上述自动驾驶场景仅作为一个具体的例子，并不是对本技术实施例的限定。本技术实施例所提供的测试场景检测方法可以运用各种测试场景中，示例性的，也可以应用于人脸识别、语音识别都各个测试场景中。下面将结合具体的实施方式，对本技术实施例所提供的方案进行详细的介绍。
65.在介绍本技术实施例提供的检测方法之前。先对本技术实施例提供的自动化检测系统进行介绍。图1为本技术实施例提供的自动化检测系统的结构示意图。如图1所示，该自动化检测系统可以应用于对机器视觉的无人驾驶感知模块进行测试的场景，也可以支持对其他机器视觉项目的测试。自动化检测系统包括以下几个模块：参数获取模块，测试执行模块，数据监测模块，结果生成模块以及ide交互平台。其中，ide交互平台用于提供人机交互功能，属于前台执行模块。而其他模块则用于数据检测，属于后台执行模块。
66.1、参数获取模块：
67.参数获取模块的功能是根据用户在测试平台上配置的参数，获取测试参数、测试数据验收标准以及多媒体数据。其中，测试参数包括测试场景参数、待测试目标、测试数据格式参数、测试单参数等。其中，用户可以通过配置测试场景参数来选择测试场景，包括动态场景、静态场景以及异常场景等。测试场景可以控制后续对测试场景的仿真还原过程。而待测试目标则指的是待测试的目标数据，比如测试港口无人驾驶集装箱挂车的场景中，待测试目标可以是挂车角度、桥吊id等。而测试数据格式参数，则可以规定检测的测试数据的返回格式。
68.而测试数据验收标准是指待测试目标的期望值或基线。比如包含有测试数据的报文的接收周期，处理器参数标准、内存占用阈值等。测试数据验收标准是测试数据的检测标准，只有符合测试数据验收标准的测试数据才是有效的可靠性高的测试数据。只有以可靠性高的测试数据为前提。才能对后续的驾驶方案进行准确的分析和调整。
69.而多媒体数据是指测试过程中获取到的图像数据。多媒体数据可以包括实际测试场景中拍摄的视频集和图像集，也可以包括仿真测试场景拍摄的视频集、图像集，以及矢量图图像集。示例性的，多媒体数据可以包括静态测试数据集和动态测试数据集。以测试港口无人驾驶集装箱挂车的场景为例，静态测试数据集可以包括挂车在实验室采集的正常、边界、异常数据以及挂车在正常光线、逆光、异常天气、颠簸路段、连续弯道情况下的图片或视频。动态测试数据集可以包括桥吊在实验室采集的正常、异常数据以及挂车在正常光线、逆光、异常天气、颠簸路段、连续弯道情况下的图片或视频。其中，多媒体数据用于对测试过程进行仿真还原。
70.2、测试执行模块：
71.该模块的功能是播放多媒体数据，对测试过程进行仿真还原。在多媒体数据播放过程中，会实时输出待测试目标对应的测试数据。测试执行模块是自动化测试平台的核心模块。其中，在播放多媒体数据时，可以使用开源opencv图像处理工具对图片或视频进行解析及播放。
72.同时，测试执行模块还可以对整个过程中得到的测试数据进行实时分析和监控。示例性的，可以从报文周期、机器视觉识别结果以及是否出现卡顿等方面来对还原的测试过程进行评价。由于实时分析不如后续离线分析精准，因此实时分析结果可以对测量数据进行初步筛选，比如取单位时间(默认30秒)内测试数据进行分析，快速定位非常严重且明显的测试问题。
73.3、测试数据监控模块：该模块为自动化测试平台的重要模块，功能是将测试执行模块获取到的测试数据实时写入文本。该模块监控的测试数据包括实时报文数据以及硬件设备数据等。实时报文数据，是指通过can通信设备连接待测试设备获取的实时报文信息。
硬件设备数据，是指通过usb连接待测试设备获取的设备状态信息及感知模块运行信息，包括硬件设备实时温度信息、测试模块运行的cpu及内存占用信息、进程信息等。
74.4、结果生成模块：该模块的功能为离线分析测试数据、对测试数据进行可视化处理以及将分析结果回传。离线分析测试数据，主要指根据测试数据监控模块所获得的测试数据对比参数获取模块的测试数据验收标准，根据对比结果分析测试数据，确定测试数据是否为有效可靠的数据。若指定测试管理系统支持，可将结果直接回传至测试管理系统。
75.5、ide交互平台：该模块是用户操作页面，通过该模块配置测试参数，查看测试进度、实时数据及实时分析结果，查看离线分析报告等，以实现前后端交互。用户可通过该模块配置、执行测试任务，并查看测试结果。
76.结合上述自动化检测系统，下面对测试数据的检测过程进行详细的介绍。图2为本技术实施例提供的一种测试场景的检测方法的流程示意图。如图2所示，该检测方法包括以下几个步骤：
77.201、根据测试需求获取测试场景对应的多媒体数据；
78.示例性的，当需要对自动驾驶场景对应的测试数据进行合格性检测时。先要对该自动驾驶场景对应的测试场景进行仿真还原，以获得测试场景中测量到的测试数据。首先，需要确定待测试的待测试目标，示例性的，用户可以通过ide交互平台手动配置待测试目标，自动化测试系统在获得待测试目标时，就需要获取该待测试目标对应的多媒体数据。其中，多媒体数据为测试过程中获取到的图像数据，该测试场景可以是实际测试场景，则多媒体数据可以包括实际测试场景中拍摄到的视频或者图像。也可以是模拟测试场景，即多媒体数据可以是模拟过程中数据分析得到的图像。可以理解的，多媒体数据是用来还原和仿真测试过程的数据。不同的待测试目标对应的多媒体数据不同，所以需要根据测试数据来确定多媒体数据，来对真实的测试过程进行还原。
79.202、播放多媒体数据，得到测试场景对应的测试仿真过程。
80.在获取到多媒体数据后，就需要播放多媒体数据，来仿真和还原测试过程，得到测试仿真过程。以上述自动驾驶场景为例，测试仿真过程则是测试阶段获得的自动驾驶数据，通过对上述仿真过程进行分析，就可以得知该次自动驾驶是否符合自动驾驶的要求，以便后续对驾驶方案进行调整。
81.203、在测试仿真过程中实时获取待待测试目标对应的多个测试数据。
82.以上述自动驾驶场景为例，在测试仿真过程中，待测试设备(车辆)的感知模块会根据待测试目标进行实时测量，得到待测试目标对应的测试数据。示例性的，假设待测试目标为车速，那么感知模块会周期性的测量车速，将测量到的车速数据反馈给自动化检测系统。其中，自动化检测系统会实时获取测试数据，然后对测试数据的接收状况进行检测，确定测试数据是否符合验收标准。
83.204、根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果。
84.获取到测试数据后，就需要根据测试数据验收标准对测试数据进行分析评价，看测试数据是否符合验收标准。然后根据分析评价结果确定测试场景是否合格，得到的测试数据是否可靠。其中，如果测试数据不符合验收标准，那么就说明此次测试过程不合格，得到的测试数据不可靠，需要重新测试。如果符合验收标准，则说明测试数据可靠。测试数据
就可以供开发人员进行后续的测试场景对应的故障分析。
85.下面用举例的方式对测试数据验收标准进行介绍：
86.①
、报文周期检测：
87.在测试仿真过程中，可以以接收报文的方式来接收测试数据，即感知模块每得到一个关于待测试目标的数据报文。然后需要根据数据报文的接收时间来确定相邻两个数据报文之间的时间间隔。可以理解的，通过相邻两个数据报文之间的时间间隔可以确定感知模块是否正常工作。示例性的，如果规定待测试设备上的感知模块需要每隔5秒就测量一次，那么自动化测试系统应该每5秒就得到一个数据报文。而如果相邻两个报文之间的时间间隔远远大于5秒，说明本次测试中感知模块并没有达到5秒测试一次的要求，那么测试过程不合格，整个测试过程出现了很大的问题。
88.可以理解的，在该实施例中，测试数据验收标准可以确定周期间隔阈值。如果有相邻两个数据报文之间的接收时间间隔大于周期间隔阈值的情况发生，则说明测试场景不合格，得到的测试数据不可靠。
89.②
、跳变分析检测：
90.可以理解的，还需要对相邻两个测试数据之间的差异进行分析。可以理解的，自动驾驶过程是一个连续的行驶过程，感知模块根据测试周期测量到测试数据也应该是平缓变化的。一旦相邻两个测试数据出现跳变，则说明测试数据不可靠，测试过程不合格。因此，需要对比相邻测试数据的数据内容，得到相邻两个测试数据之间的差别量。可以理解的，测试数据验收标准中可以规定差别量阈值。若存在相邻两个测试数据之间的差别量大于差别量阈值，那么就说明测试场景不合格，得到的测试数据不可靠。
91.③
、无效识别分析：
92.可以理解的，感知模块实时测量测试目标对应的数据，获得的测试数据应该是变化的。如果获得的测试数据持续性的相同，那么很有可能是感知模块发生测试故障，并未实时测量测试目标，而是进行了无效识别。因此，需要分析全部测试数据的数据内容，如果有连续的多个测试数据的数据内容相同的情况发生，那么就先确定数据内容相同的连续的测试数据的个数，若数据内容相同的连续的测试数据的个数大于个数阈值时，说明感知模块正在进行无效识别，那么就需要确定测试场景不合格，得到的测试数据不可靠。
93.205、当确定测试场景不合格时，发送预警提示。
94.当确定测试场景不合格时，就需要发送预警提示，提示测试数据不符合验收标准，需要再次进行测试。
95.可以理解的，如果全部测试数据都是合格的测试数据时，开发人员就可以以测试数据为依据，对整个测试过程中的自动驾驶过程进行评价。看自动驾驶过程是否符合驾驶需求，示例性的，可以根据测试数据判断自动驾驶过程是否有超速现象、是否有急转弯现象等。然后根据判断结果来调整驾驶方案，使得最终的自动驾驶过程更符合驾驶需求。
96.在本技术实施例中，首先根据测试需求确定测试数据验收标准，该测试数据验收标准即为确定测试数据是否合格的依据。然后获取关于测试过程中获取的多媒体数据。然后播放该多媒体数据对测试过程进行还原，并且获得测试过程中感知模块测量的测试数据。接着根据测试数据验收标准对测试数据进行分析，确定测试数据是否合格。本技术实施例可以实现对测试数据的自动化检测，通过测试数据验收标准对测试数据进行验证，无需
人工检测测试数据。因此可以高效、快速且低成本的实现对测试数据进行检测的目的，提高测试数据的检测效率。
97.结合上述实施例，图3为本技术实施例提供的另一种测试场景的检测方法的流程示意图。如图3所示，该检测方法包括以下几个步骤：
98.301、对前置条件进行检测。
99.该步骤需要对待检测设备以及检测设备进行测试前检测。需要保证待测试设备和检测设备连接正常(通过usb或com连接)，保证can通信连接工具连接正常。
100.302、通过自动化测试平台配置测试参数。
101.示例性的，可以通过测试参数检测系统提供的ide交互平台来进行人机交互。用户通过ide交互平台输入待检测设备的设备id、dbc文件(用来解析报文)、用例等级等。然后用户可以根据该交互平台输入测试目标待测试目标、测试数据格式等参数，以供后续还原测试过程。
102.303、更新待测试版本。
103.示例性的，在更新测试版本时，可以直接从指定jenkins路径获取新的测试方法的版本，并烧写(安装)进待测试设备。本地烧写(安装)成功，则进入下一步，若失败，会有三次重试机会，重新执行获取版本以及版本烧写(安装)的过程。
104.304、播放多媒体数据。
105.根据用户输入的测试参数依次播放待测试目标对应的多媒体数据。示例性的，可以使用开源opencv图像处理工具对多媒体数据中的图片或视频进行解析，按照测试参数中设置的播放速度进行播放。若待测试模块有多个输入设备，则可采用多进程方式，同时进行测试，更加贴近实际测试场景。涉及到缩放测试的部分，先按照测试参数中设置的范围随机选择，处理图片或视频帧，再进行播放。
106.305、实时监控播放过程并在线分析。
107.为确保可以获取到待测试设备的完整信息，本发明采用先播放多媒体数据，再启动测试设备、然后开启监控的模式。
108.首先重启测试设备时，可以使用合法重启语句，通过usb或com连接待测试设备。
109.在进行实时监控时，通过usb或com连接待测试设备，获取待测试感知模块的cpu、内存、进程数据、温度信息。根据待测试设备的系统环境，调用对应系统的自带命令获取测试数据。
110.最后对测试数据进行在线分析。通过测试参数中配置的验收标准，快速分析数据。为保证平台运行性能，实时分析不如后续离线分析精准，因此取单位时间(默认30秒)内数据进行比较，快速定位比较验证的严重问题。例如可以判断报文周期，示例性的，可以通过单位时间内收到的报文总数和报文周期来得到报文接收频率。比如报文周期为1秒，30秒内若收到的报文数量在[1
×
30
×
0.95,1
×
30
×
1.05]区间内，则认为周期正常，否则预警提示周期异常。示例性的，可以进行跳变分析，通过计算单位时间内相邻识别结果的差值，与测试参数配置中跳变阈值做比对，若超过阈值，则预警提示检测异常等。
[0111]
306、离线数据分析。
[0112]
可以理解的，在获取到测试数据后，就需要按照测试数据验收标准对测试数据进行同一的分析。示例性的，可以进行报文周期分析、跳变分析以及无效识别分析等。具体分
析过程请参考图2所示实施例的内容，在次不做赘述。
[0113]
307、生成报告并返回结果。
[0114]
根据离线数据分析的结果，对每一条执行用例生成固定格式的报告，并生成一份总的测试报告，判断测试数据是否合格。最后可以将测试结果回传至ide显示。
[0115]
在本技术实施例中，本发明实现测试过程以及结果回传全自动化，受人为影响小，人工成本较小，测试过程准确且高效。同时，本发明利用opencv工具可对测试窗口大小移动进行设置，对车辆速度、与检测目标的距离进行数据全覆盖仿真，使测试更高效，从而降低测试成本。同时，本发明综合考虑无人驾驶车辆作业场景，可建立多种测试需求用例库，通过灵活调整运行参数来达到测试的全面性的目的。接着，本发明对测试数据既可以实时监测分析也可以离线监测分析，实时监测分析适用于回归测试及短时场景测试，离线监测分析适用于长时测试。最后本发明可适配不同项目，支持自定义参数、ide，同时有提供源码入口，有良好的扩展性。
[0116]
图4为本技术实施例提供的一种测试场景的检测装置的结构示意图，该检测装置包括：
[0117]
获取单元401，用于获取测试场景对应的多媒体数据，多媒体数据为测试场景中获取到的图像数据，多媒体数据用于对测试场景进行仿真。
[0118]
执行单元402，用于播放多媒体数据，得到测试场景对应的测试仿真过程，并在测试仿真过程中实时获取待测试目标对应的多个测试数据。
[0119]
处理单元403，用于根据测试数据验收标准对全部测试数据进行分析评价，并根据分析评价结果确定测试场景的合格结果。
[0120]
在一个可选的实时方式中，处理单元403，还用于当确定测试场景合格时，根据全部测试数据的数据内容分析测试场景中出现的故障；根据故障调整测试场景对应的方案。
[0121]
在一个可选的实时方式中，该装置还包括确定单元404。
[0122]
确定单元404，用于根据针对于测试参数的输入操作，确定测试参数。测试参数包括待待测试目标和播放速度。
[0123]
执行单元402，具体用于根据播放速度播放多媒体数据。
[0124]
在一个可选的实时方式中，执行单元402，具体用于在测试仿真过程中实时接收待测试目标对应的多个数据报文。其中，多个数据报文中的每个数据报文均包括一个测试数据。
[0125]
处理单元403，具体用于确定多个数据报文之间的接收时间间隔。根据测试数据验收标准确定周期间隔阈值。若多个数据报文之间的接收时间间隔大于周期间隔阈值，则确定测试场景不合格。
[0126]
在一个可选的实施方式中，处理单元403，具体用于对比相邻两个测试数据对应的数据内容，得到相邻两个测试数据之间的差别量。根据测试数据验收标准确定差别量阈值。若存在相邻两个测试数据之间的差别量大于差别量阈值，则确定测试场景不合格。
[0127]
在一个可选的实施方式中，处理单元403，具体用于获取全部测试数据的数据内容。若存在连续的多个测试数据的数据内容相同，则确定数据内容相同的连续的测试数据的个数。根据测试数据验收标准确定个数阈值。若连续的测试数据的个数大于个数阈值，则确定测试场景不合格。
[0128]
在一个可选的实施方式中，确定单元404，还用于当确定测试场景不合格时，发送预警提示。
[0129]
在本技术实施例中，确定单元首先根据测试需求确定测试数据验收标准，该测试数据验收标准即为确定测试数据是否合格的依据。然后获取单元获取关于自动驾驶场景的测试过程中获取的多媒体数据。接着执行单元播放该多媒体数据对测试过程进行还原，并且获得测试过程中感知模块测量的测试数据。最后处理单元根据测试数据验收标准对测试数据进行分析，确定测试数据是否合格。本技术实施例可以实现对测试数据的自动化检测，通过测试数据验收标准对测试数据进行验证，无需人工检测测试数据。因此可以高效、快速且低成本的实现对测试数据进行检测的目的，提高测试数据的检测效率。
[0130]
接下来介绍本技术实施例提供的一种电子设备，请参阅图5，图5为本技术实施例提供的电子设备的一种结构示意图。电子设备800具体可以表现为虚拟现实vr设备、手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备或者雷达数据处理设备等，此处不做限定。其中，电子设备800上可以部署有图4对应实施例中所描述的测试场景的检测装置，用于实现图1至图3对应实施例中的功能。具体的，电子设备800包括：接收器801、发射器802、处理器803和存储器804(其中执行设备800中的处理器803的数量可以一个或多个，图5中以一个处理器为例)，其中，处理器803可以包括应用处理器8031和通信处理器8032。在本技术的一些实施例中，接收器801、发射器802、处理器803和存储器804可通过总线或其它方式连接。
[0131]
存储器804可以包括只读存储器和随机存取存储器，并向处理器803提供指令和数据。存储器804的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。存储器804存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
[0132]
处理器803控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0133]
上述本技术实施例揭示的方法可以应用于处理器803中，或者由处理器803实现。处理器803可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器803可以是通用处理器、数字信号处理器(digital signal processing，dsp)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器803可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器804，处理器803读取存储器804中的信息，结合其硬件完成上述方法的步骤。
[0134]
接收器801可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器802可用于通过第一接口输出数字或字符信息；发射器802还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器802还可以包括显示屏等显示设备。
[0135]
本技术实施例中，处理器803中的应用处理器8031，用于执行图1至图3对应实施例中的方法。需要说明的是，应用处理器8031执行各个步骤的具体方式，与本技术中图1至图3对应的各个方法实施例基于同一构思，其带来的技术效果与本技术中图1至图3对应的各个方法实施例相同，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0136]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括计算机指令，计算机指令在被处理器执行时用于实现本技术实施例中任意一种测试场景的检测方法的技术方案。
[0137]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0138]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0139]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。