基于环境数据的测试题库系统的制作方法
本发明涉及测试题库的技术领域，具体为基于环境数据的测试题库系统。
背景技术：
利用真实数据和软件测试等方式实现对各项关键技术的量化测试验证，为客观地衡量地面无人平台自主能力关键技术水平，引领并推动其发展至关重要。项目为实现不同任务的关键技术测试，在环境数据采集系统的基础上，设计了多个考核科目，需要对应于不同考核科目及考核难度，因此现有多数测试系统均不能准确界定每套考题数据是否符合方案所需的难度要求，是否能够达到预设目标。
技术实现要素：
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于环境数据的测试题库系统，具备可以准确的测试每套考题数据是否符合方案所需的难度要求等优点，解决了的问题。
(二)技术方案
为实现上述可以准确的测试每套考题数据是否符合方案所需的难度要求的目的，本发明提供如下技术方案：基于环境数据的测试题库系统，包括环境数据测试库，环境数据测试库包括有测试内容设计和测试数据制作，测试内容设计和测试数据制作均为系统单元，测试内容涉及包括有测试科目、测试内容与评价准则，测试科目包括有单元技术测试科目设计系统与综合功能测试科目设计系统，单元技术测试科目设计系统包括有目标分类能力测试、障碍检测能力测试、自主定位能力测试、环境建模能力测试、环境建模能力测试、目标识别跟踪能力测试、全局规划能力测试、运动规划能力测试与任务规划能力测试，综合功能测试科目设计系统，包括有目标搜索与定位、障碍物的检测与定位、动态目标的检测与跟踪、自主定位、路径规划、动态规划与光电跟踪。
优选的，所述测试内容包括有传感器内容设计、基准数据内容设计、评价标准内容设计与共享文件内容设计。
优选的，所述评价准则设计依据各个测试科目，对相关的影响因子进行分析提炼，并依赖影响程度和任务复杂度进行相应的加权计算。
优选的，所述测试数据制作包括有传感器数据与基准数据，传感器数据制作主要包括数据切割、数据检查、坐标系检查、同步检查与考题数据制作。
优选的，所述数据检查为在数据采集过程中，由于供电不稳、信号干扰以及传感器失效等原因出现漏帧，甚至数据错误等现象，需要通过分析数据帧率，检查漏帧情况，通过可视化数据，检查数据内容是否正确性以及噪声情况。
优选的，所述基准数据制作包括有目标搜索与定位的基准数据内容设计、障碍物的检测与定位的基准数据内容设计、动态目标的检测与跟踪的基准数据内容设计、定位的基准数据内容设计、轨迹规划的基准数据内容设计与动态规划的基准数据内容设计。
(三)有益效果
与现有技术相比，本发明提供了基于环境数据的测试题库系统，具备以下有益效果：
1、该基于环境数据的测试题库系统，通过测试内容设计与测试数据制作配合测试科目与测试内容，将测试科目进行详细的划分并划分出单元技术测试科目设计系统与综合功能测试科目设计系统，并且分别在单元技术测试与综合功能测试划分出十六个子科目，并且配合环境复杂度、关键技术指标和技术支撑难度等方面对考题数据的难易程度进行定量化评价，从而可以准确的测试每套考题数据是否符合方案所需的难度要求。
2、该基于环境数据的测试题库系统，通过在测试内容的设计上，以实际任务为牵引，紧密结合挑战赛的实体测试，每个科目均包含对实现该任务的关键技术及其支持技术的综合考核，并且对完成该任务的手段不予以限制，为了完成该任务，车队可采取不同手段，比如利用视觉或激光雷达或融合技术等不予限制，通过在设置考题时分析出完成任务使用的大多手段，进而可以保证考试成功时成绩的准确性。
3、该基于环境数据的测试题库系统，通过根据考核科目设计，沿预先设计的数据采集路线驾驶数据采集车并同步采集多模态传感器数据，且每套传感器数据包括地面无人系统通常配置条件下的多模态传感器数据，包括gps＝、惯导、车轮编码器、摄像头和单线及多线激光雷达等，每套测试数据均包含一套相应的传感器配置参数，当传感器配置有调整时，需在数据采集前或后进行传感器系统标定，通过设置多种考核科目设计可以将数据进行多项对比，从而可以提高信息的精度。
4、该基于环境数据的测试题库系统，通过设置考题测试过程配合令牌，使软件在进行测试的过程中，通过令牌来进行数据的发送，且必须首先经由接收令牌的数据来从相关的考题目录读取相应的传感器数据，并且令牌数据的发送评率与原数据的采集频率一致，进而可以有效保证数据在传输过程中的安全性。
附图说明
图1为本发明环境数据测试数据库的系统框图；
图2为本发明图1中测试科目的系统框图；
图3为本发明图1中测试内容的系统框图；
图4为本发明图1中传感器数据的系统框图；
图5为本发明图1中基准数据的系统框图；
图6为本发明中基于考题数据的测试过程的流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明，其中相同的零部件用相同的附图标记表示,需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”、“底面”和“顶面”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供技术方案：基于环境数据的测试题库系统，包括环境数据测试库，环境数据测试库包括有测试内容设计和测试数据制作，测试内容设计和测试数据制作均为系统单元，测试内容涉及包括有测试科目、测试内容与评价准则，测试科目包括有单元技术测试科目设计系统与综合功能测试科目设计系统，单元技术测试科目设计系统包括有目标分类能力测试、障碍检测能力测试、自主定位能力测试、环境建模能力测试、环境建模能力测试、目标识别跟踪能力测试、全局规划能力测试、运动规划能力测试与任务规划能力测试。
目标分类能力测试，科目设计：评测被测系统对给定测试样本集的目标分类能力，包括测试精度、处理耗时等指标能力。
输入：测试样本集合(相机图片、激光雷达点云数据，可以是不连续帧数据)，i＝{s1,s2,...,sn}，其中每个样本的数据结构为si＝(idi,datai,clsi)，idi为每个样本的唯一标识，datai为具体的样本数据(相机图片或者激光雷达点云图)，clsi为对应样本的标注类别(只考虑单分类问题)。
输出：测试结果集合，o＝{r1,r2,...,rn}，其中每个测试结果的数据结构为ri＝(idi,ansi)，idi为对应测试样本的id，ansi为测试结果(y/n)。
障碍检测能力测试，科目设计：测试系统对环境中障碍物的识别能力，包括检测精度、漏检率、误检率以及检测耗时等指标能力。
输入：测试样本集合(激光雷达点云数据，可以是不连续帧数据)，i＝{s1,s2,...,sn}，其中：每个样本的数据结构为si＝(idi,datai,obsi)，idi为每个样本的的唯一标识，datai为具体的样本数据，obsi为对应样本标注的障碍物信息，数据结构为
输出：测试结果集合，o＝{r1,r2,...,rn}，其中每个测试结果的数据结构为ri＝(idi,ansi)，idi为对应测试样本的id，ansi为测试结果，其结构表示为
自主定位能力测试，科目设计：测试系统在环境中的自主定位能力，包括平均位置变换精度、平均角度变换精度以及平均耗时等指标能力。
输入：按时序采集的视觉或者激光雷达数据，i＝{f1,f2,...,ft}，参考位姿
输出：测试结果集合，x1:t＝{x1,x2,...,xt}。
环境建模能力测试，科目设计：测试系统在环境中的环境建模能力，包括模型匹配度、平均耗时等指标能力。
输入：按时序采集的视觉或者激光雷达数据，i＝{f1,f2,...,ft}，参考模型
输出：测试结果集合，m1:t＝{m1,m2,...,mt}。
环境建模能力测试，科目设计：测试系统对环境中的运动目标的运动预测能力，包括轨迹预测误差、轨迹与测试长度、平均耗时等指标能力。
输入：按时序采集的视觉或者激光雷达数据，i＝{f1,f2,...,ft}，参考轨迹
输出：测试结果集合，x1:t＝{x1,x2,...,xt}。
目标识别跟踪能力测试，科目设计：测试系统对环境中目标的识别与跟踪能力，包括平均识别精度、目标漏检率、误检率以及平均耗时等指标能力。
输入：连续采集的单目相机视频数据或者2d激光雷达点云数据，i＝{f1,f2,...,ft}，ft为单帧数据，其结构为ft＝(idt,datat,obst)，idi为每帧的唯一标识，datat为具体的数据(图片或者2d激光雷达点云图)，obst为对应帧标注的障碍物信息，数据结构为
输出：测试结果集合，o＝{r1,r2,...,rn}，其中每个测试结果的数据结构为rt＝(idt,anst)，idt为对应测试样本的id，anst为测试结果，其结构表示为
全局规划能力测试，科目设计：测试系统对环境的全局规划能力，包括路径规划长度、任务成功情况等指标能力。
输入：全局栅格地图m，
必经点ness＝{(xs,ys),(xg,yg),(xt1,yt1),(xt2,yt2),...,(xtn,ytn)}，(xs,ys)和(xg,yg)分别为起点与终点，(xt1,yt1),(xt2,yt2),...,(xtn,ytn)为必经的任务点，要求全局规划返回的路径必须按先后顺序经过这些任务点。
输出：返回规划的路径p＝{(x1,y1),(x2,y2),...,(xn,yn)}。
运动规划能力测试，科目设计：测试系统对平台运动轨迹的规划能力，包括路径规划长度、任务成功情况、可执行性、路径平弧度、耗时等指标能力。
输入：局部栅格地图m，必经点ness＝{(xs,ys),(xg,yg)}，(xs,ys)和(xg,yg)分别为起点与终点，要求局部规划返回的路径必须按先后顺序经过这些点。
输出：返回规划的路径p＝{(x1,y1),(x2,y2),...,(xn,yn)}。
任务规划能力测试，科目设计：测试系统对平台任务规划能力进行测试，包括完成任务资源需求、操作序列长度和系统耗时等指标能力。
输入：任务序列tasklist＝{ti,t2,...,tn}，ti为目标任务描述，要求任务规划返回的这些目标任务的执行序列以及相应的资源需求。
输出：返回规划的路径operations＝{(o11,o12,...),(o21,o22,...),...,(on1,on2,...)}。
综合功能测试科目设计系统，包括有目标搜索与定位、障碍物的检测与定位、动态目标的检测与跟踪、自主定位、路径规划、动态规划与光电跟踪。
目标搜索与定位，科目设计：考题的数据采集路线从任务点出发(含1-2米的卫星定位误差)，沿途设置有1个或多个搜索目标，路线限定在搜索范围内，沿路线多个区间可观测到搜索目标，称为“可视区间”，否则为“不可视区间”。(注：“可视区间”为该区间中可通过摄像头或激光雷达的任何一种传感器观测到搜索目标，“不可视区间”为该区间中摄像头和激光雷达均不能观测到搜索目标)。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放。车队软件在接收到数据后对数据进行处理，检测到目标并定位后实时地输出目标位置(注：wgs84坐标系下的经纬度坐标)，无检测跟踪结果时不输出，测试软件接收到结果后给出该结果的评分，测试结束后给出该考题的总分，任务文件在测试之前发给车队。
障碍物的检测与定位，科目设计：障碍物包括车辆行驶前方区域、对车辆正常行驶构成威胁的正障碍和负障碍，沿考题的数据采集路线，在多处设置不同类型的障碍物，整个行程可以分为障碍物的“可视区间”及“不可视区间”，其定义如目标搜索与定位科目，可通过调整车速和障碍物环境条件等设计不同难度的考题。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件在接收到数据后对数据进行处理，检测到障碍物并定位后实时地输出目标的位置结果(注：wgs84坐标系下的经纬度坐标)，车队软件可对同一个障碍物进行跟踪，并输出每一帧的障碍物位置；无检测跟踪则不输出，测试软件接收到结果后给出该结果的评分，测试结束后给出该考题的总分。
动态目标的检测与跟踪，科目设计：沿考题的数据采集路线，多处出现动态障碍物，整个行程可以分为动态障碍物的“可视区间”及“不可视区间”，其定义如目标搜索与定位科目。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件在接收到数据后对数据进行处理，检测到动态障碍物后对其进行运动跟踪，并输出其位置、运动方向和速度的时序列，无检测则不输出，测试软件接收到结果后给出该结果的评分，测试结束后给出该考题的总分。
自主定位，科目设计：车队软件需实时地计算平台的位置和方向，并将该信息输出，沿考题的数据采集路线，设置多个定位抽测点(车队未知)，测试软件在数据播放到定位抽测点时对车队输出结果的正确性进行评判。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件在接收到数据后对平台的位置及方向进行估计，并实时输出该时刻平台的位置及方向信息，测试软件在定位抽测点对收到的结果后给出该抽测点的评分，测试结束后给出该考题的总分。
路径规划，科目设计：测试开始后，车队软件进行路径规划，并按照固定帧率及固定轨迹时长将输出轨迹结果，测试软件综合路径的风险性及时间性进行评判。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件接收到数据后，在障碍物检测、行驶区域分析等处理的基础上规划平台的运动路径，并将路径输出，测试软件接收到结果后给出评分，路径规划按照固定帧率及固定路径时长进行，测试软件接收到结果后给出该结果的评分，测试结束后给出该考题的总分。
动态规划，科目设计：沿数据采集路线设有多处可绕行障碍物和道路阻断处(包括壕沟等负障碍或路障等正障碍)，测试过程中车队软件进行实时地轨迹规划，在可绕行障碍物处继续前行，在道路阻断处进行重规划。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件接收到数据后，在障碍物检测、行驶区域分析等处理的基础上进行轨迹规划，并将轨迹输出；测试软件接收到结果后给出评分。
光电跟踪，科目设计：沿考题的数据采集路线，多处出现静或动态目标(如固定障碍物、人员、车辆)，考题数据中每个目标设置有“跟踪开始”及其位置和目标大小、“跟踪结束”等标签，测试车队软件将根据该信息在后续的数据中实时对目标进行跟踪，目标有大小变化，有多目标情况，目标有多种运动属性；场景有光照、阴影、遮挡、雨或雾干扰。
任务定义：测试软件通过网络传输等方式将考题数据进行同步播放，车队软件在接收到数据后对数据进行处理，在“跟踪开始”到“跟踪结束”的时间段内，对目标进行跟踪，并实时输出目标位置、大小、运动方向和速度；跟踪失败和期间丢失均有输出，测试软件接收到结果后给出该结果的评分，测试结束后给出该考题的总分。
测试内容包括有传感器内容设计、基准数据内容设计、评价标准内容设计与共享文件内容设计，传感器内容设计，一套考题的传感器数据包括为制作该设定科目考题而进行数据采样时同步采集的多模态传感器数据，数据类型包括完成该设定科目任务时无人平台在通常配置下所需使用的所有传感器数据，如卫星定位、惯性导航、单线激光激光雷达、多线激光雷达、摄像头等。
评价准则设计依据各个测试科目，对相关的影响因子进行分析提炼，并依赖影响程度和任务复杂度进行相应的加权计算，以下以光电跟踪科目为例说明评价细则的制作设计，光电跟踪科目考核内容与评分方法：
测试数据制作包括有传感器数据与基准数据，传感器数据制作主要包括以下内容：
1)数据切割：数据采集过程是连续的，往往包含考题内及考题外，甚至多套考题数据，另外对部分科目的考核不需要所有的传感器数据，本处理根据数据采集过程的记录，截取考题内数据段，并剔除考题外传感器数据。
2)数据检查：数据采集过程中，由于供电不稳、信号干扰以及传感器失效等原因出现漏帧，甚至数据错误等现象，需要通过分析数据帧率，检查漏帧情况，通过可视化数据，检查数据内容是否正确性以及噪声情况。
3)坐标系检查：外部架设的传感器，其外部标定参数往往会由于架设或受到外力等原因而改变，传感器标定参数等。
4)同步检查：多种不同模态的传感器分别按照各自帧率进行数据采集，每一帧数据拥有一个时钟戳，从而籍此同步数据，特别是数据采集中涉及到多个不同时钟时，容易出现时钟戳不同步现象，需要通过可视化同步后的数据，检查时钟戳是否正确。
5)考题数据制作：通过上述处理，建立一套考题的同步多模态传感器数据内容文件及各传感器数据子文件。
基准数据制作包括有目标搜索与定位的基准数据内容设计、障碍物的检测与定位的基准数据内容设计、动态目标的检测与跟踪的基准数据内容设计、定位的基准数据内容设计、轨迹规划的基准数据内容设计与动态规划的基准数据内容设计。
目标搜索与定位的基准数据内容设计，制作设计：利用卫星定位系统的定点测量技术测量搜索目标在wgs84坐标系下的位置(经纬度)，根据可视化传感器数据，人工标注目标在各个传感器中目标的可视区间、即目标出现在该传感器数据中的开始及结束时间。
障碍物的检测与定位的基准数据内容设计，制作设计：对行驶路线中每个障碍物，利用卫星定位系统的定点测量技术测量在wgs84坐标系下的位置(经纬度)，并标注相应的属性；根据可视化传感器数据，人工标注该障碍物在各个传感器中目标的可视区间、即障碍物出现在该传感器数据中的开始及结束时间。
动态目标的检测与跟踪的基准数据内容设计，制作设计：根据可视化传感器数据，人工标注各动态目标在各个传感器中的可视区间、即动态目标出现在该传感器数据中的开始及结束时间，对每个动态目标，利用移动卫星定位系统，测量该目标的位置序列，截取时间区段[t1,tn]的数据保存为该动态目标的轨迹数据，其中[t1,tn]为该动态目标在传感器数据中可观测的最大区间。动态目标与采样样车的传感器数据，根据卫星定位系统的时钟进行同步。
定位的基准数据内容设计，制作设计：对行驶路线中的每个定位抽测点，利用卫星定位系统的定点测量技术测量在wgs84坐标系下的位置(经纬度)，并标注相应的精度级别，通过与样车平台所采集的定位信息、结合slam等传感器数据处理结果，计算样车平台通过该抽测点的时间。
轨迹规划的基准数据内容设计，制作设计：利用激光雷达数据构建三维地图，通过研发三维地形处理软件，生成穿越代价或道路结构地图。
动态规划的基准数据内容设计，制作设计：利用激光雷达数据构建三维地图，通过研发三维地形处理软件，生成穿越代价或道路结构地图。
基于考题数据的测试过程，包括以下步骤：
1)裁判软件发送“开始测试”指令；
2)车队软件接收到“开始测试”指令后，准备相关数据，准备完成后向裁判软件发送“准备就绪”指令，表明已准备好接收数据；
3)裁判软件收到“准备就绪”握手信号后，按传感器数据的时钟,持续地发送“令牌”数据，车队软件根据令牌数据，从相关的考题目录读取相应的传感器数据，令牌数据发送频率与原数据的采集频率一致；
4)车队软件按照任务要求，向裁判软件发送答案数据，裁判软件接收到结果后实时进行评分，并可视化结果；
5)令牌数据发送完成，裁判软件向车队软件发送“发送完成”指令。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
- 还没有人留言评论。精彩留言会获得点赞！