一种基于摄像头的超车场景数据采集、识别与提取系统的制作方法

本发明属于自然驾驶数据采集，场景识别领域，尤其是涉及一种基于摄像头的超车场景数据采集、识别与提取系统。

背景技术：

近年来，随着传感器技术的快速发展以及硬件设备价格的下降，adas技术商用化逐渐成熟，与此同时更为先进的l3~l4级别驾驶辅助技术也成为了各大主机厂的重点研究方向。自然驾驶场景是指驾驶员在实际道路中所遇到的真实交通状况，自然驾驶场景的研究对驾驶辅助技术及自动驾驶技术的开发、测试用例的编写都具有重要的现实意义。典型自然驾驶场景的提取是场景研究的基础，目前有关研究人员提出了多种类型的典型自然场景的提取方法，比如德国的pegasus项目提出了危险驾驶场景提取方法的研究流程，得到了危险驾驶场景的一般标准，国内的张磊在《基于自然驾驶数据的变道切入行为分析》中提出了邻车切入工况的识别方法；

目前的场景识别、提取技术主要针对的是车辆跟驰、切入切出、变道等典型场景，而鲜有针对自车超越大型客车、货车场景的研究和开发。对于自车超越大型车辆的特殊超车场景，由于大型车辆车宽较大、侧向位置波动幅度大，自车在超越低速大型车辆时，会导致超越过程中自车与大型车辆的会车间距较小，存在侧向碰撞风险。而大型车辆车尾部由于紊流而产生的负压区则会在自车超越大车时，给予自车一个朝向大型车辆的侧向力，进一步增加了侧向碰撞的风险，且容易给驾乘人员带来不良的驾乘体验。为针对这一场景展开深入的研究和相关高级辅助驾驶技术的开发，本发明针对超越大型车辆的特殊超车场景展开研究，提出了包含数据采集、场景识别以及场景提取功能的综合系统，从而为该场景下的驾驶辅助技术开发奠定基础。

技术实现要素：

有鉴于此，本发明旨在提出一种基于摄像头的超车场景数据采集、识别与提取系统，以实现对超越大型车辆场景的数据采集、提取、相关数据保存并可供离线分析应用。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于摄像头的超车场景数据采集、识别与提取系统，包括自然驾驶数据采集装置、目标场景识别子系统和目标场景的挖掘系统，所述自然驾驶数据采集装置采集目标车数据，并将目标车数据传送给目标场景识别子系统和目标场景的挖掘系统，目标场景识别子系统通过系统输入参数对当前场景是否为目标场景进行识别操作，并将经识别操作后的识别结果发送给目标场景的挖掘系统，目标场景的挖掘系统根据识别结果决定是否进行场景提取操作，若当前场景为目标场景，则目标场景的挖掘系统计算提取所需参数，所需参数包括起始时刻t_start、超越时刻t_override、结束时刻t_end，且目标场景的挖掘系统基于所需参数进行场景提取操作，所述目标场景识别子系统和目标场景的挖掘系统均信号连接至自然驾驶数据采集装置。

进一步的，所述自然驾驶数据采集装置包括车载工控机、逆变器、摄像头传感器、can-h总线、can-l总线、整车电源，逆变器一端线路连接整车电源，另一端线路连接至车载工控机，且车载工控机与摄像头传感器一端线路连接，摄像头传感器另一端分别线路连接至can-h总线、can-l总线和整车电源。

进一步的，所述目标场景识别子系统的系统输入参数包括采集时间t、采样步长t、目标车id、目标车类型、目标车相对自车纵向距离、目标车相对自车横向距离、目标车方位角和目标车相对自车纵向速度。

进一步的，所述目标场景识别子系统的识别操作包括以下步骤：

a1、获取所有目标车的目标级信息；

a2、目标场景识别子系统对目标级信息进行处理操作，并判断目标车是否满足目标场景要求。

进一步的，在步骤a2中的所述处理操作包括以下步骤：

a21、判断目标车类型是否为大型车辆，若是则进行下一步，否则切换下一个目标车，重新进入步骤a21；

a22、判断目标车相对自车纵向距离是否在阈值内，若是则进行下一步，否则切换下一个目标车，重新进入步骤a21；

a23、判断目标车相对自车横向距离是否处于范围内，若是则left_count增加1，切换下一个目标车，并重新进入步骤a21，否则进行下一步；

a24、判断目标车相对自车横向距离是否处于范围内，若是则right_count增加1，切换下一个目标车，并重新进入步骤a21，否则切换下一个目标车，并重新进入步骤a21；

a25、当所有目标车均经历了步骤a21~a24的判断过程，若left_count>0且right_count=0，被超越车辆为范围内对自车的相对纵向距离最小的大型车辆，若此时自车相对被超越车辆的纵向速度v_relative>0，则此时满足目标场景要求；若left_count=0且right_count>0，被超越车辆为范围内对自车的相对纵向距离最小的大型车辆，若此时自车相对被超越车辆的纵向速度v_relative>0，此时满足目标场景要求；若left_count=0且right_count=0，则未出现大型目标车辆，不满足目标场景要求；若left_count>0且right_count>0，则道路两侧均存在大型车辆，不满足目标场景要求。

进一步的，在步骤a25中的所述判断过程包括四种可能性判断，四种可能性判断分别包括只经历步骤a21，依次经历步骤a21、步骤a22，依次经历步骤a21、步骤a22、步骤a23，依次经历步骤a21、步骤a22、步骤a23、步骤a24。

进一步的，所述场景提取操作包括以下步骤：

c1、获取所有目标车相关信息；

c2、基于被超越车辆可感知的最后时刻的被超越车辆相对自车纵向距离和被超越车辆相对自车纵向速度，对超越时刻t_override进行预测操作。

进一步的，在步骤c2中的所述预测操作包括以下步骤：

c21、判断被超越车辆对应objectid目标车的相对自车纵向距离参数是否发生突变，若是，即可视为被超越车辆退出摄像头视野，此时刻记为t_lost，此时被超越车辆相对自车纵向距离为x_lost，自车相对被超越车辆纵向速度为v_rel_lost，否，则不标记；

c22、根据步骤c21中的所述t_lost、x_lost、v_rel_lost预测得出超越时刻t_override数据，即超越时刻计算方法公式；

c23、通过检测方法对自车是否变道进行检测操作。

进一步的，在步骤c22中的所述超越时刻计算方法公式如下：

。

进一步的，在步骤c23中的所述检测方法包括以下步骤:

c231、若自车距离左侧车道线距离未发生由0到道路宽度的突变、且未发生由道路宽度到0的突变，则可判定目标场景的这一片段内未发生变道，此次目标场景提取有效，否则目标场景提取无效。

相对于现有技术，本发明所述的一种基于摄像头的超车场景数据采集、识别与提取系统具有以下优势：

（1）本发明所述的一种基于摄像头的超车场景数据采集、识别与提取系统具有场景自动识别和提取功能，相比人工场景识别和提取，可大幅降低人力消耗，具有更高的识别效率。

（2）本发明所述的一种基于摄像头的超车场景数据采集、识别与提取系统所识别和提取的场景：超越大型车辆场景的相关研究较少，本专利可对现有的场景库搭建工作构成补充，以指导相关测试用例的编写工作。

（3）本发明所述的一种基于摄像头的超车场景数据采集、识别与提取系统所提取的超越大型车辆场景的自然驾驶数据可为该场景下的adas功能开发提供数据支持。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种基于摄像头的超车场景数据采集、识别与提取系统车载摄像头及数据采集装置示意图；

图2为本发明实施例所述的一种基于摄像头的超车场景数据采集、识别与提取系统自车摄像头探测目标及范围示意图；

图3为本发明实施例所述的一种基于摄像头的超车场景数据采集、识别与提取系统目标场景识别的具体流程图；

图4为本发明实施例所述的一种基于摄像头的超车场景数据采集、识别与提取系统目标场景车辆运动轨迹示意图。

附图标记说明：

1-车载工控机；2-逆变器；3-摄像头传感器；4-can-h总线；5-can-l总线；6-整车电源。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1至图4所示，一种基于摄像头的超车场景数据采集、识别与提取系统，包括自然驾驶数据采集装置、目标场景识别子系统和目标场景的挖掘系统，所述自然驾驶数据采集装置采集目标车数据，并将目标车数据传送给目标场景识别子系统和目标场景的挖掘系统，目标场景识别子系统通过系统输入参数对当前场景是否为目标场景进行识别操作，并将经识别操作后的识别结果发送给目标场景的挖掘系统，目标场景的挖掘系统根据识别结果决定是否进行场景提取操作，若当前场景为目标场景，则目标场景的挖掘系统计算提取所需参数，所需参数包括起始时刻t_start、超越时刻t_override、结束时刻t_end（在超越时刻t_override之前，将自车纵向中心线位置开始偏离自车原稳定横向位置的时刻定义为起始时刻t_start，其计算方式为车辆侧向位置曲线经1hz低通滤波后，距离超越时刻t_override最近的侧向位置曲线的一阶导数为0的时刻记作t_start，在超越时刻t_override之后，将自车纵向中心线位置首次与车道中心线重合时刻定义为躲闪行为的结束时刻t_end，则（t_override-t_start）即为附图4中偏离过程持续时间，（t_end-t_override）即为附图4中回归过程持续时间），且目标场景的挖掘系统基于所需参数进行场景提取操作，所述目标场景识别子系统和目标场景的挖掘系统均信号连接至自然驾驶数据采集装置，该系统可以通过对超越大型车辆场景的自动数据采集为车辆侧向辅助驾驶功能的安全性能提升提供更有力的自然驾驶数据支持。

目前基于自然驾驶数据的驾驶场景库主要集中于变道场景和跟驰场景两部分，其中变道场景是指本车辆跨越车道线的横向运动行为，跟驰场景则是在自车道内的纵向运动行为，而针对自车道内的横向运动，目前的研究则默认车辆理想位置位于车道线中心处，并由此开发了lka，ldw，hwp等l2~l3级别的adas功能，但根据前期采集的自然驾驶数据，自车在超越大型车辆（大型车辆可以为大卡车或大客车）时会普遍出现局限于自车道内的横向的躲闪行为，并在完全超越或部分超越后重新回归车道中心线位置，由于大型车辆车宽较大、与自车间距通常小于普通车辆，因此这种横向躲闪行为可增加超越过程中的横向距离，一方面增加安全性，同时也提升驾驶员及乘客的驾乘安心感。本发明则针对这种自车道内躲闪大型车辆的场景，提出了一种基于摄像头的自然驾驶数据采集、场景识别和提取的综合系统，该系统可以为lka和hwp等功能的优化以及该场景下的高级驾驶辅助系统（技术）的开发提供数据支撑，从而提升侧向辅助驾驶功能在该超车场景下的侧向安全性以及驾驶员的驾驶体验。所述的特殊超车场景表现为自车超越一侧车道（左侧相邻车道或右侧相邻车道）的大型车辆，所述自然驾驶数据采集装置具有自车及车辆周边环境关键信息采集和自动存储功能，所述目标场景识别子系统具有目标场景特征准确识别能力，所述目标场景的挖掘系统具有目标场景自动提取能力。

所述自然驾驶数据采集装置包括车载工控机1、逆变器2、摄像头传感器3、can-h总线4、can-l总线5、整车电源6，逆变器2一端线路连接至整车电源6（线路连接包括信号连接和电连接），另一端线路连接至车载工控机1，且车载工控机1与摄像头传感器3一端电连接，摄像头传感器3另一端分别电连接至can-h总线4、can-l总线5和整车电源6，所述车载工控机1为ecu，车载工控机1用于接收摄像头传感器3数据，整车电源6用于给摄像头传感器3供电，摄像头传感器3为单目摄像头，整车电源6可以为蓄电池，自然驾驶数据采集装置具有目标车id、目标车类型、目标车相对自车纵向距离、目标车相对自车横向距离、目标车方位角、目标车相对自车纵向速度、左右侧车道线置信系数、自车距离左右侧车道线距离信息的采集功能，并将以上数据发送给车载工控机1；车载工控机1与摄像头和逆变器2相连，用于接收摄像头传感器发送的数据，并实现采集数据的本地存储；逆变器2一端与整车电源6相连，一端与车载工控机1电源接口相连，用于将车辆蓄电池的12v直流电转换为220v60hz交流电供车载工控机1使用。

所述目标场景识别子系统的系统输入参数包括采集时间t、采样步长t、目标车id、目标车类型、目标车相对自车纵向距离、目标车相对自车横向距离、目标车方位角和目标车相对自车纵向速度（目标车相对自车纵向速度等于目标车纵向速度减自车纵向速度），本发明所述的目标场景识别子系统是通过车辆的数据采集装置所采集的驾驶数据离线实施的，目标场景识别子系统基于以上数据判断所处理的当前场景是否为目标场景。

所述目标场景识别子系统的识别操作包括以下步骤：

a1、获取所有目标车的目标级信息；

a2、目标场景识别子系统对目标级信息进行处理操作，并判断目标车是否满足目标场景要求；其具体方式如下：在获取所有目标车相关信息后，目标场景识别子系统则进行如下判断：若在一定纵向范围内左侧邻车道或者右侧邻车道存在大型车辆，且仅一侧车道存在大型车辆，则判定此时满足目标场景要求，否则判定此时不满足目标场景要求，系统输出结果即为当前时刻是否满足目标场景的判定结果（满足/不满足）。

在步骤a2中的所述处理操作包括以下步骤：

a21、判断目标车类型是否为大型车辆，若是则进行下一步，否则切换下一个目标车，重新进入步骤a21；

a22、判断目标车相对自车纵向距离是否在阈值（阈值可以为20m）内，若是则进行下一步，否则切换下一个目标车，重新进入步骤a21；

a23、判断目标车相对自车横向距离是否处于范围（范围可以为2~5m）内，若是则left_count增加1，切换下一个目标车，并重新进入步骤a21，否则进行下一步；

a24、判断目标车相对自车横向距离是否处于范围（范围可以为-5~-2m）内，若是则right_count增加1，切换下一个目标车，并重新进入步骤a21，否则切换下一个目标车，并重新进入步骤a21；

a25、当所有目标车均经历了步骤a21~a24的判断过程，若left_count>0且right_count=0，被超越车辆为范围内对自车的相对纵向距离最小的大型车辆，若此时自车相对被超越车辆的纵向速度v_relative>0，则此时满足目标场景要求；若left_count=0且right_count>0，被超越车辆为范围内对自车的相对纵向距离最小的大型车辆，若此时自车相对被超越车辆的纵向速度v_relative>0，此时满足目标场景要求；若left_count=0且right_count=0，则未出现大型目标车辆，不满足目标场景要求；若left_count>0且right_count>0，则道路两侧均存在大型车辆，不满足目标场景要求；通过以上计算，则可将自车超越邻车道大型车辆的目标场景识别出来，系统输出即为当前场景是否满足目标场景要求（满足/不满足），如附图3所示。

在步骤a25中的所述判断过程包括四种可能性判断，四种可能性判断分别包括只经历步骤a21，依次经历步骤a21、步骤a22，依次经历步骤a21、步骤a22、步骤a23，依次经历步骤a21、步骤a22、步骤a23、步骤a24。

在实际测试中，获取所有目标车的目标级信息后，假设有5个目标车，第一个目标车先经历步骤a21判断是否属于大型车辆，若属于大型车辆，则第一个目标车进入步骤a22，若不属于大型车辆，则第一个目标车就止步于步骤a21，等待其他四个目标车经历完判断过程；

与此同时，换成第二个目标车进入步骤a21判断是否属于大型车辆，若属于大型车辆，则第二个目标车进入步骤a22（若不属于大型车辆，则第二个目标车就止步于步骤a21，等待剩余三个目标车经历完判断过程），若第二个目标车在步骤a22内，其相对自车纵向距离在阈值（20m）内，则第二个目标车进入步骤a23，若第二个目标车相对自车纵向距离不在阈值（20m）内，则第二个目标车就止步于步骤a22，等待剩余三个目标车经历完判断过程；

依次类推第三个目标车、第四个目标车、第五个目标车的判断过程，当所有目标车均经历了步骤a21~a24的判断过程即可进入步骤a25中进行下一步操作。

所述场景提取操作包括以下步骤：

c1、获取所有目标车相关信息；

c2、基于被超越车辆可感知的最后时刻（目标车即将退出摄像头感知范围的时刻）的被超越车辆相对自车纵向距离和被超越车辆相对自车纵向速度，对超越时刻t_override进行预测操作。

在步骤c2中的所述预测操作包括以下步骤：

c21、判断被超越车辆对应objectid目标车的相对自车纵向距离参数是否发生突变，若是，即可视为被超越车辆退出摄像头视野，此时刻记为t_lost，此时被超越车辆相对自车纵向距离为x_lost，自车相对被超越车辆纵向速度为v_rel_lost，否，则不标记，本发明则是基于数据采集装置所采集驾驶数据进行的。系统输入为以上驾驶数据，输出为目标场景的提取片段，场景提取方法具体如下：首先，由于车载摄像头传感器存在一定的视角局限，如附图2所示，无法采集到自车超越被超越车辆时刻t_override（两车中心位置纵向相对距离为0的时刻）的被超越车辆相关信息，因此，在场景识别过程中，目标场景的结束时刻基本是由于被超越车辆在纵向上退出摄像头感知范围导致，如图1所示，但此时自车并未实现对被超越车辆的超越。因此，需要基于被超越车辆可感知的最后时刻（被超越车辆即将退出摄像头感知范围的时刻）的被超越车辆相对自车纵向距离和自车相对被超越车辆纵向速度，对超越时刻t_override进行可靠的预测；

c22、根据步骤c21中的所述t_lost、x_lost、v_rel_lost预测得出超越时刻t_override数据，即超越时刻计算方法公式；

c23、通过检测方法对自车是否变道进行检测操作。

在步骤c22中的所述超越时刻计算方法公式如下：

。

由于车载摄像头传感器的fov通常大于90度，由附图2可知，x_lost参数的值通常小于10m，因此对于超越时刻进行预测的预测时间较小，由于相对速度改变产生的预测误差基本可以忽略不计，上述参数即为通过摄像头传感器可获得的目标车辆的最后可靠参数，超越时刻t_override则可以依据此时的相对距离和相对速度推算获取。

在步骤c23中的所述检测方法包括以下步骤:

c231、若自车距离左侧车道线距离未发生由0到道路宽度（3.75m或其他规格）的突变、且未发生由道路宽度（3.75m或其他规格）到0的突变，则可判定目标场景的这一片段内未发生变道，此次目标场景提取有效，否则目标场景提取无效，为了保证目标场景数据分析的正确性，需要排除自车变换车道行为对数据采集的影响，因此，针对目标场景的数据片段需要进行自车是否变道的检测。

此外，需要说明的是，在附图2中，fov为摄像头传感器视野及摄像头的探测范围；obj1~obj4为摄像头探测到的目标车示意图，(x,y)表示目标车相对自车纵向距离和相对自车横向距离；

在附图3中，obji(xi,yi)表示第i个目标车及其相对自车纵向距离和相对自车横向距离信息；

在附图4中，左邻车道代表自车左侧的第一条车道，右邻车道代表自车右侧第一条邻车道。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。