一种用于车辆碰撞预警的障碍物图像自动标定装置的制作方法

本公开属于汽车防碰撞安全技术领域，特别涉及一种用于车辆碰撞预警的障碍物图像自动标定装置，适用于自动驾驶车辆及主动驾驶安全系统中。

背景技术：

视频信息是人类驾驶员在驾驶活动中的主要信息来源，其相对其他类型的传感器，具有特征丰富，与人类驾驶行为决策机制匹配性高等优点。但由于视频处理本身性能要求高，识别难度大，规则复杂，近来研究中一般以机器学习方法处理，因此需要经过标定的机器学习数据样本。

对于自动驾驶车辆及主动驾驶安全等领域来说，视频图像样本采集来源丰富，数量大，易获得，在普通车辆上加装摄像头人工驾驶即可获得；但由于所需要的往往是视频信息，且道路交通状况复杂，因此标定工作量大，自动化程度较低，时序性表达不足，尤其是紧急制动场景的提取不明显，即便以视频播放观看，都很难区分是否处于制动状态，而对于图片标定，则更加困难。

另外一方面，针对不同类型的车辆，其高度不同，制动性能不同，主要行驶的道路交通环境不同，又需要大量处理不同的样本集合甚至切换网络处理，因此样本标定的工作需求会持续存在，并不断产生较大工作量。

因此，对于视频信息通过机器学习应用于上述领域的过程中，需要一种能够高效快速的实现对视频内影响驾驶行为的障碍物进行标定装置，以解决上述问题。

技术实现要素：

有鉴于此，本公开提出了一种用于车辆碰撞预警的障碍物图像自动标定装置，能够降低影响驾驶行为的障碍物标定的工作量，并标记对触发制动的障碍物，自动输出标定的平面图像信息和距离的训练样本。

根据本公开的一方面，提出了一种用于车辆碰撞预警的障碍物图像自动标定装置，所述装置包括：毫米波雷达、视频传感器、数据处理单元；所述毫米波雷达和视频传感器分别与所述数据处理单元相连接；

其中，毫米波雷达，用于输出毫米波雷达数据，经过滤波和跟踪算法处理检测障碍物，并将检测到障碍物的毫米波雷达数据存入初筛样本数据集中；

所述视频传感器，用于采集环境视频图像数据，并将所述环境视频图像数据输入到障碍物检测神经网络，以获取环境视频图像数据中的障碍物，并将检测到障碍物的环境视频图像数据存入到初筛样本数据集中；

所述数据处理单元，用于融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集，并输入到障碍物特征检测器和语义分割器，输出障碍物图像自动标定样本。

在一种可能的实现方式中，所述数据处理单元还用于通过障碍物标定得到所述毫米波雷达数据和所述环境视频图像数据的延迟差消弭参数；

根据所述延迟差消弭参数将所述毫米波雷达数据与所述环境视频图像数据标定到同一时间维度下。

在一种可能的实现方式中，所述数据处理单元还用于将所述毫米波雷达数据经反透视变换与所述环境视频图像数据标定到同一空间维度下。

在一种可能的实现方式中，所述融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集包括：将标定到同一时间维度和空间维度下的检测到障碍物的所述毫米波雷达数据与所述环境视频图像数据融合为障碍物初筛样本数据集。

本公开的车辆碰撞预警的障碍物图像自动标定装置，包括毫米波雷达、视频传感器、数据处理单元；毫米波雷达，用于输出毫米波雷达数据，经过滤波和跟踪算法处理检测障碍物，并将检测到障碍物的毫米波雷达数据存入初筛样本数据集中；所述视频传感器，用于采集环境视频图像数据，并将所述环境视频图像数据输入到障碍物检测神经网络，以获取环境视频图像数据中的障碍物，并将检测到障碍物的环境视频图像数据存入到初筛样本数据集中；所述数据处理单元，用于融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集，并输入到障碍物特征检测器和语义分割器，输出障碍物图像自动标定样本。能够降低影响驾驶行为的障碍物标定的工作量，并标记对触发制动的障碍物，自动输出标定的平面图像信息和距离的训练样本。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的车辆碰撞预警的障碍物图像自动标定装置框图；

图2示出根据本公开另一实施例的车辆碰撞预警的障碍物图像自动标定装置框图；

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的车辆碰撞预警的障碍物图像自动标定装置框图。该装置可以用于自动驾驶车辆和主动驾驶安全系统开发中，通过图像信息识别障碍物实现碰撞预警。借助多种传感器协作，利用机器学习和图像处理方法，能够更有效从基础样本中提取所需已标定的样本。如图1所示，该装置可以包括毫米波雷达、视频传感器、数据处理单元；所述毫米波雷达和视频传感器分别与所述数据处理单元相连接；

其中，毫米波雷达，用于输出毫米波雷达数据，经过滤波和跟踪算法处理检测障碍物，并将检测到障碍物的毫米波雷达数据存入初筛样本数据集中。

视频传感器，用于采集环境视频图像数据，并将所述环境视频图像数据输入到障碍物检测神经网络，以获取环境视频图像数据中的障碍物，并将检测到障碍物的环境视频图像数据存入到初筛样本数据集中。

所述数据处理单元，用于融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集，并输入到障碍物特征检测器和语义分割器，输出障碍物图像自动标定样本。其中数据处理单元可以为车载cpu等。

其中，毫米波雷达可以前向安装在自动驾驶车辆的车头。采用毫米波雷达能够在道路交通场景中的恶劣气象条件下，保持较好的识别能力，且同时识别相对较多的车辆障碍物。

视频传感器可以为摄像机、单目或双目相机等，在此不做限定。可以前向安装在自动驾驶车辆的车头处。将视频传感器采集的数据输入障碍物检测神经网络以获取图像信息中障碍物，在有效距离内发现有障碍物时，将传感器采集的图像数据存入到初筛样本数据集中。

将毫米波雷达输出的毫米波雷达数据输入到滤波和跟踪算法进行障碍物检测。当发现障碍物时，将检测到障碍物的毫米波雷达数据存入初筛样本数据集中。

此外，将毫米波雷达发现障碍物，但视频传感器未检测到障碍物的情况进行独立标记，进行二次识别，即毫米波雷达跟踪到目标障碍物数据，经过透视变换找到障碍物在图像中位置，如果视频传感器在该区域内没有识别到任意障碍物，将结果进行标记，利用障碍物检测算法进行二次识别，将二次识别的结果作为参数输入毫米波雷达障碍物检测滤波算法，可提升初筛样本数据集可用性。

本公开的车辆碰撞预警的障碍物图像自动标定装置，包括毫米波雷达、视频传感器、数据处理单元；毫米波雷达，用于输出毫米波雷达数据，经过滤波和跟踪算法处理检测障碍物，并将检测到障碍物的毫米波雷达数据存入初筛样本数据集中；所述视频传感器，用于采集环境视频图像数据，并将所述环境视频图像数据输入到障碍物检测神经网络，以获取环境视频图像数据中的障碍物，并将检测到障碍物的环境视频图像数据存入到初筛样本数据集中；所述数据处理单元，用于融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集，并输入到障碍物特征检测器和语义分割器，输出障碍物图像自动标定样本。能够降低影响驾驶行为的障碍物标定的工作量，并标记对触发制动的障碍物，自动输出标定的平面图像信息和距离的训练样本。

图2示出根据本公开另一实施例的车辆碰撞预警的障碍物图像自动标定装置框图。如图2所示，该装置可以包括摄像机(图1中的视频传感器)、毫米波雷达、加速度计、存储单元、计算单元(图1中的数据处理单元)以及线下计算机。

其中，摄像机为单目，前向安装在车头，可以结合其安装位置的需要进行标定。毫米波雷达，前向安装于车头，结合安装其位置需要进行标定。加速度传感器，安装在车载计算单元模块中。车载计算单元，采集摄像机、毫米波雷达、加速度传感器的数据，存储并同步上述传感器的数据。线下采集处理单元，用于回收车载计算单元采集和预处理后得到的传感器数据，并对传感器数据进行过滤和语义分割，提高标定精度。

在一种可能的实现方式中，所述数据处理单元还用于通过障碍物标定得到所述毫米波雷达数据和所述环境视频图像数据的延迟差消弭参数；

根据所述延迟差消弭参数将所述毫米波雷达数据与所述环境视频图像数据标定到同一时间维度下。

大部分情况下，毫米波雷达较难识别相对静止的低反射率目标障碍物，因此针对延迟差消弭参数标定，将毫米波雷达、视频传感器等所有模块组装后，通过将反射片贴在机械扇翼风扇上，在固定距离位置打开电风扇，在相同时间标记下记录数据后，人工标记视频图像中机械扇翼风扇开始旋转的首帧，即可解析出延迟差消弭参数。具体原理如下：

毫米波雷达数据流m和视频数据v采集相同的目标障碍物，由于两者基于相同的车载主机时间戳输出待处理数据，对于同一个目标障碍物的某事件，若发生时间为t，毫米波雷达对该事件记录时间tm＝t+δtm，视频传感器对该事件记录时间(首帧时间)为tv＝t+δtv，则毫米波雷达和视频传感器之间的延迟差消弭参数为：δt＝δtv-δtm＝tv-tm。基于毫米波雷达和视频传感器之间的延迟差消弭参数可以将毫米波雷达和视频传感器统一到同一时间维度下。

缓存毫米波雷达数据，当采集到视频数据后，根据毫米波雷达数据对应视频传感器所标定的延迟差消弭参数，采集对应毫米波雷达数据，如抽样频率不足则进行插帧处理，取得近似数据，并清除对应时间节点以前的毫米波雷达缓存数据。

在一示例中，所述数据处理单元还用于将所述毫米波雷达数据经反透视变换与所述环境视频图像数据标定到同一空间维度下。

空间层面上，以毫米波雷达为空间坐标系原点，坐标为(0，0，0)点，可通过如下反透视变换方法进行变换，得到毫米波雷达正前方目标障碍物的坐标：

其中，x0，y0，z0为已知视频传感器即摄像机相对毫米波雷达的坐标，α，β可通过视频传感器即摄像机本身光轴角度基于图形像素在像平面上的偏移角度叠加获得。毫米波雷达数据经反透视变换能够与环境视频图像数据标定到同一空间维度下。

在一种可能的实现方式中，所述融合检测到障碍物的所述毫米波雷达数据和所述环境视频图像数据为障碍物初筛样本数据集包括：将标定到同一时间维度和空间维度下的检测到障碍物的所述毫米波雷达数据与所述环境视频图像数据融合为障碍物初筛样本数据集。

例如，对于缺失车载目标识别结果的部分毫米波雷达数据，重新识别环境视频图像中毫米波雷达输出数据的透视变换位置的障碍物信息，若可以正常识别，则标记环境视频图像识别的目标障碍物；如果未能识别，则需要人工判断。

对所有毫米波雷达数据识别出而视频传感器未检测到的障碍物数据，通过更强大的障碍物检测器进行二次识别和确认，完善识别并标注障碍物识别。然后对识别有障碍物的目标区域运行语义分割，标注样本，然后输出障碍物图像自动标定样本，以供审核人员进一步分析。

应用示例：

首先将视频传感器和毫米波雷达水平前向安装到实验车前向前部，以毫米波雷达的天线中心作为动坐标系的原点。视频传感器尽量高位安装，记录相对毫米波雷达的六自由度外参数。将视频传感器和毫米波雷达接入到车载计算单元，并为以上各类设备供电。

然后是标定过程，通过张正友标定法进行摄像机内参和畸变参数标定对摄像机进行内参数和畸变参数进行标定。并对视频传感器和毫米波雷达通过两者之间的延迟差消弭参数进行时间维度上的标定统一，将毫米波雷达数据通过反透视变换与视频传感器进行空间维度上的标定统一。

标定完成后，车载计算单元接收视频传感器和毫米波雷达输出的数据，并进行处理。缓存视频传感器与毫米波雷达，将环境视频图像数据解码处理为rgb信息后，以当前图像时间戳反查毫米波雷达数据，找出与目标障碍物时间节点最接近的毫米波雷达数据帧。融合经过时间维度和空间维度统一的毫米波雷达数据和视频传感器数据，并输入到障碍物特征检测器和语义分割器，输出障碍物图像自动标定样本，以供用于自动驾驶或辅助驾驶的机器学习训练障碍物网络模型。

本公开的车辆碰撞预警的障碍物图像自动标定装置，从实验环境中采集和标定有效的障碍物样本，补充对障碍物判定有影响的因素，降低训练拟合难度；典型的障碍物可利用障碍物检测语义分割标定，少量难以判定的障碍物由人工介入标定，能够大幅提高原有视频传感器不易识别障碍物的样本量，从障碍物信息源头层面提升障碍物识别能力。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。