一种基于双目视觉与V2X通信的协同预警设备与方法与流程

本发明属于计算机视觉处理与v2x技术在辅助车辆安全驾驶上的应用，特别涉及一种基于双目视觉与v2x通信的协同预警方法与设备。

背景技术：

在交通事故率每年不断增加的今天，增加车辆对障碍物的透视率能够有效的降低交通事故的发生率。目前车辆利用传感器对障碍物的识别仅限于自身视距范围内，在遮挡或识别误判的情况下不能准确的判断障碍物的位置信息，从而容易引发交通事故。因此，如何让车辆实时知道被遮挡或者传感器误判的障碍物信息，增加车辆对障碍物的透视率是目前亟待解决的问题。

随着目标检测算法和双目立体视觉的不断发展，已在无人驾驶领域中广泛应用，特别是对障碍物的检测和定位。双目立体视觉是机器视觉的一种重要形式，它能基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，从而准确定位障碍物。

目前基于双目摄像机的障碍物检测方法对算法要求性比较高以及对环境变化比较敏感，容易出现识别误判的情况，同时，它是基于视距范围的检测，对不是检测区域或者有遮挡的情况下很难准确定位障碍物的位置。因此，仅从双目摄像机或者其他视觉类传感器来获取障碍物信息是远远不够的。

将双目视觉和v2x技术结合起来是一种提高车辆对障碍物透视率的有效方法，它不是基于多传感器的数据融合，而是每辆车把自身检测的障碍物信息通过v2x通信向周围车辆广播，并通过无线网络传输到地图和车联网云平台，车辆收到来自周围车辆，地图和车联网云平台发送的障碍物信息再与自身传感器获取的信息进行融合，获取有效的障碍物信息，最后建立有效障碍物信息和自身车辆的关联性模型实现预警消息的发布。这种协同预警方法随着计算机视觉和v2x通信技术的发展实施简单、方便、可行性强、效率高。

技术实现要素：

本发明旨在解决现有技术车辆自身传感器存在对障碍物识别误判以及障碍物被遮挡不能识别的缺点，特别是双目视觉物体检测和定位系统的问题。提出了一种简单、方便、可行性强、效率高的基于双目视觉与v2x通信的协同预警设备与方法。本发明的技术方案如下：

一种基于双目视觉与v2x通信的协同预警设备，其包括：车载双目摄像机、信息处理模块、v2x通信模块、高精度定位模块以及蜂窝通信模块，所述车载双目摄像机用于采集左视图和右视图并对其进行标定校正，并传输给信息处理模块；

所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割，再利用物体检测算法检测左右视图的障碍物；

所述高精度定位模块用于通过建立以车辆为中心的三维坐标系，获取车辆中心位置的gps信息和双目摄像机相对于车辆中心的三维坐标，建立坐标映射模型得到双目摄像机的gps信息；基于立体匹配算法对校正后左右视图的障碍物基元进行匹配，得到障碍物相对摄像机的三维坐标，同时与摄像机自身的高精度gps也通过坐标映射模型计算出障碍物精确的gps；

所述v2x通信模块用于把计算出来的障碍物的gps信息及障碍物的类型、尺寸和状态信息向周围车辆广播以及通过蜂窝网络分别传输到地图云平台和车联网云平台，进行地图实时更新及障碍物信息的管理；通过数据融合算法判断对自身车辆有效的障碍物，再设计预警方法辅助车辆安全驾驶。

进一步的，所述双目摄像机由两个规格参数完全一样的摄像机组成，并按一定基线距离水平固定放置在车辆上。

进一步的，所述双目摄像机分别采集左视图和右视图并对其进行标定和校正，具体包含以下步骤：(1)将双目摄像机水平固定在车上，通过信息处理模块控制摄像机的旋转角度，摄像机之间的基线距离以及拍照像素，并使其不变；(2)利用立体标定方法对双目摄像机进行标定，计算双目摄像机的内外参数矩阵和畸变参数，其中内参数矩阵包括像素坐标中心点坐标、焦距；外参数矩阵包括旋转矩阵r和平移矩阵t，旋转矩阵描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵描述了在摄像机坐标系下空间原点的位置；畸变系数包括径向畸变和切向畸变。

进一步的，所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割具体包括：(1)首先提取出车道线或者护栏的颜色、纹理、形状特征，通过线性拟合出车道边缘的完整信息；(2)利用roi图像切割算法把车道线以外的图像分离开，只保留车道线或者护栏内侧的区域。

一种基于所述设备的协同预警方法，包括以下步骤：

利用立体标定方法对摄像机进行标定，计算出两个摄像机的内外参数和畸变系数，根据计算出的这些参数再利用立体校正方法对两个摄像机进行消除畸变和行列对准，使左右视图的成像原点坐标一致；

基于车道边缘检测算法对图像有效区域进行分割，保留车道线以内的区域，再基于物体检测算法检测左右视图的障碍物并对其像素位置和类别进行标记；

基于物体检测算法对左右视图的障碍物进行实时检测，识别出障碍物的状态、尺寸和类别；

通过高精度定位模块获取车辆中心位置的gps信息，建立基于车辆的三维坐标系，同时基于车辆中心位置的gps信息和双目摄像机相对于车辆中心的三维坐标，通过坐标映射模型得到双目摄像机的gps信息；

基于特征的立体匹配算法对校正后左右视图的障碍基元物进行匹配，得到视差图，再根据视差图计算出障碍物相对双目摄像机的三维坐标，通过上述相同的坐标映射模型得到障碍物精确的gps信息；

然后把所述障碍物精确的gps信息以及障碍物的状态、尺寸和类别通过v2x通信设备向周围车辆广播，增加车辆对其他障碍物的透视率。

同时，车辆通过v2c通信实时传输到地图云平台实时更新地图，以及传输到车联网云平台实现对障碍物信息的管理，再建立数据融合算法识别与判断障碍物，将这些障碍物的信息以高精地图对象或者直接广播给区域车辆的方式进行预警，辅助车辆安全驾驶。

进一步的，所述基于特征的立体匹配算法是在校正后的左右视图中找出匹配的障碍物基元，通过计算这些对应基元在左右两幅图片中的x坐标的差值计算这些对应基元的视差，最终输出一个视差图，得到视差图之后便可以使用摄像机投影模型得到障碍物相对双目摄像机的三维信息。

进一步的，所述数据融合算法是将自身摄像机检测的障碍物信息，通过v2x通信获取周围车辆检测的障碍物信息，车联网云平台发布的障碍物信息三个信息源进行融合，过滤重复的以及不符合要求的障碍物信息，从而获取有效的障碍物信息，其中，障碍物信息包含障碍物的状态、形状、类型以及位置坐标。

进一步的，所述摄像机的标定方法采用人工标定、平面棋盘标定或圆标定，原理是建立摄像机和摄像机所拍摄到三维图像之间的映射关系，通过多组测试联立方程组计算出摄像机内外参数和畸变参数，再通过这些参数得到校正映射矩阵和重投影矩阵，校正映射矩阵用于校正两个摄像机的视图，使两幅图像的对极线恰好在同一水平线上；外参数有旋转矩阵以及平移矩阵，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵p和平移矩阵t两个矩阵来描述，此处用p和t来描述左右两个摄像机坐标系的相对关系，具体为将左摄像机下的坐标转换到右摄像机下的坐标。

进一步的，所述对图像有效区域内的障碍物进行实时检测，分为障碍物像素坐标位置的检测和障碍物状态、形状及种类的检测，其中障碍物检测对象主要包括行人、危险车辆、动物、坑洼、落石。

进一步的，所述障碍物信息融合主要是判断自身双目摄像机识别的障碍物和通过v2x通信接受到周围车辆发送的障碍物信息及车联网云平台发布的障碍物信息是否一致，一致的保留，不一致的再进行融合；障碍物的关联性分析是根据自身车辆的运动信息和位置信息设计预警算法判断障碍物是否和车辆有关联以及关联程度，最后根据关联程度设定预警级别，提醒驾驶员障碍物的信息，辅助车辆安全驾驶。

本发明的优点及有益效果如下：

本发明将双目摄像机的物体检测及定位技术与v2x通信技术有效结合起来，与现有仅利用传感器进行障碍物识别的技术相比，能够大大增加车辆对障碍物的透视率。在该方法中，双目摄像机用于图像的获取并利用物体检测算法和立体视觉算法检测和定位障碍物，再根据计算的障碍物位置信息与车辆的高精度gps建立三维映射模型，求解出障碍物精确的gps，同时把障碍物检测的结果和位置信息发送给周围的车辆，地图云平台及车联网云平台，形成一个闭环的系统，最后通过数据融合和设计预警算法协同车辆安全驾驶。

这种方法在双目摄像机识别误判或者障碍物被遮挡的情况下仍然可以通过周围车辆广播的障碍物信息或者车联网云平台发送的障碍物信息重新获取通过传感器没有获取到的周围的障碍物信息，从而有效增加车辆对障碍物的透视率，最后再通过障碍物信息融合算法提取有效的障碍物信息，建立车辆和有效障碍物的关联性模型实现预警消息的发布，辅助驾驶员安全驾驶。

附图说明

图1是本发明提供优选实施例基于双目视觉与v2x通信的协同预警设备组成原理图；

图2是基于双目视觉与v2x通信的协同预警方法整体实现流程图；

图3是对图像有效区域分割和障碍物检测的算法流程图；

图4是极坐标(左)和直角坐标(右)的相互映射关系图；

图5是双目摄像机位置相对于车辆中心点位置的三维结构图；

图6是基于双目视觉与v2x通信的预警方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

基于双目视觉与v2x通信的协同预警方法与设备，如图1所示，设备由双目摄像机、高精度定位模块、v2x通信设备、蜂窝通信模块以及信息处理模块组成。双目摄像机由两个规格参数完全一样的摄像机组成，并按一定基线距离水平固定放置在车辆上，它用于获取图像信息给信息处理模块进行处理；高精度定位模块用于获取高精度gps信息；v2x通信设备用于把获取到的障碍物gps信息广播给其他车辆；蜂窝通信模块用于和地图云平台以及车联网云平台通信；信息处理模块是一个控制单元，包含对双目摄像机的标定和校正以及障碍物的检测，从高精度定位模块获取高精度gps信息，控制v2x通信设备广播障碍物消息，障碍物的信息的融合以及预警方法的设计。

基于双目视觉与v2x通信的协同预警方法与设备，如图2所示，该协同预警方法包括以下步骤：

步骤一：把两个规格参数完全一样的摄像机按一定基线距离水平固定放置在车辆上并可以通过信息处理模块动态调整两个摄像机之间的基线距离以及摄像机的像素，利用立体标定方法对双目摄像机进行标定，计算两个摄像机的内外参数和相对位置关系，根据计算出来的这些参数利用立体校正算法分别对两个摄像机进行消除畸变和行(列)对准，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

摄像机的标定方法可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定，原理是建立摄像机和摄像机所拍摄到三维图像之间的映射关系，通过多组测试联立方程组计算出摄像机内外参数和畸变参数。再通过这些参数得到校正映射矩阵和重投影矩阵，校正映射矩阵用于校正两个摄像机的视图，使两幅图像的对极线恰好在同一水平线上。

外参数有旋转矩阵以及平移矩阵，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵p和平移矩阵t两个矩阵来描述，此处用p和t来描述左右两个摄像机坐标系的相对关系，具体为将左摄像机下的坐标转换到右摄像机下的坐标。

假设空间中有一点p，其在世界坐标系下的坐标为pw，其左右摄像机在摄像机坐标系下的坐标可以表示为：

其中：

pr＝rpl+t(2)

综合(5)(6)两式，可得：

其中，rl，tl为单目标定中左相机外参数，rr，tr为单目标定中左相机外参数，

两个摄像机之间的基线距离可以根据需求人为调整或者通过车载oub设备根据需求动态调整，它是直接影响拍摄图像的范围的因素。摄像机的图像分辨率可综合设备性能调整以匹配最佳效果。

由于针孔可以透过的光线太少，成像会不清楚，所以往往都会加上凸透镜汇聚更多的光线。但是加上凸透镜以后，会导致成像畸变，所以还需要校正透镜畸变。透镜的畸变主要分为两类，一类是径向畸变，一类是切向畸变。

径向畸变会产生“鱼眼”现象。成像中心处径向畸变为0，径向畸变随着与成像中心距离增大而增大，在图像边缘处达到最大径向畸变。常常用偶次幂的泰勒公式描述径向畸变：

切向畸变由透镜和成像平面不平行引起。常用如下公式描述：

式(4)和式(5)中(x,y)为原始图像像素，(xcorrected,ycorrected)为校正畸变的图像像素。参数k1、k2、k3、p1、p2即为需要标定的参数，双目校正需要确定畸变参数和外参数。

步骤二：参照图3所示，是对图像有效区域分割和障碍物检测的算法流程图，双目摄像机获取图像之后，立即采用图像边缘检测算法检测图像中车道线以及护栏的像素位置，随后再对图像进行roi分割，截取车道线或者护栏内侧的区域进行后继的障碍物检测。检测车道线以及护栏主要通过从图像中提取车道线以及护栏的颜色、纹理、形状特征，并对特征点进行线性或者非线性拟合。

对特征点的拟合采取在像素平面建立极坐标的方式，设特征点的坐标为(x,y)，则对应在极坐标(ρ,θ)表示为：

参照图4所示，是极坐标(左)和直角坐标(右)的相互映射关系图。

接着进一步对图像有效区域内的障碍物进行实时检测，分为障碍物像素坐标位置的检测和障碍物状态、形状及种类的检测，其中障碍物检测对象主要包括行人、危险车辆、动物、坑洼、落石。

步骤三：建立以车辆为中心的三维坐标系，通过高精度定位模块获取车辆中心的gps信息，结合双目摄像机相对于车辆中心的三维坐标，建立坐标映射模型得到双目摄像机的gps信息。提取步骤二中双目摄像机识别到的障碍物基元，利用立体匹配算法对两幅视图的障碍物基元进行匹配，得到视差图以获得障碍物相对双目摄像机的三维信息，建立同样的坐标映射模型求解出障碍物的精确gps信息。

参照图5所示，点o为车辆中心的位置，p为双目摄像机的位置，双目摄像机p相对双目摄像机o的三维坐标为(x,y,z)，双目摄像机与车辆中心点正方向之间夹角为β可表示为：

假设车辆的航向角为α且和z轴平行，则车辆中心点相对双目摄像机的方向角δ为α+β。若点o的gps坐标为(oj,ow,oh)，设点p的经纬度坐标为(pj,pw,ph)，则有：

其中，r为地球平均半径，弧度c为：

通过同样的方法可求得障碍物的精确gps信息。

步骤四：将上诉步骤三得到的障碍物gps信息以及步骤二得到的障碍物类别通过v2x通信模块广播给其他车辆，其他车辆接受到信息之后与自身双目摄像机识别的障碍物信息进行数据融合以及关联性分析，得到有效的障碍物信息，随后进行预警处理。

参照图6所示，是基于双目视觉与v2x通信的预警方法流程图，障碍物信息融合主要是判断自身双目摄像机识别的障碍物和通过v2x通信接受到周围车辆发送的障碍物信息及车联网云平台发布的障碍物信息是否一致，一致的保留，不一致的再进行融合。障碍物的关联性分析是根据自身车辆的运动信息和位置信息设计预警算法判断障碍物是否和车辆有关联以及关联程度，最后根据关联程度设定预警级别，提醒驾驶员障碍物的信息，辅助车辆安全驾驶。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。