一种基于多车动态拼接的车辆全景盲区透视方法

本发明属于计算机视觉，具体涉及一种基于多车动态拼接的车辆全景盲区透视方法。

背景技术：

1、在行驶中因左右两侧视线被建筑物、绿化带、其他车辆(包含停放的和正在行驶的)等障碍物遮挡产生了视野盲区，而从盲区中突然有行人或其他车辆突然横穿导致驾驶人避让不及的现象，当前发生率最高且可防范性较低的是由此现象引发的交通安全事故，尤以行人和非机动车更为常见，在交叉路口、公交车站、道路两侧停车较多的居民区等路段较易多发。当前的车辆透视感知技术能够通过车辆的摄像头、雷达等传感器获取周围环境的信息，使用深度学习等算法对这些信息进行处理和分析，实现对车辆周围环境的感知。然而这些技术都是针对单车提出的，虽然能够较好地满足对自身有限区域内环境的感知需求，但对于类似“鬼探头”的因外部遮挡引发的动态盲区情况时，仅依赖自车传感器难以弥补超出固定视角范围内的盲区，给驾驶员的操作行为带来诸多不便。因此，针对多车信息融合的车辆透视感知技术研究需求日益凸显，尤其是解决大型车辆对后方形成的动态遮挡和两车交错时的侧方感知难题。

2、现有的单车透视感知方法包括纯视觉方案和多模态融合，纯视觉方案中最为常见的是汽车全景环视技术，其通过在车辆周围架设多个广角摄像头来覆盖车辆周边的所有视场范围，进一步将同一时刻采集到的多路视频影像拼接融合成一幅自车周边的360°全景环视图或以自车为中心的鸟瞰图，最后在驾驶位旁的屏幕上显示，帮助驾驶者及时获取车辆周界环境情况。此外，纯视觉方案还包括汽车底盘透视和汽车a柱及尾部盲区透视，两者分别在需要透视的不同方位放置摄像头，并借助相机图像之间的重叠区域实现多相机图像拼接融合，以消除因自车部件遮挡产生的固定盲区。上述方法均由于视角固定，透视范围有限，当车载传感器的视野范围被外部物体遮挡时，便会产生动态盲区，这部分盲区仅通过自车传感器是无法消除的，进而存在许多行车安全隐患。

3、为了解决上述问题，研究者们提出多车协同感知技术，利用同一场景下不同车体传感器之间的交互实现多车之间的数据共享，然后进行信息融合，扩展单车感知局限，使对行驶环境的全面感知成为可能。目前基于多车图像融合的透视技术通过前后车之间的位姿估计将前车的像素点转换到后车视角下，需要较大的数据传输和坐标解算成本，且融合后的图像透视区域边缘跳变突兀，给驾驶者带来不好的视觉体验，甚至可能产生视觉误差而影响驾驶者的正常判断。

技术实现思路

1、有鉴于此，本发明的目的是提供一种基于多车动态拼接的车辆全景盲区透视方法，对于每路车载相机，采用双线程分别执行透视区域估计和透视区域图像融合，其中透视区域估计采用基于目标检测的盲区掩膜预测算法，透视区域图像融合采用基于距离权重的羽化融合算法；本发明的基于多车动态拼接的车辆盲区透视技术能够为单车提供不受外部物体遮挡的实时车周环视图像，并保证透视区域过渡平滑，整体拼接画面自然流畅，帮助驾驶者及时获取不受外部物体遮挡的车周环境信息，以便更准确地监视盲区内的情况，有效解决类似“鬼探头”动态盲区引发的决策延时问题，对保障行车安全、降低盲区交通事故发生率具有重要意义和极高的实用价值。

2、一种基于多车动态拼接的车辆全景盲区透视方法，包括：

3、步骤s1、主车和参考车上设置多路带有硬件同步触发功能的广角相机，广角相机设置在车辆的不同方位，相邻相机之间始终保持一定的视野重叠区域，保证完整覆盖车周水平方向上的360°范围；

4、步骤s2、然后对各广角相机进行内、外参标定与参数表初始化；

5、步骤s3、多车视觉系统的视觉数据交互与图像配准：

6、主车根据需要透视的方位读取对应参考车辆的对应方位的相机图像；然后对该图像进行预处理，再判断该方位的主车相机视野是否完全或大部分被参考车辆遮挡：

7、情况1)：如果主车图像的非盲区部分无法通过特征匹配与参考车同一方位图像进行对齐，则将参考车辆的相机图像直接作为盲区透视的参考；

8、情况2)：如果主车图像的非盲区部分可以与可以参考车同一方位图像进行特征匹配对齐，将参考车辆的相机图像转换到主车相应方位的相机图像坐标系下；

9、步骤s4、主车相机视野的盲区掩膜图像生成：

10、根据参考车辆在主车相机图像中的检测框坐标生成盲区掩膜，盲区掩膜是一张与主车相机图像大小一致的二值图像，其中盲区范围内的像素值为1，其他像素值为0；

11、步骤s5、配准后参考车辆相机图像的内容掩膜生成与主车视野的透视区域掩膜生成：

12、如果主车图像与参考车图像满足步骤s3中的情况2)，则将经过步骤s3配准后的参考车辆相机图像通过内容掩膜过滤掉不存在图像内容的区域；

13、所述内容掩膜为与主车相机图像大小一致的二值图像，其中存在图像内容的像素值为1，其他像素值为0；

14、取出步骤s4获得的盲区掩膜图像，将内容掩膜与盲区掩膜图像通过二值化运算取交集后得到初始透视区域掩膜，然后在透视区域外接一个矩形，以该矩形覆盖的范围作为新的透视区域，得到最终的透视区域掩膜；

15、如果主车图像与参考车图像满足步骤s3中的情况1)，将参考车辆的相机图像作为初始透视区域掩膜，再进行矩形约束，由此得到最终的透视区域掩膜；

16、步骤s6、透视区域融合与单相机盲区透视图像生成：

17、将最终的透视区域掩膜与主车对应的相机图像像素值一一对应相乘，得到主车视野的待融合区域图像；

18、将最终的透视区域掩膜与步骤s3配准后的参考车辆对应的相机图像像素值一一对应相乘，得到参考车辆视野的待融合区域图像；

19、将最终的透视区域掩膜二值化取反后与主车对应的相机图像像素值一一对应相乘，得到主车视野的非融合区域图像；

20、将主车视野和参考车辆视野的待融合区域像素点进行加权求和，得到融合结果图像，将融合结果图像与主车视野的非融合区域图像合并得到最终主车的单路相机盲区透视图像；

21、步骤s7、多相机盲区透视图像拼接生成全景环视图：将主车各路相机的盲区透视图像通过逆透视变换后投影到3d感知模型上，实现360°全景浏览。

22、较佳的，所述s5中，取出步骤s4获得的盲区掩膜图像，首先判断图像是否为空，若为空，读取上一次的盲区掩膜图像与内容掩膜通过二值化运算取交集后得到初始透视区域掩膜。

23、较佳的，所述步骤s6中，所述加权求和的方法包括：以主车视野和参考车辆视野待融合区域的左上角坐标和右下角坐标为边界条件，根据距离区域边缘的距离大小生成权重系数，使得距离融合区域边缘越近主车视野的像素占比大，而距离融合区域边缘越远参考车辆视野的像素占比大，两者的权重之和保持为1不变，且当距离融合区域边缘达到一定值时，参考车辆视野的像素权重均为1，主车视野的像素权重均为0，将主车视野和参考车辆视野的待融合区域像素点分别与融合权重地图中相应的系数相乘后叠加，得到融合结果图像。

24、较佳的，每辆车将采集到的图像数据上传至云端存储，通过云端服务器进行数据交换和共享，云端图像数据的附加信息包括车辆编号和相机编号。

25、较佳的，所述透视方法采用主线程和子线程并行处理：其中单个相机算法的主线程包括主车相机图像与参考车相机图像之间的特征提取与图像配准，参考车辆相机图像配准后的内容掩膜生成以及透视区域的融合过程，子线程利用目标检测算法生成主车相机图像的盲区掩膜。

26、较佳的，所述步骤s7包括：

27、采用插值法计算相邻图像重叠区域的中心线，并以此为距离中心，根据距离中心线的远近计算左右图像的加权系数；其中左图像素点的加权系数从左至中心线由1至0递减，右图像素点的加权系数从右至中心线由1至0递减，进一步使用计算出的加权系数对左右图像在重叠区域进行像素级加权融合；对融合后的图像进行强度归一化处理，在3d模型内部中心放置一个虚拟摄像机，用户拖动视角即可自由调节虚拟摄像机的位置和姿态，实现360°全景浏览。

28、本发明具有如下有益效果：

29、本发明提出一种基于多车动态拼接的车辆盲区透视方法，该方法借助参考车辆的相机视野来补充自车视野中因外部遮挡而引起的动态盲区信息，将单车各路相机的盲区透视结果经过投影和融合后得到车辆全景360°环视图像，为车辆提供水平方向上的无盲区视野显示，实现实时的动态环视图像拼接和3d透明感知。通过基于目标检测的盲区掩膜预测算法实时定位主车视野中的盲区范围，与配准到主车视野下的参考车辆相机图像内容范围取交集并加入矩形约束后得到透视区域范围，能够为主车提供合理且全面的盲区信息；通过基于距离权重的羽化融合算法实现透视区域融合边界过渡自然，确保盲区信息不丢失的同时提升透视图像的视觉质量；通过基于双线程并行处理的单相机动态拼接透视算法解决目标检测运行的延时问题，提高算法处理的实时性和可靠性；通过从单车感知拓展到车队感知，融合多车的视野信息来消除单车存在的动态盲区，能够解决由于车辆动态遮挡所导致的“鬼探头”问题，有效提高车辆对周界环境的感知能力，实现全局环境透明感知。