一种适用于拖车的动态全景拼接方法与流程

本发明属于计算机视觉与图像处理领域，涉及一种适用于拖车的动态全景拼接方法。

背景技术：

随着科技的进步与发展，人们对于信息的需求越来越多，其中绝大部分信息来自于视觉；但由于人眼的视角有限，人们开始利用计算机研究全景图像拼接技术，即采用图像拼接的方式将从同一场景利用多个摄像头采集得到的多幅具有重叠区域的图像拼接成一幅大尺寸图像；而全景视频拼接则是全景图像拼接的一个延伸，它能够将图像拼接的结果实时显示出来，在视频监控、轨道交通、视频会议、虚拟现实、车载环视等诸多领域拥有广泛的应用前景。

目前车载环视拼接系统主要是针对一体车，即车头车身相对固定。系统同时采集车辆周围的图像信息，经过一次标定后，拼接成一幅全景图，直观地呈现出车辆所处的位置和周边情况。大大地拓展了驾驶员对周围和环境的感知能力，可以有效减少交通事故的发生。而针对具有链式结构的拖车装置，由于摄像头一般分布在车头与车身上，而当拖车装置车头与车身相对运动时，摄像头之间的位置关系也随之改变，需要实时更新拼接参数，传统的车载环视拼接系统则不能适用。

技术实现要素：

有鉴于此，本发明的目的是提供一种适用于链式拖车的动态全景拼接方法,旨在利用现有的图像处理技术实现在摄像头相对位置发生动态变化情况下的全景视频拼接。

一种适用于拖车的动态全景拼接方法，所述拖车的车头和车身周围布置摄像头，实时获取摄像头采集的图像序列，其中，对图像的拼接方法包括如下步骤：

步骤一、采集多摄像头拍摄得到的原始图像序列，并初始化单应矩阵；

步骤二、对原始图像序列进行畸变校正和降分辨率的预处理，最后对图像序列进行柱面投影处理，得到适用于全景图的投影模型图像；

步骤三、根据单应矩阵将相邻两幅投影模型图像对齐到同一坐标系中并对齐图像进行图像融合，得到拼接图像；然后对拼接效果进行量化，具体为：

s31、对于步骤一得到的图像进行轮廓提取，得到原始图像io，对步骤三得到的拼接图像进行轮廓提取，并在其中找到原始图像io的对应部分ip；

s32、针对原始图像io中的每个像素点o，在对应部分ip找到对应位置像素点x，判断像素点x的设定邻域内是否存在与像素点o的像素值相同的点，如果存在，则认为找到与像素点o匹配的点；如果不存在，则认为未找到与像素点o匹配的点；轮廓重叠率为：

其中sum(id)表示原始图像io像素个数与对应部分ip中像素个数的较小值，numel(id)表示在图像ip中找到与原始图像io中像素点匹配的个数；

s33、对步骤一得到的图像提取h通道的信息，得到的图像定义为原始图像ho；对所述拼接图像提取h通道的信息后，并在拼接图像中找到与原始图像ho对应的部分，定义为hp；计算原始图像ho与对应部分hp的相似度：

其中ho(i,j)表示原始图像ho中坐标为(i,j)处的像素值，hp(i,j)表示对应部分hp中坐标为(i,j)处的像素值，m和n是ho的高度与宽度上的像素个数；

s34、将s32的轮廓重叠率与s33的相似度相乘，得到图像拼接质量评价指标h'＝αβ；然后对拼接质量评价指标h'做卡尔曼滤波，最终得到拼接质量评价指标h；

步骤四、将步骤三得到的质量评价指标h与设定的阈值进行比较，如果比较显示拼接质量达到预期，输出拼接后图像，并返回步骤一；否则进行下一步骤；

步骤五、对步骤二得到的投影模型图像进行特征点检测，并对相邻的图像进行特征点匹配，重新计算单应矩阵，返回步骤三，根据更新的单应矩阵执行步骤三至步骤四。

较佳的，所述步骤一中的投影模型为柱面模型、球面模型或者立方体模型。

较佳的，s31中采用卷积的方式进行轮廓提取，其中，采用的卷积核为：

较佳的，步骤二中图像特征点匹配的过程为：拼接区域特征点检测、特征点匹配以及匹配点筛选。

较佳的，所述特征点检测方法为sift、surf或orb。

较佳的，所述特征点筛选方法为ransac、一致对称性筛选、最近邻或次近邻比率筛选。

较佳的，所述设定邻域的大小为3×3。

本发明具有如下有益效果：

1.本发明充分考虑拼接图像的轮廓与色彩信息，提出了一种新的图像拼接质量评价方法，更符合人眼实际评价标准；同时考虑到震动对于图像拼接的干扰，对质量评价结果的量化值进行卡尔曼滤波，提升了该方法的鲁棒性。

2.本发明将拼接质量评价结果的量化值作为反馈，在摄像头相对位置发生变化时能够实时优化拼接参数，最终实现了基于多摄像头的适用于拖车的车载动态全景拼接。

3.该系统是基于软件的图像拼接系统，可以与传统车载环视拼接系统融合，进而弥补其对硬件依赖性过强的缺点，能够在线标定拼接系统并提高拼接质量。

附图说明

图1、动态摄像头拼接系统流程图；

图2、拼接质量评价模块流程图；

图3、卡尔曼滤波流程图；

图4、具有链式结构的拖车示意图；

图5、摄像头组安装位置及观测区域示意图；

图6、不同错位程度下评价结果；

图7、摄像头震动情况下的图像拼接质量评价结果对比。

其中，1-摄像头，2-车头，3-车身。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图4所示，本发明基于的链式拖车，拖车中配置有电源、工控机、摄像头1以及动态视频拼接上位机等。(1)为整个装置的输入设备即usb摄像头1，通过将摄像头1固定在车身3与车头2的不同部位，使其能够实时大范围的观测车体周围的环境信息；(2)为车头2，控制着车的运动方向，车头2上搭载有4个摄像头1，能够实时获取车辆前方的环境信息，安装位置如图5中abcd所示，其中灰色区域为摄像头1的观测区域；工控机安装在车内，与usb摄像头1连接，电源供电后，可以实时读取摄像头1采集的图像序列。上位机可以实时显示采集得到的图像序列与拼接后的全景图像，同时可以完成参数的设置、视频存储等工作。(3)为车身3，由于拖车车身3大都比较长，而每个摄像头1的观测范围都有限，为了减少观测的死角，需要根据车身3的长度决定搭载摄像头1的数量，图中车身3搭载有6个摄像头1，安装位置如图5中efghij所示；拖车的车头2与车身3是通过铰链连接在一起，图3中的d摄像头与e摄像头在拖车转向的过程中相对位置关系会发生动态变化，因此，本发明提供了一种适用于拖车的动态全景拼接方法，可实时获取全景图。

本发明的方法过程主要包括多摄像头1图像采集、图像预处理、图像特征点匹配、单应矩阵计算、图像融合与拼接质量评价，如图1所示，具体包括如下步骤：

第一步：系统初始化，包括工控机的启动与初始化、摄像头1与工控机的连接、动态视频拼接参数的初始化。

第二步：上位机读取摄像头1采集的图像。如果读取成功，则进入下一步骤，否则继续进行该步骤。

第三步：图像预处理。由于摄像头1存在畸变，不利于拼接，首先对图像进行畸变校正；同时为了加快处理速度，将彩色图像转化为灰度图像，对图像进行降分辨率处理；最后对图像序列进行处理，得到适用于全景图的投影模型；其中投影模型可以是但不限于柱面模型、球面模型、立方体模型，该步骤的目的在于提高拼接质量的同时减少拼接时间，提高拼接算法实时性；

第四步：检测待拼接图像的特征点，并对相邻的图像进行特征点匹配，计算两幅图像的匹配外参，即单应矩阵，根据单应矩阵将相邻两幅图像对齐到同一坐标系中。其中，图像特征点匹配包括拼接区域特征点检测、特征点匹配、匹配点筛选等，其中特征点检测方法可以是但不限于sift，surf，orb，筛选方法有ransac，一致对称性筛选，最近邻与次近邻比率筛选；

第五步：将第四步得到的对齐图像按照特定的融合算法进行图像融合，得到拼接图像，然后对拼接效果进行量化，具体为：

对于第三步得到的原始图像与第五步得到的拼接之后的图像，首先提取轮廓信息并检测其重叠率，如果原始图像和拼接后图像的轮廓信息重叠率较高，则说明图像拼接质量较高。本发明通过设计5×5大小的卷积核进行边缘提取，卷积核可以但不限于

针对第三步得到的各幅原始图像io，在拼接后图像中找到原始图像io的对应部分，将原始图像io与对应部分的轮廓信息图像ip求取差分信息，得到差分图像id，具体为：针对原始图像io各个像素点o，在拼接图像的对应部分找到对应位置像素点x，判断像素点x的n*n区域内是否存在与像素点o的像素值相同的点，如果存在，则认为找到与像素点o匹配的点，记为1；如果不存在，则认为未找到与像素点o匹配的点，记为0，具体公式表示如下：

则重叠率计算方法为

其中sum(id)表示原始图像io与对应部分的轮廓信息图像ip中像素个数较小值，表示在图像ip中找到与原始图像io中像素点匹配的个数。

对于图像来说，hsv空间比rgb空间能够更加直观地表达色彩的明暗、色调以及鲜艳程度，面对光照的变化更稳定；其中h通道表示图像的色相信息，因此能很好地反应颜色的本质。将图像转化到hsv空间，对第三步得到的原始图像和第五步得到的拼接图像分别提取h通道的信息，得到原始图像ho和拼接图像中与原始图像对应的部分hp，计算原始图像ho与对应部分hp的相似度，相似度越高，则说明图像拼接质量越高。相似度的计算方法为：

其中ho(i,j)表示原始图像ho中坐标为(i,j)处的像素值，hp(i,j)表示对应部分hp中坐标为(i,j)处的像素值，m和n是ho的高度与宽度。

为了更准确地评价图像拼接质量，本方法充分考虑了图像的轮廓以及色相信息对结果的影响，将轮廓重叠率和相似度相乘，得到图像拼接质量评价指标h'＝αβ。在实际应用过程中，拖车装置在颠簸路段会发生剧烈抖动，导致摄像头1相对位置发生连续不规则改变，但这种由于路面颠簸导致的摄像头1位置剧烈变化的情况对全景系统来说相当于一个外部扰动，它会造成图像质量评价指标剧烈不规则大幅度变化，进而导致拼接参数的重复计算，即增加了计算成本，又不能改善拼接效果。为避免颠簸路段对图像拼接质量评价的影响，本发明针对这种情况，对拼接质量评价指标做卡尔曼滤波，降低其抖动程度。卡尔曼滤波的原理图如图3所示，加入卡尔曼滤波前后的效果图如图7所示。最终得到拼接质量评价指标h。

第六步：将步骤五得到的质量评价指标h与设定的阈值进行比较，如果比较显示拼接质量达到预期，输出拼接后图像，并返回第三步；否则进行下一步骤；

第七步：重新计算单应矩阵。由于拼接图像的质量低于预期，即拼接质量不符合要求，说明卡车摄像头1的相对位置发生了变化，因此需要重新计算单应矩阵。首先对图像进行特征检测与提取，然后进行特征匹配，计算单应矩阵，并返回第五步，重新进行图像的融合。

本发明采用了融合拼接图像轮廓与色彩信息的图像拼接质量评价方法对拼接图像效果实时进行量化评价，其评价效果如图6所示，当拼接质量小于设定的阈值时需要重新优化拼接参数，该方法对图像震动时的拼接具有一定的鲁棒性；拼接参数主要是相机的外参，与摄像头1的相对位置有关，外参可以利用图像特征点匹配计算出的单应矩阵获取。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。