一种基于重叠区域特征点对的图像亮度均衡方法与流程

本发明属于数字图像处理技术领域，涉及到一种基于重叠区域特征点对的图像亮度均衡方法。

背景技术：

随着图像处理技术的发展，图像拼接技术已经广泛应用于汽车电子、虚拟旅游、全景漫游等众多领域。图像拼接技术涉及到计算机视觉、数字图像处理等领域的技术，主要是利用多摄像机进行图像获取，提取图像中的特征点，利用特征点的相对关系计算图像变换的单应性矩阵，在图像进行配准之后可以形成初步的全景图像，在进行图像的融合等操作的优化后，可以得到最终的全景图像。

在图像拼接中，由于多幅图像的来源，拍摄时间、拍摄角度、相机曝光等条件不同，加之其他各种不定的因素的影响，使得拼接图像在拼缝处或多或少的存在拼接痕迹。由于拼接痕迹的存在，影响了拼接图像的质量，也为后续图像的处理带来了很多的不便。一般的做法是在图像配准拼接的同时，引入图像融合处理，以便于改善拼接图像的质量。

图像融合指的是将互补的不同来源、不同时间或者不同视点的图像转化为一幅新的高质量的图像。图像融合算法已经在众多的领域得到了应用，例如：在遥感观测和天文学中，多传感器融合用来获取较高空间分辨率和较高光谱分辨率相结合的图像。

由于图像来自不同的摄像机，因此需要在图像配准的基础上进行图像的融合处理。在实际生产场景的应用中，发现存在相邻的摄像机的曝光度不一致的情况，会导致相邻摄像机拍摄的图像在亮度上存在一定的差异，当差异较大时，即使采用加权平均法对相邻的图像进行融合处理，拼接后的图像也存在一定的拼接痕迹，而且拼接后的图像的整体亮度存在很大的差异，影响最终的拼接效果。

技术实现要素：

针对两幅待拼接图像亮度差异过大情况，并且图像融合后仍有明显拼缝以及整体亮度具有明显差异，本发明提供了一种基于重叠区域特征点对的图像亮度均衡方法，主要是利用图像配准后的重合区域特征点对，并依此计算得到两幅图像的亮度差，之后再进行拼接图像亮度的调整。利用重叠区域特征点对亮度差进行拼接图像的亮度调整，相比直方图均衡，具有较少的计算量，同时保证较好的亮度调整效果。该基于重叠区域特征点对亮度均衡方法在数学运算上只用到加法、乘法，计算较为简便，十分有利于硬件实现。在嵌入式系统中应用以及相关应用场合中，基于重叠区域特征点对的亮度均衡方法表现出明显的优势。

本发明用到了sift特征点检测方法。具体地：利用sift算法寻找图像的特征点，首先对图像进行尺度空间的构建，之后进行特征点位置以及特征点方向的确定，最后进行sift描述子的计算，从而得到用于匹配的图像sift特征点集合。

本发明用到了ransac算法，实现对sift已经匹配的特征点对进行筛选。具体地：从已经粗匹配的特征点对集中随机选取4组特征点对作为一个ransac样本；根据这4组特征点对计算单应性变换矩阵h；利用求得的单应性变换矩阵h，在特征点对集中筛选当前h下满足误差范围内的特征点对子集，并返回其个数；根据

本发明的技术方案是这样实现的：首先采用sift算法对待拼接图像进行特征点的提取，对提取出的特征点进行匹配与配准，之后需要去除错误匹配的特征点对，利用已完成配准的特征点的位置关系得到两幅图像重合区域的在原图像中的坐标，利用重叠区域特征点对计算两幅图像的亮度差，最后要对拼接后图像的亮度进行调整，进而得到最终的图像。

基于重叠区域特征点对的亮度均衡方法，包括如下步骤：

步骤一：利用sift算法对两幅待拼接图像进行计算处理，提取sift特征点集；

步骤二：对提取的特征点进行粗匹配，形成特征点对，之后利用ransac算法去除错误的特征点对，得到最终用于匹配的特征点集；

步骤三：利用已配的特征点的位置关系得到两幅图像重合区域的在原图像中的坐标，确定该区域中包含的特征点对的亮度及坐标信息；

步骤四：利用步骤三确定的重叠区域特征点对计算两幅图像的亮度差，主要是计算图像在重叠区域特征点对的三通道分量的差值的均值：

公式(1)中bmean是一个三维向量，用于表示像素点的三通道分量的差值的均值，n为相邻图像重叠区域内像素点的个数，xmin，xmax，ymin，ymax分别表示重叠区域特征点对在x，y轴方向最小和最大的坐标。

步骤五：对图像亮度进行调整，包括两部分，首先是重合区域的亮度调整：

i(x,y)＝ρi1(x,y)+(1-ρ)(i2(x,y)+bmean)(2)

在公式(2)中，ρ为加权的比例系数，它的数值可以利用公式(3)计算得到，这里令ρ＝w，

其中，0≤i≤w，w为重叠区域的像素宽度；

其次是非融合区域的亮度值：

i1(x,y)、i2(x,y)分别表示两幅待拼接图像像素点的像素值，i(x,y)则表示融合后的图像在(x,y)处像素点的像素值。其中r1、r2分别表示两幅原始图像中未重叠的区域。

步骤六：输出最终的亮度调整后结果图像，得到经过亮度均衡后的拼接图像，如图8所示。

本发明方法充分考虑了直方图亮度均衡计算量大对拼接图像亮度校正实时性的影响，在保证最终拼接图像效果的情况下，通过实时性亮度补偿解决了因摄像头曝光率差异造成的图像亮暗问题。

附图说明

图1是本发明中具体实施方式的方法流程示意图。

图2是本发明中具体实施方式的待拼接的原始图像。

图3是本发明中具体实施方式的sift检测后的特征点检测效果。

图4是本发明中具体实施方式的特征点匹配及去除错误后效果。

图5是本发明中具体实施方式的采用平均值融合方法的效果。

图6是本发明中具体实施方式的采用加权平均融合方法的效果。

图7是本发明中具体实施方式的直方图均衡化的图像亮度均衡效果。

图8是本发明中具体实施方式的基于重叠区域特征点对图像亮度均衡效果。

具体实施方式

接下来将结合附图对本发明中具体的实施过程进行详细说明。

本实施方式具体的方法，其软件环境采用windows7操作系统，采用的仿真环境为matlab2014a，具体的流程示意如图1所示：

步骤一：利用sift算法对两幅图像进行计算处理，提取并得到sift特征点集，如图2所示，为原始待处理的图像，两幅图像左右亮度差异较为明显，对原始图像进行sift特征点检测，从而得到特征点集，如图3所示；

步骤二：对提取的特征点进行粗匹配，形成特征点对，之后利用ransac算法去除错误的特征点对，得到最终用于匹配的特征点集，如图4所示，为匹配的特征点对的情况；

通过ransac计算图4中图像的单应性变换矩阵，可得最优矩阵

步骤三：利用已配的特征点的位置关系得到两幅图像重合区域的在原图像中的坐标，在此过程中，可以对重叠区域进行均值融合，得到图5的效果，也可以对重叠区域进行线性过渡，得到图6中的效果；

步骤四：利用步骤三确定的重叠区域特征点对计算两幅图像的亮度差，主要利用公式1进行计算；

步骤五：对图像亮度进行调整，包括两部分，首先是重合区域的亮度调整，主要是利用公式3进行调整，其次是非融合区域的亮度值，主要利用公式4进行调整

步骤六：输出最终的亮度调整后结果图像，得到经过亮度均衡后的拼接图像，如图8所示。

图7为直方图均衡形成的最终的拼接图像，与原图像进行对比可以发现直方图均衡使得最终图像的对比度发生变化，同时与本发明提出的重叠区域特征点对的亮度均衡方法相比，直方图均衡方法所需时间较长。综上所述，基于重叠区域特征点对的图像亮度均衡方法实现了高效的亮度均衡过程。该方法在保证最终效果的的同时，减少了计算量，从而提高了算法的实时性。