视频拼接方法及装置与流程

本发明涉及图像信息处理领域，特别涉及一种视频拼接方法及装置。

背景技术：

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术由1990年提出。随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广。在AR技术实际应用中，将现实世界图像映射到显示屏上，需要采用更为先进的视频拼接方法，特别是多幅待拼接图像的融合和光照、色彩的均衡等等方面，提出了更高要求。

通过匹配算法能够得到图像和图像间的相对位置，图像像素通过位置关系进行映射，得到它们在最终拼接全图中的坐标。但常常在原图像边界的地方会出现清晰可见的条纹，这种条纹就称为拼接缝，被拼接的图像在边缘附近的灰度或色彩的差别几乎是不可避免的。

技术实现要素：

针对现有技术的不足，本发明旨在提供一种可以更好的消除拼接缝的视频拼接方法及装置。

为实现上述目的，本发明采用如下技术方案：

一种视频拼接方法，所述方法包括以下步骤：

对原始图像进行预处理，所述预处理包括原始图像的直立方图匹配、几何矫正、平滑过滤以及噪声处理；

查找预处理后的原始图像与参考图像的特征点的位置，根据特征点的位置在原始图像与参考图像之间建立模型转换，确定预处理后的原始图像与参考图像之间的重叠区域；

根据所述预处理后的原始图像与参考图像之间的重叠区域的对应关系，把预处理后的原始图像转换到参考图像的坐标系中；

根据预处理后的原始图像与参考图像之间的转换关系，把所述重叠区域的信息拼接成一个完整的图像；

所述根据预处理后的原始图像与参考图像之间的转换关系，把所述重叠区域的信息拼接成一个完整的图像，具体包括：

在预处理后的原始图像与参考图像的重叠区域内建立最佳拼接缝；

对预处理后的原始图像和参考图像在所述重叠区域内的图像分别构造拉普拉斯金字塔；

对所述重叠区域内最佳拼接缝对应的图像构造高斯金字塔；

以所述高斯金字塔作为权重，对所述拉普拉斯金字塔进行全局加权平均融合；

对所述全局加权平均融合后的图像进行差值扩大，然后相加，得到最终图像。

作为本发明的进一步改进，所述全局加权平均融合中的加权强度与像素点到原始图像的距离成正比。

作为本发明的进一步改进，所述在原始图像与参考图像的重叠区域内建立最佳拼接缝，具体包括：将所述重叠区域的每一行各列像素点对应为一条拼接缝，所述拼接缝的强度值初始化为各个点的准则值，该拼接缝的当前点为其所在的列值；将每一条拼接缝的当前点与该点紧邻的像素准则值进行比较，取最小强度值所对应的像素点作为该拼接缝的扩展方向，更新此拼接缝的最小强度值，并将拼接缝的当前点更新为得到最小强度值所在的紧邻像素值所在的列，将已经计算过的拼接缝强度的当前行向下扩展，直到最后一行为止；从所有的拼接缝中选择强度值最小的拼接缝作为最佳拼接缝。

一种视频拼接装置，包括以下模块：

预处理模块，用于对原始图像进行预处理，具体包括：原始图像的直立方图匹配，几何矫正，平滑过滤，噪声处理；

配准模块，用于查找预处理后的原始图像与参考图像的特征点的位置，然后在预处理后的原始图像与参考图像之间建立模型转换，确定预处理后的原始图像与参考图像之间的重叠区域；

变换模块，用于把预处理后的原始图像转换到参考图像的坐标系中；

融合模块，用于根据两幅图像之间的转换关系，把所述重叠区域的信息拼接成一个完整的图像；

所述融合模块具体包括：

建立模块，用于在预处理后的原始图像与参考图像的重叠区域内建立最佳拼接缝；

第一构造模块，用于对预处理后的原始图像和参考图像在所述重叠区域内的图像分别构造拉普拉斯金字塔；

第二构造模块，用于对所述重叠区域内最佳拼接缝对应的图像构造高斯金字塔；

全局加权平均值模块，用于以所述高斯金字塔作为权重，对所述拉普拉斯金字塔进行全局加权平均融合；

插值扩大模块，用于对进行全局加权平均融合后的图像进行差值扩大，然后相加，得到最终图像。

作为本发明的进一步改进，所述全局加权平均融合中的加权强度与像素点到原始图像的距离成正比。

作为本发明的进一步改进，所述建立模块，具体用于：将所述重叠区域的每一行各列像素点对应为一条拼接缝，所述拼接缝的强度值初始化为各个点的准则值，该拼接缝的当前点为其所在的列值；将每一条拼接缝的当前点与该点紧邻的像素准则值进行比较，取最小强度值所对应的像素点作为该拼接缝的扩展方向，更新此拼接缝的最小强度值，并将拼接缝的当前点更新为得到最小强度值所在的紧邻像素值所在的列，将已经计算过的拼接缝强度的当前行向下扩展，直到最后一行为止；从所有的拼接缝中选择强度值最小的拼接缝作为最佳拼接缝。

相比于现有技术，本发明能够修正待拼接图像在拼接缝附近的灰度或色彩值，使在拼接缝处的灰度或色彩有一个光滑的过渡，显著的提升图像的拼接效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提供的视频拼接方法流程图。

图2是本发明实施例提供的视频拼接方法中图像的融合流程图。

图3是本发明实施例提供的视频拼接方法中全局加权系数曲线示意图。

图4是本发明实施例提供的视频拼接方法中像素值映射曲线示意图。

图5是本发明实施例提供的视频拼接装置示意图。

图6是本发明实施例提供的视频拼接装置中融合模块的示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

图1为本发明实施例提供的视频拼接方法流程图，所述视频拼接方法流程图包括以下步骤：

步骤110、图像的预处理；

优选的，采用以下技术对原始的图像进行处理：原始图像的直立方图匹配、几何矫正、平滑过滤和噪声处理，提高图片的质量，使其能达到图像配准的要求，不至于造成一些错误的匹配，致使原始的拼接图像几何变形。

步骤120、图像的配准；

优选的，查找预处理后的原始图像与参考图像的特征点的位置，根据特征点的位置在原始图像与参考图像之间建立模型转换，确定预处理后的原始图像与参考图像之间的重叠区域；

具体包括：采集到了两张不同角度的图片，分别为原始图像和参考图像，设其为I₁和I₂；再设两个表示灰度值的函数，分别为I¹(x,y)和I₂(x,y)。图片的配准关系表示为：I₂(x,y)＝g(I₁(h(x,y)))，式中g是灰度值的变换也可以理解为是幅度值变换得到的，式中的h定义为几何的二维坐标的表达式，最后计算出两个图像的位置坐标之间的关系，这样就得到两个图像带匹配的坐标的位置，求出矩阵。

步骤130、建立变换模型和统一坐标变换；

具体包括：根据所述预处理后的原始图像与参考图像之间的重叠区域的对应关系，把预处理后的原始图像转换到参考图像的坐标系中。

步骤140、图像的融合；

具体包括：所述根据预处理后的原始图像与参考图像之间的转换关系，把所述重叠区域的信息拼接成一个完整的图像。

优选的，当所述步骤130确定了数学转换的参数后，根据两幅图像之间的转换关系，把重叠区域的信息拼接成一个完整的图像。这其中可能会存在一定的匹配误差或是因光度的问题的影响，还需要根据光度的差异对拼接图像进行混和调整，减少重叠区域的失真。

图2是本发明实施例视频拼接方法中图像的融合流程图。

优选的，所述步骤140图像的融合具体包括以下步骤：

步骤141、建立最佳拼接缝；

具体包括：在预处理后的原始图像与参考图像的重叠区域内建立最佳拼接缝。

优选的，将所述重叠区域的每一行各列像素点对应为一条拼接缝，所述拼接缝的强度值初始化为各个点的准则值，该拼接缝的当前点为其所在的列值；将每一条拼接缝的当前点与该点紧邻的像素准则值进行比较，取最小强度值所对应的像素点作为该拼接缝的扩展方向，更新此拼接缝的最小强度值，并将拼接缝的当前点更新为得到最小强度值所在的紧邻像素值所在的列，将已经计算过的拼接缝强度的当前行向下扩展，直到最后一行为止；从所有的拼接缝中选择强度值最小的拼接缝作为最佳拼接缝。

步骤142、构造拉普拉斯金字塔；

具体包括：对原始图像和参考图像在所述重叠区域内的图像分别构造拉普拉斯金字塔，把大小为(M+1)×(N+1)的原图像扩展成大小为(2M+1)×(2N+1)的图像。设G_l,k是图像G_l插值k次后的结果，它们有如下关系：

G_l,0(x,y)＝G_l(x,y)

其中，w(m,n)为生成核，只有当和均为整数的时候，才参与计算。可以看出插值后图像G_l,1与低通图像G_l-1具有相同的大小，G_l,l和原图一样大小。记带通图像为L₀,L₁,…,L_N，它们由下式得到：

L_l＝G_l-G_l+1，10＜l＜N

由于G_N为最高层低通图像，没有上一层图像能与之相减，所以定义L_N＝G_N。把带通图像插值并扩大后，再与下一层带通图像相加就可以逐步还原为原图像。

优选的，对最高层图像L_N插值后，然后与图像L_N-1相加，就复原了图像G_N-1，再将G_N-1插值扩大，加上L_N-2就复原了图像G_N-2…。设L_l,k为带通图像L_l插值k次后的结果，还原原图的过程为：

步骤143、构造高斯金字塔；

优选的，对所述重叠区域内最佳拼接缝图像构造高斯金字塔，对原图像进行低通滤波后得到的图像记为G₀,G₁,…,G_N。G₀表示原始图像，它的邻域与一个模版作用后生成图像G₁中的像素，图像G₁的邻域与一个模版作用后生成图像G₂中的像素，然后如此重复下去直到G_N。采样间隔为1个像素，所以每下一级的图像大小为上一级图像的1/4，形成一个金字塔结构。使用公式表示为：

G₀(x,y)＝I(x,y)

其中，w(m,n)为生成核。

优选的，令取得到的函数图形类似于高斯函数，所以最后形成的图像组也称为高斯金字塔。

步骤144、进行全局加权平均值；

全局加权平均值法能更有效兼顾全局效果，在所述重叠部分由原始图像依据图像整体分布形式，兼容入参考图像，拼接结果图中的像素值由原始图像像素进行全局加权得来，加权强度与像素点到原始图像的距离成正比。

优选的，设I₁(x,y)，I₂(x,y)分别为预处理后的原始图像和参考图像在(x,y)处的像素值，I_L(x,y)为拼接结果图在(x,y)处的像素值，则像素值由下式确定：

其中R₁和R₂分别表示预处理后的原始图像和参考图像未重叠的区域，R₁₂表示重叠区域。α、β为加权系数，设x_min为重叠处起始位置，x_max为重叠处终止位置，β₁为重叠区域相邻像素值差比值不为空的像素占I₁(x,y)的比例，β₂为重叠区域相邻像素值差比值不为空的像素占I₂(x,y)的比例，α和β的计算方法为：

图3是本发明实施例视频拼接方法中全局加权系数曲线示意图。图中a为加权系数，区间D为加权函数作用区间，从图中可以看出，融合效果有一定程度上的提升，但是如果拼接区域中物体有细微的位置差别，则会出现“鬼影”现象，即同一物体两次出现在拼接结果图中。且往往还会使拼接缝附近的图像模糊，失去细节信息，为此，还需要从光照、色彩平衡等方面对拼接后的图像进行一次整体调整。

为了消除“鬼影”类问题，必须对两幅图像进行光照平衡处理，使两幅图像的光照处于同一个水平上。根据拼接图像的特点，寻找重叠区域中两幅图像的直方图关系，利用各待拼接图像相邻像素值差的比值不为空的像素密度作为权重，越密集的色彩对比度越高(依据不同应用可采用平方或指数函数)，然后通过这个关系修正较暗的那幅图像，使两幅图像光照在同一水平上。

优选的，对像素值的调整可以表示为使用一个函数对像素值进行映射，如：I′(x,y)＝f(I(x,y))。

图4是本发明实施例视频拼接方法中像素值映射曲线示意图。图中横向坐标表示输入像素值，纵坐标表示输出的像素值，通过函数曲线，图像中暗的地方更暗、亮的地方更亮，图像的对比度得到了加强，特别是权重高的区域对比度更加明显。通过函数曲线，使各待拼接图像的像素值通过这个函数映射后近似统一，以此达到光照均衡的目的。

步骤405、进行插值扩大。

优选的，对步骤404中全局加权后的图像进行差值扩大，然后相加，得到最终图像。

图5是本发明实施例提供的视频拼接装置示意图。所述装置包括以下模块：预处理模块210、配准模块220、变换模块230、融合模块240。

预处理模块210，所述预处理模块210对图像进行预处理，具体包括：原始图像的直立方图匹配、几何矫正、平滑过滤和噪声处理；

配准模块220，所述配准模220用于对图像进行配准，具体包括：查找预处理后的原始图像与参考图像的特征点的位置，然后在预处理后的原始图像与参考图像之间建立模型转换，确定预处理后的原始图像与参考图像之间的重叠区域；

变换模块230，所述变换模230用于建立变换模型和统一坐标变换，具体包括：根据所述预处理后的原始图像与参考图像之间的重叠区域的对应关系，把预处理后的原始图像转换到参考图像的坐标系中；

融合模块240，所述融合模240用于图像的融合，具体包括：根据预处理后的原始图像与参考图像之间的转换关系，把所述重叠区域的信息拼接成一个完整的图像。

图6是本发明实施例提供的视频拼接装置中融合模块的示意图。所述融合模块240具体包括：建立模块241、第一构造模块242、第二构造模块243、全局加权平均值模块244、插值扩大模块245。

建立模块241，所述建立模块241用来建立最佳拼接缝，具体包括：在预处理后的原始图像与参考图像的重叠区域内建立最佳拼接缝；

优选的，将所述重叠区域的每一行各列像素点对应为一条拼接缝，所述拼接缝的强度值初始化为各个点的准则值，该拼接缝的当前点为其所在的列值；将每一条拼接缝的当前点与该点紧邻的像素准则值进行比较，取最小强度值所对应的像素点作为该拼接缝的扩展方向，更新此拼接缝的最小强度值，并将拼接缝的当前点更新为得到最小强度值所在的紧邻像素值所在的列，将已经计算过的拼接缝强度的当前行向下扩展，直到最后一行为止；从所有的拼接缝中选择强度值最小的拼接缝作为最佳拼接缝。

第一构造模块242，所述第一构造模242对预处理后的原始图像和参考图像在所述重叠区域内的图像分别构造拉普拉斯金字塔；；

第二构造模块243，所述第二构造模块243用来对所述重叠区域内最佳拼接缝对应的图像构造高斯金字塔；

全局加权平均值模块244，所述全局加权平均值模244用于以所述高斯金字塔作为权重，对所述拉普拉斯金字塔进行全局加权平均融合，具体包括：在所述重叠部分由原始图像依据图像整体分布形式，兼容入参考图像，拼接结果图中的像素值由原始图像像素进行全局加权得来，加权强度与像素点到原始图像的距离成正比。

插值扩大模块245，所述插值扩大模块245用来进行插值扩大，具体包括：对进行全局加权平均值后的图像进行差值扩大，然后相加，得到最终图像。

本发明能够修正待拼接图像在拼接缝附近的灰度或色彩值，使在拼接缝处的灰度或色彩有一个光滑的过渡，显著的提升图像的拼接效果。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。