快速扫描式全景图图像合成方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种基于双摄hdr(highdynamicrangeimaging，高动态范围成像)预处理的快速扫描式全景图图像合成方法及装置。

背景技术：

全景图是一种广角图，是用很多张较窄视角的图像，通过算法合成一张宽视角的图像。全景图的合成方式有很多种：如先拍摄单张图片然后经过后期处理合成，或者在图像拍摄期间捕获特定的图像块进行实时合成，或者使用双鱼眼镜头同时拍摄两张鱼眼图像进行合成。

目前，很多智能手机预装了快速扫描式全景图合成程序。用户点击开始拍摄，手持手机朝一个方向移动，结束拍摄后可以很快获取一张全景图。这种图像合成方法主要通过运动估计，移动一小段距离就选取一张图像，通过匹配算法识别图像中间区域的某个选定的图像块与先前图像块之间的精确重合区域，然后使用融合算法将识别的图像块拼接成结果图象，最后通过大量上述类型的图像块来形成一张全景图像。该方法可以实现实时拼接，拍摄完毕即可获取全景图。

这种快速全景拼接算法，为了提升性能并且保证拼接质量，通常在采集图像数据的时候会锁定曝光，这样可以省去后期的曝光补偿的过程。但是这种提前锁定曝光的做法在某些场景很容易引起过曝和欠曝的现象。比如，用户在室内正常曝光的区域开始拍摄，向窗户方向移动，由于锁定了曝光，所以越靠近窗户时曝光越强，从而引起过曝，呈现出一个没有窗外景物的高亮区域，如图1所示。

还有一些智能手机，预装了拍照式全景图程序。用户点击开始拍摄，手持手机可以朝任意方向移动，拍摄不同方向的照片，后台程序通过算法合成，结束拍摄后等待一段时间才能获取一张全景图。该方法主要通过运动估计，隔一段距离拍摄一张图像，再后期经过特征点匹配计算出各图像之间的位置关系，经过曝光补偿修正亮度和颜色差异，经过柱面或球面变换，再使用融合算法拼接到结果图中。这种传统全景拼接算法，性能很慢，对于景深差异比较大的场景容易产生大的拼接错位。因为不锁定曝光，在光线差异很大的场景，曝光补偿算法也容易产生误差，引起奇怪的色块。

本发明主要解决现有技术中，因为锁定曝光而引起的全景图结果丢失图像细节的问题。

技术实现要素：

基于此，本发明提供了一种快速扫描式全景图图像合成方法及装置，在快速扫描式全景拼接算法中，加入输入图序列的hdr预处理，并对hdr处理后的结果图进行曝光补偿，从而避免了由于锁定曝光而引起的全景图结果丢失图像细节的问题。

本发明提供的一种快速扫描式全景图图像合成方法，包括以下步骤：

同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；

以锁定曝光的图像作为基准，对同时获取的两张原始图像进行hdr处理，得到hdr处理结果图；

基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿；

将前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图。

可选地，作为一种可实施方式，所述同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像，包括以下步骤：

控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。

可选地，作为一种可实施方式，所述基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿，包括以下步骤：

获取前后两帧图像之间的相对运动参数；

根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的重叠区域；

计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的hdr处理结果图进行曝光补偿。

可选地，作为一种可实施方式，所述获取前后两帧图像之间的相对运动参数，包括以下步骤：

采用光流算法，计算前后两帧图像之间的平移运动参数；

或，获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。

可选地，作为一种可实施方式，所述根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的重叠区域，包括以下步骤：

根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；

基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的精确重叠区域。

可选地，作为一种可实施方式，计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的hdr处理结果图进行曝光补偿，包括以下步骤：

分别计算两个重叠区域的像素灰度值的累加和a1和a2，a1为当前帧图像的hdr处理结果图在重叠区域的像素灰度值的累加和，a2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；

计算亮度补偿值a，a＝a2/a1，对当前帧图像的hdr处理结果图的亮度值乘以a。

可选地，作为一种可实施方式，所述将前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图，包括以下步骤：

在当前帧图像的hdr处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行线性融合，合成新的全景临时结果图。

相应地，本发明提供的一种快速扫描式全景图图像合成装置，包括原始图像获取模块、hdr预处理模块、曝光补偿模块以及图像合成模块；

所述原始图像获取模块，用于同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；

所述hdr预处理模块，用于以锁定曝光的图像作为基准，对同时获取的两张原始图像进行hdr处理，得到hdr处理结果图；

所述曝光补偿模块，用于基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿；

所述图像合成模块，用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图。

可选地，作为一种可实施方式，所述原始图像获取模块还用于控制两个相同视角的摄像头同时获取原始图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。

可选地，作为一种可实施方式，所述曝光补偿模块包括相对运动参数获取单元、重叠区域计算单元以及曝光补偿单元；

所述相对运动参数获取单元，用于获取前后两帧图像之间的相对运动参数；

所述重叠区域计算单元，用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的重叠区域；

所述曝光补偿单元，用于计算两个图像上的所述重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的hdr处理结果图进行曝光补偿。

可选地，作为一种可实施方式，所述相对运动参数获取单元具体用于采用光流算法，计算前后两帧图像之间的平移运动参数；或用于获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。

可选地，作为一种可实施方式，所述重叠区域计算单元具体用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；所述重叠区域计算单元还用于基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的精确重叠区域。

可选地，作为一种可实施方式，所述曝光补偿单元具体用于分别计算两个重叠区域的像素灰度值的累加和a1和a2，a1为当前帧图像的hdr处理结果图在重叠区域的像素灰度值的累加和，a2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝a2/a1，对当前帧图像的hdr处理结果图的亮度值乘以a。

可选地，作为一种可实施方式，所述图像合成模块具体用于在当前帧图像的hdr处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果进行线性融合，合成新的全景临时结果图。

相应地，本发明还提供一种快速扫描式全景图图像合成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

可选地，作为一种可实施方式，所述快速扫描式全景图图像合成装置，还包括两个摄像头，两个所述摄像头与所述处理器连接；

两个所述摄像头在采集原始图像时视角相同，一个摄像头锁定曝光，另一个摄像头不锁定曝光。

相应地，本发明还提供一种快速扫描式全景图图像合成装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

与现有技术相比，本技术方案具有以下优点：

本发明提供的快速扫描式全景图图像合成方法及装置，以锁定曝光的摄像头获取的图像为hdr算法的基准图像，进行hdr处理，以保持相邻帧的hdr处理结果图的亮度一致性。从而克服传统的hdr算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的hdr结果图的亮度无法保持一致的缺陷。进一步地，在图像融合之前对hdr处理结果图进行曝光补偿，以减小hdr处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复，从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。

附图说明

图1为本发明背景技术中的全景图；

图2为本发明实施例一提供的快速扫描式全景图图像合成方法的流程示意图；

图3为利用本发明实施例一提供的快速扫描式全景图图像合成方法合成的全景图；

图4为本发明实施例二提供的快速扫描式全景图图像合成装置的结构示意图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

参见图2，本发明实施例一提供了一种快速扫描式全景图图像合成方法，包括以下步骤：

s100、同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；

s200、以锁定曝光的图像作为基准，对同时获取的两张原始图像进行hdr处理，得到hdr处理结果图；

s300、基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿；

s400、根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图。

步骤s100，通过控制两个相同视角的摄像头同时获取原始图像即可实现，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光，并且两张图像同时获取。目前，双摄像头手机已非常常见，所以基于现有的双摄像头手机等设备均可同时获取两张相同视角的原始图像。

步骤s200中，将锁定曝光的输入图和不锁定曝光的输入图同时作为hdr算法的输入图，并以锁定曝光的图像作为基准，进行hdr处理，得到hdr处理结果图。

此处需要说明的是，传统的hdr算法，一般是采用3张不同曝光(低曝光、正常曝光、高曝光)的输入图，因为只采用一个摄像头，所以三张图像不是同时获取，而是依次拍摄的。本实施例中以锁定曝光的摄像头获取的图像为hdr算法的基准图像，即设定锁定曝光的图像为正常曝光的图像，从而能够尽量保持hdr处理结果图的亮度和锁定曝光的图像一致。又因为锁定曝光时，相邻帧的亮度差异很小，所以将锁定曝光的图像当作正常曝光的图像进行hdr处理，可以保持相邻帧的hdr处理结果图的亮度一致性。从而克服传统的hdr算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的hdr结果图的亮度无法保持一致的缺陷。

实施例一中采用的hdr算法，需要设定锁定曝光的输入图作为正常曝光的图像，以这张图像为基础，用算法找到细节缺失或者曝光不正常的区域，对锁定曝光的图像进行修复。经过hdr处理后的图像的亮度接近这张锁定曝光的图像，接近程度可以超过80％，并且使原先过曝区域和欠曝区域丢失的细节得到较好的恢复。

本发明的主要发明点在于将锁定基准图像的hdr处理结果图作为输入图去合成全景图像，并且在图像融合之前进行曝光补偿，以减小hdr处理产生的亮度差异，最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。对比图1，利用本发明实施例一得到的全景图，如图3所示，原先图像中的过曝区域和欠曝区域丢失的细节均得到了有效恢复。

上述实施例中的hdr处理的具体实现过程为本领域的现有技术，此处不再冗述。

具体地，作为一种可实施方式，步骤s300中，基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿，可通过以下步骤实现：

s310、获取前后两帧图像之间的相对运动参数。

在进行曝光补偿之前，首先需要进行运动估计，即获取前后两帧图像之间的相对运动参数，获取运动参数的目的是为了计算前后两帧图像之间的粗略重叠区域。可以采用光流算法，计算前后两帧图像之间的平移运动参数。光流算法可以计算两张图像之间的平移运动参数，用于纹理比较复杂的场景。也可以获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据所述旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。摄像头的陀螺仪数据可以获取设备的旋转角速度，而单帧图像的视角也是可以直接从设备信息中读取，这样可以计算出平移运动参数，平移运动参数＝(角速度*时间)*视角*图像边长，用于纹理比较简单的场景。

s320、根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的重叠区域。两张图像的重叠区域可以分两步计算：第一步，根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；第二步，基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的精确重叠区域。

根据运动估计的结果，可以计算出当前帧hdr处理结果图和前一帧的全景临时结果图的粗略重叠区域。使用块匹配算法，可以计算更精确的对齐平移运动参数，用于曝光补偿和融合。块匹配算法是将一个图像中的重叠区域，在另一个图像中的重叠区域周围的小范围内搜索，计算对应像素灰度值差的绝对值之和，取平均值。当平均值最小时，就得到了更精确的平移运动参数。

s330、计算两个图像上的重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的hdr处理结果图进行曝光补偿。该处的重叠区域指的是精确重叠区域。曝光补偿的目的在于减小hdr处理产生的亮度差异，使得hdr处理结果图的亮度更接近正常曝光的图像。其具体实现方式可以有多种，下面列举一种具体的可实现方式：分别计算两个重叠区域的像素灰度值的累加和a1和a2，a1为当前帧图像的hdr处理结果图在重叠区域的像素灰度值的累加和，a2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝a2/a1，对当前帧图像的hdr处理结果图的亮度值乘以a。

拍摄过程中只对重叠区域及外扩的一定区域进行曝光补偿，拍摄结束后对没有补偿的部分进行曝光补偿，这样可以进一步减少一些无用的运算量，提高运行速度。

具体地，作为一种可实施方式，步骤s400中，根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图，可以通过以下步骤实现：

在当前帧图像的hdr处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行线性融合，合成新的全景临时结果图。

沿着路径进行线性融合，是指在路径左右l宽度内，图像的像素值做平滑过渡，可表述为：pixel＝leftpixel*(l-x)/l+rightpixel*x/l，其中，x的范围为1～l，l为过渡区域的长度，leftpixel为输入图(即hdr处理结果图)的像素灰度值，rightpixel为全景临时结果图的像素灰度值。x越小，计算结果pixel越接近leftpixel和rightpixel。

此处，需要补充说明的是，对于hdr处理过程中的第一帧图像，可以直接用合成的第一张hdr处理结果图拷贝到全景结果图内存中，作为全景临时结果图。

基于同一发明构思，本发明实施例二还提供了一种快速扫描式全景图图像合成装置，该装置与前述方法的原理相同，其工作过程可参照前述方法的流程实现，重复之处不再冗述。

参见图4，本发明实施例二提供的一种快速扫描式全景图图像合成装置，包括原始图像获取模块100、hdr预处理模块200、曝光补偿模块300以及图像合成模块400。

原始图像获取模块100用于同时获取两张相同视角的原始图像，其中，一张为锁定曝光的图像，另一张为不锁定曝光的图像；hdr预处理模块200用于以锁定曝光的图像作为基准，对同时获取的两张原始图像进行hdr处理，得到hdr处理结果图；曝光补偿模块300用于基于前一帧的全景临时结果图，对当前帧图像的hdr处理结果图进行曝光补偿；图像合成模块400用于将前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图。

上述原始图像获取模块100还用于控制两个相同视角的摄像头同时获取图像，其中一个摄像头锁定曝光，另一个摄像头不锁定曝光。

进一步地，曝光补偿模块300包括相对运动参数获取单元310、重叠区域计算单元320以及曝光补偿单元330。相对运动参数获取单元310用于获取前后两帧图像之间的相对运动参数；重叠区域计算单元320用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的重叠区域；曝光补偿单元330用于计算两个图像上的重叠区域的灰度值，根据灰度值的计算结果对当前帧图像的hdr处理结果图进行曝光补偿。

更进一步地，相对运动参数获取单元310采用光流算法，计算前后两帧图像之间的平移运动参数；或获取图像采集设备的旋转角速度数据和单帧图像的视角数据，根据旋转角速度数据和单帧图像的视角数据计算前后两帧图像之间的平移运动参数。

重叠区域计算单元320具体用于根据前后两帧图像之间的相对运动参数，计算当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的粗略重叠区域；重叠区域计算单元还用于基于得到的粗略重叠区域，利用块匹配算法，计算两张图像之间的对齐平移运动参数，以得到当前帧图像的hdr处理结果图和前一帧的全景临时结果图之间的精确重叠区域。

曝光补偿单元330具体用于分别计算两个重叠区域的像素灰度值的累加和a1和a2，a1为当前帧图像的hdr处理结果图在重叠区域的像素灰度值的累加和，a2为前一帧的全景临时结果图在重叠区域的像素灰度值的累加和；计算亮度补偿值a，a＝a2/a1，对当前帧图像的hdr处理结果图的亮度值乘以a。

作为一种可实施方式，图像合成模块400用于在当前帧图像的hdr处理结果图和前一帧的全景临时结果图的重叠区域，查找一条灰度值差异累加和最小的路径，沿着这条路径对前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果进行线性融合，合成新的全景临时结果图。

基于同一发明构思，本发明实施例三提供了一种快速扫描式全景图图像合成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一中任一实施方式所述方法的步骤。

进一步地，所述快速扫描式全景图图像合成装置还包括两个摄像头，两个所述摄像头与所述处理器连接；两个所述摄像头在采集原始图像时视角相同，一个摄像头锁定曝光，另一个摄像头不锁定曝光。

基于同一发明构思，本发明实施例四提供了一种快速扫描式全景图图像合成装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一中任一实施方式所述方法的步骤。

上述实施例提供的快速扫描式全景图图像合成方法及装置，以锁定曝光的摄像头获取的图像为hdr算法的基准图像，进行hdr处理，以保持相邻帧的hdr处理结果图的亮度一致性。从而克服传统的hdr算法根据一个评判标准，选定其中一张输入图像作为基准图像，从而导致相邻帧的hdr结果图的亮度无法保持一致的缺陷。进一步地，在图像融合之前对hdr处理结果图进行曝光补偿，以减小hdr处理产生的亮度差异。最后根据前一帧的全景临时结果图和曝光补偿后的当前帧图像的hdr处理结果图进行图像融合，以合成新的全景临时结果图，直至得到最终合成的全景图。

本发明的关键点在于将锁定曝光的原始图像作为基准图像进行hdr预处理，得到hdr处理结果图；进而将hdr处理结果图作为输入图去合成全景图像，并且在后续的图像融合之前对输入图进行光补偿，以减小hdr处理产生的亮度差异。利用本发明可以对原先图像中的过曝区域和欠曝区域丢失的细节进行有效恢复，从而避免由于锁定曝光而引起的全景图结果丢失图像细节的问题。

进一步地，本发明提供的快速扫描式全景图图像合成方法及装置，还可以应用于合成曝光稳定的视频。通常手机摄像头自带的视频软件是不锁定曝光的，录制时会发生亮度变化剧烈的现象。使用本发明提供的技术方案，可以用锁定曝光的图像作为基准图像，和同时获取的不锁定曝光的图像通过hdr算法合成，将合成的结果编码得到曝光稳定的视频，并且保留住图像细节。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。