全景立体图像的合成方法、装置及其移动终端与流程

本发明涉及图像处理技术领域，尤其涉及一种全景立体图像的合成方法、装置及其移动终端。

背景技术：

图像是由照相机、摄像机等成像设备捕捉实际的画面而产生的图形或影像。

随着人们对于图像的要求越来越高，通常希望看到全景图像或者立体图像，全景图像是指图像可以达到符合双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余视角(大约水平180度，垂直90度)以上，乃至360度完整视角范围所拍摄出的图像，立体图像是指具有两个带有位置差的画面代表左右双眼观看的内容，利用左右眼视差让观察人产生带有深度感觉效果的图像。

而尽管随着成像设备的发展，具有大视角的镜头，例如广角镜头、鱼眼镜头等得到广泛应用，可以实现超大视角的拍摄，但是仍不能拍摄出全景图像，需要采用图像合成的方式来形成。

由于现有三维显示设备的局限，用户不能很方便体验到通过二维摄像所见即所得的效果，导致二维图像合成立体图像的技术并没有得到广泛的应用。但随着虚拟现实、增强现实以及裸眼三维技术的成熟及普及，人们对二维图像合成立体图像的需求会大大增加。

发明人在研究中发现，现有技术中并没有一种有效的图像合成技术，能够形成全景且立体的图像，以满足用户的需求。

技术实现要素：

本发明提供一种全景立体图像合成方法，可以合成不同视角的立体 图像，以实现全景立体图像，满足用户需求。在第一方面，本发明提供一种全景立体图像的合成方法，包括：获取图像信息，所述图像信息为一组多帧连续图像；

从所述多帧连续图像中，分别抽取满足预定帧间隔的两帧图像；

分别将抽取的所述两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像。

在第二方面，本发明还提供一种全景立体图像合成装置，其特征在于，包括：

获取单元，用于获取图像信息，所述图像信息为一组多帧连续图像；

抽取单元，用于从所述多帧连续图像中，分别抽取满足预定帧间隔的两帧图像；

合成单元，用于分别将抽取的所述两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像。

在第三方面，本发明又提供一种移动终端，包括：

中央处理器，用于获取图像信息，所述图像信息为一组多帧连续图像；从所述多帧连续图像中，分别抽取满足预定帧间隔的两帧图像，以及分别将抽取的所述两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像；

显示屏幕，用于显示所述多帧立体图像。

在本发明实施例中，通过获取一组多帧连续图像；并从所述多帧连续图像中分别抽取满足预定帧间隔的两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像，解决了现有技术中没有一种有效的图像合成技术，填补了现有技术的空白。实现了全景立体图像合成，满足了用户对全景立体图像的观看需求。

附图说明

图1为本发明实施例一种全景立体图像的合成方法流程示意图；

图2为本发明实施例沿水平方向的移动拍摄俯视示意图；

图3为本发明实施例以拍摄对象为圆心的圆周移动拍摄俯视示意图；

图4为本发明实施例根据人眼位置信息显示多帧立体图像流程示意图；

图5为本发明实施例根据旋转角度信息显示多帧立体图像流程示意图；

图6为本发明实施例一种全景立体图像合成装置示意图；

图7为本发明实施例一种移动终端示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

下面对本发明实施例的全景立体图像的合成方法进行简要描述。在本发明实施例中，通过高速连拍或视频拍摄获得一组多帧连续图像，从多帧连续图像中分别抽取满足预定帧间隔的两帧图像。其中，多帧连续图像中存在多组满足预定帧间隔的两帧图像，比如，如果预定帧间隔为3,则第1帧与第4帧图像为一组，第2帧与第5帧图像为一组，依此类推。将多帧连续图像中满足预定帧间隔的两帧图像分别进行立体图像合成，从而获得一组不同视角的多帧立体图像。

在本发明实施例中，为了确定帧间隔，比如，可以把拍照或录制视频时的旋转角度和移动速度保存到每一张照片或每一帧视频的文件头信息里,然后通过每一张照片或每一帧视频文件头信息里记录的旋转角度及速度来确定帧间隔。在本发明实施例中，速度越大应取的帧间隔越小；角度越大应取的帧间隔越小；速度越大而且角度越大应取的帧间隔也越小。同时，为了方便用户观看全景立体图像，在观看合成的立体图 像时，根据观看者观看屏幕的视角、或根据屏幕的旋转角度呈现立体图像，从而实现全景立体图像显示。

下面结合附图对本发明实施例作进一步阐述。

图1为本发明实施例一种全景立体图像的合成方法流程示意图，如图1所示，本发明实施例的方法，包括以下步骤：

S11,获取图像信息，所述图像信息为一组多帧连续图像；

在本发明实施例中，为了准确记录多帧图像信息中每一帧的移动情况，可以记录每一帧图像的移动角度和速度，因此，图像信息可以包含每一帧的移动角度和速度，所述角度和速度记录在每一帧图像的文件头信息中。

在本发明实施例中，图像信息中包括的移动角度和速度可以均为匀速移动，也可以是变速移动，如图2，图3所示为俯视拍摄过程示意图，其中，图2为沿水平方向的移动拍摄俯视示意图，在图2中照相系统正对拍摄场景从左到右(水平方向)做匀速或变速平移运动，图3为以拍摄对象为圆心的圆周移动拍摄俯视示意图，在图3中照相系统围绕拍摄物体作匀速或变速圆周运动。在移动过程中，照相系统快速连拍或视频录像，从而获得一组连续多帧图像，比如，Img_1,Img_2,….Img_N1,Img_N1+1…。

获得一组多帧连续图像，可以采用以下两种方式：

第一种方式：如果用户开始获取图像帧后手持设备，比如手机，一直保持匀速匀角度的操作，可以采用延迟拍摄的方式,等用户操作一定时间(1-2秒)后,取得手持设备的移动角度和加速度,并通过加速度可以得到速度，用这些参数决定单位时间内拍摄照片的数量或视频图像帧的数量：当手持设备角度和速度越大时，拍摄越多的图像帧，以获得更好的立体图像；当手持设备角度和速度越小时，获取较少的图像帧，以减少重复数据处理量。

在本发明实施例中，通过以下两种实现情况判断手持设备是否为匀 速运动:第一种是利用加速度传感器，并结合重力传感器来判断，如果加速度传感器显示没有加速度，但是重力传感器显示有移动，说明就是匀速运动；第二种就是利用间隔一定时间获得的图像数据，比较相邻两个图像数据的区别，然后根据区别的大小来判断手机是否在做匀速运动。匀角度可以通过间隔一定时间得到陀螺仪的角度，如果大部分角度一样，就说明手机是匀角度的。

第二种方式：在自动连拍或录制视频之前，除通过设置模块可以设置单位时间内连拍图像的数量参数外，还可以同时设定手机角度和手机加速度等参数，从而实现单位场景角度内拍摄的图像的数量或图像帧的数量是相等的，保障后续合成立体照片后，查看立体照片时，立体照片画面效果的一致性。此外，由于单位角度内的图像数量或图像帧的数量是相等的，可以避免在某一角度时，由于拍摄或录制视频时间过长，导致数据量较大，从而导致立体图像合成处理时间过长的问题。

S13,从所述多帧连续图像中，分别抽取满足预定帧间隔的两帧图像，并分别将所抽取的两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像。

在本发明实施例中，为了合成立体图像，可以从获取的多帧连续图像中抽取满足预定帧间隔的两帧图像，比如，Img_i和Img_i+n作为有一定视差的左右图，以用于合成立体图像，其中，i从1开始，i为自然数，n为设定的间隔数，此间隔数可以根据下述两种方式来确定：

(1)如果用户开始获取图像帧后手持设备一直保持匀速匀角度的操作(即第一种方式),就可以遵守公式：帧间隔＝(总帧数/(角度*速度))/Ω决定抽取帧数的间隔，其中，所述总帧数为所述图像信息中多帧连续图像的数量，所述Ω为测试所得的帧间隔经验值。此间隔保持不变，即多帧连续图像中只要满足此帧间隔的两帧图像即可以两两组合，用来合成立体图像。

(2)如果是用上述第二种方式获得的图像帧，可以用第1图像帧 分别和第2图像帧到第N图像帧合成立体图像，将合成图像质量最优的组合作为抽取帧的间隔，此间隔保持不变，比如，假设第1图像帧与第10图像帧合成的立体图像质量最优，则帧间隔即为9，而且，多帧连续图像中的其他帧之间也按此帧间隔确定用来合成立体图像的两帧图像。

在本发明实施例中，将多帧连续图像中的满足上述方式确定的帧间隔的两帧图像进行立体图像合成，比如，将照片Img_i和Img_i+n合成立体图，Img_i+1和Img_i+n+1合成立体图像，依此类推，将所有满足帧间隔的两帧图像合成立体图像，这样就可以获得一组不同视角的多帧立体图像比如，Img3d_1,Img3d_2…Img3d_N。

可选地，在本发明实施例中，还包括：

S15，对所述立体图像在垂直方向上作运动补偿。

在本发明实施例中，获取图像过程中，由于存在垂直方向(Y轴方向)的不稳定，会使得所获取的多帧图像(Img_1,Img_2,….Img_N1,Img_N1+1…)产生上下移动，立体图像合成过程中图像拼接也会引入图像的上下移动。因此，在显示合成的立体图像时，可以对上述多帧立体图像垂直方向(Y轴方向)作运动补偿，从而消除连续呈现多帧立体图像时图像抖动的问题，具体可以采用已有图像拼接的算法，比如，panaroma算法来调节相邻的立体图像的像素点的位置，从而消除图像抖动的技术缺陷。

可选地，在本发明实施例中，还包括：

S17，显示所述多帧立体图像。

在本发明实施例中，可以分两种方式来显示多帧立体图像，分别是根据人眼位置或旋转角度信息来确定多帧立体图像中显示哪帧立体图像。

在本发明实施例中，图4为根据人眼位置信息显示多帧立体图像流程示意图，如图4所示，具体包括以下步骤：

S41，获取人眼相对于显示所述多帧立体图像的显示屏幕的位置信 息。

在本发明实施例中，获取被跟踪对象人眼位置信息，也是即是通过摄像头拍摄被跟踪人眼，获取被跟踪对象眼睛相对显示所述多帧立体图像的显示屏幕的位置信息。其中，当显示屏幕前面存在多个用户时，可以从摄像头跟踪的不同位置中选择合适的人眼，比如，当显示屏幕前面的左、中、右位置分别存在不同的人眼，则可以根据预先的设置规则，选择显示屏幕前面中间位置的人眼作为确定显示多帧立体图像的人眼位置。

S42,根据所述人眼位置信息确定所述多帧立体图像中显示的特定立体图像。

在本发明实施例中，可以根据该人眼位置信息计算出显示哪张图片；例如：如果观察者两眼连线的中间点位于显示屏幕中间，那么显示的是多帧立体图像中中间时刻拍摄的图像所合成的立体图像。当人眼位置位于显示屏幕左边的时侯，显示出比中间时刻更早拍摄的图片所合成的立体图像，当人眼位置从中间位置转向显示屏幕右边的时侯，显示出中间时刻以后拍摄的图片所合成的立体图像。

在本发明实施例中，图5为根据旋转角度信息显示多帧立体图像流程示意图，如图5所示，具体包括以下步骤：

S51,获取显示所述多帧立体图像的显示屏幕的旋转角度信息.

在本发明实施例中，获取显示所述多帧立体图像的显示屏幕旋转角度信息，可以通过陀螺仪传感器X轴角速度及旋转的时间来得到显示屏旋转的角度信息，其中，可以以开始显示立体图像为初始状态，再根据陀螺仪的角速度信息计算出显示屏幕绕X轴方向转过的角度及方向。

S52,根据所述旋转角度信息确定所述多帧立体图像中显示的特定立体图像。

在本发明实施例中，可以根据旋转角度信息来读取多帧图像中的立体图像并显示。比如，如果所获取的图像从左到右方向来拍摄的，所拍 摄的图像合成的立体图像包手Img3D_1，Img3D_2，Img3D_3，Img3D_4…Img3D_N的N张图片，Img3D_1为在最左边位置所拍摄的图像所合成的立体图像，Img3D_N为在最右边位置所拍摄的图像所合成的立体图像。在初始状态时显示为第N/2张，也即是拍摄过程的中间时刻图像。如果顺时针转动，显示出比中间时刻更早拍摄的图片，转过的角度越大，显示拍摄的时间越早的图片。如果逆时针转动，显示出比中间时刻更晚拍摄的图片，转过的角度越大，显示拍摄的时间越晚的图片。为了所显的速度能适应人眼要求，不能刷屏太快，如果图片的张数较多，可以作角速度分级的分析，如果角速度较慢为1级，每张都显示。如果速度较快为2级，每隔1张显示，如果角速度更快为3级，每隔2张显示。

需要说明的是，在本发明实施例中，在显示多帧立体图像时，如果同时存在人眼及旋转角度信息，可以设置优先级以避免冲突，比如，旋转角度信息优先级高于人眼位置信息，则可以根据旋转角度信息来确定多帧立体图像中显示的特定立体图像。

需要说明的是，在本发明实施例中，利用两帧图像合成立体图像、运动补偿算法以及人眼跟踪算法均可以采用现有技术中的算法，本发明不作限定。

在本发明实施例中，通过获取一组多帧连续图像；并从多帧连续图像中，分别抽取满足预定帧间隔的两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像，解决了现有技术中没有一种有效的图像合成技术，填补了现有技术的空白。实现了全景立体图像合成，满足了用户对全景立体图像的观看需求，而且，通过运动补偿以消除呈现立体图像时的图像抖动，同时，可以根据人眼位置或旋转角度信息进行全景立体图像的显示，进一步提升了用户体验。

图6为本发明实施例一种全景立体图像合成装置示意图，如图6所示，包括：

获取单元61，用于获取图像信息，所述图像信息为一组多帧连续图像；

抽取单元62，用于从所述多帧连续图像中分别抽取满足预定帧间隔的两帧图像，

合成单元63，用于分别将抽取的所述两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像。

在本发明实施例中，所述图像信息包含每一帧图像的移动角度和速度，所述角度和速度记录在每一帧图像的文件头信息中。

在本发明实施例中，抽取单元63，具体用于：从获取的多帧连续图像中抽取满足预定帧间隔的两帧图像，其中，预定帧间隔根据以下两种方式来确定：

(1)如果用户开始获取图像帧后手持设备一直保持匀速匀角度的操作(即第一种方式),就可以遵守公式：帧间隔＝(总帧数/(角度*速度))/Ω决定抽取帧数的间隔，其中，所述总帧数为所述图像信息中多帧连续图像的数量，所述Ω为测试所得的帧间隔经验值。

此间隔保持不变，即多帧连续图像中只要满足此帧间隔的两帧图像即可以两两组合，用来合成立体图像。

(2)可以用第1帧图像分别和2到N帧合成立体图像，将合成图像质量最优组合作为抽取帧的间隔，此间隔保持不变，比如，假设第1帧图像与第10帧图像合成的立体图像质量最优，则帧间隔即为9，而且，多帧连续图像中的其他帧之间也按此帧间隔确定用来合成立体图像的两帧图像。

在本发明实施例中，所述装置，还包括：

运动补偿单元64，用于对所述立体图像在垂直方向上作运动补偿，以消除呈现所述立体图像时的图像抖动。

在本发明实施例中，获取多帧图像过程中会产生上下移动，而且，在立体图像合成过程中，图像拼接也会引入图像的上下移动。因此，在 显示合成的立体图像时，可以对上述多帧立体图像垂直方向(Y轴方向)作运动补偿，以消除连续呈现多帧立体图像时图像抖动。

在本发明实施例中，所述装置，还包括：

显示单元65，用于显示所述多帧立体图像。

在本发明实施例中，为了方便用户观看合成的不同视角的多帧立体图像，实现全景立体图像观看效果，可以通过显示单元65呈现给用户。

为了方便给用户呈现不同视角下的立体图像，在本发明实施例中，所述装置，还包括：

人眼位置获取单元66，用于获取人眼相对于显示所述多帧立体图像的显示屏幕的位置信息，和/或，

角度信息获取单元67，用于获取显示所述多帧立体图像的显示屏幕的旋转角度信息，

显示图像确定单元68，用于根据所述人眼位置信息或所述旋转角度信息，确定所述多帧立体图像中显示的特定立体图像。

在本发明实施例中，人眼位置获取单元66可以通过摄像头拍摄跟踪人眼，同时，利用裸眼跟踪算法确定人眼相对于显示屏幕的位置信息。而且，当显示屏幕前面存在多个用户时，可以从摄像头跟踪的不同位置中选择合适的人眼，比如，当显示屏幕前面的左、中、右位置分别存在不同的人眼，则可以根据预先的设置规则，选择显示屏幕前面中间位置的人眼作为确定显示多帧立体图像的人眼位置。

在本发明实施例中，角度信息获取单元67可以通过显示屏幕上的陀螺仪感应器获取显示屏幕的旋转角度信息。

在本发明实施例中，人眼位置获取单元66及角度信息获取单元67可以同时存在，也可以只存在其中任意一个单元，当两者同时存在时，为避免显示图像确定单元68在确定显示所述多帧立体图像中的具体立体图像时可能产生的冲突，可以设置优先级，比如，优先根据人眼位置确定，当然，也可以优先根据旋转角度来确定。

需要说明的是，本发明实施例中的全景立体图像合成装置中各个单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，方法实施例中的具体内容同样适用。本发明实施例中的各个单元可以作为单独的硬件或软件来实现，并且可以根据需要使用单独的硬件或软件来实现各个单元的功能的组合。

需要说明的是，在本发明实施例中，利用两帧图像合成立体图像、运动补偿算法以及人眼跟踪算法均可以采用现有技术中的算法，本发明不作限定。

在本发明实施例中，通过获取一组多帧连续图像；并从多帧连续图像中，分别抽取满足预定帧间隔的两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像，实现了全景立体图像合成，满足了用户对全景立体图像的观看需求，而且，通过运动补偿以消除呈现立体图像时的图像抖动，同时，可以根据人眼位置或旋转角度信息进行全景立体图像的显示，进一步提升了用户体验。

图7为本发明实施例一种移动终端示意图，包括：中央处理器71及显示屏幕73，其中：

中央处理器71，用于获取图像信息，所述图像信息为一组多帧连续图像；从多帧连续图像中，分别抽取满足预定帧间隔的两帧图像，以及分别将抽取的所述两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像；

显示屏幕73，用于显示所述多帧立体图像。

本发明实施例中，处理器所执行的上述操作可以以一段程序的形式存储在存储器中，当需要执行上述操作时，将该段程序调入处理器执行处理。

在本发明所有实施例中，移动终端可以包括诸如PDA、平板电脑、MP4、智能手机，电纸书等便携式移动电子设备。

在本发明实施例中，通过获取一组多帧连续图像；并从多帧连续图 像中，分别抽取满足预定帧间隔的两帧图像进行立体图像合成，以获得一组不同视角的多帧立体图像，实现了全景立体图像合成，满足了用户对全景立体图像的观看需求，而且，通过运动补偿以消除呈现立体图像时的图像抖动，同时，可以根据人眼位置或旋转角度信息进行全景立体图像的显示，进一步提升了用户体验。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。