本公开涉及图像处理装置、图像处理方法、图像处理程序和存储介质。
背景技术：
在专利文献1中记载了图像处理装置。该装置为了去除动态图像拍摄时的抖动等的影响，决定应从所拍摄的帧图像中切出的适当切出区域。该装置检测表示帧图像与基准帧图像(例如上次输入的帧图像)之间的偏差程度的运动数据，与检测出的运动数据对应地使切出区域移动或者变形，由此，进行校正以使切出区域相对于照相机的运动静止。但是，在专利文献1所记载的装置中，在切出区域包含帧图像与基准帧图像重叠的帧区域以外的区域的情况下，在抖动校正后的图像中有可能存在不包含像素信息的区域。
在专利文献2中记载了在原来的切出区域包含上述帧区域以外的区域的情况下将切出区域限制在上述帧区域内的装置。在切出区域从帧区域超出的情况下，该装置强制地使切出区域移动到帧区域内。
现有技术文献
专利文献
专利文献1：日本特开2007-226643号公报
专利文献2：美国特许申请公开第2013/0235221号说明书
技术实现要素：
发明要解决的课题
但是，专利文献2所记载的装置在限制抖动校正功能的方向上发挥作用，因此，有可能无法发挥充分的抖动校正功能。
作为另一方法，考虑通过根据其它图像对上述帧区域以外的区域的图像信息进行增补，实现抖动校正。例如，使用帧图像的前后的多张帧图像，对上述帧区域以外的区域的图像信息进行增补。具体而言，考虑从多张帧图像的运动信息等收集上述帧区域以外的区域的图像信息并进行平均，推测上述帧区域以外的区域的图像信息。但是，这样的方法需要处理多张帧图像，因此，运算成本非常大，无法作为组装到便携终端等中的软件来利用。
在本技术领域中，正期待抑制运算成本并发挥抖动校正功能。
用于解决课题的手段
本公开的一个方面是进行由拍摄装置拍摄的帧图像的抖动校正的图像处理装置。该装置具有取得部、图像生成部和切出部。取得部取得多个帧图像。图像生成部将由取得部取得的多个帧图像中的第一帧图像与作为第一帧图像的前后几帧中的任意一个帧图像的第二帧图像连接起来，生成比第一帧图像和第二帧图像的大小大的合成图像。切出部在合成图像中设定切出区域，将切出区域内的图像作为输出帧图像输出。
该装置通过将第一帧图像和第二帧图像连接起来，生成合成图像。因此，与图像处理装置使用多张帧图像对帧区域以外的区域的图像信息进行增补的情况相比，能够抑制用于生成合成图像的运算成本。而且，在比第一帧图像和第二帧图像大的合成图像中设定切出区域。由此，无需将可设定切出区域的区域限制在第一帧区域内，因此，增加了能够充分地发挥抖动校正功能的机会。这样，根据本公开的一个方面，能够抑制运算成本并发挥抖动校正功能。
在一个实施方式中，切出部能够在第一帧图像中设定切出区域。这时，图像生成部也可以在无法由切出部在第一帧图像内设定切出区域的情况下生成合成图像。此外，在能够由切出部在第一帧图像内设定切出区域的情况下，图像生成部可以不生成合成图像。该图像生成装置在无需扩大能够设定切出区域的区域时不生成合成图像，因此能够进一步降低运算成本。
在一个实施方式中，也可以是，图像生成部从由第一帧图像的前后几帧构成的帧组中选择与第一帧图像连接的第二帧图像。在该情况下，图像生成装置能够从多个候选中选择第二帧图像。
在一个实施方式中，也可以是，取得部从动态图像或者超延时(hyperlapse)动态图像中取得帧图像。在一个实施方式中，也可以是，取得部从拍摄装置取得帧图像。
在一个实施方式中，也可以是，切出部与拍摄装置的运动对应地设定切出区域的位置。由此，图像处理装置能够消除拍摄装置的运动。
在一个实施方式中，也可以是，图像生成部限定第一帧图像与第二帧图像之间的接缝的位置的搜索范围。由此，图像处理装置能够抑制运算成本。
在一个实施方式中，也可以是，图像处理装置还具有倍率取得部，该倍率取得部取得第一帧图像相对于第二帧图像的放大的倍率、缩小的倍率和被摄体的显示倍率中的至少一个，在该情况下，在由倍率取得部取得的倍率的每单位时间的变化量为阈值以上的情况下，图像生成部不生成合成图像。这样，在预料到合成图像的运算成本变大的情况下，图像处理装置不生成合成图像，由此，能够避免响应性能的下降。
在一个实施方式中，也可以是，图像处理装置还具有识别部，该识别部识别第一帧图像或者第二帧图像的被摄体的大小。在该情况下，在由识别部识别出的被摄体的大小为阈值以上的情况下，图像生成部不生成合成图像。这样，在预料到合成图像为不自然的图像的情况下，图像处理装置不生成合成图像，由此，能够避免图像品质的下降。
本公开的其它方面是进行由拍摄装置拍摄的帧图像的抖动校正的图像处理方法。该方法具有取得步骤、图像生成步骤和切出步骤。在取得步骤中，取得多个帧图像。在图像生成步骤中，将通过取得步骤取得的多个帧图像中的第一帧图像与作为第一帧图像的前后几帧中的任意一个帧图像的第二帧图像连接起来，生成比第一帧图像和第二帧图像的大小大的合成图像。在切出步骤中，在合成图像内设定切出区域，将切出区域内的图像作为输出帧图像输出。
本公开的其它方面是进行由拍摄装置拍摄的帧图像的抖动校正的图像处理程序。该程序使计算机作为取得部、图像生成部和切出部发挥功能。取得部取得多个帧图像。图像生成部将由取得部取得的多个帧图像中的第一帧图像与作为第一帧图像的前后几帧中的任意一个帧图像的第二帧图像连接起来，生成比第一帧图像和第二帧图像的大小大的合成图像。切出部在合成图像中设定切出区域，将切出区域内的图像作为输出帧图像输出。
本公开的其它方面是存储有进行由拍摄装置拍摄的帧图像的抖动校正的图像处理程序的存储介质。该程序使计算机作为取得部、图像生成部和切出部发挥功能。取得部取得多个帧图像。图像生成部将由取得部取得的多个帧图像中的第一帧图像与作为第一帧图像的前后几帧中的任意一个帧图像的第二帧图像连接起来，生成比第一帧图像和第二帧图像的大小大的合成图像。切出部在合成图像中设定切出区域，将切出区域内的图像作为输出帧图像输出。
根据图像处理方法、图像处理程序和存储介质，实现与一个方面的图像处理装置相同的效果。
本公开的其它方面是进行由拍摄装置拍摄的帧图像的抖动校正的图像处理装置。该装置具有取得部、图像生成部和切出部。取得部取得多个帧图像。切出部在由取得部取得的多个帧图像中设定切出区域，将切出区域内的图像作为输出帧图像输出。而且，取得部从动态图像或者超延时动态图像中取得帧图像。切出部在使用按照每个帧图像进行层级化的树结构进行搜索时，限制树结构的搜索范围来进行照相机工作的搜索，按照抵消运动数据中的除了搜索到的照相机工作以外的成分的方式在帧图像中设定切出区域。
该装置在使用树结构来进行搜索时，进行限制了属于各父节点的子节点的数量、存在于相同深度处的节点的数量等的计算。由此，该装置能够减少运算成本。
发明效果
根据本公开的各种方面，能够抑制运算成本并发挥抖动校正功能。
附图说明
图1是切出区域从输入帧图像突出的例子。
图2是通过将两张输入帧图像缝合起来而对切出区域的缺失区域进行了增补的例子。
图3是具有第一实施方式的图像处理装置的便携终端的功能框图。
图4是便携终端的硬件结构图。
图5是说明切出区域的位置与拍摄装置的移动方向的关系的图。
图6是说明切出区域的突出的图。
图7是说明使用了两张输入帧图像的切出区域的增补的图。
图8是说明两张输入帧图像的接缝的图。
图9是说明缺失区域的种类的图。
图10是说明接缝的搜索范围、搜索开始位置和搜索结束位置的图。
图11是第一实施方式的图像处理装置的输出帧图像的生成处理的流程图。
图12是第二实施方式的图像处理装置的便携终端的功能框图。
图13是说明照相机工作的搜索的图。
图14是说明照相机工作的搜索的图。
图15是说明照相机工作的搜索的图。
图16是说明照相机工作的搜索的图。
图17是第三实施方式的图像处理装置的便携终端的功能框图。
图18是第三实施方式的图像处理装置的输出帧图像的生成处理的流程图。
图19是第四实施方式的图像处理装置的便携终端的功能框图。
图20是第四实施方式的图像处理装置的输出帧图像的生成处理的流程图。
具体实施方式
以下，参照附图说明本公开的一个实施方式。在以下的说明中，对相同的部件或者结构要素标注相同的标号。这些结构要素的名称和功能相同。因此，不重复这些结构要素的详细说明。
[技术思想]
已知有使由拍摄装置拍摄的影像或者图像稳定的电子式稳定器。在电子式稳定器中，通过切取输入帧图像以消除抖动，可获得稳定的输出帧图像。但是，在切出区域未收敛于输入帧图像内的情况下，输出帧图像包含未定义有像素信息的区域(缺失区域)。图1是切出区域ki从输入帧图像fiin突出的例子。如图1所示，在输入帧图像fiin中设定切出区域ki。切出区域ki内的图像为输出帧图像。在切出区域ki从输入帧图像fiin突出的情况下，输出帧图像包含未定义有像素信息的缺失区域di。另外，“i”是表示输入顺序等的编号，是整数。
在图1中，在切出区域ki的大小较小的情况下，可减少切出区域ki包含缺失区域di的可能性。因此，带来了良好的影像的稳定化。但是，伴随切出区域ki的大小变小，输出帧图像的有效视场角变窄。因此，仅通过如减小切出区域ki的大小的方法，难以兼顾画质和影像的稳定化。
作为对缺失区域di的像素信息进行增补的方法，考虑通过使用许多个帧图像进行复杂的计算来对缺失区域di的像素信息进行增补的方法。但是，作为组装到智能手机等便携终端中的系统，存在计算成本过高的课题。在本公开中，提出电子式稳定器的新方法。本公开的方法例如将2个相邻的帧图像缝合起来。图2是通过将两张输入帧图像缝合起来而对切出区域ki的缺失区域di进行了增补的例子。如图2所示，通过沿着接缝200将输入帧图像fiin和紧前面输入的输入帧图像fi-1in缝合起来，生成比输入帧图像fiin和输入帧图像fi-1in大的合成图像(多边形)。通过沿着最佳的接缝200将两张帧图像连接起来，视场角有效地变大，并且，能够利用实际的处理时间来缓和合成图像的不自然。而且，通过从该合成图像切出输出帧图像，能够以较低的运算成本实现画质和影像的稳定化的兼顾。
[第一实施方式]
本实施方式的图像处理装置是进行由拍摄装置拍摄的帧图像的抖动校正的装置。图像处理装置例如被用于多个图像的连续拍摄和动态图像拍摄。图像处理装置能够被搭载到例如移动电话、智能手机、数字照相机、pda(personaldigitalassist：个人数字助理)等资源存在限制的移动终端。但是，图像处理装置不是必须搭载到这些设备，也可以被搭载到例如通常的计算机系统。
[装置结构]
图3是具有本实施方式的图像处理装置1的便携终端2的功能框图。图3所示的便携终端2例如是由用户携带的移动终端，具有图4所示的硬件结构。图4是便携终端2的硬件结构图。如图4所示，便携终端2在物理上构成为通常的计算机系统，其包含cpu(centralprocessingunit：中央处理器)100、rom(readonlymemory：只读存储器)101以及ram(randomaccessmemory：随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105。通过在cpu101、rom101、ram102等硬件上读入规定的计算机软件，实现后述的便携终端2和图像处理装置1的各功能。具体而言，根据cpu100的控制使输入设备103和输出设备104动作，并且进行主存储装置或辅助存储装置105中的数据的读出和写入，由此实现后述的便携终端2和图像处理装置1的各功能。另外，在上述说明中，作为便携终端2的硬件结构进行了说明，但是图像处理装置1也可以构成为包含cpu100、rom101和ram102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。此外，便携终端2也可以具有通信模块等。
如图3所示，便携终端2具有拍摄装置21、图像处理装置1和显示控制部22。拍摄装置21是拍摄按照时间序列连续的帧图像的装置。作为拍摄装置21的一例，存在拍摄动态图像的照相机等。动态图像包含按照时间序列连续的帧图像。另外，拍摄装置21可以具有从通过用户操作等而指定的时刻起以规定的间隔重复拍摄图像的连续摄像功能。作为一例，拍摄装置21在可供图像处理装置1参照的存储部中存储帧图像。
图像处理装置1通过输入由拍摄装置21获得的帧图像并进行处理，生成输出帧图像。帧图像包含像素值。像素值是与像素对应的信息，例如包含亮度值、色差值、饱和度等。图像处理装置1例如具有取得部11、运动数据计算部12、切出部13和图像生成部14。
取得部11取得多个帧图像。取得部11通过由cpu100执行主存储装置或辅助存储装置105内的程序并依照该程序控制输入设备103而实现。作为一例，取得部11从拍摄装置21取得多个帧图像，作为多个输入帧图像。
运动数据计算部12计算帧图像间的运动。运动数据计算部12通过由cpu100执行主存储装置或辅助存储装置105内的程序而实现。运动数据计算部12将由取得部11取得的输入帧图像间的坐标对应起来。运动数据计算部12可以计算输入帧图像间的差分，将帧图像间的坐标对应起来，也可以计算帧图像间的原点的位置变化，将帧图像间的坐标对应起来。或者，图像处理装置1可以具有陀螺仪传感器，运动数据计算部12使用陀螺仪传感器的检测结果，来取得对象帧图像与前后帧图像之间的运动。在使用陀螺仪传感器的检测结果的情况下，与使用仅帧图像的数据的情况相比，鲁棒性优异。
在使用帧图像间的差分的情况下，运动数据计算部12例如采用金字塔图像方法。在该情况下，首先，运动数据计算部12进行使帧图像间的差分的绝对值之和为最小的块匹配，单独地追踪被稀疏地选择出的harris-stephens的特征点。这时，运动数据计算部12使用被转换到低层后的帧图像来决定用于各块匹配的初始向量。而且，运动数据计算部12使用最小二乗法来计算相邻的两个帧图像间的透视转换。通过透视转换，将两个帧图像间的坐标对应起来。
切出部13在第一帧图像或者后述的合成图像中设定切出区域，将切出区域内的图像作为输出帧图像输出。切出部13通过由cpu100执行主存储装置或辅助存储装置105内的程序而实现。
切出部13能够根据拍摄装置21的运动设定切出区域ki的位置。切出部13例如根据由运动数据计算部12计算出的输入帧图像间的运动设定切出区域ki的位置。而且，切出部13将切出区域内的图像作为输出帧图像输出。图5是说明切出区域ki的位置与拍摄装置21的移动方向之间的关系的图。在图5的状态(a)、(b)下，设由拍摄装置21连续拍摄的输入帧图像为fi-1in、fiin、其中心位置为cfi-1、cfi。这里，切出部13设定比输入帧图像fi-1in小的大小的切出区域ki-1。例如，切出区域ki-1的大小为输入帧图像fi-1in的大小的70～90％。该切出区域ki-1为输出帧图像。接着，假设拍摄装置21从状态(a)所示的拍摄位置变化到状态(b)所示的拍摄位置(向图5的状态(b)的虚线箭头所示的右上方向的移位)。在该情况下，可获得比输入帧图像fi-1in向右上移位后的输入帧图像fiin。这里，切出部13在抵消输入帧图像fi-1in与输入帧图像fiin之间的运动的位置处，设定切出区域ki(向图5的状态(b)的虚线箭头所示的左下方向的移位)。由此，切出区域ki-1的中心位置cri-1和cri成为大致相同的位置，故而生成犹如静止般的输出帧图像。
在由运动数据计算部12计算出的输入帧图像间的运动较大的情况下，切出区域ki有时从输入帧图像fiin突出。图6是说明切出区域ki的突出的图。如图6所示，在由运动数据计算部12计算出的输入帧图像间的运动较大的情况下，在抵消输入帧图像间的运动的位置处所设定的切出区域ki包含比输入帧图像fiin的边缘靠外侧的区域。在比输入帧图像fiin的边缘靠外侧的区域中未定义有像素信息。因此，在原有的状态下设切出区域ki内的图像为输出帧图像的情况下，成为无法被使用者接受的输出结果。因此，需要进行如下应对中的任意应对：在一定程度上牺牲抖动校正并在输入帧图像fiin内再次设定切出区域ki，或者使用其它输入帧图像对比输入帧图像fiin的边缘靠外侧的区域的像素信息进行增补。
假设作为处理对象的输入帧图像(以下，也称作第一帧图像。)的前后几帧为与第一帧图像相同或者接近的拍摄结果。因此，有可能能够使用第一帧图像的前后几帧对比输入帧图像fiin的边缘靠外侧的区域的像素信息进行增补。图7是说明使用了两张输入帧图像的切出区域ki的增补的图。如图7所示，作为一例，通过使用作为处理对象的输入帧图像fiin和紧前面的输入帧图像fi-1in，能够取得整个切出区域ki的像素信息。因此，即使在切出区域ki从作为处理对象的输入帧图像fiin突出的情况下，只要处于由输入帧图像fiin和紧前面的输入帧图像fi-1in生成的合成图像内，就能够充分发挥抖动校正的功能。此外，即使切出区域ki处于合成图像外，与仅使用输入帧图像fiin的情况相比，也能够减小向存在像素信息的区域内推回的量，因此，能够减少因抖动校正引起的画面的晃动。另外，也可以替代紧前面的输入帧图像fi-1in，使用紧后面的输入帧图像fi+1in。
图像生成部14将由取得部11取得的多个帧图像中所包含的第一帧图像和第二帧图像连接起来，生成合成图像。图像生成部14通过由cpu100执行主存储装置或辅助存储装置105内的程序而实现。图像生成部14使用由运动数据计算部12计算出的运动来掌握帧图像间的位置关系，将第一帧图像和第二帧图像连接起来。合成图像包含第一帧图像的一部分或者全部以及第二帧图像的一部分或者全部。合成图像的大小大于第一帧图像和第二帧图像的大小。
第二帧图像是第一帧图像的前后几帧中的任意一个帧图像。几帧例如为1～5张左右。图像生成部14可以从由第一帧图像的前后几帧构成的帧组中选择与第一帧图像连接起来的第二帧图像。作为具体的一例，图像生成部14可以从帧组中选择与切出区域重叠最多的帧图像，设为第二帧图像。或者，图像生成部14也可以从帧组中选择与切出区域重叠规定区域以上的帧图像，设为第二帧图像。例如在第一帧图像紧后面的帧图像与紧前面的帧图像相比，与切出区域更重叠的情况下，图像生成部14选择紧后面的帧图像，作为第二帧图像。
图像生成部14决定两个输入帧图像的接缝200，沿着接缝200将两个输入帧图像结合起来，由此，生成合成图像。图8是说明两张输入帧图像的接缝200的图。如图8所示，为了决定作为处理对象的第一帧图像fiin与第二帧图像giin的接缝200，设相邻的四个像素p的交点为节点n、两个像素p的边界为边e。图像生成部14使用在某边上相邻的像素的像素值来定义该边的成本。例如，将相邻的像素的像素值的差分(例如亮度值的差分)的大小定义为成本。此外，以使路径上的边的成本的总和为最小的方式决定接缝200。图像生成部14仅对边e分配成本。例如，使用以下式(1)，定义成本。
【数1】
其中，la和lb是任意的相邻像素(像素a、b)的亮度值，costab是它们之间的边e的成本。lmain是第一帧图像fiin的像素的亮度值，lsub是第二帧图像giin的像素的亮度值。图像生成部14使用dijkstra的算法(cormen,t.h.,leiserson,c.e.,rivest,r.l.,andstein,c.2009.introductiontoalgorithms.mitpress.)来决定成本最小化的边e的路径。由此，图像生成部14能够决定最不显著的接缝200。另外，图像生成部14也可以将缺失区域di的附近的成本设定为无限大，使得接缝200不横穿缺失区域di。此外，图像生成部14也可以将输出帧图像的边界部分的成本设定为0。
为了减少运算成本，图像生成部14可以限定第一帧图像与第二帧图像之间的接缝的位置的搜索范围。图9是说明缺失区域的种类的图。图9的类别(a)～类别(d)是第一帧图像的缺失区域的类别。四边形外框为第一帧图像，涂黑的区域为缺失区域di，阴影区域表现出缺失区域类型。如图9的类别(a)～类别(d)所示，缺失区域di能够分类为四种。类别(a)是由粘在一个边上的长方形构成的缺失区域，类别(b)是由粘在相邻的两条边上的两个长方形构成的缺失区域，类别(c)是由粘到三条边上的三个长方形构成的缺失区域，类别(d)是由粘到全部边上的四个长方形构成的缺失区域。一般的缺失区域不是由长方形构成的，因此，在进行分类时，利用1～4个长方形的组合按照使面积差变小的方式近似地对缺失区域进行分类。由该长方形近似的区域对应于图9所示的阴影区域。
图像生成部14按照缺失区域的每个类别，设定搜索范围、搜索开始位置、搜索结束位置。图10是说明接缝200的搜索范围、搜索开始位置和搜索结束位置的图。四边形外框是第一帧图像。搜索范围是用两种阴影区域表示的范围，扩展设定例如图9所示的长方形近似区域。例如，搜索范围设定为长方形近似区域的宽度的2～4倍的大小。
图像生成部14按照类别(a)～类别(c)分别设定搜索范围、搜索开始位置sp、搜索结束位置ep。这样，通过限定搜索范围，可减少运算成本。另外，图9的类别(d)无法通过dijkstra的算法进行处理。因此，图9的类别(d)不生成合成图像。
切出部13对描绘第一帧图像和合成图像的区域(campus)(坐标空间)设定切出区域ki。在无法由切出部13在第一帧图像内设定切出区域ki的情况下，图像生成部14生成合成图像，在能够由切出部13在第一帧图像内设定切出区域ki的情况下，图像生成部14不生成合成图像。在无法在合成图像内设定切出区域ki的情况下，切出部13强制地使切出区域ki移动到合成图像内。在无法在第一帧图像内设定切出区域ki且无法由图像生成部14生成合成图像时(图9的类别(d)的情况下)，切出部13强制地使切出区域ki移动到第一帧图像内。
切出部13向显示控制部22输出输出帧图像。显示控制部22与能够显示图像或者影像的显示装置连接，使显示装置显示输出帧图像。
[输出帧图像的生成处理]
图11是第一实施方式的图像处理装置1的输出帧图像的生成处理的流程图。图11所示的生成处理在使便携终端2的摄像功能打开的时刻执行。
如图11所示，首先，作为取得处理(s10：取得步骤)，图像处理装置1的取得部11取得输入帧图像作为第一帧图像。取得部11例如从拍摄装置21输入第一帧图像。而且，由图像处理装置1的运动数据计算部12计算出第一帧图像与作为前后几帧中的任意一个帧图像的第二帧图像之间的运动。
接着，作为设定处理(s12)，图像处理装置1的切出部13设定切出区域ki。切出部13按照消除拍摄装置21的运动的方式，针对描绘第一帧图像和合成图像的区域(campus)(坐标空间)设定切出区域ki(参照图5)。
作为判定处理(s14)，图像处理装置1的图像生成部14判定切出区域ki是否处于第一帧图像内。在判定为切出区域ki处于第一帧图像内的情况下(s14：是)，作为切出处理(s16：切出步骤)，切出部13将切出区域ki内的图像作为输出帧图像切出。由此，生成输出帧图像，图11所示的生成处理结束。
另一方面，在判定为切出区域ki未处于第一帧图像内的情况下(s14：否)，作为生成处理(s18：图像生成步骤)，图像生成部14将第一帧图像和第二帧图像连接起来，生成合成图像。或者，在无法生成合成图像的情况下(图9的类别(d)的情况下)，图像生成部14向切出部13输出表示该消息的信号。
在通过生成处理(s18)生成了合成图像的情况下，作为切出处理(s16)，切出部13判定切出区域ki是否处于合成图像内。在判定为切出区域ki处于合成图像内的情况下，切出部13将切出区域ki内的图像作为输出帧图像切出。在判定为切出区域ki不处于合成图像内的情况下，切出部13使切出区域ki移动到合成图像内，然后，作为输出帧图像切出。此外，在生成处理(s18)中未生成合成图像的情况下，作为切出处理(s16)，切出部13使切出区域ki移动到第一帧图像内，然后，作为输出帧图像切出。由此生成输出帧图像，图11所示的生成处理结束。
以上，图11所示的生成处理结束。通过执行图11所示的生成处理，即使在切出区域ki从第一帧图像中突出的情况下，通过将两张帧图像连接起来，也能够不用重新设定切出区域ki而生成输出帧图像。此外，即使在重新设定切出区域ki的情况下，也能够通过使两张帧图像连接起来，而减少切出区域ki的移动量。由此，能够抑制因抖动校正引起的晃动。并且，通过将两张帧图像连接起来，与一张帧图像的情况相比，还能够采用更强的校正参数。
接着，说明用于使便携终端(计算机)2作为上述图像处理装置1发挥作用的图像处理程序。
图像处理程序具有：主模块、输入模块和运算处理模块。主模块是统一控制图像处理的部分。输入模块使便携终端2动作以取得帧图像。运算处理模块具有运动数据计算模块、切出模块和图像生成模块。通过使主模块、输入模块和运算处理模块执行而实现的功能分别与上述图像处理装置1的取得部11、运动数据计算部12、切出部13和图像生成部14的功能相同。
图像处理程序例如存储在rom等存储介质或者半导体存储器中。此外，图像处理程序也可以经由网络提供。
[第一实施方式的总结]
以上，根据本实施方式的图像处理装置1、图像处理方法和图像处理程序，通过将第一帧图像与第二帧图像连接起来而生成合成图像。因此，与使用多张帧图像对帧区域以外的区域的图像信息进行增补的情况相比，图像处理装置1能够抑制用于生成合成图像的运算成本。而且，在比第一帧图像和第二帧图像大的合成图像中设定切出区域ki。由此，无需将可设定切出区域ki的区域限制在第一帧区域内，因此，能够充分发挥抖动校正功能的机会增加。这样，图像处理装置1能够抑制运算成本并发挥抖动校正功能。
此外，图像处理装置1在无需扩大可设定切出区域ki的区域时不生成合成图像，因此，能够进一步减少运算成本。此外，图像处理装置1以避免亮度值的差较大的部分的方式设定接缝200，因此，能够实现自然的结果。
[第二实施方式]
与第一实施方式的图像处理装置1相比，第二实施方式的图像处理装置1a的取得部11的输入源和切出部13a的动作不同，其它相同。在图像处理装置1a的说明中，省略与图像处理装置1重复的说明。
[装置结构]
图12是第二实施方式的图像处理装置1a的便携终端2a的功能框图。如图12所示，与图像处理装置1相比，图像处理装置1a的结构不具有拍摄装置21，而具有动态图像23和超延时动态图像24。而且，除切出部13a以外的其它结构相同。
动态图像23是包含按照时间序列连续的帧图像的数据。超延时动态图像24是包含按照时间序列连续的帧图像的数据，具体而言，是按照一定间隔拍摄的静态图像的集合数据。取得部11取得动态图像23和超延时动态图像24中的至少一方。即，第二实施方式不是实时处理，而是存在所存储的数据的情况。
与切出部13相比，切出部13a的切出区域ki的设定处理不用。切出部13a将运动数据中的照相机工作(camerawork)以外的成分视作抖动，进行消除。
切出部13a定义照相机工作的成本，采用成本最小的照相机工作作为最终的照相机工作。作为理想的照相机工作，考虑如在图像的中心具有切出框这样的动作且如基本上维持等速直线运动的动作。因此，如以下的式(2)那样定义成本，以使得在接近理想的照相机工作的情况下成本变小。另外，无视平行移动成分，仅考虑偏航、俯仰、翻滚的旋转成分。
[数2]
这里，右边第一项是方向转换的次数nt与系数εt之积。即，在如尽可能继续等速直线运动、在不得已时进行方向转换的照相机工作的情况下，成本变小。右边第二项是按照每个帧图像而计算出的、切出区域ki的位置与图像中心的偏差量(偏航方向、俯仰方向和翻滚方向的偏差量)的总和。即，在如在图像的中心具有切出框的照相机工作的情况下，成本变小。右边第三项是使切出区域ki移动到合成图像内或者第一帧图像内的次数np(压入次数)与系数εp之积。压入次数较少的情况抖动校正更稳定，因此，可以说较理想。
另外，在式(2)中，设想的模式(pattern)是无限的，因此，无法进行计算。因此，切出部13a使用图13～图16所示的树结构来进行理想的照相机工作的搜索。具体而言，切出部13a限制树结构的搜索范围来进行照相机工作的搜索。图13～图16是说明照相机工作的搜索的图。
在图13所示的树结构中，按照每个帧图像进行了层级化。在各个层中显示有圆形的节点。节点对应于各帧中的切出处理。将在式(2)中所定义的成本与各节点进行了关联。在从当前的帧图像(当前的节点)到下一个帧图像(下面的层)照相机工作持续等速直线运动的情况下，图中的粗线所示的边从该节点延伸。另一方面，在当前的帧图像(当前的节点)至下一个帧图像(下面的层)中照相机工作进行了方向旋转的情况下，图中的细线所示的边从该节点延伸。即，从根至叶的路径(path)对应于具体的照相机工作。在图13中，通过针对各节点将方向旋转的模式限制为有限个(在图中为2个)，减少了运算成本。
为了进一步减少运算成本，切出部13a按照每个帧图像设定节点数量的上限值。由此，按照成本从低到高的顺序选择节点，直到达到上限值为止。在图14中，节点数量的上限值设定为“三个”。即，在帧图像f2in中，采用成本低的节点n5、n7、n11，不采用剩余的节点n6、n8～n10、n12、n13。同样，在帧图像f3in中，采用成本低的节点n17、n18、n19，不采用剩余的节点n14～n16、n17、n20、n21。
即使在设定了上限值的情况下，为了得到最初的结果，有时也需要对全部帧图像进行运算。因此，切出部13a在帧图像fxin处的时刻，对帧图像f1in的结果强制地进行固定。在图15中，设帧图像fxin处的时刻的最小成本为节点nm+3。在该情况下，将帧图像f1in的结果固定为作为节点nm+3的祖先的节点n3。而且，如图16所示，将帧图像f1in的节点n3设定为新的根，构成子树。对帧图像f2in、帧图像f3in重复该处理。由此，切出部13a需要在处理开始时对x个帧图像的信息进行处理作为初始处理，但通过如上所述估计照相机工作，能够进行frame-by-frame(一帧一帧)的处理，并能够利用实际的处理时间估计接近最小的照相机工作。
[第二实施方式的总结]
以上，根据本实施方式的图像处理装置1a、图像处理方法和图像处理程序，即使在使用动态图像23或者超延时动态图像24的情况下，也实现与图像处理装置1相同的效果。此外，该装置在使用树结构来进行搜索时，进行限制了属于各父节点的子节点的数量、存在于相同深度的节点的数量等的计算。由此，该装置能够减少运算成本。
[第三实施方式]
第三实施方式的图像处理装置1b与第一实施方式的图像处理装置1相比，不同之处在于具有倍率取得部15、以及图像生成部14b的合成图像的生成定时不同，其它相同。在图像处理装置1b的说明中，省略与图像处理装置1重复的说明。
[装置结构]
图17是第三实施方式的图像处理装置1b的便携终端2b的功能框图。如图17所示，与图像处理装置1相比，图像处理装置1b的结构的不同之处在于具有倍率取得部15。而且，除图像生成部14b以外的其它结构相同。
倍率取得部15取得第一帧图像相对于第二帧图像的放大(zoomin)的倍率、缩小(zoomout)的倍率和被摄体的显示倍率中的至少一个。倍率取得部15通过由cpu100执行主存储装置或辅助存储装置105内的程序并依照该程序控制输入设备103而实现。倍率取得部15例如从拍摄装置21取得与上述倍率相关的信息。倍率取得部15可以通过对第一帧图像与第二帧图像进行比较，计算与倍率相关的信息。
在由倍率取得部15取得的倍率的每单位时间的变化量为阈值以上的情况下，图像生成部14b不生成合成图像。这是因为，在由倍率取得部15取得的倍率的每单位时间的变化量为阈值以上的情况下，成为图9的类别(d)的可能性较高。阈值是为了判定变化量而预先设定的值。
[输出帧图像的生成处理]
图18是第三实施方式的图像处理装置1b的输出帧图像的生成处理的流程图。图18所示的生成处理在例如便携终端2b的摄像功能打开的时刻执行。
如图18所示，首先，作为取得处理(s20)，图像处理装置1b的取得部11取得输入帧图像作为第一帧图像。该处理与图11的取得处理(s10)相同。
接着，作为倍率取得处理(s22)，图像处理装置1b的倍率取得部15从拍摄装置21取得第一帧图像相对于第二帧图像的放大(zoomin)的倍率、缩小(zoomout)的倍率和被摄体的显示倍率中的至少一个。
作为判定处理(s24)，图像处理装置1b的图像生成部14b判定倍率变化是否为阈值以上。在判定为倍率变化为阈值以上的情况下(s24：是)，作为切出处理(s26)，切出部13判定切出区域ki是否处于第一帧图像内。在判定为切出区域ki处于第一帧图像内的情况下，切出部13将切出区域ki内的图像作为输出帧图像切出。在判定为切出区域ki不处于第一帧图像内的情况下，切出部13使切出区域ki移动至第一帧图像内，然后，作为输出帧图像切出。由此，生成输出帧图像，图18所示的生成处理结束。
另一方面，在判定为倍率变化不为阈值以上的情况下(s24：否)，作为生成处理(s28)，图像生成部14b将第一帧图像和第二帧图像连接起来，生成合成图像。
在生成处理(s28)中生成了合成图像的情况下，作为切出处理(s16)，切出部13判定切出区域ki是否处于合成图像内。在判定为切出区域ki处于合成图像内的情况下，切出部13将切出区域ki内的图像作为输出帧图像切出。在判定为切出区域ki不处于合成图像内的情况下，切出部13使切出区域ki移动至合成图像内，然后，作为输出帧图像切出。综上所述，生成输出帧图像，图18所示的生成处理结束。
[第三实施方式的总结]
以上，根据本实施方式的图像处理装置1b、图像处理方法和图像处理程序，在预料到合成图像的运算成本变大的情况下，不生成合成图像，由此，能够避免响应性能的降低。
[第四实施方式]
与第一实施方式的图像处理装置1相比，第四实施方式的图像处理装置1c的不同之处在于，具有识别部16、以及图像生成部14c的合成图像的生成定时不同，其它相同。在图像处理装置1c的说明中，省略与图像处理装置1重复的说明。
[装置结构]
图19是第四实施方式的图像处理装置1c的便携终端2c的功能框图。如图19所示，图像处理装置1c的结构与图像处理装置1相比不同之处在于具有识别部16。而且，除了图像生成部14c以外的其它结构相同。
识别部16识别第一帧图像或者第二帧图像的被摄体的大小。识别部16通过由cpu100执行主存储装置或辅助存储装置105内的程序而实现。识别部16使用众所周知的图像处理技术来识别被摄体的大小。被摄体是拍摄对象物。
在由识别部16取得的被摄体的大小为阈值以上的情况下，图像生成部14c不生成合成图像。这是因为，在被摄体的大小为阈值以上的情况下，合成后的画质有可能下降。阈值是为了判定被摄体的大小而预先设定的值。
[输出帧图像的生成处理]
图20是第四实施方式的图像处理装置1c的输出帧图像的生成处理的流程图。图20所示的生成处理在便携终端2c的摄像功能打开的时刻执行。
如图20所示，首先，作为取得处理(s30)，图像处理装置1c的取得部11取得输入帧图像作为第一帧图像。该处理与图11的取得处理(s10)相同。
接着，作为识别处理(s32)，图像处理装置1c的识别部16例如识别第一帧图像的被摄体的大小。
作为判定处理(s34)，图像处理装置1c的图像生成部14c判定被摄体的大小是否为阈值以上。在判定为被摄体的大小为阈值以上的情况下(s34：是)，作为切出处理(s36)，切出部13判定切出区域ki是否处于第一帧图像内。在判定为切出区域ki处于第一帧图像内的情况下，切出部13将切出区域ki内的图像作为输出帧图像切出。在判定为切出区域ki不处于第一帧图像内的情况下，切出部13使切出区域ki移动至第一帧图像内，然后，作为输出帧图像切出。由此，生成输出帧图像，图20所示的生成处理结束。
另一方面，在判定为被摄体的大小不为阈值以上的情况下(s34：否)，作为生成处理(s38)，图像生成部14c将第一帧图像和第二帧图像连接起来，生成合成图像。
在生成处理(s38)中生成了合成图像的情况下，作为切出处理(s36)，切出部13判定切出区域ki是否处于合成图像内。在判定为切出区域ki处于合成图像内的情况下，切出部13将切出区域ki内的图像切出作为输出帧图像。在判定为切出区域ki不处于合成图像内的情况下，切出部13使切出区域ki移动至合成图像内，然后，作为输出帧图像切出。综上所述，生成输出帧图像，图20所示的生成处理结束。
[第四实施方式的总结]
以上，根据本实施方式的图像处理装置1c、图像处理方法和图像处理程序，在预料到合成图像为不自然的图像的情况下，不生成合成图像，由此，能够避免图像品质的下降。
以上，对本公开的实施方式进行了说明，但本公开的技术范围不应被本实施方式的说明限定地进行解释。本实施方式为一例，本领域技术人员可理解能够根据权利要求的记载事项进行各种实施方式的变更。本公开的技术范围应该根据权利要求的记载事项及其等同范围来确定。
例如，图像处理装置1的取得部11的输入源可以为动态图像23或者超延时动态图像。即，图像处理装置1不限定于仅实时处理。此外，图像处理装置1a只要能够参照动态图像23或者超延时动态图像24即可，也可以不具有存储动态图像23或者超延时动态图像24的存储部本身。并且，图像处理装置1、1a可以在拍摄和保存动态图像之后，向处理能力高的服务器发送动态图像，使服务器进行抖动校正处理。
例如，图像处理装置1、1a在无需扩大切出区域ki的可设定区域时不生成合成图像，但也可以变更处理，使得始终生成合成图像。
例如，鉴于在将时间差较大的帧图像之间合成的情况下失败的概率变高，图像处理装置1、1a也可以不将具有比某规定的时间阈值大的时间差的帧图像作为合成对象。此外，图像处理装置1、1a可以将作为摄影对象的帧图像内的动态被摄体的多少作为指标，使时间阈值发生变化。作为具体的一例，如果动态被摄体较多，则图像处理装置1、1a可以减小时间阈值。
此外，图像处理装置1、1a也可以构成为，为了再现录制完成的动态图像或者超延时动态图像，对处理结果进行缓冲，稍微延迟地输出处理结果。此外，图像处理装置1、1a可以将帧图像的运算处理时刻处的富余时间或者富余時间的估计值作为参数，按照每个帧图像变更接缝的搜索范围或者要合成的帧图像的张数(例如3张以上)。另外，也可以是，被缓冲的处理结果的量越多，富余时间越大。
此外，说明了切出部13a在进行使用了树结构的搜索时从合成图像切出的例子，但是，切出的对象也可以不是合成图像。
并且，实施方式中所说明的图像处理装置可以如下进行处理。图像处理装置可以不生成合成图像本身，而仅计算合成图像的外框。此外，在外框为多边形的情况下，图像处理装置也可以仅计算顶点的信息。而且，图像处理装置也可以使用外框的信息(或者顶点的信息)来决定切出框。而且，图像处理装置也可以与切出同时进行接缝搜索和合成。由此，与合成全部图像的情况相比，仅对需要的部分进行处理，因此，可减少运算成本。
标号说明
1、1a、1b、1c：图像处理装置；21：拍摄装置；11：取得部；12：运动数据计算部；13、13a：切出部；14、14b、14c：图像生成部；15：倍率取得部；16：识别部；23：动态图像；24：超延时动态图像。