图像处理装置和方法以及信息处理装置的制造方法

图像处理装置和方法以及信息处理装置的制造方法
【专利摘要】本发明涉及使得能够更容易地获得高分辨率循环运动图像的图像处理装置和方法以及信息处理装置。图像处理装置包括：循环运动图像生成单元，被配置为：从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像；其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。
【专利说明】图像处理装置和方法以及信息处理装置
[0001 ] 本申请是申请日为2012年3月9日、申请号为“201280001329.9”(国际阶段申请号为PCT/JP2012/056080)、发明名称为“图像处理装置和方法以及程序”的发明专利申请的分案申请。
技术领域
[0002]本技术涉及图像处理装置和方法以及程序，具体而言涉及可用来更容易地获得高质量的循环运动图像(loop moving image)的图像处理装置和方法以及程序。
【背景技术】
[0003]传统上，已知一种用于生成输入视频图片的技术(例如NPLI)。循环运动图像是反复播放运动图像的预定区间或多个静止图像的图像。
[0004]例如，当生成循环运动图像时，运动图像的预定区间被处理，以使得即使在运动图像的预定区间的开始边缘和其结束边缘处的帧在时间上不连续的情况下，由帧之间的图像的差异引起的接缝对于眼睛来说也不明显。
[0005]因此，反复播放循环运动图像导致运动图像的开始边缘及其结束边缘变得不清楚，因此观看者将有被呈现以无尽的运动图像的感觉。循环运动图像在诸如CG(计算机图形)中的纹理素材和背景运动图像等等之类的各种应用程序中是有用的。
[0006]这种循环运动图像基本上是如下生成的。首先，时间上远离但具有高相似度的两个帧被用作开始边缘和结束边缘，从而形成循环运动图像。
[0007]现在，在播放循环运动图像时，从运动图像中提取的区间的结束边缘和开始边缘被连续播放。因此，被用作循环运动图像的运动图像的区间的开始边缘和结束边缘的帧越相似，在播放循环运动图像时就能够越平滑地链接这些帧图像。例如，为了使得被作为循环运动图像的运动图像的区间的开始边缘和结束边缘的链接更平滑，执行渐变处理，其中运动图像的开始边缘和结束边缘处及其附近的帧被混合以获得循环运动图像的帧图像。
[0008]引文列表
[0009]非专利文献
[0010]NPL 1:Arno Schodl,Richard Szeliski,David H.Salesin,and Irfan Essa.^Video textures".Proceedings of SIGGRAPH 2000,pages 489-498,July 2000。

【发明内容】

[0011]技术问题
[0012]然而，取决于充当循环运动图像的素材的视频图片(运动图像)，循环运动图像的开始边缘和结束边缘可能不会平滑地连接，从而导致处理结果中的显著破绽。具体而言，存在没有被摄体同时平滑连接的定时(帧)的情况，或者甚至存在视频图片中根本没有相似的帧的情况。
[0013]在以这种不适合的视频图片作为素材来生成循环运动图像的情况下，循环运动图像的开始边缘和结束边缘帧处的图像可能有破绽，或者开始边缘和结束边缘在播放时可能不会平滑地连接。在这种情况下，用户必须通过再次拍摄素材视频图片或者手动改变用于生成循环运动图像的参数来应对这种情况以便获得期望的循环运动图像。
[0014]本技术是鉴于这种情形而作出的，并且要使得能够更容易地获得高质量的循环运动图像。
[0015]解决问题的方案
[0016]根据本技术的第一方面的一种图像处理装置包括:片段计算单元，被配置为基于在不同时间点拍摄的多个拍摄图像将拍摄图像分割成若干个片段；以及循环运动图像生成单元，被配置为从多个拍摄图像之中的若干个连续的拍摄图像中切出作为包括具有运动的被摄体的片段的运动片段的图像，并且基于运动片段的图像生成能够作为循环运动图像播放的图像。
[0017]在若干个连续的运动片段的图像之中，循环运动图像可以是具有高相似度的两个图像之间的图像被按顺序反复显示的运动图像。
[0018]图像处理装置还可包括:片段图像生成单元，被配置为从多个拍摄图像之中的若干个拍摄图像中切出作为包括没有运动的被摄体的片段的静止片段的图像，并且基于静止片段的图像生成作为一个静止图像的片段图像。
[0019]图像处理装置还可包括:片段合并处理单元，被配置为合并能够作为循环运动图像播放的图像和片段图像，从而生成一个循环运动图像。
[0020]片段图像生成单元可通过重合若干个静止片段的图像来生成片段图像。
[0021]在运动片段的多个连续图像之中存在具有高相似度的两个图像的情况下，循环运动图像生成单元可基于包括具有高相似度的两个图像在内的运动片段的多个连续图像来生成能够作为循环运动图像播放的图像。
[0022]在运动片段的多个连续图像之中不存在具有高相似度的两个图像的情况下，循环运动图像生成单元可基于运动片段的一个图像来生成作为一个静止图像的片段图像。
[0023]图像处理装置还可包括:片段图像生成单元，被配置为从具有比拍摄图像更高的分辨率的高分辨率图像中切出与作为包括没有运动的被摄体的片段的静止片段相对应的区域的图像，并且基于与静止片段相对应的区域中的图像生成作为一个静止图像的片段图像;其中循环运动图像生成单元基于被转换成与高分辨率图像相同分辨率的拍摄图像来生成能够作为循环运动图像播放的图像。
[0024]图像处理装置还可包括:操作单元，被配置为切换操作模式，其中，在通过操作该操作单元选择了预定模式作为拍摄模式的情况下，拍摄所述拍摄图像和高分辨率图像。
[0025]多个拍摄图像可以是在高分辨率图像的拍摄之前拍摄的；其中，图像处理装置还包括:通知单元，被配置为判定在多个拍摄图像中的运动片段的图像中是否存在具有高相似度的两个图像，并且输出其判定结果。
[0026]在判定存在具有高相似度的两个图像的情况下，可拍摄高分辨率图像，并且生成能够作为循环运动图像播放的图像和片段图像。
[0027]根据本技术的第一方面的一种图像处理方法或程序包括以下步骤:基于在不同时间点拍摄的多个拍摄图像将拍摄图像分割成若干个片段；以及从多个拍摄图像之中的若干个连续的拍摄图像中切出作为包括具有运动的被摄体的片段的运动片段的图像，并且基于运动片段的图像生成能够作为循环运动图像播放的图像。
[0028]在本技术的第一方面中，基于在不同时间点拍摄的多个拍摄图像，将拍摄图像分割成若干个片段，并且从多个拍摄图像之中的若干个连续的拍摄图像中切出作为包括具有运动的被摄体的片段的运动片段的图像，并且基于运动片段的图像生成可作为循环运动图像播放的图像。
[0029]根据本技术的第二方面的一种图像处理装置包括:通知单元，被配置为判定在在不同时间点拍摄的多个拍摄图像中是否存在具有高相似度的两个拍摄图像，并且输出其判定结果；以及循环运动图像生成单元，被配置为基于多个拍摄图像之中的包括具有高相似度的两个拍摄图像在内的多个连续的拍摄图像，生成能够作为循环运动图像播放的图像。
[0030]根据本技术的第二方面的一种图像处理方法包括以下步骤:判定在在不同时间点拍摄的多个拍摄图像中是否存在具有高相似度的两个拍摄图像，并且输出其判定结果，以及基于多个拍摄图像之中的包括具有高相似度的两个拍摄图像在内的多个连续的拍摄图像，生成能够作为循环运动图像播放的图像。
[0031]在本技术的第二方面中，判定在在不同时间点拍摄的多个拍摄图像中是否存在具有高相似度的两个拍摄图像，输出其判定结果，并且基于多个拍摄图像之中的包括具有高相似度的两个拍摄图像在内的多个连续的拍摄图像，生成可作为循环运动图像播放的图像。
[0032]此外，根据本技术的另一方面，提供了一种图像处理装置，其包括:循环运动图像生成单元，被配置为:从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像;其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。
[0033]根据本技术的又一方面，提供了一种图像处理方法，其包括:从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像;其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。
[0034]根据本技术的再一方面，提供了一种包括处理单元的信息处理装置，该处理单元被配置为:从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像;其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。
[0035]本发明的有利效果
[0036]根据本技术的各个方面，可以更容易地获得高质量的循环运动图像。
【附图说明】
[0037]图1是用于描述循环运动图像的生成的图。
[0038]图2是用于描述图像的相似性的比较的图。
[0039]图3是用于描述应用本技术的循环运动图像的生成的图。
[0040]图4是示出图像处理装置的配置示例的图。
[0041 ]图5是用于描述循环运动图像生成处理的流程图。
[0042]图6是示出图像处理装置的另一配置示例的图。
[0043]图7是示出相机装置的配置示例的图。
[0044]图8是示出图像处理单元的配置示例的图。
[0045]图9是用于描述拍摄处理的图。
[0046]图10是用于描述循环运动图像生成处理的流程图。
[0047]图11是示出图像拍摄单元的另一配置示例的图。
[0048]图12是用于描述循环运动图像生成处理的流程图。
[0049]图13是示出计算机的配置示例的图。
【具体实施方式】
[0050]下面将参考附图描述应用了本技术的实施例。
[0051 ]〈第一实施例〉
[0052][关于循环运动图像生成技术]
[0053]首先，将描述循环运动图像生成技术的概要。例如，让我们考虑例如如图1中所示由多个帧构成的运动图像MPll被输入作为循环运动图像的素材并且运动图像MPll的预定区间被切出以生成循环运动图像的情况。注意，在图1中，水平方向指示时间，并且图中的每个方形表不一个帧的图像。
[0054]在生成循环运动图像时，从充当素材的运动图像MPll中检测具有最高相似度并且位于时间上远离的位置的一对帧。在此示例中，在构成运动图像MPl I的帧中，帧i和时间上在帧i之后的帧j被检测作为具有最高相似度的帧对。在以这种方式检测出一对帧后，运动图像MP11的从帧i到帧j的区间被切出。
[0055]—般地，即使在运动图像内检测到具有高相似度的一对图像，这些帧的图像也不会完全匹配。因此，如果两个检测到的帧充当开始边缘和结束边缘的区间被反复播放，则用户可清楚地辨别从结束边缘到开始边缘的转变(接缝)。
[0056]因此，从运动图像MPll切出的区间的开始边缘附近的帧的图像和结束边缘附近的帧的图像被处理，从而形成循环运动图像LMl I。
[0057]也就是说，从运动图像MPll切出的区间的开始边缘处的帧i的图像和结束边缘处的帧j的图像被混合，并且作为其结果获得的图像被作为循环运动图像LMll的开始边缘处的帧i ’。也就是说，帧i的图像和帧j的图像中的相同位置处的像素被以预定的权重相加，从而获得帧i ’的图像的与这些像素处于相同位置的像素。
[0058]另外，在帧i之后一个的帧(i+ Ι)和在帧j之后一个的帧(j + Ι)被以预定的权重相加，从而获得在帧i’之后一个的帧(i+Ι)’。此外，在帧(i+Ι)之后一个的帧(i+2)和在帧(j+I)之后一个的帧(j+2)被以预定的权重相加，从而获得在帧(j+1)’之后一个的帧(j+2)’。
[0059]同样地，在帧i之前一个的帧(1-1)和在帧j之前一个的帧(j-1)被以预定的权重相加，从而获得循环运动图像LMll的结束边缘帧(j-Ι)’。另外，在帧(1-Ι)之前一个的帧(1-2)和在帧(j-1)之前一个的帧(j_2)被以预定的权重相加，从而获得在帧(j-1)’之前一个的帧(j_2)’。
[0060]现在，利用从运动图像MPlI切出的区间的开始边缘附近的混合处理，帧在开始边缘之后越远，对于开始边缘处的帧的图像乘的权重就越大。也就是说，对于通过混合获得的图像，开始边缘处的帧的贡献率较大。相反，利用从运动图像MPll切出的区间的结束边缘附近的混合处理，帧在结束边缘之前越远，对于结束边缘处的帧的图像乘的权重就越大。
[0061]根据帧的位置逐渐改变用于混合处理的权重(混合率)以减轻运动图像的接缝的明显性的技术被称为渐变。
[0062]在播放通过上述处理获得的循环运动图像LMll时，播放是从开始边缘帧i’起按帧(i + 1)’，(i+2)’，...的顺序执行的。在播放结束边缘帧(j-Ι)’时，这再返回到帧i’，并且帧被反复播放。
[0063]从而，通过对于从运动图像MPl I切出的区间的开始边缘和结束边缘利用开始边缘附近的帧和结束边缘附近的帧执行混合处理，可以平滑地连接循环运动图像LMll的开始边缘和结束边缘。也就是说，可以使运动图像MP11中的时间上远离的位置处的帧i和帧(j -1)的图像之间的差异在视觉上不明显。
[0064]注意，在构成从运动图像MPll中切出的帧中，在与此区间的开始边缘和结束边缘时间上远离的位置处的中央附近的帧被不加改变地用作构成循环运动图像LMll的帧的图像。
[0065][关于具有尚相似度的帧对的检测方法]
[0066]另外，在生成循环运动图像时，检测充当素材的运动图像中的具有最高相似度的一对帧，其中对这样的一对帧的检测是通过将图像相互比较并计算其相似度，并且基于通过计算获得的相似度确定最优的对，来执行的。
[0067]具体而言，图像的像素的绝对差之和之类的被用作图像之间的相似度。也就是说，对于两个图像中的相同位置处的每个像素获得亮度值的差异的绝对值，并且将像素的差异的绝对值的总和作为绝对差之和(SAD(Sum of Absolute Difference))。
[0068]图像之间的相似性越大，绝对差之和就越小，因此如果具有最小的绝对差之和的一对帧被用作循环运动图像的开始边缘和结束边缘，则循环运动图像的开始边缘和结束边缘之间的视觉差异应当较小。
[0069]然而，按照两个图像之间的绝对差之和的评估没有考虑到图像中的被摄体在时间方向上的运动。具体而言，如果在图像中有向左右摆动的钟摆，那么关注特定的帧时并不能够确定钟摆是从左侧摆动的还是从右侧摆动的。
[0070]因此，如果仅从两个图像的绝对差之和检测要被作为循环运动图像的开始边缘和结束边缘的一对帧，那么当播放循环运动图像时，在从开始边缘帧转变到结束边缘帧时，被摄体的运动可能不连续。
[0071]因此，通过例如如图2中所示比较由多个连续帧构成的区间，可以检测到更适合的一对帧来作为循环运动图像的开始边缘和结束边缘。
[0072]注意，在图2中，用相同的符号标示与图1中的情况相对应的部分，并且适当地省略对其的描述。另外，在该图中，运动图像MPll内的每个方形表示一个帧，并且方形内的字符是用于标识帧的字符。
[0073]例如，在从运动图像MPll中检测一对两个相似帧的情况下，评估帧i和帧j是否相似。在此情况下，比较以帧i为中心的七个连续帧，即帧(1-3)至帧(i+3)，和以帧j为中心的七个连续帧，即帧(j-3)至帧(j+3)。
[0074]具体而言，如图中的中央所示，对于帧(i+k)的图像和帧(j+k)的图像获得绝对差之和(其中k = -3，-2，-1，O，I，2，3)，通过权重Gl I对绝对差之和加权，并且获得累积SAD值。也就是说，向每个绝对差之和附加权重Gll并且累加，从而产生累积SAD值。
[0075]在图2中的示例中，权重GlI是正态分布权重，其中帧越靠近帧i，利用该帧计算出的绝对差之和所乘以的权重就越大。
[0076]当比较多个连续帧的区间时，被摄体的位置和运动越相似，以这种方式获得的累积SAD值就越小。也就是说，区间与彼此的相似度越高，累积SAD值就越小。因此，运动图像MPll中具有最小累积SAD值的帧对可被说成是要用于循环运动图像的开始边缘和结束边缘的最优帧对。
[0077]从而，由多个连续帧构成的区间之间的相似度可通过获得关于多个连续帧的累积SAD值来评估。在此情况下，累积SAD值越小，相似度就越大。
[0078]注意，对于运动图像MPll，多少个连续帧构成要被相互比较的区间并获得这些区间的累积SAD值可被指定为以帧长度为单位的参数(以下也称为累积抽头长度Lsad)。在此情况下，在累积抽头长度Lsad例如由用户指令的情况下，由累积抽头长度Lsad指示的数目的连续帧的区间的累积SAD值被计算。
[0079]另外，在检测具有最小累积SAD值的帧对的情况下，在时间上接近的帧的图像中变化很小，因此累积SAD值较小。因此，为了防止生成过短周期的循环运动图像，需要设定被比较的帧(区间)最低限度必须具有的距离，从而将具有短于此距离的帧间距离的帧对从候选者中排除。
[0080]在此情况下，指示要比较的帧之间的最低限度距离的参数(以下也称为最短周期长度Lmin)例如由用户指定。于是，从运动图像MP11中的距离为由最短周期长度Lmin指示的距离以上的帧的对获得累积SAD值，并且其中具有最小累积SAD值的对的帧是用于循环运动图像的区间的开始边缘和结束边缘。
[0081]注意，最短周期长度Lmin可以是作为输入参数对程序指定的，或者可以是由程序作为对充当素材的运动图像MPll的整体长度的比率计算出的。
[0082][关于定位图像]
[0083]另外，在生成循环运动图像时，根据需要执行充当素材的图像的定位。一般地，在用户利用手持相机拍摄视频的情况下，很有可能图像将会由于手的颤动而颤动。相机姿态的这种运动不仅在观看由拍摄获得的运动图像时是令人不快的，而且在生成循环运动图像时在计算诸如绝对差之和之类的图像之间的相似度方面也有不利影响。
[0084]因此，通过对拍摄的图像执行定位处理，以校正拍摄时的诸如颤动等等之类的相机运动，并且使用经历了定位处理的图像，可以获得具有更高质量的循环运动图像。也就是说，通过对充当素材的图像执行定位处理，可以获得没有任何颤动的运动图像，就好像图像是以利用三脚架固定的相机拍摄的那样。
[0085]在这种定位处理中，一个图像(以下称为基准图像)被作为基准，并且另一图像(以下称为待处理图像)的射影变换被执行，从而在基准图像和待处理图像中定位被摄体。例如，基准图像可以是充当循环运动图像的素材的运动图像的开头帧图像，或者可以是任选的图像。
[0086]另外，定位所需的射影变换矩阵是通过对于基准图像和待处理图像中的每一个提取特征点并且计算变换矩阵以使得待处理图像上的特征点匹配基准图像上的特征点来获得的。
[0087]另外，我们将假定即使视点变化，特征点也具有可再现性。也就是说，计算特征点的位置和特征量，从位置和特征量的信息计算特征点之间的相关性，并且获得两个帧之间的位置相关性。适合于这种定位的特征点的示例包括SIFT(尺度不变特征变换)特征点。
[0088]接下来，将描述用于定位处理的射影变换矩阵的具体计算技术的示例。首先，从基本图像和待处理图像中提取诸如SIFT特征点之类的特征点。待处理图像上的特征点对应于基本图像上的哪些特征点是通过特征点之间的欧几里得距离获得的。
[0089]另外，通过RANSAC(Random Sample Consensus，随机采样一致)选择待处理图像上的特征点和与这些特征点相对应的基本图像上的特征点的若干个特征点对，并且获得最适合于构成这些对的特征点之间的位置的变换的变换矩阵。以这种方式获得的变换矩阵被作为用于定位处理的射影变换矩阵。根据此RANSAC，即使在特征点的位置和相关性中存在误差，也可以消除误差并获得正确的变换矩阵。
[0090]注意，RANSAC和SIFT特征点计算的细节在例如〃Brown，M.and Lowe ,D.G.2003.〃Recognising Panoramas.〃，In Proceedings of the Ninth IEEE internat1nalConference on Computer Vis1n-Volume 2(0ctober 13-16,2003).1CCV.1EEE ComputerSociety ,Washington,DC, 1218"等等中描述。
[0091]另外，虽然用于定位处理的变换矩阵的类型一般是射影变换矩阵，但也可使用具有不同自由度的仿射变换矩阵或刚性变换矩阵等等。
[0092]当待处理图像通过射影变换矩阵被变形以使得变形后的待处理图像重合在基准图像上时，在基准图像的边缘和角落处存在不与待处理图像重合的部分。因此，当射影变换后的所有待处理图像与基准图像重合时，可执行裁剪处理以仅留下并输出所有图像像素都重合的有效区域。
[0093]也就是说，如果经历了射影变换的所有待处理图像与基准图像重合，并且在待处理图像和基准图像中存在不与另外图像重合的像素区域，则这种像素的区域被认为是无效区域。然后，排除这种无效区域，在由所有待处理图像和基准图像像素都重叠的区域构成的有效区域内获得面积最大的矩形的区域，并且获得作为其结果获得的矩形区域作为裁剪的区域。
[0094]在以这种方式获得裁剪区域后，构成经历了射影变换的运动图像的帧的图像的裁剪区域被切出，并且由被切出的帧的图像构成的运动图像被作为充当循环运动图像的素材的最终运动图像。
[0095]注意，裁剪处理具有裁剪后的图像变得更小的缺陷。因此，可以作出一种布置，其中，取代执行裁剪处理，指派白色或黑色像素值作为不与射影变换前的图像重叠的像素的像素值，向其指派基准图像中的相同位置处的像素的像素值，等等，以便充当素材的运动图像的分辨率不会降低。
[0096][关于应用本技术的循环运动图像]
[0097]上述技术被适当地用于生成循环运动图像。接下来，将描述通过应用本技术生成的循环运动图像。注意，以下，要充当循环运动图像的素材的图像将被称为连续拍摄图像。
[0098]现在，我们将假定如图3中所示由多个连续拍摄图像构成的连续拍摄图像组CPll被输入作为循环运动图像的素材。
[0099]这里，连续拍摄图像组CPll可以是任何种类的图像，只要被摄体相同并且图像是时间上连续拍摄的即可。例如，连续拍摄图像组CPll可以是其中连续拍摄图像是一帧的图像的运动图像，或者可以是由连续拍摄的每个时间点的静止图像构成的静止图像组。
[0100]在这种连续拍摄图像组CPll被输入后，连续拍摄图像被分割成多个片段，这多个片段由包括具有运动的被摄体的片段和包括没有运动的静止被摄体的片段中的至少一个构成。
[0101]在图3中的示例中，构成连续拍摄图像组CPll的连续拍摄图像在空间方向上被分割成四个片段，即片段SGl至片段SG4。例如，片段SGl是包括静止被摄体的片段(以下也称为静止片段)，并且片段SG2至片段SG4是包括具有运动的被摄体的片段(以下也称为运动片段)O
[0102]在连续拍摄图像被分割成若干个片段后，对于这些片段中的每一个，生成在连续拍摄图像上显示片段的区域的静止图像(以下称为片段图像)或循环运动图像(以下称为片段循环运动图像)。片段的片段图像和片段循环运动图像被合并，以最终获得单个循环运动图像。
[0103]具体而言，首先，从作为静止片段的片段SGl，从构成连续拍摄图像组CPll的多个连续拍摄图像中选择一个或多个连续拍摄图像，从而生成所选连续拍摄图像的一个片段图像SGP11。例如，连续拍摄图像组CPll的前几个帧的连续拍摄图像中的片段SGl的区域的图像被重合，从而获得片段图像SGP11。
[0104]在静止片段中静止被摄体几乎没有任何运动，因此在播放循环运动图像时连续显示作为静止图像的片段图像SGPll可以从结束边缘到开始边缘平滑地转变循环运动图像，而无需对连续拍摄图像应用任何特定的处理。
[0105]接下来，对于作为运动片段的片段SG2，基于构成连续拍摄图像组CPll的连续拍摄图像上的片段SG2的区域的图像，判断图像是否适合于生成循环运动图像。也就是说，判定在该图像组中是否有适合于生成循环运动图像的具有高相似度的图像的对。
[0106]在图3中的示例中，连续拍摄图像的片段SG2的区域的图像被判定为适合于生成循环运动图像，因此循环运动图像被从这些图像生成，并且被获得作为片段SG2的片段循环运动图像SGMl I。
[0107]以相同的方式，对于作为运动片段的片段SG3，判断构成连续拍摄图像组CPll的连续拍摄图像上的片段SG3的区域的图像是否适合于生成循环运动图像。在此示例中，连续拍摄图像的片段SG3的区域的图像被判定为不适合于生成循环运动图像，因此从构成连续拍摄图像组CPll的连续拍摄图像的片段SG3的区域的图像生成一个片段图像SGP12。例如，连续拍摄图像组CPll的连续拍摄图像的第一帧中的片段SG3的区域的图像被按原样作为片段图像SGPl 2。
[0108]片段SG3是运动片段，但此片段SG3的区域不适合于形成循环运动图像，并且不能获得高质量的片段循环运动图像。因此，以与静止片段相同的方式对于片段SG3生成作为静止图像的片段图像，以便在播放循环图像时连续显示此片段图像，从而防止循环运动图像的破绽。
[0109]另外，对于作为运动片段的片段SG4，判断构成连续拍摄图像组CPll的连续拍摄图像上的片段SG4的区域的图像是否适合于生成循环运动图像。在图3中的示例中，连续拍摄图像的片段SG4的区域的图像被判定为适合于生成循环运动图像，因此循环运动图像被从这些图像生成，并且被获得作为片段SG4的片段循环运动图像SGM12。
[0110]对于连续拍摄图像的每个片段获得的片段图像SGPll和片段图像SGP12以及片段循环运动图像SGMl I和片段循环运动图像SGMl 2被合并，从而获得最终的循环运动图像。
[0111]例如，最终循环运动图像中的预定帧的图像LPFll是通过在与片段的位置相同的位置处合并与片段的片段图像或片段循环运动图像相对应的帧的图像来获得的。
[0112]也就是说，与图像LPFlI的帧相对应的片段循环运动图像SGMl I的帧的图像是图像SGFl I，并且与图像LPFl I的帧相对应的片段循环运动图像SGMl 2的帧的图像是图像SGFl 2。
[0113]在此情况下，片段图像SGP11、图像36?11、片段图像36?12和图像36?12各自位于图像LPFll上的片段SGl至片段SG4的位置，并且这些图像被合并以获得图像LPF11。
[0114]从而，通过根据被摄体的运动将连续拍摄图像分割成若干个片段，并且通过合并为每个片段生成的片段图像和片段循环运动图像来形成循环运动图像，可以容易地获得与连续拍摄图像的内容相对应的高质量循环运动图像。利用这样获得的循环运动图像，静止被摄体的部分可被以更高的图像质量以完全静止的方式像照片那样呈现，同时强调具有运动的部分的运动，使得看起来照片的一部分在运动。
[0115][图像处理装置的配置示例]
[0116]另外，输入多个连续拍摄图像并且生成参考图3描述的循环运动图像的图像处理装置的配置例如如图4中所示。图4是示出应用了本技术的图像处理装置的实施例的配置示例的图。
[0117]图像处理装置11被配置为包括图像存储器21、定位单元22、片段计算单元23、3维NR(噪声降低)单元24、循环运动图像计算单元25以及片段合并处理单元26。
[0118]图像存储器21临时存储所提供的连续拍摄图像，并且还根据需要输出记录的连续拍摄图像。另外，图像存储器21临时记录从片段合并处理单元26提供来的循环运动图像，并输出到未示出的下游显示单元等。
[0119]定位单元22读出记录在图像存储器21中的连续拍摄图像，对读出的连续拍摄图像执行定位处理，并将定位的连续拍摄图像提供到图像存储器21以便记录。这样定位的连续拍摄图像被临时记录在图像存储器21中，然后被提供给片段计算单元23至循环运动图像计算单元25。
[0120]片段计算单元23将从图像存储器21提供来的连续拍摄图像分割成多个片段，并且生成用于标识连续拍摄图像上的每个片段的位置的片段地图。片段计算单元23将所生成的片段地图提供给3维NR单元24至片段合并处理单元26。
[0121]3维NR单元24基于来自图像存储器21的连续拍摄图像和来自片段计算单元23的片段地图生成关于连续拍摄图像上的静止片段的片段图像，并将其提供给片段合并处理单元
26 ο
[0122]循环运动图像计算单元25基于来自图像存储器21的连续拍摄图像和来自片段计算单元23的片段地图，对于连续拍摄图像上的每个片段生成片段图像或片段循环运动图像，并提供给片段合并处理单元26。
[0123]片段合并处理单元26基于来自片段计算单元23的片段地图合并从3维NR单元24和循环运动图像计算单元25提供来的片段的片段图像和片段循环运动图像，并生成循环运动图像。片段合并处理单元26将所生成的循环运动图像提供到图像存储器21以便记录。
[0124][对循环运动图像生成处理的描述]
[0125]现在，在连续拍摄图像被提供给图像处理装置11并且循环运动图像的生成被指令时，图像处理装置11执行循环运动图像生成处理以生成并输出循环运动图像。在下文中，将参考图5中的流程图描述图像处理装置11进行的循环运动图像生成处理。
[0126]在步骤Sll中，图像存储器21接收从外部发送给它的多个连续拍摄图像，并临时记录它们。
[0127]在步骤S12中，定位单元22从图像存储器21中读出连续拍摄图像并执行定位处理，并且将定位的连续拍摄图像提供到图像存储器21以便记录。
[0128]例如，执行上述射影变换作为定位处理。也就是说，定位单元22从连续拍摄图像中提取特征点，以多个连续拍摄图像之一作为基准图像并且以其他连续拍摄图像作为待处理图像，并且对于每个待处理图像通过RANSAC等获得射影变换矩阵。定位单元22随后用所获得的射影变换矩阵执行待处理图像的射影变换，以使得连续拍摄图像上的相同被摄体重合，从而执行连续拍摄图像的定位。此时，经历了射影变换的连续拍摄图像根据需要经历裁剪处理。
[0129]以这种方式经历了定位的连续拍摄图像被记录在图像存储器21中，然后被提供给片段计算单元23至循环运动图像计算单元25。
[0130]在步骤S13中，片段计算单元23对从图像存储器21提供来的连续拍摄图像执行分段，并将连续拍摄图像分割成若干个片段。片段计算单元23随后将通过分段获得的片段地图提供给3维NR单元24至片段合并处理单元26。
[0131]例如，片段计算单元23获得多个连续拍摄图像中的相同位置处的像素的亮度值的方差值。片段计算单元23随后将所获得的方差值与预定的阈值τ，并且在方差值等于或大于阈值τ的情况下，将被获得了方差值的像素视为具有运动的像素。也就是说，其被视为显示具有运动的被摄体的运动像素。另一方面，在方差值小于阈值τ的情况下，片段计算单元23将被获得了方差值的像素视为没有运动的静止像素。
[0132]在没有运动的被摄体被连续显示在连续拍摄图像上的预定像素处的情况下，该像素的亮度值在时间方向上的变化应当较小。也就是说，在每个时间点处连续拍摄图像中的同一像素的亮度值将具有较小的方差并且几乎是相同的值，因此这些像素的亮度值的方差值应当较小。因此，片段计算单元23将任意标量值设定为阈值τ，将连续拍摄图像上的像素中的亮度值的方差值小于阈值τ的像素视为静止像素，并且将方差值是阈值τ以上的像素视为运动像素。
[0133]在判定连续拍摄图像的每个像素是运动像素或静止像素后，片段计算单元23基于判定结果生成指示出存在具有运动的被摄体的区域的位图图像。这里，在连续拍摄图像中的与位图图像中的像素处于相同位置的像素是运动像素的情况下，位图图像中的该像素的像素值被设定为“I”，并且在连续拍摄图像中的处于相同位置的像素是静止像素的情况下，位图图像中的像素的像素值被设定为“O”。
[0134]因此，在位图图像上，由像素值为“I”的像素构成的区域，即相邻像素的像素值为“I”的区域，指示的是如下区域:在连续拍摄图像中与该区域处于相同位置的区域是显示具有运动的被摄体的区域。以下，位图图像上由像素值为“I”的像素构成的区域也将被称为运动区域，并且由像素值为“O”的像素构成的区域也将被称为静止区域。
[0135]在生成位图图像时，对连续拍摄图像中的像素的亮度值的方差值单纯地执行阈值处理将导致小面积运动区域和静止区域像噪声那样散布在整个位图图像中。
[0136]因此，片段计算单元23将位图图像上的小面积运动区域和静止区域视为孤立点，使位图图像经历利用诸如形态滤波器之类的孤立点去除滤波器的滤波处理，并且执行位图图像上的像素的连接处理。也就是说，从位图图像上去除孤立点。
[0137]通过利用孤立点去除滤波器的处理，执行了位图图像的运动区域和静止区域的扩张和收缩处理。例如，位图图像上的运动区域被扩张一个像素的量，或者被向内收窄一个像素的量。因此，去除了诸如运动区域和静止区域之类的形状中的微小空洞和突起，从而使能了稳定的渐变。注意，要对运动区域和静止区域执行多少个像素量的扩张和收缩处理以及按何种顺序执行是任选的。
[0138]在使位图图像经历了滤波处理后，片段计算单元23将位图图像上的由像素值“I”构成的运动区域视为运动片段，并且将由像素值“O”构成的静止区域视为静止片段。因此，构成一个片段的像素是具有在空间方向上连续排列的相同像素值的像素。
[0139]另外，片段计算单元23向位图图像上的每个片段赋予标识片段的标签(ID)，并且使用向片段提供了标签的位图图像作为片段地图。从而，例如向图3中的片段SGl至片段SG4中的每一个提供了标签。
[0140]注意，可以作出一种布置，其中分段不由片段计算单元23执行，而是用户利用交互工具手动指令连续拍摄图像的片段。另外，也可提供利用另一程序生成的片段地图。
[0141]在生成了片段地图后，片段地图被提供给3维NR单元24至片段合并处理单元26，并且处理从步骤S13前进到步骤S14。
[0142]在步骤S14中，3维NR单元24基于来自图像存储器21的连续拍摄图像和来自片段计算单元23的片段地图对连续拍摄图像上的静止片段执行3维NR处理，从而生成片段图像。
[0143]例如，3维NR单元24从片段地图识别连续拍摄图像上的静止片段区域。3维NR单元24随后生成若干个连续拍摄图像中的静止片段的图像的平均图像，并且将平均的图像视为片段图像。也就是说，若干个连续拍摄图像的静止片段中的相同位置处的像素的像素值的平均值被视为片段图像的与该像素相同位置处的像素的像素值。3维NR单元24将所生成的静止片段区域的片段图像提供给片段合并处理单元26。
[0144]注意，可以按任何方式来决定多个连续拍摄图像中的哪些连续拍摄图像要被用于3维NR处理。例如，可以选择在整个静止片段中亮度变化很小的预定数目的连续帧，并且从所选帧的连续拍摄图像生成片段图像。或者，可以利用所有帧的连续拍摄图像生成片段图像。
[0145]从而，通过在时间方向上重合连续拍摄图像的静止片段区域，可以从连续拍摄图像中去除噪声，并且可以获得高质量的片段图像。
[0146]对于一般的连续拍摄图像，即使被摄体看起来是静止的，通常也仍余留有微小的运动，因此如果对于这种区域生成循环运动图像，则在播放循环运动图像时可察觉到微小的被摄体运动和噪声。
[0147]因此，对于静止片段，在不形成片段区域的循环运动图像的情况下通过3维NR处理生成片段图像，从而使得在播放循环运动图像时连续显示相同的片段图像，由此可以呈现高质量的循环运动图像。因此，在播放循环运动图像时，在静止片段区域中可以降低噪声并且可以使得被摄体的运动完全静止，因此可以强调看起来好像静止图像的一部分在运动的戏剧效果。
[0148]在步骤S15中，循环运动图像计算单元25基于来自片段计算单元23的片段地图和来自图像存储器21的连续拍摄图像，对于每个运动片段计算累积SAD值。
[0149]例如，循环运动图像计算单元25从多个连续拍摄图像的帧中选择距离为由最短周期长度Lmin指示的帧数目以上的两个任意帧作为待处理帧。循环运动图像计算单元25随后对于以所选择的待处理帧为中心的由累积抽头长度Lsad指示的连续帧的区间执行参考图2描述的计算，以获得累积SAD值。注意，在计算累积SAD值时，只有连续拍摄图像上的作为处理对象的片段区域的像素被用于计算绝对差之和。
[0150]循环运动图像计算单元25改变待处理的帧的对，同时对于每对帧计算累积SAD值，并且将计算出的累积SAD值最小的一对帧视为片段循环运动图像的开始边缘和结束边缘的候选。
[0151]在这样计算出每个运动片段的累积SAD值后，循环运动图像计算单元25从这些运动片段中选择累积SAD值最小的运动片段。循环运动图像计算单元25随后将在计算所选运动片段的累积SAD值时被视为处理对象的帧对之间的帧数目视为要获得的整个循环运动图像的周期(以下称为重复周期)。也就是说，作为重复周期的帧数目是构成循环运动图像的帧的总数。
[0152]另外，关于所选运动片段的帧对是该运动片段的片段循环运动图像的开始边缘和结束边缘。
[0153]另外，在决定了循环运动图像的重复周期长度后，循环运动图像计算单元25对于除了所选运动片段以外的运动片段重计算累积SAD值。也就是说，对于每个运动片段检测出累积SAD值最小的距离为重复周期长度的一对帧，并且将检测到的那对帧视为片段循环运动图像的开始边缘和结束边缘帧。
[0154]通过对于每个运动片段使得距离相同帧数的帧对成为片段循环运动图像的开始边缘和结束边缘，可以使每个片段循环运动图像的整个周期是相同的长度。另外，可以对于每个运动片段使得片段循环运动图像的开始边缘和结束边缘是不同的帧(定时)，因此在从每个运动片段结束边缘转变到开始边缘时，具有最小视觉变化的帧可用于开始边缘和结束边缘。从而，可以获得具有更高质量的片段循环运动图像。
[0155]现在，即使在每个片段组的周期不同的情况下，如果循环运动图像要被输出到能够将片段循环运动图像作为单个循环运动图像同时播放的装置，则不执行累积SAD值的重计算。在这种情况下，播放循环运动图像的装置需要在合并片段图像和具有不同周期的多个片段循环运动图像的同时呈现的功能。
[0156]另外，在生成每个片段具有不同周期的片段循环运动图像并且从这些具有不同周期的片段循环运动图像生成循环运动图像的情况下，可以作出一种布置，其中，调整播放速度以使得片段循环运动图像的周期匹配，然后输出循环运动图像。在这种情况下，片段的周期中的最长周期可被用作全体的基准周期，其中对于具有更短周期的片段循环运动图像调整播放速度以便匹配基准周期。
[0157]对播放速度的调整可涉及单纯地接连多次显示短周期片段循环运动图像的若干个帧图像。为了获得更准确的结果，可以生成要新添加的时间位置的帧图像，以使得能够利用该时间位置前后存在的两个帧图像平滑地链接运动。
[0158]如上所述，作为循环运动图像，可以设想至少以下三种情况。也就是说，生成循环运动图像以使得所有片段循环运动图像的周期全都相同的情况，生成其中一些片段循环运动图像具有不同周期的循环运动图像的情况，以及通过调整具有不同周期的若干个片段循环运动图像的播放速度来生成整体具有一个周期的循环运动图像的情况。
[0159]现在，在生成具有不同周期的片段循环运动图像的循环运动图像的情况下，在循环运动图像的播放侧需要同时播放具有不同周期的片段循环运动图像。另外，在执行播放速度的调整的情况下，如上所述，片段循环运动图像的周期调整是通过插入帧图像之类的来执行的。
[0160]在获得了运动片段的累积SAD值和要充当片段循环运动图像的开始边缘和结束边缘的帧对后，处理从步骤S15前进到步骤S16。
[0161]在步骤S16中，循环运动图像计算单元25基于片段地图从一个或多个运动片段中选择一个运动片段作为待处理运动片段。
[0162]在步骤S17中，循环运动图像计算单元25判定待处理运动片段是否能被形成为循环运动图像。例如，在待处理运动片段的累积SAD值在预定阈值内的情况下，判定能够形成循环运动图像。
[0163]在步骤S17中判定能够形成循环运动图像的情况下，在步骤S18中循环运动图像计算单元25基于连续拍摄图像生成待处理运动片段的片段循环运动图像。
[0164]例如，对于在计算运动片段的累积SAD值时被视为处理对象的两个帧分别是开始边缘和结束边缘的区间，循环运动图像计算单元25从该区间中的帧的连续拍摄图像中切出运动片段区域图像。循环运动图像计算单元25使切出的图像经历上述渐变处理，从而生成片段循环运动图像，该片段循环运动图像被提供给片段合并处理单元26。
[0165]以这种方式生成的片段循环运动图像是如下的运动图像:其中，在多个连续帧的连续拍摄图像中的运动片段的图像之中，具有更高相似性的两个图像之间的图像被反复显不O
[0166]如果以这种方式执行渐变处理以生成片段循环运动图像，则可以减轻在从片段循环运动图像的结束边缘转变到开始边缘和结束边缘时接缝的明显性。然而，存在如下情况:即，在连续拍摄图像(运动片段的图像)的图片不同的部分，多个连续拍摄图像的被摄体以半透明的方式混合，使得接缝变得明显。
[0167]因此，可以通过以像素为单位获得最优转变定时的图形切割法来生成片段循环运动图像，以便以更高的质量混合不同帧的连续拍摄图像。
[0168]在通过重合两个图像的一部分来拼接两个图像的情况下，图形切割法获得在重合的图像的重叠部分处要使用两个图像中的哪些图像的像素来减小由图像的拼接引起的视觉不连续性。也就是说，在考虑到每个图像中的像素值的连续性和两个图像之间的像素值的连续性的情况下计算最优接缝，并且在此接缝处连接这两个图像。
[0169]与此相比，在通过图形切割法拼接多个重合的图像以使得多个帧图像的整个区域被重合的情况下，基本上执行与重合两个图像的一部分的情况相同的处理。在此情况下，拼接多个图像的接缝将是一平面而不是一条线。也就是说，考虑到了每个图像中的像素值的连续性和多个图像之间的像素值的连续性，其中图像中的相同位置处的像素之中的一个像素被视为充当图像的接缝的平面上的像素。
[0170]因此，在对于由连续帧的运动片段的图像构成的区间通过图形切割法生成片段循环运动图像的情况下，基于该区间的开始边缘附近的帧的图像和其结束边缘附近的帧的图像来执行图像的混合。也就是说，我们将把待处理区间的开始边缘附近的若干个帧和其结束边缘附近的若干个帧构成的区间称为混合区间。
[0171]在此情况下，基于混合区间中包括的帧的运动片段的图像来获得3维接缝平面，基于该平面执行运动片段的图像的混合处理，并且生成新的运动片段图像。以这种方式生成的新运动片段图像被视为开始边缘或结束边缘帧的运动片段图像。
[0172]注意，根据图形切割法的图像的混合例如在“Vivek Kwatra,Arno Schodl, IrfanEssa,Greg Turk and AaronBobick,^Graphcut Textures:1mage and Video SynthesisUsing Graph Cuts^Toappear in Proc.ACM Transact1ns on Graphics,SIGGRAPH 2003”等中详细描述。
[0173]另外，除了渐变和图形切割法以外，随机溶解等等可被用作在生成片段循环运动图像时混合若干个连续拍摄图像中的运动片段区域的图像的方法。
[0174]在执行了步骤S18中的处理并生成了片段循环运动图像后，处理随后前进到步骤S20。
[0175]另外，在步骤S17中判定不能由待处理运动片段形成循环运动图像的情况下，在步骤S19中循环运动图像计算单元25基于连续拍摄图像生成待处理运动片段的片段图像。
[0176]例如，循环运动图像计算单元25切出预定帧的连续拍摄图像中的待处理的运动片段区域的图像，并且将切出的图像不加改变地视为片段图像。
[0177]在对于运动片段获得的累积SAD值较大的情况下，这意味着很难以较小的视觉差异反复播放该运动片段区域的图像组。因此，对于这种运动片段，在播放循环运动图像时连续呈现作为静止图像的片段图像，从而防止循环运动图像在视觉上不连续。
[0178]注意，要被切出作为片段图像的连续拍摄图像的帧可以是任何帧，例如连续拍摄图像的开头帧、中间位置的帧等等。
[0179]另外，在生成运动片段的这种片段图像时执行3维NR处理。然而，被摄体的运动在运动片段中较大，因此图像(图片)的内容与前后帧有很大不同，因此难以正确地提取噪声成分。因此，优选不对运动片段执行3维NR处理。
[0180]在以这种方式生成了运动片段的片段图像后，循环运动图像计算单元25将所生成的片段图像提供给片段合并处理单元26，并且处理前进到步骤S20。
[0181]在在步骤S18中生成片段循环运动图像或者在步骤S19中生成了片段图像后，在步骤S20中循环运动图像计算单元25判定是否处理了所有运动片段。
[0182]在步骤S20中判定尚未将所有运动片段作为处理对象来处理的情况下，处理返回到步骤S16并且重复上述处理。
[0183]另一方面，在步骤S20中判定所有运动片段已被作为处理对象来处理的情况下，处理前进到步骤S21。
[0184]在步骤S21中，片段合并处理单元26基于从片段计算单元23提供来的片段地图执行片段合并处理，并且生成循环运动图像。也就是说，片段合并处理单元26合并从3维NR单元24和循环运动图像计算单元25提供来的片段图像和片段循环运动图像，以生成单个循环运动图像。
[0185]例如，如参考图3所述，片段的相应片段图像和片段循环运动图像的帧的图像被复制，在与这些片段相同的位置被合并，并且循环运动图像的一帧量的图像被形成。
[0186]在生成了循环运动图像后，片段合并处理单元26将所生成的循环运动图像提供给图像存储器21以便记录，并且结束循环运动图像生成处理。以这种方式记录在图像存储器21中的循环运动图像随后被提供给未示出的显示单元等。
[0187]虽然以上描述了生成并输出循环运动图像，但可以作出一种布置，其中片段的图像通过被单独记录在图像存储器21中并从而被输出，而不被合并。在这种情况下，片段合并处理单元26将片段的片段图像和片段循环运动图像按原样记录在图像存储器21中，而不进行合并。
[0188]在此情况下，片段的片段循环运动图像的周期不一定要是相同的，并且在片段的片段循环运动图像的周期不同的情况下，如上所述在步骤S15中不执行累积SAD值的重计笪并ο
[0189]在片段的片段图像和片段循环运动图像以相关联的方式被记录在图像存储器21中的情况下，片段的片段图像和片段循环运动图像在下游装置处在被合并的同时被作为循环运动图像播放。或者，每个片段循环运动图像可被单独作为单个运动图像播放。
[0190]另外，虽然以上描述了播放运动片段的片段循环运动图像，但用于播放循环运动图像的运动片段的图像可以是任何格式的图像，只要图像可作为循环运动图像播放即可。例如，多个连续平面的连续拍摄图像上的运动片段区域中的图像可被切出，并且由这些运动片段的图像构成的图像组可作为用于播放循环运动图像的运动片段的图像被输出。在此情况下，通过反复显示构成运动片段的图像组的图像，该图像组可作为单个循环运动图像被播放。
[0191]从而，图像处理装置11将连续拍摄图像分割成若干个片段，并且对于每个片段生成片段图像或片段循环运动图像。图像处理装置11随后合并这些片段图像和片段循环运动图像以生成单个循环运动图像。
[0192]通过以这种方式对于每个片段生成片段图像或片段循环运动图像，即使在连续拍摄图像中包括具有复杂运动的多个被摄体的情况下也能够生成适宜于每个片段的高质量图像。因此，可以更容易地获得高质量的循环运动图像。
[0193]在生成循环运动图像而不执行片段分割的情况下，例如，在连续拍摄图像中包括具有多个不同运动而不是单个运动的被摄体的情况下，不合需要地生成了考虑到每个被摄体的运动的折衷循环运动图像，因此无法获得期望的循环运动图像。
[0194]另一方面，通过根据连续拍摄图像中的亮度的变化和被摄体的运动将连续拍摄图像分割成片段，并且将执行处理的单位分解成小单位，可以改善作为结果最终获得的循环运动图像的质量。例如，可以为每个片段设定片段循环运动图像的最优转变定时，或者可以为每个片段循环运动图像提供不同的重复周期。另外，对于静止片段，不仅可以部分消除处理，而且可以通过3维NR处理获得高质量运动片段。
[0195]〈修改1>
[0196][图像处理装置的配置示例]
[0197]现在，虽然以上已描述了所生成的循环运动图像被从图像处理装置11输出，但可以作出一种布置，其中在图像处理装置11处播放循环运动图像。
[0198]在这种情况下，图像处理装置11的配置例如如图6中所示。注意，在图6中，用相同的标号标示与图4中的情况相对应的部分，并且适当地省略对其的描述。
[0199]图6中的图像处理装置11与图4中的图像处理装置11的配置的不同之处在于对于图4中的图像处理装置11的配置提供了显示控制单元51和显示单元52，并且其他配置是相同的。
[0200]显示控制单元51从图像存储器21读出循环运动图像并将其提供给显示单元52，从而使得循环运动图像被显示。显示单元根据显示控制单元51的控制显示从显示控制单元51提供来的循环运动图像。
[0201 ]〈第二实施例〉
[0202][相机装置的配置示例]
[0203]另外，虽然以上已描述了在输入连续拍摄图像时生成循环运动图像的示例，但可以作出一种布置，其中在输入连续拍摄图像时作出关于是否能够利用连续拍摄图像作为素材来生成高质量循环运动图像的判定，并且根据需要显示判定结果。
[0204]例如，我们将假定在用户使相机指向被摄体的阶段获得的预览图像充当连续拍摄图像，并且通过按下快门而拍摄的图像是高分辨率静止图像。在此情况下，在判定不能从连续拍摄图像生成高质量循环运动图像的情况下，显示表达此意的差错通知。
[0205]另外，在判定能够从连续拍摄图像生成高质量循环运动图像的情况下，在快门被按下后高分辨率静止图像被拍摄，而且循环运动图像被生成。这样不仅可通过单次快门操作生成循环运动图像，而且在预览阶段可通知用户是否能够生成循环运动图像。
[0206]在这种情况下，相机装置的配置例如如图7中所示。
[0207]相机装置81例如由相机构成，并且根据用户操作拍摄静止图像和运动图像。在相机装置81中，CPU(中央处理单元)91、存储器92、成像器件93、显示控制器94、输入接口 95、夕卜部装置接口 96和DSP (数字信号处理器)97经由总线98相互连接。
[0208]CPU 91控制相机装置81的整体操作。例如，在模式拨盘99被操作并且拍摄模式被指令时，与模式拨盘99处的操作相对应的信号被从模式拨盘99经由输入接口 95提供给CPU91。于是，CPU 91以与来自模式拨盘99的信号相对应的拍摄模式控制拍摄处理。
[0209]例如，作为拍摄模式，可选择用于拍摄高分辨率静止图像的通常拍摄模式，和用于拍摄循环运动图像的循环运动图像拍摄模式。
[0210]另外，在快门100被操作时，CPU91根据从快门100经由输入接口 95提供来的信号使得成像器件93对图像成像。成像器件93例如是CCD(电荷耦合器件)等，并且通过对经由透镜101来自被摄体的入射光执行光电转换来对图像成像。由成像器件93成像的图像被提供给存储器92并被临时保存，然后经历由DSP 97进行的图像处理，并且经由外部装置接口96被提供给记录单元102或者经由显示控制器94被提供给显示单元103。
[0211]记录单元102记录从外部装置接口 96提供来的图像等等的数据。显示单元103显示从显示控制器94提供来的图像。
[0212][图像处理装置的功能配置示例]
[0213]接下来，将描述通过CPU91和DSP 97执行程序而实现的图像处理单元的配置示例。图8是示出图像处理单元的功能配置示例的图。注意在图8中，用相同的标号标示与图4中的情况相对应的部分，并且适当地省略对其的描述。
[0214]图像处理单元131由图像存储器21、定位单元22、片段计算单元23、循环运动图像计算单元25、片段合并处理单元26和差错通知单元141构成。
[0215]记录在图像存储器21中的有由相机装置81作为预览图像成像的低分辨率连续拍摄图像和由相机装置81成像的高分辨率静止图像。另外，图像存储器21还记录由片段合并处理单元26生成的循环运动图像。
[0216]基于来自片段计算单元23的片段地图，片段合并处理单元26从来自循环运动图像计算单元25的片段循环运动图像和来自图像存储器21的高分辨率静止图像生成循环运动图像。
[0217]差错通知单元141基于从循环运动图像计算单元25提供来的连续拍摄图像的运动片段的累积SAD值，判定是否能够由连续拍摄图像形成循环运动图像，并且输出该判定结果O
[0218][对拍摄处理的描述]
[0219]接下来，将描述相机装置81执行的拍摄处理。在用户操作相机装置81并且指令图像的拍摄开始后，相机装置81开始拍摄处理并且根据用户的操作拍摄图像。以下是参考图9中的流程图对相机装置81进行的拍摄处理的描述。
[0220]在步骤S51中，CPU91基于从模式拨盘99提供来的信号判定是否选择了通常拍摄模式。
[0221]在步骤S51中判定选择了通常拍摄模式的情况下，在步骤S52中相机装置81根据用户对快门100的操作拍摄高质量静止图像，并且拍摄处理结束。
[0222]也就是说，成像器件93执行来自透镜101的入射光的光电转换以拍摄高分辨率静止图像，并且将其记录在存储器92中。记录在存储器92中的高分辨率静止图像根据需要被DSP 97处理，被提供给记录单元102，并被记录。
[0223]另一方面，在步骤S51中判定未选择通常拍摄模式，即选择了循环运动图像拍摄模式的情况下，处理前进到步骤S53。
[0224]在步骤S53中，相机装置81执行循环运动图像生成处理，并且拍摄处理结束。注意，在循环运动图像生成处理中，执行循环运动图像的拍摄。
[0225][对循环运动图像生成处理的描述]
[0226]接下来，将描述与图9中的步骤S53的处理相对应的循环运动图像生成处理。
[0227]在步骤S81中，相机装置81开始预览拍摄。也就是说，成像器件93在来自CPU91的指令下执行来自透镜101的入射光的光电转换，并且将作为其结果获得的连续拍摄图像提供给显示单元103和图像存储器21。在成像器件93处按预定时间间隔拍摄每个帧的连续拍摄图像。
[0228]图像存储器21临时记录从成像器件93提供来的连续拍摄图像。另外，显示单元103显示经由显示控制器94从成像器件93提供来的连续拍摄图像。因此，用户可以在观看在显示单元103上显示的充当预览图像的连续拍摄图像的同时，决定之后要拍摄的循环运动图像的角度和构图。
[0229]在步骤S82中，定位单元22从图像存储器21中读出连续拍摄图像并且执行定位处理，并且将定位的连续拍摄图像提供给图像存储器21以便记录。在步骤S82中，执行与图5中的步骤S12相同的处理。
[0230]也就是说，例如通过RANSAC等获得射影变换矩阵，通过所获得的射影变换矩阵执行待处理的连续拍摄图像的射影变换，并且执行连续拍摄图像的定位。这样定位的连续拍摄图像被记录在图像存储器21中，然后被提供给片段计算单元23和循环运动图像计算单元25。
[0231]在步骤S83中，片段计算单元23执行从图像存储器21提供来的连续拍摄图像的分段，并将连续拍摄图像分割成若干个片段。片段计算单元23随后将通过分段获得的片段地图提供给循环运动图像计算单元25。
[0232]在步骤S84中，循环运动图像计算单元25基于来自图像存储器21的连续拍摄图像和来自片段计算单元23的片段地图，对于每个运动片段计算累积SAD值。
[0233]例如，循环运动图像计算单元25将多个连续拍摄图像的帧之中的距离为最短周期长度Lmin指示的帧数目以上的两个任意帧视为待处理帧。循环运动图像计算单元25随后获得关于以所选的待处理帧为中心的由累积抽头长度Lsad指示的连续帧的区间的累积SAD值。注意，在计算累积SAD值时，只有连续拍摄图像上的作为处理对象的片段区域的像素被用于计算绝对差之和。
[0234]循环运动图像计算单元25改变待处理的帧的对，同时对于每对帧计算累积SAD值，并且将计算出的累积SAD值的最小值视为待处理运动片段的累积SAD值。循环运动图像计算单元25将这样获得的运动片段的累积SAD值提供给差错通知单元141。
[0235]在步骤S85中，差错通知单元141基于从循环运动图像计算单元25提供来的运动片段的累积SAD值，判定是否能够由连续拍摄图像形成循环运动图像。例如，在运动片段的累积SAD值的最小累积SAD值在预先确定的预定阈值以内的情况下，差错通知单元141判定能够形成循环运动图像。
[0236]在步骤S85中判定不能形成循环运动图像的情况下，在步骤S86中，差错通知单元141执行差错通知。例如，差错通知单元141生成大意是不能由连续拍摄图像形成循环运动图像的信息，即大意是不能拍摄循环运动图像的信息，并将所生成的信息提供给显示单元103以显示。
[0237]因此，用户可以辨别出作为连续拍摄图像拍摄的被摄体不适合于循环运动图像的拍摄。从而，用户可以通过改变被摄体或改变角度来应对该情形，以便能够拍摄期望的循环运动图像。
[0238]在作出差错通知后，处理随后从步骤S86返回到步骤S82，并且上述处理被重复。也就是说，判定基于新拍摄的连续拍摄图像的多个帧是否能够将连续拍摄图像形成为循环运动图像。
[0239]注意，对用户的通知可通过在显示单元103上显示文本消息或形状来执行，或者可通过音频来执行。
[0240]另外，在步骤S85中判定能够形成循环运动图像的情况下，在步骤S87中成像器件93拍摄高分辨率静止图像。也就是说，在用户按下快门100后，CPU 91指令成像器件93拍摄高分辨率静止图像。
[0241]成像器件93根据CPU91的指令执行来自透镜101的入射光的光电转换，并将作为其结果获得的高分辨率静止图像提供给图像存储器21。注意在这里，高分辨率静止图像是具有比连续拍摄图像更高的分辨率亦即具有更大像素数的静止图像。
[0242]注意，可以作出一种布置，其中，在步骤S85中判定能够形成循环运动图像的情况下，差错通知单元141在显示单元103上作出大意是能够拍摄(生成)循环运动图像的显示。此显示可以是文本消息，或者可以是任何特定形状、符号等等。另外，可以输出大意是能够拍摄循环运动图像的首频。
[0243]在步骤S88中，定位单元22从图像存储器21中读出高分辨率静止图像和连续拍摄图像，并且执行定位处理。
[0244]例如，定位单元22从图像存储器21中读出在步骤S85中判定能够形成循环运动图像的处理前的多个帧的连续拍摄图像和在步骤S87中拍摄的高分辨率静止图像。
[0245]定位单元22对连续拍摄图像执行到与高分辨率静止图像相同的大小(分辨率)的上采样，并且以高分辨率静止图像作为基准图像并且以上采样后的连续拍摄图像作为待处理图像执行连续拍摄图像的定位。也就是说，通过RANSAC等获得射影变换矩阵，并且通过该射影变换矩阵执行连续拍摄图像的射影变换。
[0246]这样定位的连续拍摄图像被记录在图像存储器21中，然后被提供给片段计算单元23和循环运动图像计算单元25。另外，记录在图像存储器21中的高分辨率静止图像被提供给片段合并处理单元26。
[0247]在步骤S89中，片段计算单元23对从图像存储器21提供来的连续拍摄图像执行分段，并将连续拍摄图像分割成若干个片段。片段计算单元23随后将通过分段获得的片段地图提供给循环运动图像计算单元25和片段合并处理单元26。
[0248]在步骤S90中，片段合并处理单元26基于来自片段计算单元23的片段地图和来自图像存储器21的高分辨率静止图像，生成每个静止片段的片段图像。例如，片段合并处理单元26切出高分辨率静止图像中的静止片段区域的图像，并将切出的图像不加改变地视为静止片段的片段图像。
[0249]在执行了步骤S90的处理之后，执行步骤S91至S96的处理，但此处理与图5中的步骤S15至步骤S20的处理相同，因此省略对其的描述。在步骤S91至步骤S96中，运动片段图像的片段图像或片段循环运动图像被生成并从循环运动图像计算单元25提供给片段合并处理单元26。
[0250]然而，注意，在步骤S91至步骤S96中，被转换(上采样)到与高分辨率静止图像相同分辨率的连续拍摄图像被用于生成片段图像和片段循环运动图像。
[0251]在步骤S96中判定所有运动片段都已被处理的情况下，处理前进到步骤S97。
[0252]在步骤S97中，片段合并处理单元26基于从片段计算单元23提供来的片段地图执行片段合并处理，并且生成循环运动图像。也就是说，片段合并处理单元26合并在步骤S90中的处理中生成的片段图像，和从循环运动图像计算单元25提供来的片段图像和片段循环运动图像，并且生成单个循环运动图像。
[0253]例如，如参考图3所述，片段的相应片段图像和片段循环运动图像的帧的图像被复制，在与这些片段相同的位置被合并，并且循环运动图像的一帧量的图像被形成。
[0254]在生成了循环运动图像后，片段合并处理单元26将所生成的循环运动图像提供给图像存储器21以便记录。循环运动图像生成处理随后结束，在此之后处理返回到图9中的步骤S53并且拍摄处理也结束。
[0255]以这种方式记录在图像存储器21中的循环运动图像随后被提供给记录单元102并被记录，被提供给显示单元103并被显示，等等。注意，可以作出一种布置，其中每个片段的图像被单独记录在图像存储器21中并被输出，而不被合并。
[0256]如上所述，相机装置81在连续拍摄图像已被输入的阶段判定连续拍摄图像是否适合于形成循环运动图像，并且在连续拍摄图像不适合于形成循环运动图像的情况下，向用户作出大意是不能形成循环运动图像的提示。因此，用户可在执行预览拍摄的状态中辨别出不能拍摄循环运动图像，并且可立即重新进行拍摄。从而，用户可适当地拍摄循环运动图像，并且可更容易地获得高质量的循环运动图像。
[0257]另外，在相机装置81中，对于每个片段生成片段图像或片段循环运动图像，因此在连续拍摄图像中包括具有复杂运动的多个被摄体的情况下，可以生成适宜于每个片段的高质量图像。从而，可以更容易地获得高质量的循环运动图像。
[0258]〈修改2>
[0259][图像处理单元的配置示例]
[0260]虽然以上描述了在将连续拍摄图像分割成片段并生成循环运动图像的情况下，如果连续拍摄图像不适合于形成循环运动图像，则将此意通知给用户，但也可在连续拍摄图像不被分割成片段的情况下通知用户。
[0261]在这种情况下，通过相机装置81的CPU91和DSP 97执行程序来实现的图像处理单元例如具有图11中所示的配置。注意在图11中，用相同的标号标示与图8中的情况相对应的部分，并且适当地省略对其的描述。
[0262]图像处理单元171由图像存储器21、定位单元22、循环运动图像计算单元25和差错通知单元141构成。
[0263]记录在图像存储器21中的有由相机装置81成像的连续拍摄图像和由循环运动图像计算单元25生成的循环运动图像。循环运动图像计算单元25根据从图像存储器21提供来的连续拍摄图像生成循环运动图像。
[0264][对循环运动图像生成处理的描述]
[0265]接下来，参考图12中的流程图描述在图像处理单元的配置如图11中所示的情况下执行的处理。在此情况下，相机装置81执行参考图9中的流程图描述的拍摄处理。然而，注意，在此情况下，在步骤S53的处理中，循环运动图像是在连续拍摄图像不被分割成片段的情况下生成的。
[0266]以下是参考图12中的流程图对在不将连续拍摄图像分割成片段的情况下生成循环运动图像的情况下执行的与步骤S53中的处理相对应的循环运动图像生成处理的描述。
[0267]在步骤S121中，相机装置81开始拍摄。也就是说，成像器件93遵循CPU91的指令以执行来自透镜101的入射光的光电转换，并将作为其结果获得的连续拍摄图像提供给显示单元103和图像存储器21。在成像器件93处按预定的时间间隔拍摄每个帧的连续拍摄图像。
[0268]在步骤S122中，定位单元22从图像存储器21中读出连续拍摄图像并执行定位处理，并且将定位的连续拍摄图像提供给图像存储器21以便记录。在步骤S122中，执行与图10中的步骤S82中相同的处理。经历了定位的连续拍摄图像被记录在图像存储器21，然后被提供给循环运动图像计算单元25。
[0269]在步骤S123中，循环运动图像计算单元25基于来自图像存储器21的连续拍摄图像，计算连续拍摄图像的累积SAD值。
[0270]例如，循环运动图像计算单元25将多个连续拍摄图像的帧之中的距离为最短周期长度Lmin指示的帧数目以上的两个任意帧视为待处理帧。循环运动图像计算单元25随后获得关于以所选的待处理帧为中心的由累积抽头长度Lsad指示的连续帧的区间的累积SAD值。注意，在计算累积SAD值时，整个连续拍摄图像的像素被用于计算绝对差之和。
[0271]循环运动图像计算单元25改变待处理的帧的对，同时对于每对帧计算累积SAD值，并且将计算出的累积SAD值的最小值视为连续拍摄图像的累积SAD值。循环运动图像计算单元25将这样获得的累积SAD值提供给差错通知单元141。
[0272]在步骤S124中，差错通知单元141基于从循环运动图像计算单元25提供来的连续拍摄图像的累积SAD值，判定是否能够由连续拍摄图像形成循环运动图像。例如，在运动片段的累积SAD值的最小累积SAD值在预先确定的预定阈值以内的情况下，差错通知单元141判定能够形成循环运动图像。
[0273]在步骤S124中判定不能形成循环运动图像的情况下，在步骤S125中差错通知单元141执行差错通知。例如，差错通知单元141将大意是不能由连续拍摄图像形成循环运动图像的信息提供给显示单元103以显示。
[0274]在作出了差错通知的情况下，处理随后从步骤S125返回到步骤S122，并且上述处理被重复。也就是说，基于新拍摄的连续拍摄图像的多个帧判定是否能够由连续拍摄图像形成循环运动图像。
[0275]另外，在步骤S124中判定能够形成循环运动图像的情况下，在步骤S126中循环运动图像计算单元25基于连续拍摄图像生成连续拍摄图像的片段循环运动图像。
[0276]例如，以在步骤SI23中计算出的累积SAD值为最小的一对帧作为待处理帧，循环运动图像计算单元25提取以这两个帧为开始边缘和结束边缘的区间的连续拍摄图像。循环运动图像计算单元25随后通过执行上述的渐变处理、根据图形切割法的处理、随机分解等等来生成循环运动图像，以生成被提供给图像存储器21的循环运动图像。
[0277]以这种方式获得的循环运动图像是通过循环整个连续拍摄图像获得的循环运动图像，而未将连续拍摄图像分割成片段。在生成循环运动图像后，循环运动图像计算单元25将所生成的循环运动图像提供给图像存储器21以便记录。循环运动图像生成处理随后结束，在此之后处理返回到图9中的步骤S53，并且拍摄处理也结束。
[0278]从而，在连续拍摄图像不适合于形成循环运动图像的情况下，相机装置81向用户作出大意是不能形成循环运动图像的提示。从而，用户可立即重新进行拍摄。因此，用户可以适当地拍摄循环运动图像，并且可以更容易地获得高质量的循环运动图像。
[0279]另外，可以作出一种布置，其中，如参考图5中的流程图所述，即使在仅利用连续拍摄图像从片段的片段图像和片段循环运动图像生成循环运动图像的情况下，也在拍摄连续拍摄图像时判定是否能够由连续拍摄图像形成循环运动图像。在这种情况下，也适当地输出对于是否能够由连续拍摄图像形成循环运动图像的判定结果。
[0280]上述一系列处理可以用硬件来实现，或者可以用软件来实现。在用软件实现这一系列处理的情况下，构成该软件的程序被从程序记录介质安装到内置于专用硬件中的计算机或者能够通过安装各种类型的程序来执行各种类型的功能的通用个人计算机中。
[0281]图13是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0282]在计算机中，CPU 501、R0M(只读存储器)502和RAM(随机访问存储器)503通过总线504相互连接。
[0283]输入/输出接口 505也连接到总线504。连接到输入/输出接口 505的有由键盘、鼠标、麦克风等等构成的输入单元506、由显示器、扬声器等等构成的输出单元507、由硬盘或非易失性存储器等等构成的记录单元508、由网络接口等等构成的通信单元509、以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器等等之类的可移除介质511的驱动器510。
[0284]在以这种方式配置的计算机中，CPU 501将记录单元508中记录的程序经由输入/输出接口505和总线504加载到例如RAM 503，并且执行该程序，由此执行上述一系列处理。
[0285]计算机(CPU501)执行的程序例如是通过被记录在作为诸如磁盘(包括柔性盘)、光盘(CD-R0M(致密盘-只读存储器)、DVD(数字多功能盘)等等)、磁光盘或半导体存储器等等之类的封装介质的可移除介质511中来提供的，或者是通过诸如局域网、因特网、数字卫星广播等等之类的有线或无线传输介质来提供的。
[0286]通过将可移除介质511安装到驱动器510，程序经由输入/输出接口 505被安装在记录单元508中。另外，程序可被通信单元509经由有线或无线传输介质接收并被安装在记录单元508中。或者，程序可被预先安装在ROM 502或记录单元508中。
[0287]注意，计算机要执行的程序可以是遵循本说明书中描述的顺序按时序执行处理的程序，或者可以是并行地或在必要的定时(例如在执行调用时)执行处理的程序。
[0288]此外，本公开提供的技术可配置如下:
[0289]方案1.一种图像处理装置，包括:
[0290]片段计算单元，被配置为基于在不同时间点拍摄的多个拍摄图像将所述拍摄图像分割成若干个片段；以及
[0291]循环运动图像生成单元，被配置为从所述多个拍摄图像之中的若干个连续的所述拍摄图像中切出作为包括具有运动的被摄体的所述片段的运动片段的图像，并且基于所述运动片段的图像生成能够作为循环运动图像播放的图像。
[0292]方案2.根据方案I所述的图像处理装置，其中，在若干个连续的所述运动片段的图像之中，所述循环运动图像是具有高相似度的两个图像之间的图像被按顺序反复显示的运动图像。
[0293]方案3.根据方案I所述的图像处理装置，还包括:
[0294]片段图像生成单元，被配置为从所述多个拍摄图像之中的若干个所述拍摄图像中切出作为包括没有运动的被摄体的所述片段的静止片段的图像，并且基于所述静止片段的图像生成作为一个静止图像的片段图像。
[0295]方案4.根据方案3所述的图像处理装置，还包括:
[0296]片段合并处理单元，被配置为合并能够作为所述循环运动图像播放的图像和所述片段图像，从而生成一个循环运动图像。
[0297]方案5.根据方案3所述的图像处理装置，其中，所述片段图像生成单元通过重合若干个所述静止片段的图像来生成所述片段图像。
[0298]方案6.根据方案I所述的图像处理装置，其中，在连续的多个所述运动片段的图像之中存在具有高相似度的两个图像的情况下，所述循环运动图像生成单元基于包括所述具有高相似度的两个图像在内的连续的多个所述运动片段的图像来生成能够作为所述循环运动图像播放的图像。
[0299]方案7.根据方案6所述的图像处理装置，其中，在连续的多个所述运动片段的图像之中不存在具有高相似度的两个图像的情况下，所述循环运动图像生成单元基于一个所述运动片段的图像来生成作为一个静止图像的片段图像。
[0300]方案8.根据方案I所述的图像处理装置，还包括:
[0301]片段图像生成单元，被配置为从具有比所述拍摄图像更高的分辨率的高分辨率图像中切出与作为包括没有运动的被摄体的所述片段的静止片段相对应的区域的图像，并且基于与所述静止片段相对应的区域中的图像生成作为一个静止图像的片段图像；
[0302]其中，所述循环运动图像生成单元基于被转换成与所述高分辨率图像相同分辨率的所述拍摄图像来生成能够作为所述循环运动图像播放的图像。
[0303 ]方案9.根据方案8所述的图像处理装置，还包括:
[0304]操作单元，被配置为切换操作模式；
[0305]其中，在通过操作所述操作单元选择了预定模式作为所述拍摄模式的情况下，拍摄所述拍摄图像和所述高分辨率图像。
[0306]方案10.根据方案9所述的图像处理装置，其中，所述多个拍摄图像是在所述高分辨率图像的拍摄之前拍摄的；
[0307]所述图像处理装置还包括:
[0308]通知单元，被配置为判定在所述多个拍摄图像中的所述运动片段的图像中是否存在具有高相似度的两个图像，并且输出其判定结果。
[0309]方案11.根据方案10所述的图像处理装置，其中，在判定存在所述具有高相似度的两个图像的情况下，拍摄所述高分辨率图像，并且生成能够作为所述循环运动图像播放的图像和所述片段图像。
[0310]方案12.—种图像处理装置的图像处理方法，该图像处理装置包括:
[0311]片段计算单元，被配置为基于在不同时间点拍摄的多个拍摄图像将所述拍摄图像分割成若干个片段，以及
[0312]循环运动图像生成单元，被配置为从所述多个拍摄图像之中的若干个连续的所述拍摄图像中切出作为包括具有运动的被摄体的所述片段的运动片段的图像，并且基于所述运动片段的图像生成能够作为循环运动图像播放的图像；
[0313]所述方法包括以下步骤:
[0314]所述片段计算单元将所述拍摄图像分割成所述片段；以及
[0315]所述循环运动图像生成单元生成能够作为所述循环运动图像播放的图像。
[0316]方案13.—种程序，使得计算机执行包括以下步骤的处理:
[0317]基于在不同时间点拍摄的多个拍摄图像将所述拍摄图像分割成若干个片段；以及
[0318]从所述多个拍摄图像之中的若干个连续的所述拍摄图像中切出作为包括具有运动的被摄体的所述片段的运动片段的图像，并且基于所述运动片段的图像生成能够作为循环运动图像播放的图像。
[0319]方案14.一种图像处理装置，包括:
[0320]通知单元，被配置为判定在在不同时间点拍摄的多个拍摄图像中是否存在具有高相似度的两个拍摄图像，并且输出其判定结果；以及
[0321]循环运动图像生成单元，被配置为基于所述多个拍摄图像之中的包括具有高相似度的两个所述拍摄图像在内的多个连续的所述拍摄图像，生成能够作为循环运动图像播放的图像。
[0322]方案15.—种图像处理装置的图像处理方法，该图像处理装置包括:
[0323]通知单元，被配置为判定在在不同时间点拍摄的多个拍摄图像中是否存在具有高相似度的两个拍摄图像，并且输出其判定结果，以及
[0324]循环运动图像生成单元，被配置为基于所述多个拍摄图像之中的包括具有高相似度的两个所述拍摄图像在内的多个连续的所述拍摄图像，生成能够作为循环运动图像播放的图像；
[0325]所述方法包括以下步骤:
[0326]所述通知单元输出所述判定结果；以及
[0327]所述循环运动图像生成单元生成能够作为所述循环运动图像播放的图像。
[0328]另外，本技术的实施例不限于上述实施例，而是可以在不脱离本技术的实质的情况下对其作出各种修改。
[0329]标号列表
[0330]11图像处理装置[0331 ] 22定位单元
[0332]23片段计算单元
[0333]24 3维NR单元
[0334]25循环运动图像计算单元
[0335]26片段合并处理单元
[0336]81相机装置
[0337]99模式拨盘
[0338]141差错通知单元
【主权项】
1.一种图像处理装置，包括: 循环运动图像生成单元，被配置为: 从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及 基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像； 其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。2.根据权利要求1所述的图像处理装置，其中，在所述运动片段所包括的多个图像之中，所述循环运动图像包括所述运动片段的具有高相似度的两个图像之间的图像被按顺序反复显示的运动图像。3.根据权利要求1所述的图像处理装置，还包括: 片段图像生成单元，被配置为从所述多个拍摄图像中切出没有运动的被摄体，以生成所述一个或更多个静止片段。4.根据权利要求3所述的图像处理装置，其中， 所述循环运动图像生成单元被配置为通过合并所述运动片段和所述一个或更多个静止片段来生成能够作为所述循环运动图像播放的图像。5.根据权利要求3所述的图像处理装置，其中，所述片段图像生成单元通过重合分别从若干个所述拍摄图像中切出的没有运动的被摄体来生成所述一个或更多个静止片段。6.根据权利要求1所述的图像处理装置，其中，在所述运动片段所包括的多个图像之中存在具有高相似度的两个图像的情况下，所述循环运动图像生成单元基于包括所述具有高相似度的两个图像在内的所述运动片段的多个图像来生成能够作为所述循环运动图像播放的图像。7.根据权利要求6所述的图像处理装置，其中，在所述运动片段所包括的多个图像之中不存在具有高相似度的两个图像的情况下，所述循环运动图像生成单元基于所述运动片段的一个图像来生成静止片段。8.根据权利要求1所述的图像处理装置，还包括: 片段图像生成单元，被配置为从具有比所述拍摄图像更高的分辨率的高分辨率图像中切出与包括没有运动的被摄体的所述一个或更多个静止片段相对应的区域的图像，并且基于与所述一个或更多个静止片段相对应的区域中的图像来生成所述一个或更多个静止片段； 其中，所述循环运动图像生成单元基于被转换成与所述高分辨率图像相同分辨率的所述拍摄图像来生成所述运动片段。9.根据权利要求8所述的图像处理装置，还包括: 操作单元，被配置为切换拍摄模式； 其中，在通过操作所述操作单元选择了预定模式作为所述拍摄模式的情况下，拍摄所述拍摄图像和所述高分辨率图像。10.根据权利要求9所述的图像处理装置，其中，所述多个拍摄图像是在所述高分辨率图像的拍摄之前拍摄的； 所述图像处理装置还包括: 通知单元，被配置为判定在所述多个拍摄图像的所述运动片段所包括的多个图像中是否存在具有高相似度的两个图像，并且输出其判定结果。11.根据权利要求10所述的图像处理装置，其中，在判定存在所述具有高相似度的两个图像的情况下，拍摄所述高分辨率图像，并且生成所述运动片段和所述一个或更多个静止片段。12.—种信息处理装置，包括: 处理单元，被配置为: 从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及 基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像； 其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。13.—种图像处理方法，包括: 从在不同时间点拍摄的多个拍摄图像中切出具有运动的被摄体，以生成运动片段，以及 基于包括具有运动的被摄体的所述运动片段以及一个或更多个静止片段，根据所述拍摄图像生成能够作为循环运动图像播放的图像； 其中，所述运动片段和所述一个或更多个静止片段是根据所述拍摄图像在空间方向上分割得到的。
【文档编号】H04N5/232GK106027891SQ201610371071
【公开日】2016年10月12日
【申请日】2012年3月9日
【发明人】山田英史, 大木光晴
【申请人】索尼公司