专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本公开内容涉及一种图像处理设备、图像处理方法和程序。
背景技术：
近年来，例如，诸如数码静物摄像装置以及通信装置(诸如，移动电话)的各种装置包括允许它们捕获运动图像的图像捕获功能，因此，用户越来越具有捕获运动图像的机会。当将例如CMOS (互补金属氧化物半导体)用作成像装置时，例如，通常采用卷帘快门方法(使线曝光并顺序地读出这些线的方法)。当通过例如卷帘快门方法实现上述图像捕获功能时，即，当成像装置针对每条线顺序地捕获图像时，运动图像会遭受例如被称为焦平面失真的失真。
在这些情况下，开发了用于减小在运动图像中可能出现的失真的技术。这样用于减小在运动图像中可能出现的失真的技术可以包括例如在日本专利申请公布第2010-193302号(下文中称为专利文献I)中所述的技术以及在Barbara Zitova, JanFlusser, "Image registration methods:a survey", Image and Vision Computing21 (2003)977-1000, (http://library, utia. cas. cz/prace/20030125. pdf)(下文中称为非专利文献I)中所述的技术。
发明内容
用于减小在运动图像中可能出现的失真的方法可以包括例如以下(I)至(4)项中所表示的方法。(I)使用利用线性方程的矩阵变换的方法(例如，在专利文献I中所述的技术)通过整体上使用一个矩阵进行仿射变换来校正一帧的图像(下文中称为“帧图像)。(2)针对每个分割区域使用利用线性方程的矩阵变换的方法将帧图像分割成多个区域，并且每个分割区域经历上述(I)项的处理。(3)使用利用二次方程的矩阵变换的方法上述(I)项的处理被扩展为利用二次方程的处理，例如，如以下公式I所示。
,χ'2〕(α α2 α3 α4 α5 α Υχ2、
XfV1 bl hi b3 M h5 h6 xy
Va cl c2 c3 c4 c5 c6 v2^ =* (公式 I)
X1dl dl d3 d4 d5 d6 x
y' el el e3 e4 e5 e6 y
,I J U 0 0 0 0 I Xly(4)使用具有网格结构的登记的方法将帧图像垂直地且水平地划分成单元格(unit grid)，并且各个单元格(矩形)经历彼此不同种类的变形。变形方法可以包括通过执行特征点提取计算用于变形的变换表达式的方法，例如，如非专利文献I中所述。图I和图2是(I)至(4)项所示的用于减小失真的方法的特征的说明图。图I示出以上(I)至(4)项所示的用于减小失真的方法的优点和缺点。图2示出以上(I)至(4)项所示的用于减小失真的方法的评价，归类为计算量、失真处理和矢量可靠度这三项。图2示例性地示出以上(I)至(4)项所示的用于减小失真的方法的上述3个评价项中的每一项，进一步归类为“极好”、“良好”、“合理”和“差”(从极好到差)四个等级。如图I和图2所示，用于减小失真的每种方法均具有其优点和缺点。图3是分辨率与数据量(YUV 422转换)之间的关系的一个示例的说明图。近年来，图像的分辨率从SD (标清)分辨率提高到HD (高清)分辨率并进一步提高到4K等。随着分辨率的提高，图像的数据量也显著地增加，如图3所示。因此，捕获运动图像的图像捕获设备可以捕获的图像的分辨率提高得越多，要求图像捕获设备内的总线的通信速度的程度就变得越高。因此，还需要诸如CMOS的成像装置侧处理这种状况。图4是成像装置侧所处理的一个示例的说明图。图4所示的部分A示出在某一方 向上逐行地读出布置成矩阵形状的成像元件阵列的过去的扫描模式。图4所示的部分B示出在两个方向上逐行地读出布置成矩阵形状的成像元件阵列的新扫描模式的一个示例。例如，通过使用图4的部分B中所示的扫描模式，与针对图4的部分A中所示的过去的扫描模式的时间段相比，扫描可以在一半的时间段内结束。因此，随着图像捕获设备可以捕获的图像的分辨率提高，假设捕获运动图像的不同的图像捕获设备将采用不同的读出方法(扫描模式)，例如图4所示。本文中，随着扫描模式改变，在运动图像中可能出现的失真的类型也改变。因此，与图2所示的关系相比，例如上述(I)至(4)中所示的用于减小失真的方法与失真处理之间的关系也将改变。图5示出在采用图4的部分B中所示的扫描模式的情况下，上述(I)至
(4)项中所示的用于减小失真的方法的评价的一个示例，归类成计算量、失真处理和矢量可靠度这3项。图5示出关于上述(I)至(4)项中所示的用于减小失真的方法的上述3个评价项中的每一个的评价的示例，进一步归类为“极好”、“良好”、“合理”和“差”(从极好到差)四个等级。如图5的部分A所示，在采用图4的部分B中所示的扫描模式的情况下，借助于上述(I)项中所示的使用利用线性方程的矩阵变换的方法难以校正失真。因此，在指定扫描模式之后，期望用于减小在运动图像中可能出现的失真的后处理包括与由于已捕获到运动图像的成像装置的扫描模式而引起的失真对应的校正。因此，期望用于判定已捕获到运动图像的成像装置的扫描模式的方法。本公开内容提出了新颖且改进的图像处理设备、图像处理方法和程序，其可以基于表示运动图像的图像信号判定已捕获到运动图像的成像装置的扫描模式。根据本公开内容，提供了一种图像处理设备，包括失真分量计算单元，针对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由帧图像构成的运动图像的图像信号而按时序计算失真分量；以及判定单元，基于第二区域与第一区域之间的失真的关联和第二区域与第三区域之间的失真的关联的组合，判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。
此外，根据本公开内容，提供了一种图像处理方法，包括针对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由帧图像构成的运动图像的图像信号而按时序计算失真分量；以及基于第二区域与第一区域之间的失真的关联和第二区域与第三区域之间的失真的关联的组合，判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。此外，根据本公开内容，提供了一种使计算机执行如下步骤的程序针对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由帧图像构成的运动图像的图像信号而按时序计算失真分量；以及基于第二区域与第一区域之间的失真的关联和第二区域与第三区域之间的失真的关联的组合，判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。根据本公开内容，可以基于表示运动图像的图像信号判定已捕获到运动图像的成 像装置的扫描模式。
图I是(I)至(4)项中所示的用于减小失真的方法的特征的说明图；图2是(I)至(4)项中所示的用于减小失真的方法的特征的说明图；图3是分辨率与数据量(YUV 422转换)之间的关系的一个示例的说明图；图4是成像装置侧所处理的一个示例的说明图；图5示出在采用图4的部分B所示的扫描模式的情况下，上述(I)至(4)项中所示的用于减小失真的方法的评价的一个示例，归类为计算量、失真处理和矢量可靠度这3项；图6是示出根据第一实施例的图像处理设备的配置的一个示例的框图；图7是根据第一实施例的图像处理设备的运动检测部中的运动检测处理的基本处理的一个示例的说明图；图8是根据第一实施例的图像处理设备的运动检测部中的运动检测处理的一个示例的说明图；图9是坐标系的一个示例的说明图；图10是当根据第一实施例的图像处理设备的运动分量分离部采用图9所示的坐标系时的处理的一个示例的说明图；图11是根据第一实施例的图像处理设备的运动分量分离部中的运动分量分离处理中所使用的坐标系的一个示例的说明图；图12是用于将坐标系的原点O (中心坐标)移位至帧图像的中心的处理的说明图；图13是在围绕用户的肘旋转的情况下的行列式的说明图；图14是根据第一实施例的图像处理设备中的运动分量分离处理的一个示例的说明图；图15是焦平面失真的一个示例的说明图；图16是根据第一实施例的图像处理设备的判定单元中的处理的一个示例的说明图17是用于说明根据第一实施例的图像处理设备的判定单元中的正/负关联判定处理的一个示例的流程图；图18是在根据第一实施例的图像处理设备的判定单元中判定是否存在正关联的方法的一个示例的说明图；图19是根据第一实施例的图像处理设备的判定单元中的整体评价处理的说明图；图20A是根据第一实施例的图像处理设备的判定单元中的处理的一个示例的说明图；
图20B是根据第一实施例的图像处理设备的判定单元中的处理的一个示例的说明图；图21是根据第一实施例的图像处理设备的判定单元中的处理的一个示例的说明图；图22是根据第二实施例的图像处理设备所配置的第一区域的一个示例的说明图；图23是根据第四实施例的图像处理设备中的处理的一个示例的说明图；图24是在使用公式3所示的分量分离方程的情况下的中心点的说明图；图25是根据第五实施例的图像处理设备的失真分量计算单元所配置的中心点(中心坐标)的一个示例的说明图；以及图26是示出根据第六实施例的图像处理设备的判定单元中的处理的一个示例的流程图。
具体实施例方式下文中，将参照附图详细描述本公开内容的优选实施例。应注意，在该说明书和附图中，以相同附图标记表示具有基本上相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。此外，下文中将按如下顺序描述如下项。I.根据本实施例的图像处理方法2.根据第一实施例的图像处理设备3.根据第二实施例的图像处理设备4.根据第三实施例的图像处理设备5.根据第四实施例的图像处理设备6.根据第五实施例的图像处理设备7.根据第六实施例的图像处理设备8.根据第七实施例的图像处理设备9.根据本实施例的程序(根据本实施例的图像处理方法)在描述根据本实施例的图像处理设备的配置之前，描述根据本实施例的图像处理方法。此外，下文中假设根据本实施例的图像处理设备按如下描述根据依照本实施例的图像处理方法执行处理。
此外，下文中假设根据本实施例的图像处理设备按如下描述处理表示由帧图像(静止图像)构成的运动图像的图像信号。本文中，根据本实施例的帧图像是与例如运动图像的一帧相对应(在运动图像是隔行扫描图像的情况下与一场对应)的图像，并且假设图像处理设备100按时间顺序处理针对每一个帧所输入的图像信号。此外，不必须指定根据本实施例的帧图像的图像大小和/或颜色格式，而下文中按如下描述假设根据本实施例的帧图像是例如未压缩的图像信号。另外，根据本实施例的图像信号可例如包括表示图像大小、颜色格式、时间戳、已捕获到图像的图像捕获设备的信息等的附加信息。此外，下文中示例性地描述根据本实施例的图像处理设备针对整个图像序列对成像装置的扫描模式的判定。在上述情况下，当图像处理设备在判定之后执行失真的校正时，图像处理设备进行的这种处理是指所谓的两遍处理。另外，根据本实施例的图像处理设备进行的处理不限于上述情况。例如，根据本实施例的图像处理设备可基于例如在固定帧长(例如，对应于一秒的30帧)内的帧图像执行对成像装置的扫描模式的判定。在上述情况下，当图像处理设备在每次判定之后执行失真的校正时，图像处理设备可以实现所谓的一遍处理。根据本实施例的图像信号在这里可以例如包括表示通过用户使用图像捕获设备·进行捕获所获得的运动图像的信号(模拟信号/数字信号)，但是根据本实施例的图像信号不限于上述信号。例如，根据本实施例的图像信号可包括表示由装载在车辆等中的图像捕获设备捕获的运动图像或由安装在固定位置的图像捕获设备(诸如所谓的安全摄像装置)捕获的运动图像的信号。此外，根据本实施例的图像信号例如可以包括通过根据本实施例的图像处理设备(直接或经由机顶盒等间接)接收从电视塔等发送的广播波并对其解码所获得的图像信号。此外，根据本实施例的图像处理设备可以处理例如经由网络(或直接)从外部装置发送的图像信号。此外，根据本实施例的图像处理设备可处理通过对存储在例如存储单元(稍后提及)、可从根据本实施例的图像处理设备移除的外部记录介质等中的图像数据进行解码而获得的图像信号。另外，在根据本实施例的图像处理设备包括可以捕获运动图像的图像捕获单元(稍后提及的、与上述图像捕获设备对应的装置)或者根据本实施例的图像处理设备用作图像捕获设备的情况下，根据本实施例的图像处理设备可处理例如与图像捕获单元所捕获的运动图像对应的图像信号。根据本实施例的图像处理设备基于表示由帧图像构成的运动图像的图像信号判定已捕获到运动图像的成像装置的扫描模式。更具体地，根据本实施例的图像处理设备例如执行下述的(I )项的处理和(II)项的处理。( I )失真分量计算处理根据本实施例的图像处理设备针对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域，基于图像信号而按时序计算失真分量。此外，根据本实施例的图像处理设备可以基于图像信号而按时序计算运动分量。稍后描述计算失真分量和运动分量的方法的一个示例。 下文中，示例性地描述第二区域是通过水平方向上的二等分而获得的帧图像的上半区域并且第三区域是通过水平方向上的二等分而获得的帧图像的下半区域的情况。另夕卜，第二区域与第三区域之间的关系不限于上述情况，并且例如可存在如下另一种情况第二区域是通过水平方向上的二等分而获得的帧图像的下半区域并且第三区域是通过水平方向上的二等分而获得的帧图像的上半区域。此外，根据本实施例的失真分量可以例如包括水平方向上的失真分量和垂直方向上的失真分量。下文中，第一区域在水平方向上的失真分量由“B□”表示，其中，“ □”表示具有η个分量的线性阵列；并且类似地，下文中，第一区域在垂直方向上的失真分量由“Ε□”表示。此外，第二区域在水平方向上的失真分量在下文中由“Bu □”表示，而第二区域在垂直方向上的失真分量由“Eu[] ”表示，第三区域在水平方向上的失真分量在下文中由“BI [] ”表示，而第三区域在垂直方向上的失真分量由“E1 [] ”表示。(II)判定处理根据本实施例的图像处理设备基于根据所算出的失真分量的关 联结果判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。本文中，根据本实施例的图像处理设备基于例如第二区域与第一区域之间的失真的关联结果和第二区域与第三区域之间的失真的关联结果的组合，判定成像装置的扫描模式。此外，根据本实施例的图像处理设备可基于例如第三区域与第一区域之间的失真的关联结果以及第三区域与第二区域之间的失真的关联结果，判定成像装置的扫描模式。下文中，示例性地描述了如下情况根据本实施例的图像处理设备基于第二区域与第一区域之间的失真的关联结果和第二区域与第三区域之间的失真的关联结果的组合，判定成像装置的扫描模式。更具体地，根据本实施例的图像处理设备通过例如将表示已知成像装置的各扫描模式的失真的关联结果的数据(例如，表格)与基于所算出的失真分量的关联结果的组合进行比较，判定成像装置的扫描模式。稍后描述根据本实施例的图像处理设备进行的判定方法的具体示例。根据本实施例的图像处理设备通过例如执行上述(I )项的处理(失真分量计算处理)和上述(II)项的处理(判定处理)，基于图像信号判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。本文中，根据本实施例的图像处理设备通过例如将表示已知成像装置的各扫描模式的失真的关联结果的数据与基于所算出的失真分量的关联结果进行比较，判定成像装置的扫描模式。因此，根据本实施例的图像处理设备可以更准确地基于图像信号判定成像装置的扫描模式。下文中，在描述了根据本实施例的图像处理设备的配置的一个示例时，也描述了根据依据本实施例的图像处理方法的处理的具体示例。(根据第一实施例的图像处理设备)图6是示出根据第一实施例的图像处理设备100的配置的一个示例的框图。图像处理设备100包括例如失真分量计算单元102和判定单元104。此外，图像处理设备100可包括例如控制单元(未示出)、ROM (只读存储器，未示出)、RAM (随机存取存储器，未示出)、存储单元(未示出)、用户可操作的操作单元(未示出)、在显示屏上显示各种画面的显示单元(未示出)、用于与外部装置通信的通信单元(未示出)、图像捕获单元(未示出)等。图像处理设备100经由如数据传输线的总线例如连接上述各个部件。本文中，控制单元(未示出)被配置成包括例如MPU (微处理单元)、各种处理电路等，以总体上控制图像处理设备100。此外，控制单元(未示出)可用作例如失真分量计算单元102 (或失真分量计算单元102的配置的一部分)和判定单元104。此外,控制单元(未示出)还可以用作例如基于判定单元104的判定结果校正图像信号的校正单元(未示出)。另夕卜，例如，控制单元(未示出)可对通过校正处理所获得的图像信号执行如下处理诸如对通过校正处理所获得的图像信号进行编码以存储在存储单元(未示出)中、以及使得显示单元(未示出)和/或外部显示器在其显示屏上显示由图像信号表示的图像。ROM (未示出)存储控制数据(诸如，控制单元(未示出)使用的程序和操作参数)。RAM (未示出)临时存储控制单元(未示出)所执行的程序等。存储单元(未示出)用作包括在图像处理设备100中的存储装置，并且例如存储诸如图像数据的各种数据以及应用程序。本文中，作为存储单元(未示出)，可以采用例如磁性记录介质(诸如，硬盘(硬盘)、EEPROM (电可擦除可编程只读存储器)和非易失性存储器(诸如，闪存))。此外，存储单元(未示出)可从图像处理设备100移除。作为操作单元(未示出)，例如，可以采用按钮、光标键、诸如拨盘的旋转选择器或者这些的组合。此外，图像处理设备100可以连接至例如作为图像处理设备100的外部装·置的操作输入装置(例如，键盘、鼠标等)。作为显示单元(未示出)，例如，可以采用液晶显示器(IXD)以及有机电致发光显示器(其也称为OLED显示器(有机发光二极管显示器))。另外，显示单元(未示出)可以是能够显示并接受用户进行的操作的装置，诸如触摸屏。此外，图像处理设备100可以连接至作为图像处理设备100的外部装置的显示装置(例如，外部显示器等)，而不管是否存在显示单元(未示出)。通信单元(未示出)用作包括在图像处理设备100中的通信装置，并且以无线/有线方式经由网络(或直接)与外部装置通信。本文中，作为通信单元(未示出)，例如，可以采用通信天线和RF (射频)电路(无线通信)、IEEE 802. 15. I端口和收发器电路(无线通信)、IEEE802. Ilb端口和收发器电路(无线通信)或者LAN (局域网)端子和收发器电路(有线通信)。此外，作为根据本实施例的网络，例如，可以采用诸如LAN和WAN (广域网)的有线网络、诸如无线LAN (WLAN;无线局域网)、经由基站的无线WAN (WffAN ;无线广域网)的无线网络、或者使用诸如TCP/IP (传输控制协议/互联网协议)的通信协议的互联网。图像捕获单元(未示出)起到捕获静止图像或运动图像的作用。当包括图像捕获单元(未示出)时，图像处理设备100可以处理例如通过图像捕获单元(未示出)的捕获而生成的图像信号。本文中，作为根据本实施例的图像捕获单元(未示出)，例如，可以采用由透镜/成像装置和信号处理电路构成的图像捕获装置。透镜/成像装置例如由光学透镜和使用多个成像装置的图像传感器(诸如，CMOS)构成。然而，信号处理电路包括例如AGC (自动增益控制)电路和ADC (模数转换器)，并且将成像装置所生成的模拟信号转换成数字信号(图像数据)，以执行各种信号处理。作为信号处理电路执行的信号处理，例如，可以采用白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理。下文中，在描述了图6所示的根据第一实施例的图像处理设备100的配置的示例的同时，描述了图像处理设备100中的处理(根据图像处理方法的处理)的一个示例。失真分量计算单元102包括例如缓冲器106、运动检测部108、运动分量分离部110和缓冲器112，并且自发地起到执行上述(I )项的处理(失真分量计算处理)的作用。下文中，具体描述了构成失真分量计算单元102的缓冲器106、运动检测部108、运动分量分离部110和缓冲器112中的每一个。[缓冲器106]缓冲器106起到累积一定数量的帧图像的作用，并且累积下文中被简称为“输入帧图像”或“输入帧”的输入帧图像。本文中，缓冲器106起到例如FIFO (先进先出)方式的队列的作用。即，当在一定数量的帧期间累积帧图像时，缓冲器106在输入在下一新帧处的帧图像时丢弃在最旧帧处的帧图像。本文中，根据例如在运动检测部108的处理中所使用的帧的数量，确定缓冲器106中所累积的帧的数量。下文中，缓冲器106中所累积的帧图像可以被简称为“参考帧图像”或“参考帧”。[运动检测部108]运动检测部108使用输入帧图像和参考帧图像来执行输入帧图像中的运动检测。·首先，描述运动检测部108中的基本运动检测处理。图7是根据第一实施例的图像处理设备100的运动检测部108中的运动检测处理的基本处理的一个示例的说明图。本文中，可使用多个参考帧图像，而与来自输入帧图像的前一帧对应的参考帧图像用于最简单的运动检测处理。在上述情况下，将运动矢量定义为从输入帧图像到参考帧图像的运动，并且该运动矢量由例如在以下的公式2中所示的6个仿射参数表示，这意味着其第三行被固定为001。本文中，针对每帧确定一组仿射参数，并且这组仿射参数在下文中被称为“GMV”(全局运动矢量)。
,X1) aI aI aO X、y' = bv b2 b0 V (公式 2)
V1 J [ο O I Jl1V由于一个运动矢量对应于一帧，因此，运动检测部108通过计算运动矢量来检测输入帧图像的运动。下文中，运动矢量可以被称为“全局运动”。本文中，作为用于计算全局运动的方法，提出例如如下方法将一帧分割成一些矩形块，计算每个块的运动矢量(被称为对应于全局运动的局部运动)，并且每个块的运动矢量经历滤波。更具体地，根据申请人的申请，可以例如使用日本专利申请公布第2009-065332号中所述的技术或者日本专利申请公布第2009-065333号中所描述的技术，计算全局运动。运动检测部108对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域执行上述运动检测处理。图8是根据第一实施例的图像处理设备100的运动检测部108中的运动检测处理的一个示例的说明图。图8所示的部分A表示对第一区域的运动检测处理的一个示例。此夕卜，图8所示的部分B表示对第二区域的运动检测处理的一个示例，以及图8所示的部分C表示对第三区域的运动检测处理的一个示例。运动检测部108对第一区域、第二区域和第三区域中的每个区域执行上述的基本运动检测处理，以计算分别对应于第一区域、第二区域和第三区域的运动矢量。[运动分量分尚部110]
运动分量分离部110使用以下公式3中所示的模型(下文中，称为“分量分离表达式)来将所输入的仿射参数的运动矢量分尚成运动分量和失真分量。本文中，在运动分量分离部110中对与第一区域(整个帧)、第二区域(例如，帧的上半部)和第三区域(例如，帧的下半部)中的每个区域对应的运动矢量执行分量分离。
权利要求
1.一种图像处理设备，包括 失真分量计算单元，针对与整个帧图像对应的第一区域、与通过划分所述帧图像所获得的一个区域对应的第二区域和与通过划分所述帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由所述帧图像构成的运动图像的图像信号而按时序计算失真分量；以及 判定单元，基于所述第二区域与所述第一区域之间的失真的关联和所述第二区域与所述第三区域之间的失真的关联的组合，判定已捕获到所述图像信号表示的所述运动图像的成像装置的扫描模式。
2.根据权利要求I所述的图像处理设备，其中， 所述判定单元基于在使得用户选择判定准确度的选择画面上的用户操作，响应于所选择的判定准确度而执行判定。
3.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元基于所述运动图像的整体或所述运动图像的一部分的顺序帧图像而计算所述失真分量。
4.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元将排除了所述帧图像的部分区域的区域设置为所述第一区域。
5.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元基于所述运动图像中的奇帧处的帧图像或所述运动图像中的偶帧处的帧图像中的任一个来计算所述失真分量。
6.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元通过反转所述运动图像中的奇帧处的帧图像或所述运动图像中的偶帧处的帧图像中的任一个来计算所述失真分量。
7.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元针对与通过划分所述帧图像所获得的一个分割区域的整体对应的第四区域、与通过划分所述分割区域所获得的一个区域对应的第五区域和与通过划分所述分割区域所获得的另一区域对应的第六区域中的每个区域，计算失真分量，以及 所述判定单元基于对于每个分割区域的扫描模式的判定结果判定已捕获到所述运动图像的成像装置的扫描模式，其中，所述判定结果是基于所述第五区域与所述第四区域之间的失真的关联和所述第五区域与所述第六区域之间的失真的关联的组合而判定的。
8.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元通过分别为所述第一区域、所述第二区域和所述第三区域设置不同的中心坐标来计算所述失真分量。
9.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元通过分别为所述第一区域、所述第二区域和所述第三区域设置相同的中心坐标来计算所述失真分量。
10.根据权利要求I所述的图像处理设备，其中， 所述失真分量计算单元进一步针对所述第一区域、所述第二区域和所述第三区域中的每个区域，按时序计算运动分量，以及 所述判定单元选择性地校正基于所算出的运动分量而算出的失真分量，以执行所述判定。
11.一种图像处理方法,包括 针对与整个帧图像对应的第一区域、与通过划分所述帧图像所获得的一个区域对应的第二区域和与通过划分所述帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由所述帧图像构成的运动图像的图像信号而按时序计算失真分量；以及 基于所述第二区域与所述第一区域之间的失真的关联和所述第二区域与所述第三区域之间的失真的关联的组合，判定已捕获到所述图像信号表示的所述运动图像的成像装置的扫描模式。
12.—种程序，用于使得计算机执行如下处理 针对与整个帧图像对应的第一区域、与通过划分所述帧图像所获得的一个区域对应的第二区域和与通过划分所述帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由所述帧图像构成的运动图像的图像信号而按时序计算失真分量；以及 基于所述第二区域与所述第一区域之间的失真的关联和所述第二区域与所述第三区域之间的失真的关联的组合，判定已捕获到所述图像信号表示的所述运动图像的成像装置的扫描模式。
全文摘要
本发明提供了一种图像处理设备、图像处理方法和程序。该图像处理设备包括失真分量计算单元，针对与整个帧图像对应的第一区域、与通过划分帧图像所获得的一个区域对应的第二区域和与通过划分帧图像所获得的其他区域对应的第三区域中的每个区域，基于表示由帧图像构成的运动图像的图像信号而按时序计算失真分量；以及判定单元，基于第二区域与第一区域之间的失真的关联以及第二区域与第三区域之间的失真的关联的组合，判定已捕获到图像信号表示的运动图像的成像装置的扫描模式。
文档编号H04N5/217GK102905057SQ20121025945
公开日2013年1月30日 申请日期2012年7月20日 优先权日2011年7月29日
发明者小川延浩, 山本达也 申请人:索尼公司