专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及图像处理装置、图像处理方法、图像处理程序及存储介质。
背景技术：
以往，作为图像处理装置，已知有米用CMOS (Complementary Metal OxideSemiconductor,互补式金属氧化物半导体)对以焦平面快门方式拍摄的图像进行处理的装置(參照专利文献I)。在上述方式中，逐行地进行帧图像的数据转送。因此，帧图像内的拍摄定时成为每行略微不同的定时。由于这样的拍摄定时的偏移，发生所谓的滚动快门失真(焦平面失真)。在专利文献I所述的图像处理装置中，采用摄像机动作(camera motion)分量及滚动快门失真分量等将表示画面整体的运动的全局运动矢量模型化。而且，该图像处理装置检测全局运动矢量，利用上述模型从检测出的全局运动矢量中分离出各分量，计算摄像机动作分量或滚动快门失真分量。现有技术文献专利文献专利文献I日本特开2010 - 193302号公报
发明内容
但是，在专利文献I所述的图像处理装置中，有时候无法正确算出滚动快门失真分量。例如，在拍摄场景内存在不同运动的多个被摄体的情况下，该多个被摄体的运动有时反映到全局运动矢量。该情况下，全局运动矢量与专利文献I所述的模型之间产生误差，因此获得的滚动快门失真分量发生误差。而且，在专利文献I所述的模型中，为了计算表示滚动快门失真的扩大缩小的分量及表示平行四边形的失真程度的分量，需要各个全局运动矢量的多个分量。因而，在滚动快门失真分量的计算中容易产生误差。因此，在该技术领域中，期望一种能够稳定且正确地估计滚动快门失真分量的图像处理装置、图像处理方法、图像处理程序及存储介质。S卩，本发明的一方面的图像处理装置是处理连续的多个帧图像的图像处理装置。该装置具备图像输入部、平行移动量取得部及失真分量估计部。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。在该图像处理装置中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量組成。通过这样的近似，利用帧图像间的平行移动量能够计算出滚动快门失真分量所包含的临时失真系数。而且，通过利用算出的多个临时失真系数估计失真系数，可以估计出更合适的失真系数。因此，能够稳定且正确地估计滚动快门失真分量。在一个实施例中，失真分量估计部可以将多个临时失真系数的平均值或中值估计为失真系数。另外，在一实施例中，失真分量估计部可以在以滚动快门失真分量及平行移动量为坐标轴的2维平面上描绘临时失真系数，根据回归直线的斜率来估计失真系数。通过这样的估计，可以用多个临时失真系数来估计合适的失真系数。在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，将该帧图像的临时失真系数校正为帧图像的行数的倒数。另外，在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，不用该帧图像的临时失真系数来估计失真系数。通过这样的校正，即使临时失真系数的ー个为不合适的值的情况下，也能够估计适当的失真系数。在一个实施例中，失真分量估计部可以在估计出的失真系数大于帧图像的行数的倒数的情况下，将估计出的失真系数校正为帧图像的行数的倒数。通过这样的校正，可以避免最終的失真系数成为不合适值。
另外，本发明的其他方面的图像处理方法是处理连续的多个帧图像的图像处理方法。该方法具备图像输入步骤、平行移动量取得步骤及失真分量估计步骤。在图像输入步骤中，输入多个帧图像。在平行移动量取得步骤中，取得2个帧图像之间的平行移动量。在失真分量估计步骤中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。另外，本发明的其他方面的图像处理程序是使计算机工作以处理连续的多个帧图像的图像处理程序。该程序使计算机作为图像输入部、平行移动量取得部及失真分量估计部而工作。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。另外，本发明的其他方面的存储介质是记录了使计算机工作以处理连续的多个帧图像的图像处理程序的存储介质。该程序使计算机作为图像输入部、平行移动量取得部及失真分量估计部而工作。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。根据本发明的其他方面的图像处理方法、图像处理程序及存储介质，可以实现与上述图像处理装置同样的效果。根据本发明的各种方面及实施例，可以提供可稳定正确估计滚动快门失真分量的图像处理装置、图像处理方法、图像处理程序及存储介质。
图I是安装有第I实施例的图像处理装置的便携终端的功能框图。图2是安装有图I的图像处理装置的便携终端的硬件构成图。
图3是说明连续的2幅帧图像的坐标系的概要图。图4是说明滚动快门失真的概要图。(A)表示X方向的行扫描的扫描顺序为Y方向时，摄像机操作为X方向的情况下的被摄体的失真。(B)表示X方向的行扫描的扫描顺序为Y方向时，摄像机操作为Y方向的情况下的被摄体的失真。(C)表示Y方向的行扫描的扫描顺序为X方向时，摄像机操作为X方向的情况下的被摄体的失真。(D)表示Y方向的行扫描的扫描顺序为X方向时，摄像机操作为Y方向的情况下的被摄体的失真。图5是说明失真系数的计算方法的概要图。图6是示出动态帧图像与失真计数之间的关系的曲线图。图7是示出运动矩阵分量与移动量之间的关系的曲线图。图8是示出图I的图像处理装置的动作的流程图。
图9是安装了第I实施例的其他图像处理装置的便携终端的功能框图。图10是安装了第3实施例的图像处理装置的便携终端的功能框图。图11是示出图10的图像处理装置的动作的流程图。图12是安装了第4实施例的图像处理装置的便携终端的功能框图。图13是示出图12的图像处理装置的动作的流程图。
具体实施例方式以下，參照
本发明的实施例。另外，各图中同一或相应的部分赋予相同的标号，并省略重复的说明。(第I实施例)本实施例的图像处理装置是对图像失真进行校正的装置。该图像处理装置用于校正例如在移动拍摄装置的同时进行拍摄时发生的滚动快门失真。本实施例的图像处理装置优选安装在例如便携电话、数字摄像机、PDA (Personal Digital Assistant)等资源受限制的移动终端，但也不限于此，也可以安装在例如通常的计算机系统。另外，以下，考虑到便于说明理解，作为本发明的图像处理装置的一例，说明安装在具备摄像机功能的便携终端中的图像处理装置。图I是具备本实施例的图像处理装置I的便携终端2的功能框图。图I所示便携終端2是例如用户携带的移动终端，具有图2所示的硬件构成。图2是便携終端2的硬件构成图。如图2所示,便携终端2构成为物理上包含CPU (Central Processing Unit) 100、ROM (Read Only Memory) 101 及 RAM (Random Access Memory) 102 等的主存储装置、摄像机或键盘等的输入设备103、显示器等的输出设备104、硬盘等的辅助存储装置105等的通常的计算机系统。后述的便携终端2及图像处理装置I的各功能通过下述操作而实现在CPU100, R0M10U RAM102等的硬件上读入预定的计算机软件，在CPU100的控制下使输入设备103及输出设备104工作的同时进行主存储装置、辅助存储装置105中的数据的读出及写入。另外，上述说明中介绍了便携终端2的硬件构成，但是，图像处理装置I也可以构成为包含CPU100、R0M101及RAM102等的主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。另外，便携终端2也可以具备通信模块等。如图I所示，便携终端2具备摄像机20、图像处理装置I、图像记录部21、摄像机信息记录部22及显示部23。摄像机20具有图像拍摄功能。作为摄像机20，采用例如CMOS的像素传感器等，以焦平面快门方式进行拍摄。即，摄像机20向图像的纵方向或横方向进行扫描而输入像素值。摄像机20具有例如从通过用户操作等指定的定时开始以规定的间隔反复进行拍摄的连续拍摄功能。即，摄像机20具有不仅取得静止图像(静止帧图像)还取得动态图像(连续的动态帧图像)的功能。摄像机20具有例如在毎次拍摄所拍摄的帧图像(对象图像)时向图像处理装置I输出的功能。图像处理装置I具备图像输入部10、运动矢量取得部11、失真分量估计部12、校正參数算出部13及图像校正部14。图像输入部10具有输入由摄像机20拍摄的帧图像的功能。图像输入部10具有例如在每次拍摄时输入利用摄像机20所拍摄的帧图像的功能。另外，图像输入部10具有将输入帧图像保存在便携终端2所具备的图像记录部21中的功能。另外，图像输入部10具有将输入帧图像向运动矢量取得部11及图像校正部14输出的功能。
运动矢量取得部(平行移动量取得部)11具有利用输入巾贞图像和该输入巾贞图像之前拍摄的紧邻的2幅帧图像来取得运动矢量的功能。运动矢量取得部11例如參照图像记录部21，取得输入帧图像之前的帧图像。运动矢量取得部11以块为単位对连续的帧图像进行映射，取得局部运动矢量。接着，运动矢量取得部11利用取得的多个局部运动矢量，算出因摄像机20相对于被摄体的相对运动而产生的帧间的摄像机动作分量。这里，如图3所示，当以图像中心为原点，设算出对象的帧图像的坐标系为(ZyU) t，设前ー个帧图像的坐标系为(χΗ，γΗ，Dt，则摄像机动作分量用式(I)表示。其中，i是自然数。
权利要求
1.一种处理连续的多个帧图像的图像处理装置，其中，该图像处理装置具备 图像输入部，其输入所述多个帧图像； 平行移动量取得部，其取得2个帧图像之间的平行移动量； 失真分量估计部，其将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用所述平行移动量逐个帧图像地算出所述滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。
2.根据权利要求I所述的图像处理装置，其中， 所述失真分量估计部将所述多个临时失真系数的平均值或中值估计为所述失真系数。
3.根据权利要求I所述的图像处理装置，其中， 所述失真分量估计部在以所述滚动快门失真分量及所述平行移动量为坐标轴的2维平面上描绘所述临时失真系数，根据回归直线的斜率来估计所述失真系数。
4.根据权利要求I 3中任ー项所述的图像处理装置，其中， 所述失真分量估计部在所述临时失真系数大于帧图像的行数的倒数的情况下，将该帧图像的临时失真系数校正为帧图像的行数的倒数。
5.根据权利要求I 3中任ー项所述的图像处理装置，其中， 所述失真分量估计部在所述临时失真系数大于帧图像的行数的倒数的情况下，不使用该帧图像的临时失真系数来估计所述失真系数。
6.根据权利要求I 3中任ー项所述的图像处理装置，其中， 所述失真分量估计部在估计出的所述失真系数大于帧图像的行数的倒数的情况下，将估计出的所述失真系数校正为帧图像的行数的倒数。
7.—种处理连续的多个帧图像的图像处理方法，其中，所述方法具备 图像输入步骤，输入所述多个帧图像； 平行移动量取得步骤，取得2个帧图像间的平行移动量； 失真分量估计步骤，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用所述平行移动量逐个帧图像地算出所述滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。
全文摘要
本发明涉及图像处理装置及图像处理方法。图像处理装置(1)具备图像输入部(10)、运动矢量取得部(11)及失真分量估计部(12)。图像输入部(10)输入多个帧图像。运动矢量取得部(11)取得2个帧图像之间的平行移动量。失真分量估计部(12)将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。
文档编号H04N5/232GK102868858SQ201210229438
公开日2013年1月9日 申请日期2012年7月3日 优先权日2011年7月6日
发明者鸭志田幸生, 入海淳, 羽深兼介, 平贺督基 申请人:株式会社 摩如富