图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质与流程

本发明涉及图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质。

背景技术：

作为对图像进行合成从而实现高分辨率的技术，例如已知有如下方法：使图像传感器沿与光轴垂直的方向移动来拍摄多个图像，并且对这些图像进行合成。公开有如下技术：在使用该方法来取得高分辨率的图像的情况下，对在被摄体进行移动的区域中产生的多重像等伪影进行抑制(例如参照专利文献1。)。

在该技术中，对多个图像间的相似度进行计算，并根据相似度来控制图像间的合成比。即，将所拍摄到的多个图像之中的1个作为基准图像，并将除此之外的图像作为参照图像，对基准图像与参照图像之间按照每个区域来计算差分，并根据差分值来判定两图像的相似度。然后，在相似度较高的区域中提高参照图像的合成比，在相似度较低的区域中提高基准图像的合成比，由此抑制了因被摄体的运动或位置偏移而导致的伪影的产生。

在先技术文献

专利文献

专利文献1：日本特开2011-199786号公报

技术实现要素：

发明所要解决的课题

低亮度的运动体区域的差分值和非运动体区域的差分值有时会因噪声的影响而成为相同程度。在该情况下，若通过基于差分值的合成比控制而控制为利用低亮度的运动体区域的差分值使得基准图像的合成比变高，则在非运动体区域中基准图像的合成比也会升高，从而无法获得提高分辨率的效果。

相反地，若利用低亮度的运动体区域的差分值控制为使得合成多个图像后的高分辨率图像的合成比提高，则虽然在非运动体区域中获得了提高分辨率的效果，但是在低亮度的运动体区域中因运动体的影响而会产生伪影。因此，无法同时实现低亮度的运动体区域的伪影抑制和分辨率提高。

本发明鉴于上述事项而被做出，其目的在于提供能够同时实现伪影抑制和分辨率提高的图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质。

用于解决课题的手段

本发明的一个方式为图像处理装置，该图像处理装置具有：高分辨率合成部，其将利用摄像元件对被摄体按照时间序列进行拍摄而取得的基准图像和该基准图像以外的1个以上的参照图像在分辨率比这些图像高的高分辨率空间上进行合成而生成合成图像，在该摄像元件中，在每个像素上排列有多种滤色器；位置偏移分布计算部，其在由通过该高分辨率合成部生成的合成图像的与不同种类的滤色器对应的像素分别构成的2个比较图像间计算位置偏移的分布；相关量计算部，其按照每个像素，根据由该位置偏移分布计算部计算出的位置偏移的分布来计算2个所述比较图像的相关量；以及图像修正部，其根据由该相关量计算部计算出的相关量来对所述合成图像进行修正。

根据本方式，当被输入通过对被摄体按照时间序列拍摄而取得的基准图像和1个以上的参照图像时，由高分辨率合成部生成分辨率比基准图像和参照图像高的合成图像。然后，在位置偏移分布计算部中，计算出由在合成图像中包含的与摄像元件的不同种类的滤色器对应的像素构成的2个比较图像间的位置偏移的分布，在相关量计算部中，按照每个像素，根据位置偏移的分布计算出2个比较图像的相关量，并根据计算出的相关量来修正合成图像。

即，与根据基准图像与参照图像中的每个区域的差分值来判定相似度的现有的图像处理装置不同，通过位置偏移的分布来求出2个比较图像的相关量，因此即使在像素值较小的情况下，也不会如差分值那样被噪声覆盖，能够可靠地计算出2个比较图像的相关量，能够取得抑制了因被摄体的运动或位置偏移而导致的伪影的产生的高分辨率的合成图像。

在上述方式中，也可以构成为，所述图像修正部利用基于由该相关量计算部计算出的相关量的合成比对所述合成图像与所述基准图像进行合成，从而对所述合成图像进行修正。

通过这样构成，由于在相关量较大的情况下被摄体的运动或位置偏移较小，因而在这种状态下合成也能够防止伪影的产生，因此通过提高合成图像的合成比而能够取得高分辨率的图像。另一方面，在相关量较低的情况下被摄体的运动或位置偏移较大，因而可以预测到如果在这种状态下进行合成则会产生伪影，因此通过提高基准图像的合成比而能够抑制伪影的产生。

此外，在上述方式中，也可以构成为，所述图像修正部利用基于由该相关量计算部计算出的相关量的合成比对使所述合成图像通过低通效应不同的滤波器后的2个图像进行合成，从而对所述合成图像进行修正。

通过这样构成，由于在相关量较大的情况下被摄体的运动或位置偏移较小，因而即使在这种状态下进行合成也能够防止伪影的产生，因此提高通过低通效应较低的滤波器的合成图像的合成比而能够取得抑制了模糊的高分辨率的图像。另一方面，由于在相关量较低的情况下被摄体的运动或位置偏移较大，因而可以预测到如果在这种状态下进行合成则会产生伪影，因此提高通过了低通效应较高的滤波器的合成图像的合成比，能够抑制模糊增大从而产生伪影的情况。

此外，在上述方式中，也可以构成为，所述图像修正部利用第1修正和第2修正来对所述合成图像进行修正，在第1修正中，利用基于由该相关量计算部计算出的相关量的合成比对使所述合成图像通过低通效应不同的滤波器后的2个图像进行合成，在第2修正中，对利用该第1修正而获得的图像与所述基准图像进行合成。

通过这样构成，根据相关量而提高通过低通效应较高的滤波器后的合成图像、通过低通效应较低的滤波器后的合成图像、或者基准图像中的任意一种图像的合成比，并使其他图像的合成比降低，从而能够同时实现伪影的抑制与高分辨率的图像取得。

此外，在上述方式中，也可以构成为，所述位置偏移分布计算部按照2个所述比较图像的每个图像，对于由彼此对应的2个以上的像素构成的多个小区域，计算出对2个以上的像素的像素值进行加法运算或者相加平均处理而得到的值的最大值和最小值的位置，并针对在2个所述比较图像间相对应的每个所述小区域计算出所述最大值和最小值的位置的偏移量。

通过这样构成，通过对2个以上的像素的像素值进行加法运算或者相加平均处理，能够抑制噪声的影响，并能够更可靠地求出相关量。在按照每个小区域进行加法运算的像素数相同的情况下通过加法运算或者相加平均处理而能够高精度地计算出相关量，在像素数不同的情况下通过相加平均处理而能够高精度地计算出相关量。

此外，在上述方式中，也可以构成为，所述位置偏移分布计算部针对所述小区域内的由排列在一个方向上的2个以上的像素构成的多个像素组，对像素值进行加法运算或者相加平均处理。

通过这样构成，能够容易地计算出像素组内的与像素的排列方向垂直的方向上的位置偏移的分布。此外，在像素纵横排列的情况下，能够分别针对纵向或横向、或者斜向容易地计算出位置偏移的分布。

此外，在上述方式中，也可以构成为，所述位置偏移分布计算部对所述小区域内的多个矩形区域的2个以上的像素的像素值进行加法运算或者相加平均处理。

通过这样构成，能够将小区域分割为多个矩形区域，并沿矩形区域的排列方向容易地计算出位置偏移的分布。

此外，在上述方式中，也可以构成为，所述相关量计算部计算如下的相关量：所述偏移量越大则所述相关量变得越低。

此外，在上述方式中，也可以构成为，所述相关量计算部计算出所述位置偏移的数量以作为偏移量。位置偏移的数量越多，则可判断为偏移量越大。

此外，在上述方式中，也可以构成为，图像取得部，其利用摄像元件对被摄体按照时间序列进行拍摄而取得基准图像和该基准图像以外的1个以上的参照图像，在该摄像元件中，在每个像素上排列有多种滤色器，并对由该图像取得部取得的基准图像和参照图像进行处理。

此外，本发明的另一个方式为图像处理方法，包括：高分辨率合成步骤，其中，将利用摄像元件对被摄体按照时间序列进行拍摄而取得的基准图像和该基准图像以外的1个以上的参照图像在分辨率比这些图像高的高分辨率空间上进行合成而生成合成图像，在该摄像元件中，在每个像素上排列有多种滤色器；位置偏移分布计算步骤，其中，在由通过该高分辨率合成步骤生成的合成图像的与不同种类的滤色器对应的像素分别构成的2个比较图像间计算位置偏移的分布；相关量计算步骤，其中，按照每个像素，根据通过该位置偏移分布计算步骤计算出的位置偏移的分布来计算2个所述比较图像的相关量；以及图像修正步骤，其中，根据通过该相关量计算步骤计算出的相关量来对所述合成图像进行修正。

此外，本发明的另一个方式为图像处理程序，其使计算机执行如下步骤：高分辨率合成步骤，其中，将利用摄像元件对被摄体按照时间序列进行拍摄而取得的基准图像和该基准图像以外的1个以上的参照图像在分辨率比这些图像高的高分辨率空间上进行合成而生成合成图像，在该摄像元件中，在每个像素上排列有多种滤色器；位置偏移分布计算步骤，其中，在由通过该高分辨率合成步骤生成的合成图像的与不同种类的滤色器对应的像素分别构成的2个比较图像间计算位置偏移的分布；相关量计算步骤，其中，按照每个像素，根据通过该位置偏移分布计算步骤计算出的位置偏移的分布来计算2个所述比较图像的相关量；以及图像修正步骤，其中，根据通过该相关量计算步骤计算出的相关量来对所述合成图像进行修正。

此外，本发明的另一个方式为非临时性计算机可读取存储介质，其存储图像处理程序，该图像处理程序使计算机执行如下步骤：高分辨率合成步骤，其中，将利用摄像元件对被摄体按照时间序列进行拍摄而取得的基准图像和该基准图像以外的1个以上的参照图像在分辨率比这些图像高的高分辨率空间上进行合成而生成合成图像，在该摄像元件中，在每个像素上排列有多种滤色器；位置偏移分布计算步骤，其中，在由通过该高分辨率合成步骤生成的合成图像的与不同种类的滤色器对应的像素分别构成的2个比较图像间计算位置偏移的分布；相关量计算步骤，其中，按照每个像素，根据通过该位置偏移分布计算步骤计算出的位置偏移的分布来计算2个所述比较图像的相关量；以及图像修正步骤，其中，根据通过该相关量计算步骤计算出的相关量来对所述合成图像进行修正。

发明效果

根据本发明，可获得能够同时实现伪影抑制和分辨率提高的效果。

附图说明

图1为示出本发明的一个实施方式的摄像装置的框图。

图2为示出由图1的摄像装置的图像处理装置生成的gr通道的高分辨率图像的一个示例的图。

图3a为示出对图2的gr通道的高分辨率图像进行插值而得到的全像素插值图像中的由4×4像素的小区域构成的关注区域的一个示例与其加法运算值之间的关系的图。

图3b为示出与图3a同样的gb通道中的关注区域的一个示例与其加法运算值之间的关系的图。

图4为示出图1的摄像装置的图像处理装置所具备的图像修正部的框图。

图5为示出在图4的图像修正部中根据相关量来计算合成比时所使用的映射图的一个示例的图。

图6为示出本发明的一个实施方式的图像处理方法的一个示例的流程图。

图7为示出图5的映射图的变形例的图。

图8为示出图3a的变形例的图。

图9为示出图3a的另一个变形例的图。

图10为示出图3a的另一个变形例的图。

图11为示出图4的图像修正部的变形例的框图。

图12为示出图4的图像修正部的另一个变形例的框图。

图13为示出图1的摄像装置的变形例的框。

图14a为示出基于图13的摄像装置的图像处理方法的一部分的流程图。

图14b为示出基于图13的摄像装置的图像处理方法的、接在图14a后的流程图。

具体实施方式

以下，参照附图，对本发明的一个实施方式的图像处理装置3以及摄像装置1进行说明。

如图1所示，本实施方式的摄像装置1具有：拍摄被摄体并取得图像的图像取得部2；对由该图像取得部2取得的图像进行存储的存储器4；以及对存储于该存储器4中的图像进行处理的图像处理装置3。

图像取得部2具有：对来自被摄体的光进行会聚的拍摄透镜5；供由该拍摄透镜5会聚的光入射而拍摄被摄体的光学图像的摄像元件6；使该摄像元件6在像素的排列方向上以亚像素单位进行移位的传感器移位机构7；以及对传感器移位机构7使摄像元件6移位的移位方向和移位量进行控制的传感器移位控制部8。

摄像元件6具有将r、gr、gb、b这4种滤色器以2×2像素单位配置于每个像素的所谓的拜耳阵列构造。由摄像元件6取得的图像为，最初取得的基准图像和在此后使摄像元件6移位而取得的1个以上的参照图像，这些图像被存储在存储器4中。

本发明的一个实施方式的图像处理装置3具有：根据存储于存储器4中的基准图像和1个以上的参照图像来生成高分辨率的合成图像的高分辨率合成部9；根据合成图像计算出位置偏移的分布的位置偏移分布计算部10；根据计算出的位置偏移的分布来计算出相关量的相关量计算部11；以及根据计算出的相关量来修正合成图像的图像修正部12。

在高分辨率合成部9中被输入有来自存储器4的基准图像和参照图像，并且被输入有来自传感器移位控制部8的摄像元件6的移位控制信息。高分辨率合成部9在根据所输入的移位控制信息(移位量和移位方向)来对所输入的基准图像及参照图像进行位置匹配的同时，将该基准图像及参照图像配置在每个颜色通道(r、gr、gb、b)的高分辨率图像空间上。

具体而言，首先将基准图像的各像素配置在高分辨率图像空间上，接下来，根据相对于基准图像的移位量及移位方向将参照图像的各像素配置在高分辨率图像空间上。在配置像素时，如果作为与欲配置的像素的颜色相同的像素已配置有基准图像的像素或另外的参照图像的像素，则可以不新配置像素，还可以与已配置的像素进行相加平均处理来更新像素值。此外，可以在进行了累加后利用加法运算次数来进行标准化。

此外，高分辨率合成部9可以在配置了全部像素后，对还未被配置的像素进行插值来实施嵌入处理。对于插值的方法，例如可以使用所配置的周围的像素来实施考虑了边缘方向的方向判别插值，或者通过复制存在于最近处的像素来进行插值。在图2中示出了gr通道的合成图像。除此之外还生成有r、gb、b通道的合成图像。图中的网格像素表示利用插值而生成的像素，除此以外的像素表示被配置的像素。

在图2所示的示例中，对1个基准图像和7个参照图像共计8个图像进行合成而生成了合成图像。图中的gr的角标表示拍摄顺序。对于像素的排列方向，为了方便，将横向称为水平方向，将纵向称为垂直方向。

1：为构成基准图像的像素，

2～8是构成通过以如下方式使基准图像移位并拍摄而取得的图像的像素，其中，移位方式为，

2：相对于基准图像而沿水平方向移位1像素，沿垂直方向移位0像素，

3：相对于基准图像而沿水平方向移位0像素，沿垂直方向移位1像素，

4：相对于基准图像而沿水平方向移位1像素，沿垂直方向移位1像素，

5：相对于基准图像而沿水平方向移位0.5像素，沿垂直方向移位0.5像素，

6：相对于基准图像而沿水平方向移位1.5像素，沿垂直方向移位0.5像素，

7：相对于基准图像而沿水平方向移位0.5像素，沿垂直方向移位1.5像素，

8：相对于基准图像而沿水平方向移位1.5像素，沿垂直方向移位1.5像素。

图2中的带网格线处表示未被配置的像素。

位置偏移分布计算部10将gr通道的合成图像和gb通道的合成图像划分为小区域，并针对相对应的每个小区域计算出位置的偏移量。

例如，在图3a和图3b所示的示例中，对由8个图像合成而得到的高分辨率图像进行插值，由此，使用全部像素都具有像素值的全像素插值图像，将由4×4像素的小区域构成的关注区域设定在gr通道的合成图像及gb通道的合成图像上的相同像素的位置处。

然后，在关注区域中，对沿水平方向和垂直方向排列的4个像素的像素值进行加法运算，根据水平方向和垂直方向的各方向的加法运算值计算出最小值和最大值的位置。作为表示位置的信息，分配按照进行加法运算的各个方向而连续的号码(在图中所示的例子为从“0”开始的连续号码)。

加法运算以如下方式进行。

＜gr的水平方向＞

grx1＝gr1+gr2+gr3+gr4

grx2＝gr5+gr6+gr7+gr8

grx3＝gr9+gr10+gr11+gr12

grx4＝gr13+gr14+gr15+gr16

在此，加法运算值的最小值为grx1，最大值为grx2。因此，最小位置＝0，最大位置＝1。

＜gb的水平方向＞

gbx1＝gb1+gb2+gb3+gb4

gbx2＝gb5+gb6+gb7+gb8

gbx3＝gb9+gb10+gb11+gb12

gbx4＝gb13+gb14+gb15+gb16

在此，加法运算值的最小值为gbx3，最大值为gbx4。因此，最小位置＝2，最大位置＝3。

＜gr的垂直方向＞

gry1＝gr1+gr5+gr9+gr13

gry2＝gr2+gr6+gr10+gr14

gry3＝gr3+gr7+gr11+gr15

gry4＝gr4+gr8+gr12+gr16

在此，加法运算值的最小值为gry1，最大值为gry4。因此，最小位置＝0，最大位置＝3。

＜gb的垂直方向＞

gby1＝gb1+gb5+gb9+gb13

gby2＝gb2+gb6+gb10+gb14

gby3＝gb3+gb7+gb11+gb15

gby4＝gb4+gb8+gb12+gb16

在此，加法运算值的最小值为gby2，最大值为gby3。因此，最小位置＝2，最大位置＝1。

位置偏移分布计算部10根据上述4组的最小位置和最大位置计算出x方向最小位置偏移量、x方向最大位置偏移量、y方向最小位置偏移量和y方向最大位置偏移量并将其输出。

在上述的示例中，

x方向最小位置偏移量：|0－2|＝2，

x方向最大位置偏移量：|1－3|＝2，

y方向最小位置偏移量：|0－2|＝2，

y方向最大位置偏移量：|3－1|＝2。

相关量计算部11计算从位置偏移分布计算部10发送的位置偏移量的合计值，并计算出与该合计值对应的相关量。

具体而言，

相关量＝最大位置偏移量－合计位置偏移量。

在图3a和图3b所示的示例中，最大位置偏移量＝12，合计位置偏移量＝8，因此输出相关量＝4。

如图4所示，图像修正部12具有：根据从相关量计算部11输出的相关量来计算合成比的合成比计算部13；对存储于存储器4中的基准图像的raw数据进行去马赛克处理并使之彩色化的颜色插值处理部14；将被实施了彩色化的基准图像放大为与合成图像相同的图像尺寸的放大处理部15；以及根据由合成比计算部13计算出的合成比，对由高分辨率合成部9生成的合成图像与被实施了放大处理的基准图像进行合成的合成处理部16。

合成比计算部13具有将相关量与合成比对应起来的映射图。映射图例如在图5中被示出。

在映射图中，相关量越高，则合成图像的合成比就越高，相关量越低，则基准图像的合成比就越高。

在相关量＝4的情况下，基准图像的合成比为0.65，合成图像的合成比为0.35。

针对与各像素对应的全部关注区域实施该处理。

以下对如上构成的本实施方式的摄像装置1和图像处理装置3的作用进行说明。

当利用本实施方式的摄像装置1进行被摄体的拍摄时，传感器移位机构7在根据来自传感器移位控制部8的指令信号而使摄像元件6移位的同时，取得1个基准图像和7个参照图像共计8个图像。

在将所取得的8个图像存储于存储器4中之后，实施本发明的一个实施方式的图像处理方法。

如图6所示，本实施方式的图像处理方法首先从将存储于存储器4中的8个图像输出至高分辨率合成部9开始。在高分辨率合成部9中，根据从传感器移位控制部8发送的移位控制信息，将8个图像按照每个颜色通道配置于高分辨率图像空间上的各像素，从而按照每个颜色通道生成高分辨率的合成图像(高分辨率合成步骤s1)。

接下来，将所生成的高分辨率的合成图像之中的gr和gb的合成图像发送至位置偏移分布计算部10，并计算出位置偏移量的分布(位置偏移分布计算步骤s2)。在位置偏移分布计算部10中，将gr以及gb的合成图像划分为小区域，并按照每个小区域计算出x方向最小位置偏移量、x方向最大位置偏移量、y方向最小位置偏移量以及y方向最大位置偏移量。使用gr和gb的合成图像的原因是，由于gr和gb的合成图像是由具备同类颜色的滤色器的像素构成的图像，因此易于进行像素值的比较，但并不限定于此。也可以使用与其他颜色的滤色器对应的像素的合成图像来求出位置偏移量。

将计算出的4种位置偏移量的分布发送至相关量计算部11，并按照每个小区域计算出相关量(相关量计算步骤s3)。将计算出的相关量的分布发送至图像修正部12。

在图像修正部12中，根据发送来的相关量，在合成比计算部13中按照每个小区域计算出合成比。

此外，在图像修正部12中，在颜色插值处理部14中对从存储器4读出的基准图像实施去马赛克处理，并在放大处理部15中将该图像放大为与合成图像相同的图像尺寸。然后，在合成处理部16中，根据在合成比计算部13中计算出的合成比对从高分辨率合成部9发送来的4个颜色通道的合成图像与被实施了放大处理的基准图像进行合成，由此生成被修正后的合成图像(图像修正步骤s4)。

这样，根据本实施方式的摄像装置1、图像处理装置3及图像处理方法，与现有的根据基准图像与参照图像的差分来设定合成比的技术不同，根据gr及gb的合成图像的位置偏移量的分布来计算合成比，因此具有如下优点：即使在像素值较小或者在如运动轻微的情况那样差分值变小而被噪声覆盖的状况下，也能够更为可靠地防止因被摄体的运动或位置偏移而导致的伪影的产生，并且能够实现图像的分辨率的提高。

另外，如图5所示，在本实施方式中，采用了以在相关量为第1阈值“2”以下的情况下成为仅基准图像、在相关量为第2阈值“8”以上的情况下成为仅合成图像的方式来对合成图像进行修正的映射图，但也可以代替该方式，如图7所示那样，采用对于全部相关量都存在两个图像的合成比的映射图。

此外，在位置偏移分布计算部10中，对水平方向和垂直方向的像素值进行加法运算，并计算出最小位置偏移量和最大位置偏移量，但也可以代替该方式，像图8所示那样，将小区域划分为更小的矩形区域，对矩形区域内的像素值进行加法运算或者进行相加平均处理从而计算出最小位置偏移量和最大位置偏移量。此外，如图9所示，也可以通过对斜向的像素值进行相加平均处理来计算出最小位置偏移量和最大位置偏移量。并且，如图10所示，也可以不使用在由高分辨率合成部9实施合成图像生成时进行插值而得到的像素，而仅使用所配置的像素。图中的带网格线的像素表示未被实施像素配置的像素。

并且，以上内容中采用了最大位置偏移量与合计位置偏移量的差分作为相关量，但也可以使用包含周边的关注区域在内的合计位置偏移量的合计数作为相关量。

此外，在本实施方式中，通过根据由合成比计算部13计算出的合成比而对基准图像与合成图像进行合成，从而对合成图像进行修正，但也可以代替该方式，如图11所示，不使用基准图像，使合成图像通过具有低通效应不同的2种滤波器(第1和第2滤波器)17、18的滤波器处理部19，并根据由合成比计算部13计算出的合成比来对经滤波器处理后的图像进行合成。通过这样处理，在相关量较小的区域中，提高由低通效应较高的滤波器17处理过的图像的合成比以使图像模糊，而在相关量较大的区域中，提高由低通效应较低的滤波器18处理过的图像的合成比，从而能够取得清晰的图像。

由此，也具有如下优点：能够有效地抑制因被摄体的运动或位置偏移而导致的伪影的产生。另外，作为低通效应较低的滤波器18，包括将合成图像以原样输出(未通过滤波器)的情况。

并且，如图12所示，还可以具有：第1修正合成处理部20，其进行第1修正，该第1修正根据由合成比计算部13计算出的合成比来对由低通效应不同的2种滤波器17、18进行了处理的2个图像进行合成；以及第2修正合成处理部21，其进行第2修正，该第2修正根据由合成比计算部13计算出的合成比来对第1修正后的图像与基准图像进行合成。第1修正与第2修正中的合成比的映射图可以相同，也可以不同。

此外，在本实施方式中，高分辨率合成部9根据来自图像取得部2的传感器移位控制部8的移位控制信息而进行位置匹配，同时将图像配置在每一个颜色通道的高分辨率图像空间上，但也可以代替该方式，通过使用存储于存储器4中的多个图像而计算出图像间的图像整体的全局运动量或者每个区域的局部运动量，从而对偏移量进行检测，并根据检测出的偏移量生成高分辨率图像。例如，按照每个以32×32像素作为1个区块的分割区域，使用区块匹配法等来取得水平方向和垂直方向上的运动矢量。所取得的运动信息不仅是水平方向和垂直方向上的运动，也可以为旋转方向或放大缩小的变化。

此外，在本实施方式的图像处理方法中，除了利用由电路形成的图像处理装置3来执行的情况之外，还能够利用可由计算机来执行的图像处理程序来实施。在该情况下，通过由cpu等处理器执行图像处理程序来实施本实施方式的图像处理方法。

具体而言，读出存储于存储介质中的图像处理程序，利用cpu等处理器来执行所读出的图像处理程序。在此，存储介质用于储存程序、数据等，其功能可通过光盘(dvd、cd等)、硬盘驱动器或者存储器(卡型存储器、rom等)等实现。

此外，在本实施方式中，如图13所示，也可以具有拍摄处理控制部22，该拍摄处理控制部22对传感器移位控制部8、高分辨率合成部9、位置偏移分布计算部10、相关量计算部11和图像修正部12进行控制。

如图14a所示，拍摄处理控制部22对拍摄模式进行判定(步骤s11)，并在拍摄模式为三脚架模式的情况下将传感器移位控制部8设定为打开(on)(步骤s12)，进行多次拍摄(步骤s13)，将来自传感器移位控制部8的图像间的移位控制信息发送至高分辨率合成部9(步骤s14)。

在拍摄模式为手持模式的情况下，拍摄处理控制部22将传感器移位控制部8设定为关闭(off)(步骤s15)，进行多次拍摄(步骤s16)，并向高分辨率合成部9的像素偏移检测部23发送多个图像，从而检测偏移量(步骤s17)。

在手持模式下，只要以能够在多次拍摄间体现出运动的方式进行拍摄即可，因此也可以将传感器移位控制部8特意设定为打开(on)。

之后，拍摄处理控制部22在高分辨率合成部9中进行多个图像的合成(高分辨率合成步骤s18)，并根据被合成的gr与gb的合成图像在位置偏移分布计算部10中计算出位置偏移分布(位置偏移分布计算步骤s19)，在相关量计算部11中计算出相关量(相关量计算步骤s20)。

拍摄处理控制部22根据iso感光度、曝光偏差和闪烁来确定映射图，该映射图用于确定在图像修正中使用的合成比。

首先，如图14b所示，拍摄处理控制部22从图像取得部2取得多次拍摄时的iso感光度，并根据iso感光度对应于低感光度、中感光度、高感光度中的哪一方来选择第1阈值和第2阈值不同的映射图(步骤s21)。由于iso感光度越高则噪声越增加，因此减小第1阈值和第2阈值，将合成图像或者通过了低通效应较低的滤波器18的合成图像的合成比设定得较高(步骤s22，s23，s24)。

接下来，拍摄处理控制部22对在多次拍摄时的图像间的曝光偏差的有无进行检测(步骤s25)，并在检测出曝光偏差的情况下，根据检测出的曝光偏差进行调节以使得上述设定的第1阈值和第2阈值变小(步骤s26)。由于当曝光偏差变大时会产生电平差，因此减小第1阈值和第2阈值，将合成图像或者通过了低通效应较低的滤波器18的合成图像的合成比设定得较高。

并且，拍摄处理控制部22对在多次拍摄时的图像间的闪烁的有无进行检测(步骤s27)，并在检测出闪烁的情况下，根据检测出的闪烁量进行调节以使得上述设定的第1阈值和第2阈值变小(步骤s28)。由于闪烁量变大也会导致产生电平差，因此减小第1阈值和第2阈值，将合成图像或者通过了低通效应较低的滤波器18的合成图像的合成比设定得较高，由此来进行合成图像的修正(图像修正步骤s29)，并保存被修正后的合成图像(步骤s30)。

通过在图像修正部12中使用按照上述方式而设定的映射图，从而即使在像素值较小或者如运动轻微的情况下那样差分值变小从而被噪声覆盖的状况下，也能够更可靠地防止因被摄体的运动或位置偏移而导致的伪影的产生，并且能够实现图像的分辨率的提高。

另外，拍摄处理控制部22也可以切换图像修正部12中的图像修正的方法。

标号说明：

1摄像装置

2图像取得部

3图像处理装置

6摄像元件

9高分辨率合成部

10位置偏移分布计算部

11相关量计算部

12图像修正部

17、18滤波器

s1、s18高分辨率合成步骤

s2、s19位置偏移分布计算步骤

s3、s20相关量计算步骤

s4、s29图像修正步骤。