色像素称为Gr像素(第1种第1颜色像素)，将在偶数行上位于B像素之间的绿色像素称为Gb像素(第2种第1颜色像素)。图1中，也可以在奇数行偶数列排列R像素，在偶数行奇数列排列B像素，在其他部位排列绿色像素。与B像素相同的行上存在Gb像素，相同的列上存在Gr像素。并且，与R像素相同的行上存在Gr像素，相同的列上存在Gb像素。
[0073]图1中，示出了按照拜耳排列的局部彩色图像1，因此像素10按照列方向及行方向的2像素X2像素的基本排列图案重复。
[0074]并且，该实施例中，规定了列方向及行方向的3像素X 3像素的像素混合块Br (像素混合图案)。如后述，在该像素混合块Br内，混合相同颜色像素彼此，彩色图像缩小为1/9。其中，Gr像素与Gb像素为相同颜色像素，但在像素混合中被区分，Gr像素彼此、Gb像素彼此被像素混合。并且，像素混合块Br当然也可以不是3像素X3像素的大小。
[0075]以构成局部彩色图像1的3像素X 3像素的4个像素混合块Br规定的图像部分中，将左上、右上、左下及右下的各个图像部分设为图像部分11、12、13及14。
[0076]图2至图5表示图像部分11的像素混合的状态。
[0077]图2是构成图像部分11的R像素的像素混合。图2中，为了便于理解，省略了 R像素以外的像素。
[0078]图像部分11中，四角的像素10为R像素。四角的4个R像素被混合且被平均化的像素成为图像部分11的缩小后的R混合像素(第2颜色的混合像素)。
[0079]图3是构成图像部分11的Gr像素的像素混合。图3中，为了便于理解，省略了表示Gr像素以外的像素的颜色的符号。
[0080]图像部分11中，中央像素10的上下为Gr像素。这些2个Gr像素被混合且被平均化的像素成为图像部分11的缩小后的Gr混合像素(第1颜色的混合像素)。
[0081]图4为构成图像部分11的Gb像素的像素混合。图4中，为了便于理解，省略了表示Gb像素以外的像素的颜色的符号。
[0082]图像部分11中，中央像素的左右为Gb像素。这些2个Gb像素被混合且被平均化的像素成为图像部分11的缩小后的Gb混合像素(第1颜色的混合像素)。
[0083]图5表示构成图像部分11的B像素。图像部分11中有中央的1个B像素，因此该B像素本身成为缩小后的B混合像素(第3颜色的混合像素)。如此，以作为各颜色的像素的绿色成分像素、蓝色成分像素及红色成分像素分别进行像素混合之后的各颜色的混合像素的重心位置在像素混合块Br中成为相同的像素位置上的方式进行像素混合。通过这种像素混合，同时进行图像的缩小和像素插值，因此能够省略通常作为独立的处理而进行的插值处理(还称为去马赛克处理)，并能够简化处理回路并加快处理速度。
[0084]图6至图9表示图像部分12的像素混合的状态。这些图中与图2至图5相同地省略图示被像素混合的像素以外的像素。
[0085]图6是图像部分12的R像素的像素混合。在中央像素10上下有R像素，因此这些2个R像素被混合而生成R混合像素。
[0086]图7是图像部分12的Gr像素的像素混合。在四角有Gr像素，因此这些4个Gr像素被混合而生成Gr混合像素。
[0087]图8是图像部分12的Gb像素。在中央有Gb像素，因此该Gb像素成为Gb混合像素。
[0088]图9是图像部分12的B像素。在中央像素10的左右有B像素，因此这些2个B像素被混合而生成B混合像素。
[0089]图10至图13表示图像部分13的像素混合的状态。在这些图中也与上述相同地省略图示被像素混合的像素以外的像素。
[0090]图10是图像部分13的R像素的像素混合。在中央像素10的左右有R像素，这些2个R像素被混合而生成R混合像素。
[0091]图11是图像部分13的Gr像素。Gr像素位于中央，因此该Gr像素成为Gr混合像素。
[0092]图12是图像部分13的Gb像素的像素混合。图像部分13的四角的Gb像素被像素混合而生成Gb混合像素。
[0093]图13是图像部分13的B像素的像素混合。图像部分13的中央像素上下的B像素被像素混合而生成B混合像素。
[0094]图14至图17表示图像部分14的像素混合的状态。这些图中，也与上述相同地省略图示被像素混合的像素以外的像素。
[0095]图14是图像部分14的R像素。R像素位于中央，因此该R像素成为R混合像素。
[0096]图15是图像部分14的Gr像素。Gr像素位于中央像素10的左右，因此这些2个Gr像素被像素混合而成为Gr混合像素。
[0097]图16是图像部分14的B像素。B像素位于四角，因此这些4个B像素被混合而成为B混合像素。
[0098]图18表示横条纹的局部彩色图像1。
[0099]作为空间频率较高的被摄体的例子，在该例子中，设为被摄体为黑白的横条纹，且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图18所示，奇数行(或偶数行)成为白色线，偶数行(或奇数行)成为黑色线。局部彩色图像1中，为了明确是黑色线而附上了阴影。未附阴影的部分表示白色线。
[0100]在如图18所示的黑白的横条纹的局部彩色图像1中，若如上述那样进行像素混合，则有时会如下述那样产生假彩色。
[0101]首先，将白色电平设为100，将黑色电平设为0。如图2所示，图像部分11的R像素表示白色，因此R混合像素的电平成为100。同样地，如图3所示，Gr像素也表示白色，因此Gr混合像素的电平也成为100。如图4及图5所示，Gb像素及B像素分别显示黑色，因此Gb混合像素及B混合像素的电平均成为0。其中，Gr混合像素与Gb混合像素从相同的滤色器特性获得，因此若进行混合，则混合后的G像素的电平变成50，导致在像素混合后的缩小图像中产生假彩色。图像部分11以外的部分也相同。
[0102]图19表示竖条纹的局部彩色图像1。
[0103]与图18所示的内容相同地设为被摄体为黑白的竖条纹，且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图19所示，奇数列(或偶数列)成为白色线，偶数列(或奇数列)成为黑色线。图18中，也为了明确是黑色而附上了阴影。未附有阴影的部分为白色。
[0104]与上述相同地，将白色电平设为100，将黑色电平设为0。如图2所示，图像部分11的R像素表示白色，因此R混合像素的电平成为100。如图3所示，Gr像素表示黑色，因此Gr混合像素的电平成为0。如图4所示，Gb像素表示白色，因此Gb混合像素的电平成为100。如图5所示，B像素显示黑色，因此B混合像素的电平均成为0。若Gr混合像素与Gb混合像素被混合，则混合后的G像素的电平成为50，导致在像素混合后的缩小图像中产生假彩色。图像部分11以外的部分也相同。
[0105]该实施例中，如式1所示，利用通过像素混合获得的R混合像素、Gr混合像素、Gb混合像素及B混合像素进行相关方向判断。
[0106](| R混合像素-Gr混合像素| +1B混合像素_Gb混合像素|) < (| R混合像素_Gb混合像素I +1B混合像素-Gr混合像素|)……式1
[0107]若式1成立，则判断为局部彩色图像1如图18所示的横条纹那样在横方向(列方向)上相关。若式1不成立，则判断为局部彩色图像1如图19所示的竖条纹那样在纵方向(行方向)上相关。式1的不等号的左边为由相同行的像素生成的混合像素的差量值，式1的不等号的左边为由相同列的像素生成的混合像素的差量值，因此式1成立是因为认为相同行的像素间的电平差较少，在横方向上相关。同样地，式1不成立是因为认为相同列的像素间的电平差较小，在纵方向上相关。
[0108]该实施例中，根据相关方向校正混合像素。为了该校正，分别计算R像素差量值Rsub及B像素差量值Bsub。方向判断的结果，若判断为在横方向(列方向)上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式3及式4表示。如后述，在横方向上相关时，位于与R像素相同行的Gr像素的影响及位于与B像素相同行的Gb像素的影响分别减少。
[0109]R像素差量值Rsub = R混合像素-Gr混合像素……式3
[0110]B像素差量值Bsub = B混合像素-Gb混合像素……式4
[0111]方向判断的结果，若判断为在纵方向上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式5及式6表示。如后述，在纵方向(行方向)上相关时，位于与R像素相同列的Gb像素的影响及位于与B像素相同列的Gr像素的影响分别减少。
[0112]R像素差量值Rsub = R混合像素-Gb混合像素……式5
[0113]B像素差量值Bsub = B混合像素-Gr混合像素……式6
[0114]由如上述那样获得的混合像素等如下生成插值像素。
[0115]G插值像素=(Gr混合像素+Gb混合像素)/2……式7
[0116]R插值像素=G插值像素+R像素差量值Rsub……式8
[0117]B插值像素=G插值像素+B像素差量值Bsub……式9
[0118]利用根据式7至式9获得的插值像素来生成缩小图像，由此即使是如上述那样高频率的横条纹或竖条纹的黑白图像，也不会产生假彩色就能够实现缩小及插值处理。
[0119]例如，如上述的图18所示，若针对黑白横条纹的图像1进行缩小及插值处理，则针对图像部分11，式1成立，因此R像素差量值Rsub由式3成为Rsub = 100-100 = 0，B像素差量值Bsub由式4成为Bsub = 0-0 = 0。G插值像素由式7成为G插值像素=(100+0)/2=50，R插值像素由式8成为R插值像素=50+0 = 50，B插值像素由式9成为B插值像素=50+0 = 50。成为G插值像素=R插值像素=B插值像素=50，预先防止假彩色的产生。对于其他图像部分12、13及14也相同。
[0120]并且，如上述的图19所示，若针对黑白的竖条纹的图像1进行缩小及插值处理，则针对图像部分11，式1不成立，因此R像素差量值Rsub由式5成为Rsub = 100-100 = 0，B像素差量值Bsub由式6成为Bsub = 0-0 = 0。成为G插值像素=R插值像素=B插值像素=50，预先防止假彩色的产生。对于其他图像部分12、13及14也相同。
[0121]图20是表示进行上述的缩小及插值处理的数码相机的电结构的框图。
[0122]成像元件20具有上述的拜耳排列，输出如上述那样表示包含局部彩色图像1的彩色图像的彩色图像数据(RAW数据)。从成像元件20输出的彩色图像数据供给至构成像素插值装置21的相关信息计算回路22。在相关信息计算回路22中，如上述那样进行像素混合，生成R混合像素、B混合像素、Gr混合像素及Gb混合像素。利用这些混合像素，根据式1计算表示彩色图像的相关方向的相关信息。
[0123]从相关信息计算回路22输出分别表示R混合像素、B混合像素、Gr混合像素及Gb混合像素的数据以及表示相关信息的数据，并供给至RGB像素插值回路23。在RGB像素插值回路23中，根据相关方向，计算出以式3及式4或式5及式6表示的像素差量值，且根据式7至式9生成插值像素。表示所生成的插值像素的数据经由存储器24供给至显示处理装置25。通过显示处理装置25控制显示装置26，由此显示已进行插值处理的缩小图像。显示于显示装置26的图像中当然防止了假彩色的产生。另外，上述实施例中设为在相关信息计算回路22中进行