专利名称：图像处理装置、图像处理方法和摄像装置的制作方法
技术领域：
本发明涉及对从CCD图像传感器(Charge Coupled Device Image Sensor)或CMOS 图像传感器(Complementary Metal Oxide Semiconductor Image Sensor)等固体摄像兀件输出的摄像信号进行处理的图像处理技术，特别涉及对从具有滤色器阵列的固体摄像元件输出的摄像信号进行处理的图像处理技术。
背景技术：
近年来，搭载有CCD图像传感器或CMOS图像传感器等固体摄像元件的数字方式的彩色摄像装置(数字照相机或数字摄像机)正在普及。在这种彩色摄像装置中，广泛采用单板式的固体摄像元件，该固体摄像元件具有单一的滤色器阵列和对透射过该滤色器阵列的光学像进行受光的单一的摄像面。作为滤色器排列，广泛采用原色系或补色系的拜耳排列 (bayer arrangement)。一般地,原色系的拜耳排列由红色(R)、绿色(G)和蓝色(B)的滤色器的排列构成，补色系的拜耳排列例如由青色(C)、品红(M)、绿色(G)和黄色(Y)的滤色器的排列构成。
作为提高彩色摄像装置的灵敏度的方法，存在对固体摄像元件的输出信号进行电放大的方法、延长固体摄像元件的电荷蓄积时间的长时间曝光。但是，由于在低照度环境下得到的摄像信号包含较多的噪声成分，因此，当对该摄像信号进行电放大或进行长时间曝光时，有时摄像图像的S/N比(信号噪音比)降低。因此，作为实现高灵敏度化和高S/N比的方法，提出了选择多个 同色的像素，并对这些选择出的像素的数字信号进行相加的数字像素相加方法。这种数字像素相加方法例如公开在日本特开2000-184274号公报(专利文献 I)中。
专利文献1:日本特开2000-184274号公报(第4页第0010段等)
但是，在专利文献I公开的数字像素相加方法中，通过对多个像素(例如2个像素或3个像素)的数字信号进行相加，新生成I个像素，因此，存在分辨率降低，画质降低的问题。发明内容
鉴于上述情况，本发明的目的在于，提供一种图像处理装置、图像处理方法和摄像装置，能够在低照度环境下实现高灵敏度化和高S/N比，能够抑制分辨率的降低。
本发明的第I方式的图像处理装置对时间上连续的多个帧图像进行处理，其特征在于，该图像处理装置具有面内图案检测部，其从构成所述多个帧图像中的关注帧图像的像素中选择关注像素，计算表示包含所述关注像素的多个面内像素图案与所述关注像素之间的相关性的面内相关性评价值，进而，根据所述面内相关性评价值，从所述多个面内像素图案中选择与所述关注像素之间相关性最高的面内像素图案作为面内像素相加图案；参照图案检测部，其从构成相对于所述关注帧图像在时间上相邻的参照帧图像的像素中确定与所述关注像素对应的参照关注像素，计算表示多个参照像素图案与所述面内像素相加图案之间的相关性的面间相关性评价值，进而，根据所述面间相关性评价值，从所述多个参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案作为参照像素相加图案，其中，所述多个参照像素图案包含所述参照关注像素和位于该参照关注像素周边的周边像素中的一方或双方；以及像素相加部，其将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加，生成针对所述关注像素的校正像素。
本发明的第2方式的摄像装置的特征在于，该摄像装置具有所述第I方式的图像处理装置；以及输出所述多个帧图像的摄像元件。
本发明的第3方式的图像处理方法对时间上连续的多个帧图像进行处理，其特征在于，该图像处理方法具有以下步骤从构成所述多个帧图像中的关注帧图像的像素中选择关注像素，计算表示包含所述关注像素的多个面内像素图案与所述关注像素之间的相关性的面内相关性评价值；根据所述面内相关性评价值，从所述多个面内像素图案中选择与所述关注像素之间相关性最高的面内像素图案作为面内像素相加图案；从构成相对于所述关注巾贞图像在时间上相邻的参照巾贞图像的像素中确定与所述关注像素对应的参照关注像素，计算表示多个参照像素图案与所述面内像素相加图案之间的相关性的面间相关性评价值，其中，所述多个参照像素图案包含所述参照关注像素和位于该参照关注像素周边的周边像素中的一方或双方；根据所述面间相关性评价值，从所述多个参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案作为参照像素相加图案；以及将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加，生成针对所述关注像素的校正像素。
根据本发明，能够在低照度环境下实现高灵敏度化和高S/N比，能够抑制分辨率的降低。
图1是示出本发明的实施方式I的摄像装置的概略结构的框图。
图2是概略地示出实施方式I的像素相加电路的结构的一例的框图。
图3是示出实施方式I的降噪电路中包含的空间滤波器的概略结构的图。
图4的(A)是示出输入到面内图案检测电路的帧延迟信号的帧图像的图，(B)是示出(A)的帧图像中的5X5像素区域的图。
图5是示出实施方式I的摄像装置的面内图案检测电路的结构的框图。
图6是概略地示出图5的面内图案检测电路中包含的延迟电路的结构的图。
图7的(A)是示出输入到图6的延迟电路的滤波器信号的帧图像的图，(B)是示出 (A)的帧图像中的9X9像素区域的图。
图8是概略地示出图5的面内图案检测电路中包含的运算电路的结构的框图。
图9是概略地示出实施方式I的前方参照图案检测电路或后方参照图案检测电路中的任意一方的结构的框图。
图10是概略地示出图9的电路中包含的延迟电路的结构的图。
图11的(A)是示出输入到图10的延迟电路的帧延迟信号的帧图像的图，(B)是示出(A)的帧图像中的11X11像素区域的图。
图12是概略地示出图9的电路中包含的运算电路的结构的框图。
图13是概略地示出实施方式1的像素相加部中包含的选择电路的结构的图。图14是概略地示出帧图像的像素空间配置的图。图15是示出关注像素为G像素时的像素空间配置的图。图16是示出关注像素为G像素时的空间滤波器的运算对象像素的排列的图。图17是示出关注像素为R像素时的像素空间配置的图。图18是示出关注像素为R像素时的空间滤波器的运算对象像素的排列的图。图19是示出关注像素为B像素时的像素空间配置的图。图20是示出关注像素为B像素时的空间滤波器的运算对象像素的排列的图。图21是示出对关注像素(G像素)及其上侧的周边像素进行组合后的上侧块图案 的图。图22是示出对关注像素(G像素)及其右侧的周边像素进行组合后的右侧块图案 的图。图23是示出对关注像素(G像素)及其下侧的周边像素进行组合后的下侧块图案 的图。图24是示出对关注像素(G像素)及其左侧的周边像素进行组合后的左侧块图案 的图。图25是示出对关注像素(G像素)及其上侧和下侧的周边像素进行组合后的上侧 纵行图案的图。图26是示出对关注像素(G像素)及其上侧和下侧的周边像素进行组合后的下侧 纵行图案的图。图27是示出对关注像素(G像素)及其右侧和左侧的周边像素进行组合后的左侧 横行图案的图。图28是示出对关注像素(G像素)及其右侧和下侧的周边像素进行组合后的右侧 横行图案的图。图29是示出对关注像素(G像素)及其左上侧和右下侧的周边像素进行组合后的 左上侧斜行图案的图。图30是示出对关注像素(G像素)及其右下侧和左上侧的周边像素进行组合后的 右下侧斜行图案的图。图31是示出对关注像素(G像素)及其右上侧和左下侧的周边像素进行组合后的 右上侧斜行图案的图。图32是示出对关注像素(G像素)及其左下侧和右上侧的周边像素进行组合后的 左下侧斜行图案的图。图33是示出对关注像素(R像素)及其左上侧的周边像素进行组合后的左上侧块 图案的图。图34是示出对关注像素(R像素)及其右上侧的周边像素进行组合后的右上侧块 图案的图。图35是示出对关注像素(R像素)及其右下侧的周边像素进行组合后的右下侧块 图案的图。图36是示出对关注像素(R像素)及其左下侧的周边像素进行组合后的左下侧块图案的图。
图37的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图38的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图39的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图40的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图41的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图42的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图43的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图44的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图45的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图46的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图47的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图48的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图49的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图50的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图51的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图52的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图53的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图54的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图55的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和
图56的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图57的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图58的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图59的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图60的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图61的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图62的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图63的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图64的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图65的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图66的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图67的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图68的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图69的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图70的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图71的(A)、(B)是例示关注帧图像中的前方参照相加图案的组合的图。
图72的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图73的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图74的(A)、(B)是例示关注帧图像中的后方参照相加图案的组合的图。
图75的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注像素时的面内相加图案和 G像素为关注 像素时的面内相加图案和后方参照相加图案的组合的图。
图76的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图77的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图78的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图79的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图80的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图81的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图82的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图83的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图84的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图85的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图86的(A)、(B)是例示关注帧图像中的G像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图87的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图88的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和前方参照相加图案的组 合的图。
图89的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图90的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图91的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和前方参照相加图案的组合的图。
图92的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图93的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图94的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图95的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图96的(A)、(B)是例示关注帧图像中的R像素为关注像素时的面内相加图案和后方参照相加图案的组合的图。
图97是示出本发明的实施方式2的摄像装置的概略结构的框图。
图98的(A)是示出照度与光圈值(开口量)的关系的曲线图，(B)是示出照度与放大增益的关系的曲线图，(C)是示出照度与增敏倍率L的关系的曲线图，(D)是示出照度与曝光时间的关系的曲线图，(E)是示出照度与平均电平ASA的关系的曲线图。
图99是示出本发明的实施方式3的摄像装置3的概略结构的框图。
图100是示出本发明的实施方式I的变形例的摄像装置4的概略结构的框图。
图101是概略地示出图像处理单元的结构的图。
标号说明
11 :摄像光学系统(镜头机构)；12 :(XD图像传感器；12C =CMOS图像传感器；13 :前端部；13C :相关双重采样处理电路；13P :可编程增益放大电路；13A :A/D转换电路；14 :像素相加电路；15 :视频信号处理电路；16 :驱动电路；17 :定时产生电路；18 :同步信号产生电路；19、19B、19C :控制电路(MPU) ；13 :图像检波电路；82 :测光部；24 26 :选择电路； 20 :像素相加部；40 :降噪电路；41 43 :空间滤波器；50 :面内图案检测电路；70 :参照图案检测电路；71 :前方参照图案检测电路；72 :后方参照图案检测电路；220 :像素选择电路。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
实施方式I
图1是示出本发明的实施方式I的摄像装置I的概略结构的框图。如图1所示， 摄像装置I具有摄像光学系统(镜头机构)11、CCD图像传感器12、前端部13、像素相加电路 (ADD) 14、视频信号处理电路(ISP =Image Signal Processor) 15、驱动电路(DRV) 16、定时产生电路(TG Timing Generator) 17、同步信号产生电路(SSG !Synchronization Signal Generator) 18 和 MPU (Microprocessing Unit) 19。摄像光学系统 11 具有前侧透镜 110、 孔径光阑111和后侧透镜112。
并且，CXD图像传感器12是单板式的固体摄像元件，具有单一的滤色器阵列121 和单一的CXD元件122。滤色器阵列121周期性地面状排列N种滤色器(N为2以上的正整数)即可，该N种滤色器分别透射相互不同的N个波长区域的颜色的光。在本实施方式中， 作为滤色器阵列121的滤色器排列，使用原色系的拜耳排列，但是不限于此，也可以使用补色系的拜耳排列。在CCD元件122的二维排列的多个受光元件(光电二极管)上分别配置多个滤色器。这些受光元件是检测入射光并产生信号电荷的光电转换元件。
在图1中，摄像光学系统(镜头机构)11将被摄体的光学像聚焦在CCD图像传感器 12的摄像面上。在CCD图像传感器12中进行光电转换而得到的摄像信号被转送到前端部 13。前端部13由相关双重采样(Q)S Correllated Double Sampling)处理电路13C、可编程增益放大电路(PGA ProgrammabIe GainAmplifier) 13P 和 A/D 转换器(ADC) 13A 构成。CDS处理电路13C从由CCD图像传感器12输出的摄像信号中去除噪声等不需要成分。可编程增益放大电路13P以由从作为控制电路的MPU (Microprocessing Unit) 19输出的控制信号控制的增益，放大输出CDS处理电路13C的输出信号。A/D转换器13A将可编程增益放大电路13P的输出信号转换成数字信号。
像素相加电路14具有控制端子Inc和同步信号输入端子INs。从MPU19经由控制端子INc供给控制信号C0NT，从同步信号产生电路18经由同步信号输入端子Ins供给水平同步信号HD和垂直同步信号VD。像素相加电路14具有对A/D转换器13A的数字输出进行相加的功能。
视频信号处理电路15从视频信号输出端子OUT输出对像素相加电路14的输出信号实施颜色同时化处理、灰度校正处理、降噪处理、轮廓校正处理、白平衡调整处理、信号振幅调整处理和颜色校正处理等信号处理而得到的视频信号。
同步信号产生电路18生成垂直同步信号VD和水平同步信号HD，并供给到像素相加电路14、视频信号处理电路15和定时产生电路17。
定时产生电路17产生CXD图像传感器12用的驱动定时信号DRT，并供给到驱动电路16。驱动电路16根据从定时产生电路17输出的驱动定时信号DRT生成CXD图像传感器 12的驱动信号DRS。CXD图像传感器12根据从驱动电路16输出的驱动信号DRS进行光电转换和电荷转送。
MPU19进行摄像光学系统11的孔径光阑(用于调整光量的光圈)111的控制、定时产生电路17的控制(从CCD图像传感器12的光电转换元件读出电荷的电荷读出定时和电荷强制排出定时的控制，即曝光时间的控制)、可编程增益放大电路13P的放大增益的控制、 以及像素相加电路14的像素相加处理的控制。
图2是概略地示出实施方式I的像素相加电路14的结构的一例的框图。如图2 所示，像素相加电路14具有一帧延迟电路31、32、降噪电路40、延迟电路34、35、36、37、38、 像素相加部20、面内图案检测电路50和参照图案检测电路70。下面，参照图2对像素相加电路14的动作进行说明。
包含从A/D转换器13A输出的R像素值(根据透射过红色滤色器的光而生成的像素的值)、G像素值(根据透射过 绿色滤色器的光而生成的像素的值)和B像素值(根据透射过蓝色滤色器的光而生成的像素的值)的摄像信号F3被施加给输入端子INa，被供给到降噪电路40的空间滤波器43、一帧延迟电路31和延迟电路36。一帧延迟电路31将使摄像信号F3延迟I帧期间的帧延迟信号F2供给到降噪电路40的空间滤波器42、一帧延迟电路 32和延迟电路35。一帧延迟电路32将使帧延迟信号F2延迟I帧期间的帧延迟信号Fl供给到降噪电路40的空间滤波器41和延迟电路34。空间滤波器43输出降低了摄像信号F3 的噪声后的滤波器信号NR3。空间滤波器42输出降低了巾贞延迟信号F2的噪声后的滤波器信号NR2。空间滤波器41输出降低了巾贞延迟信号Fl的噪声后的信号NR1。
图3是概略地示出具有分别与空间滤波器41、42、43相同的电路结构的空间滤波器4x的结构的图。如图4的(A)、(B)所示，空间滤波器4x的延迟电路420对帧延迟信号 FU F2和摄像信号F3中的任意一方即帧信号Fx的帧图像中的任意5X5像素区域进行采样。延迟电路420将采样得到的5X5像素区域内的多个像素的像素值并列输出到乘法电路461 485。乘法电路461 485在并列输入的多个像素值分别乘以滤波器系数K33 K37、K43 Κ47、Κ53 Κ57、Κ63 Κ67、Κ73 Κ77。总和运算电路490对乘法电路461 485的输出值(加权像素值)进行相加，并从输出端子402输出。
参照图2，面内图案检测电路50检测(判别)在空间滤波器42中减低了噪声的滤波器信号NR2的相关性高的像素区域ΡΝ2，将检测到的像素区域ΡΝ2的像素位置通知给像素相加部20，并且，通知给参照图案检测电路70内的前方参照图案检测电路(空间判别电路) 71和后方参照图案检测电路(空间判别电路)72。同时，面内图案检测电路50将所述像素区域ΡΝ2中的最大像素值MAX和最小像素值MIN供给到前方参照图案检测电路71和后方参照图案检测电路72。图5是示出该面内图案检测电路50的结构的框图。图6是概略地示出图5的面内图案检测电路50中包含的延迟电路520的结构的图，图7的(Α)、(Β)是示出由延迟电路520采样的帧图像中的任意9X9像素区域的图。并且，图8是概略地示出图 5的面内图案检测电路50中包含的运算电路600的结构的框图。面内图案检测电路50将在后面详细叙述。
参照图2，延迟电路38使空间滤波器43的输出即滤波器信号NR3延迟规定时间而输出延迟滤波器信号NR3D。延迟电路38的规定延迟时间是根据面内图案检测电路50中的处理延迟时间而决定的。延迟电路37使空间滤波器41的输出即滤波器信号NRl延迟规定时间而输出延迟滤波器信号NR1D。延迟电路37的规定延迟时间是根据面内图案检测电路 50中的处理延迟时间而决定的。
延迟电路36使摄像信号F3延迟规定时间而输出延迟信号F3D。延迟电路36的规定延迟时间是根据空间滤波器42和图案检测电路50、70中的处理延迟时间而决定的。延迟电路35使一帧延迟电路31的输出即帧延迟信号F2延迟规定时间而输出延迟信号F2D。 延迟电路35的规定延迟时间是根据空间滤波器42和图案检测电路50、70中的处理延迟时间而决定的。延迟电路34使一帧延迟电路32的输出即帧延迟信号Fl延迟规定时间而输出延迟信号F1D。延迟电路34的规定延迟时间是根据空间滤波器42和图案检测电路50、 70中的处理延迟时间而决定的。
前方参照图案检测电路71根据延迟信号NR1D，检测(判别)与由面内图案检测电路50检测到的像素区域ΡΝ2 之间相关性高的像素区域ΡΝ1，将检测到的像素区域PNl的像素位置通知给像素相加部20。后方参照图案检测电路72根据延迟信号NR3D，检测(判别) 与由面内图案检测电路50判别出的像素区域ΡΝ2之间相关性高的像素区域ΡΝ3，将检测到的像素区域ΡΝ3的像素位置通知给像素相加部20。图9是概略地示出具有分别与前方参照图案检测电路71和后方参照图案检测电路72相同的结构的参照图案检测电路7χ的结构的框图。图10是概略地示出图9的参照图案检测电路7χ中包含的延迟电路770的结构的图，图11的(Α)、(Β)是示出由延迟电路770采样的帧图像中的任意11X11像素区域的图。 并且，图12是概略地示出图9的参照图案检测电路7χ中包含的运算电路720的结构的图。 前方参照图案检测电路71和后方参照图案检测电路72将在后面详细叙述。
参照图2，像素相加部20具有选择性地对延迟电路34、35、36的输出信号F1D、 F2D、F3D中包含的多个像素图案中的像素进行相加的功能。如图2所示，像素相加部20具有选择电路21、22、23和相加运算电路24。选择电路21、22、23根据从面内图案检测电路50 通知的像素区域PN2内的指定像素位置、从前方参照图案检测电路71通知的像素区域PNl 内的指定像素位置、从后方参照图案检测电路72通知的像素区域PN3内的指定像素位置，选择应该相加的像素。相加运算电路24对由选择电路21、22、23选择出的像素进行相加， 生成像素相加信号。像素相加部20从输出端子OUTa向视频信号处理电路15供给像素相加信号。并且，像素相加部20在由图案检测电路50、70指定选择像素的位置的定时，需要输入或保持选择像素的像素值。在延迟电路34、35、36中决定延迟时间，使得像素值的输入 (针对像素相加部20的输入)和像素位置的输入(来自图案检测电路50、70的输入)匹配。
选择电路(参照像素选择部)23从延迟信号F3D中选择由后方参照图案检测电路 72通知的指定像素并供给到相加运算电路24。选择电路(面内像素选择部)22从延迟信号 F2D中选择由面内图案检测电路50通知的指定像素并供给到相加运算电路24。选择电路 (参照像素选择部)21从延迟信号FlD中选择由前方参照图案检测电路71通知的指定像素并供给到相加运算电路24。相加运算电路24对从选择电路21、22、23输入的像素进行相加，从输出端子OUTa向视频信号处理电路15供给像素相加信号。图13是概略地示出具有分别与选择电路21、22、23相同的结构的选择电路2x的结构的图。图13的选择电路2x的动作将在后面叙述。
但是，如图3所示，空间滤波器4x具有并列输出5X5像素区域的25个像素值的延迟电路420。如图4的(A)所示，延迟电路420具有如下功能对帧延迟信号F1、F2、F3中的任意一方即帧信号Fx的帧图像中的任意5X5像素区域进行采样，并列输出该5X5像素区域中的将像素值P55作为关注像素值的25个像素值P33 P37、P43 P47、P53 P57、 P63 P67、P73 P77 (图4的(B))。在图4的(A)中，X表示水平像素方向，Y表示垂直像素方向。对图4的(B)的像素值P77被施加给输入端子401的定时的空间滤波器4x的动作进行说明。
从A/D转换器13A输出的像素值P77被施加给空间滤波器4x的输入端子401，被供给到一行延迟电路422、一像素延迟电路432和乘法电路461。一像素延迟电路432输出延迟了 I个像素的像素值P67。像素值P67被供给到一像素延迟电路433和乘法电路462。 一像素延迟电路433输出延迟了 I个像素的像素值P57。像素值P57被供给到一像素延迟电路434和乘法电路463。一像素延迟电路434输出延迟了 I个像素的像素值P47。 像 素值P47被供给到一像素延迟电路435和乘法电路464。一像素延迟电路435输出延迟了 I 个像素的像素值P37。像素值P37被供给到乘法电路465。
从一行延迟电路422输出的像素值P76被供给到一行延迟电路423、一像素延迟电路437和乘法电路466。一像素延迟电路437输出延迟了 I个像素的像素值P66。像素值 P66被供给到一像素延迟电路438和乘法电路467。一像素延迟电路438输出延迟了 I个像素的像素值P56。像素值P56被供给到一像素延迟电路439和乘法电路468。一像素延迟电路439输出延迟了 I个像素的像素值P46。像素值P46被供给到一像素延迟电路440 和乘法电路469。一像素延迟电路440输出延迟了 I个像素的像素值P36。像素值P36被供给到乘法电路470。
从一行延迟电路423输出的像素值P75被供给到一行延迟电路424、一像素延迟电路442和乘法电路471。一像素延迟电路442输出延迟了 I个像素的像素值P65。像素值 P65被供给到一像素延迟电路443和乘法电路472。一像素延迟电路443输出延迟了 I个像素的像素值P55。像素值P55被供给到一像素延迟电路444和乘法电路473。一像素延迟电路444输出延迟了 I个像素的像素值P45。像素值P45被供给到一像素延迟电路445和乘法电路474。一像素延迟电路445输出延迟了 I个像素的像素值P35。像素值P35被供给到乘法电路475。
从一行延迟电路424输出的像素值P74被供给到一行延迟电路425、一像素延迟电路447和乘法电路476。一像素延迟电路447输出延迟了 I个像素的像素值P64。像素值 P64被供给到一像素延迟电路448和乘法电路477。一像素延迟电路448输出延迟了 I个像素的像素值P54。像素值P54被供给到一像素延迟电路449和乘法电路478。一像素延迟电路449输出延迟了 I个像素的像素值P44。像素值P44被供给到一像素延迟电路450 和乘法电路479。一像素延迟电路450输出延迟了 I个像素的像素值P34。像素值P34被供给到乘法电路480。
从一行延迟电路425输出的像素值P73被供给到一像素延迟电路452和乘法电路 481。一像素延迟电路452输出延迟了 I个像素的像素值P63。像素值P63被供给到一像素延迟电路453和乘法电路482。一像素延迟电路453输出延迟了 I个像素的像素值P53。 像素值P53被供给到一像素延迟电路454和乘法电路483。一像素延迟电路454输出延迟了 I个像素的像素值P43。像素值P43被供给到一像素延迟电路455和乘法电路484。一像素延迟电路455输出延迟了 I个像素的像素值P33。像素值P33被供给到乘法电路485。
MPU19经由图3的控制端子417针对系数可变设定电路495设定低通型滤波器的特性。系数可变设定电路495根据来自MPU19的设定指示而设定滤波器系数组(权重系数组)KD。同步信号产生电路18经由图3的同步信号输入端子418向系数可变设定电路495 供给水平同步信号HD和垂直同步信号VD。系数可变设定电路495根据水平同步信号HD和垂直同步信号VD判断关注像素P55的像素位置，确定与滤色器排列对应的关注像素的像素位置。系数可变设定电路495能够确定关注像素是R像素、G像素还是B像素。然后，系数可变设定电路495根据确定的像素位置，针对乘法电路461 485，独立地设定25个滤波器系数K33 K37、K43 Κ47、Κ53 Κ57、Κ63 Κ67、Κ73 Κ77。乘法电路461 485对输入的像素值乘以这些滤波器系数。总和运算电路 490对乘法电路461 485的输出值(加权像素值)进行相加，并从输出端子402输出。
图14是概略地示出由帧信号Fx表示的图像的像素空间配置的图。在图14中，Pks (k、s是表示水平方向和垂直方向上的像素位置的整数或记号)表示由帧信号Fx表示的图像中的I个像素或其像素值。图15是示出在图14的像素空间配置中，关注像素为G像素时的水平11个像素、垂直11个像素的空间配置的图。在图15中，Gnm (n、m是表示水平方向和垂直方向上的像素位置的整数或记号)表示G像素或其像素值，Rpq (P、q是表示水平方向和垂直方向上的像素位置的整数或记号)表示R像素或其像素值，Brs (r、s是表示水平方向和垂直方向上的像素位置的整数或记号)表示B像素或其像素值。在其它附图中也同样。
如图15所示，R像素、G像素、B像素排列成方格状。RIO、R30、R50、R70、R90、R12、 R32、R52、R72、R92、R14、R34、R54、R74、R94、R16、R36、R56、R76、R96、R18、R38、R58、R78、 R98、R1A、R3A、R5A、R7A、R9A 表示 R 像素。G00、G20、G40、G60、G80、GA0、G11、G31、G51、G71、 G91、G02、G22、G42、G62、G82、GA2、G13、G33、G53、G73、G93、G04、G24、G44、G64、G84、GA4、 G15、G35、G55、G75、G95、G06、G26、G46、G66、G86、GA6、G17、G37、G57、G77、G97、G08、G28、 G48、G68、G88、GA8、G19、G39、G59、G79、G99、G0A、G2A、G4A、G6A、G8A、GAA 表示 G 像素。BO1、B21、B41、B61、B81、BA1、B03、B23、B43、B63、B83、BA3、B05、B25、B45、B65、B85、BA5、B07、 B27、B47、B67、B87、BA7、B09、B29、B49、B69、B89、BA9 表示 B 像素。例如，利用由 R34、G35、 B45、G44构成的水平2个像素、垂直2个像素的4个像素的基本排列构成像素排列。图15 以关注像素G55的相邻像素为B像素的情况为例进行了说明，但是，如G44是关注像素的情况那样，也存在相邻像素为R像素的排列图案。该情况下，成为调换了 R像素和B像素后的颜色配置，但是，关注像素为G像素时的相加对象像素仅为G像素，因此，可以根据任意的颜色配置进行说明。
图16是示出在像素相加电路14的空间滤波器41、42、43中，关注像素为G像素时的运算对象像素的排列(由虚线包围的区域的像素)的图。
此时，空间滤波器41、42、43的输出通过下式求出。
G=K44XG44+K64XG64
+K55XG55
+K46XG46+K66XG66
系数可变设定电路495将滤波器系数K33 K37、K43 K47、K53 K57、K63 K67、K73 K77中的上式不使用的系数设定为O。系数可变设定电路495根据来自MPU19 的设定指示而设定进一步降低噪声的滤波器系数。例如可以设定以下的滤波器系数。
K44=l/8
K64=l/8
Κ55=4/8
K46=l/8
K66=l/8
在后述的被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为8倍的系数。并且，为了防止微弱的信号成分有些许损失，可以使用具有I以上的值的滤波器系数。
或者，系数可变设定电路495可以根据来自MPU19的设定指示，例如设定以下的滤波器系数。
K44=l/5
K64=l/5
K55=l/5
K46=l/5
K66=l/5
在被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为5倍的系数。并且，为了防止微弱的信号成分有些许损失， 可以使用具有I以上的值的滤波器系数。
在上述实施方式中，空间滤波器41、42、43构成将周边像素的5个像素作为对象的降噪滤波器，但是，在噪声更多的低照度时的摄像信号的情况下，构成将周边的9个像素作为对象的降噪滤波器更为合适。此时，空间滤波器41、42、43的输出通过下式求出。
G=K53XG53
+K44XG44+K64XG64
+K35 X G35+K55 X G55+K75 X G75
+K46XG46+K66XG66
+K57XG57
图17是示出在图14的像素空间配置中，关注像素为R像素时的水平11个像素、 垂直11个像素的空间配置的图。R像素、G像素、B像素排列成方格状。R11、R31、R51、R71、 R91、R13、R33、R53、R73、R93、R15、R35、R55、R75、R95、R17、R37、R57、R77、R97、R19、R39、 R59、R79、R99 表示 R 像素。G10、G30、G50、G70、G90、G12、G32、G52、G72、G92、G14、G34、G54、 G74、G94、G16、G36、G56、G76、G96、G18、G38、G58、G78、G98、G1A、G3A、G5A、G7A、G9A、GOU G21、G41、G61、G81、GA1、G03、G23、G43、G63、G83、GA3、G05、G25、G45、G65、G85、GA5、G07、 G27、G47、G67、G87、GA7、G09、G29、G49、G69、G89、GA9 表示 G 像素。BOO、B20、B40、B60、B80、 BAO、B02、B22、B42、B62、B82、BA2、B04、B24、B44、B64、B84、BA4、B06、B26、B46、B66、B86、 BA6、B08、B28、B48、B68、B88、BA8、BOA、B2A、B4A、B6A、B8A、BAA 表示 B 像素。例如，利用由 R33、G34、B44、G43构成的水平2个像素、垂直2个像素的4个像素的基本排列构成滤色器排列。
图18是示出在像素相加电路14的空间滤波器41、42、43中，关注像素为R像素时的运算对象像素的排列的图。
此时，空间滤波器41、42、43的输出通过下式求出。
R=K53 X R53
+K35 X R35+K55 X R55+K75 X R75
+K57XR57
系数可变设定电路495将滤波器系数K33 K37、K43 K47、K53 K57、K63 K67、K73 K77中的上式不使用的系数设定为O。系数可变设定电路495根据来自MPU19 的设定指示而设定进一步降低噪声的滤波器系数。例如可以设定以下的滤波器系数。
K53=l/8
K35=l/8
Κ55=4/8
K75=l/8
K57=l/8
在被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为8倍的系数。为了防止微弱的信号成分有些许损失，可以设为具有I以上的值的滤波器系数。
或者，系数可变设定电路495可以根据来自MPU19的设定指示，例如设定以下的滤波器系数。
K53=l/5
K35=l/5
K55=l/5
K75=l/5
K57=l/5
在被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为5倍的系数。为了防止微弱的信号成分有些许损失，可以使用具有I以上的值的滤波器系数。
在上述实施方式中，空间滤波器41、42、43为将周边的5个像素作为对象的降噪滤波器，但是，在噪声更多的低照度时的摄像信号的情况下，构成为将周边的9个像素作为对象的降噪滤波器更为合适。此时，空间滤波器41、42、43的输出通过下式求出。
R=K33 X R33+K53 X R53+K73 X R73
+K35 X R35+K55 X R55+K75 X R75
+K37 X R37+K57 X R57+K77 X R77
图19是示出在图14的像素空间配置中，关注像素为B像素时的水平11个像素、 垂直11个像素的周边像素的滤色器配置的图。R像素、G像素、B像素排列成方格状。R00、 R20、R40、R60、R80、RAO, R02、R22、R42、R62、R82、RA2、R04、R24、R44、R64、R84、RA4、R06、 R26、R46、R66、R86、RA6、R08、R28、R48、R68、R88、RA8、ROA、R2A、R4A、R6A、R8A、RAA 表示 R 像素。G10、G30、G50、G70、G90、G12、G32、G52、G72、G92、G14、G34、G54、G74、G94、G16、G36、 G56、G76、G96、G18、G38、G58、G78、G98、G1A、G3A、G5A、G7A、G9A、G01、G21、G41、G61、G81、 GA1、G03、G23、G43、G63、G83、GA3、G05、G25、G45、G65、G85、GA5、 G07、G27、G47、G67、G87、 GA7、G09、G29、G49、G69、G89、GA9 表示 G 像素。B11、B31、B51、B71、B91、B13、B33、B53、B73、 B93、B15、B35、B55、B75、B95、B17、B37、B57、B77、B97、B19、B39、B59、B79、B99 表示 B 像素。 例如，利用由R44、G45、B55、G54构成的水平2个像素、垂直2个像素的4个像素的基本排列构成滤色器排列。
图19是示出在图14的像素空间配置中，关注像素为B像素时的水平11个像素、 垂直11个像素的空间配置的图。R像素、G像素、B像素排列成方格状。图20是示出在像素相加电路14的空间滤波器41、42、43中，关注像素为B像素时的运算对象像素的排列的图。
此时，空间滤波器41、42、43的输出通过下式求出。
B=K53XB53
+K35 X B35+K55 X B55+K75 X B75
+K57XB57
系数可变设定电路495将滤波器系数K33 K37、K43 K47、K53 K57、K63 K67、K73 K77中的上式不使用的系数设定为O。系数可变设定电路495根据来自MPU19 的设定指示而设定进一步降低噪声的滤波器系数。例如可以设定以下的滤波器系数。
K53=l/8
K35=l/8
Κ55=4/8
K75=l/8
K57=l/8
在被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为8倍的系数。为了防止微弱的信号成分有些许损失，可以使用具有I以上的值的滤波器系数。
或者，系数可变设定电路495可以根据来自MPU19的设定指示，例如设定以下的滤波器系数。
K53=l/5
K35=l/5
K55=l/5
K75=l/5
K57=l/5
在被摄体照度为规定阈值以下的低照度时，像素的信号振幅较小的情况下，例如可以分别将上述滤波器系数设为5倍的系数。为了防止微弱的信号成分有些许损失，可以使用具有I以上的值的滤波器系数。
在本实施方式中，空间滤波器41、42、43分别为将由关注像素和周边像素构成的5 个像素作为对象的降噪滤波器，但是，在噪声更多的低照度时的摄像信号的情况下，构成为将9个像素作为对象的降噪滤波器更为合适。此时，空间滤波器41、42、43的输出通过下式求出。
Β=Κ33 X Β33+Κ53 X Β53+Κ73 X Β73
+Κ35 X Β35+Κ55 X Β55+Κ75 X Β75
+Κ37 X Β37+Κ57 X Β57+Κ77 X Β77
在本实施方式中，例如根据噪声大量分布在高频率中这样的假设，设空间滤波器 41、42、43的结构为低通型滤波器的结构，但是，也可以调整滤波器系数而设为与摄像信号中包含的噪声的特性对应的降噪滤波器。并且,例如也可以将空间滤波器41、42、43的结构设为ε滤 波器等轮廓保存型的低通型滤波器，进一步残留原图像的特征而去除噪声，从而提高与关注像素之间的相关性高的像素的检测精度。
并且，空间滤波器41、42、43也可以设为使用水平3个像素、垂直3个像素的9个像素的低通型滤波器的结构，在噪声成分较多的情况下，也可以设为使用水平5个像素、垂直5个像素的25个像素的低通型滤波器的结构。
并且，在上述实施方式中，空间滤波器41、42、43设为面内的低通型滤波器的结构，但是不限于此。也可以将空间滤波器41、42、43的结构设为时间轴方向的低通型滤波器，还可以设为能够根据图像的运动而自适应地改变滤波器系数的时间轴方向的非巡回型滤波器的结构。
在本实施方式中，设置空间滤波器41、42、43，防止由于噪声成分而导致的误判定， 能够确定相关性更高的像素，因此，能够在不降低像素相加图像的分辨率的情况下实现高画质化。
接着，参照图5 图8对面内图案检测电路50的动作进行详细说明。如图5所示，面内图案检测电路50具有延迟电路520、像素选择电路(面内像素提取部)599、运算电路600和像素指定电路630。在图5中，为了不会由于表记全部结构而导致烦杂且难以理解，省略相同结构的重复部分。图7的(A)、(B)示出由以关注像素Ρ55为中心的水平9个像素、垂直9个像素构成的像素的配置。下面，对图7的(B)的像素值Ρ99被施加给输入端子500的定时的面内图案检测电路50的动作进行说明。从A/D转换器13Α输出的像素值 Ρ99从像素相加电路14的输入端子INa经由一帧延迟电路31、空间滤波器42被施加给面内图案检测电路50的输入端子500。
图6是示出延迟电路520的结构的图。被施加给输入端子500的像素值P99被供给到一行延迟电路501、一像素延迟电路511和像素选择电路599。一像素延迟电路511输出延迟了 I个像素的像素值P89。像素值P89被供给到一像素延迟电路512和像素选择电路599。一像素延迟电路512输出延迟了 I个像素的像素值P79。像素值P79被供给到一像素延迟电路513和像素选择电路599。一像素延迟电路513输出延迟了 I个像素的像素值P69。像素值P69被供给到一像素延迟电路514和像素选择电路599。一像素延迟电路 514输出延迟了 I个像素的像素值P59。像素值P59被供给到一像素延迟电路515和像素选择电路599。一像素延迟电路515输出延迟了 I个像素的像素值P49。像素值P49被供给到一像素延迟电路516和像素选择电路599。一像素延迟电路516输出延迟了 I个像素的像素值P39。像素值P39被供给到一像素延迟电路517和像素选择电路599。一像素延迟电路517输出延迟了 I个像素的像素值P29。像素值P29被供给到一像素延迟电路518 和像素选择电路599。一像素延迟电路518输出延迟了 I个像素的像素值P19。像素值P19 被供给到像素选择电路599。
一行延迟电路501输出像素值P98。像素值P98被供给到一行延迟电路502、一像素延迟电路521和像素选择电路599。一像素延迟电路521输出延迟了 I个像素的像素值 P88。像素值P88被供给到一像素延迟电路522和像素选择电路599。一像素延迟电路522 输出延迟了 I个像素的像素值P78。像素值P78被供给到一像素延迟电路523和像素选择电路599。一像素延迟电路523输出延迟了 I个像素的像素值P68。像素值P68被供给到一像素延迟电路524和像素选择电路599。一像素延迟电路524输出延迟了 I个像素的像素值P58。像素值P58被供给到一像素延迟电路525和像素选择电路599。一像素延迟电路525输出延迟了 I个像素的像素值P48。像素值P48被供给到一像素延迟电路526和像素选择电路599。一像素延迟电路526输出延迟了 I个像素的像素值P38。像素值P38被供给到一像素延迟电路527和像素选择电路599。一像素延迟电路527输出延迟了 I个像素的像素值P28。像素值P28被供给到一像素延迟电路528和像素选择电路599。一像素延迟电路528输出延迟了 I个像素的像素值P18。像素值P18被供给到像素选择电路599。
一行延迟电路502输出像素值P97。像素值P97被供给到一行延迟电路503、一像素延迟电路531和像素选择电路599。一像素延迟电路531输出延迟了 I个像素的像素值 P87。像素值P87被供给到一像素延迟电路532和像素选择电路599。一像素延迟电路532 输出延迟了 I个像素的像素值P77。像素值P77被供给到一像素延迟电路533和像素选择电路599。一像素延迟电路533输出延迟了 I个像素的像素值P67。像素值P67被供给到一像素延迟电路534和像素选择电路599。一像素延迟电路534输出延迟了 I个像素的像素值P57。像素值P57被供给到一像素延迟电路535和像素选择电路599。一像素延迟电路535输出延迟了 I个像素的像素值P47。像素值P47被供给到一像素延迟电路536和像素选择电路599。一像素延迟电路536输出延迟了 I个像素的像素值P37。像素值P37被供给到一像素延迟电路537和像素选择电路599。一像素延迟电路537输出延迟了 I个像素的像素值P27。像素值P27被供给到一像素延迟电路538和像素选择电路599。一像素延迟电路538输出延迟了 I个像素的像素值P17。像素值P17供给到像素选择电路599。
一行延迟电路503输出像素值P96。像素值P96被供给到一行延迟电路504、一像素延迟电路541和像素选择电路599。一像素延迟电路541输出延迟了 I个像素的像素值P86。像素值P86被供给到一像素延迟电路542和像素选择电路599。一像素延迟电路542 输出延迟了 I个像素的像素值P76。像素值P76被供给到一像素延迟电路543和像素选择电路599。一像素延迟电路543输出延迟了 I个像素的像素值P66。像素值P66被供给到一像素延迟电路544和像素选择电路599。一像素延迟电路544输出延迟了 I个像素的像素值P56。像素值P56被供给到一像素延迟电路545和像素选择电路599。一像素延迟电路545输出延迟了 I个像素的像素值P46。像素值P46被供给到一像素延迟电路546和像素选择电路599。一像素延迟电路546输出延迟了 I个像素的像素值P36。像素值P36被供给到一像素延迟电路547和像素选择电路599。一像素延迟电路547输出延迟了 I个像素的像素值P26。像素值P26被供给到一像素延迟电路548和像素选择电路599。一像素延迟电路548输出延迟了 I个像素的像素值P16。像素值P16供给到像素选择电路599。
一行延迟电路504输出像素值P95。像素值P95被供给到一行延迟电路505、一像素延迟电路551和像素选择电路599。一像素延迟电路551输出延迟了 I个像素的像素值 P85。像素值P85被供给到一像素延迟电路552和像素选择电路599。一像素延迟电路552 输出延迟了 I个像素的像素值P75。像素值P75被供给到一像素延迟电路553和像素选择电路599。一像素延迟电路553输出延迟了 I个像素的像素值P65。像素值P65被供给到一像素延迟电路554和像素选择电路599。一像素延迟电路554输出延迟了 I个像素的像素值P55。像素值P55被供给到一像素延迟电路555和像素选择电路599。一像素延迟电路555输出延迟了 I个像素的像素值P45。像素值P45被供给到一像素延迟电路556和像素选择电路599。一像素延迟电路556输出延迟了 I个像素的像素值P35。像素值P35被供给到一像素延迟电路557和像素选择电路599。一像素延迟电路557输出延迟了 I个像素的像素值P25。像素值P25被供给到一像素延迟电路558和像素选择电路599。一像素延迟电路558输出延迟了 I个像素的像素值P15。像素值P15供给到像素选择电路599。
一行延迟电路505输出像素值P94。像素值P94被供给到一行延迟电路506、一像素延迟电路561和像素选择电 路599。一像素延迟电路561输出延迟了 I个像素的像素值 P84。像素值P84被供给到一像素延迟电路562和像素选择电路599。一像素延迟电路562 输出延迟了 I个像素的像素值P74。像素值P74被供给到一像素延迟电路563和像素选择电路599。一像素延迟电路563输出延迟了 I个像素的像素值P64。像素值P64被供给到一像素延迟电路564和像素选择电路599。一像素延迟电路564输出延迟了 I个像素的像素值P54。像素值P54被供给到一像素延迟电路565和像素选择电路599。一像素延迟电路565输出延迟了 I个像素的像素值P44。像素值P44被供给到一像素延迟电路566和像素选择电路599。一像素延迟电路566输出延迟了 I个像素的像素值P34。像素值P34被供给到一像素延迟电路567和像素选择电路599。一像素延迟电路567输出延迟了 I个像素的像素值P24。像素值P24被供给到一像素延迟电路568和像素选择电路599。一像素延迟电路568输出延迟了 I个像素的像素值P14。像素值P14供给到像素选择电路599。
一行延迟电路506输出像素值P93。像素值P93被供给到一行延迟电路507、一像素延迟电路571和像素选择电路599。一像素延迟电路571输出延迟了 I个像素的像素值 P83。像素值P83被供给到一像素延迟电路572和像素选择电路599。一像素延迟电路572 输出延迟了 I个像素的像素值P73。像素值P73被供给到一像素延迟电路573和像素选择电路599。一像素延迟电路573输出延迟了 I个像素的像素值P63。像素值P63被供给到一像素延迟电路574和像素选择电路599。一像素延迟电路574输出延迟了 I个像素的像素值P53。像素值P53被供给到一像素延迟电路575和像素选择电路599。一像素延迟电路575输出延迟了 I个像素的像素值P43。像素值P43被供给到一像素延迟电路576和像素选择电路599。一像素延迟电路576输出延迟了 I个像素的像素值P33。像素值P33被供给到一像素延迟电路577和像素选择电路599。一像素延迟电路577输出延迟了 I个像素的像素值P23。像素值P23被供给到一像素延迟电路578和像素选择电路599。一像素延迟电路578输出延迟了 I个像素的像素值P13。像素值P13供给到像素选择电路599。
一行延迟电路507输出像素值P92。像素值P92被供给到一行延迟电路508、一像素延迟电路581和像素选择电路599。一像素延迟电路581输出延迟了 I个像素的像素值 P82。像素值P82被供给到一像素延迟电路582和像素选择电路599。一像素延迟电路582 输出延迟了 I个像素的像素值P72。像素值P72被供给到一像素延迟电路583和像素选择电路599。一像素延迟电路583输出延迟了 I个像素的像素值P62。像素值P62被供给到一像素延迟电路584和像素选择电路599。一像素延迟电路584输出延迟了 I个像素的像素值P52。像素值P52被供给到一像素延迟电路585和像素选择电路599。一像素延迟电路585输出延迟了 I个像素的像素值P42。像素值P42被供给到一像素延迟电路586和像素选择电路599。一像素延迟电路586输出延迟了 I个像素的像素值P32。像素值P32被供给到一像素延迟电路587和像素选择电路599。一像素延迟电路587输出延迟了 I个像素的像素值P22。像素值P22被供给到一像素延迟电路588和像素选择电路599。一像素延迟电路588输出延迟了 I个像素的像素值P12。像素值P12供给到像素选择电路599。
一行延迟电路508输出像素值P91。像素值P91被供给到一像素延迟电路591和像素选择电路599。一像素延迟电路591输出延迟了 I个像素的像素值P81。像素值P81 被供给到一像素延迟电路592和像素选择电路599。一像素延迟电路592输出延迟了 I个像素的像素值P71。像素值P71被供给到一像素延迟电路593和像素选择电路599。一像素延迟电路593输出延迟了 I个像素的像素值P61。像素值P61被供给到一像素延迟电路 594和像素选择电路599。一像素延迟电路594输出延迟了 I个像素的像素值P51。像素值 P51被供给到一像素延迟电路595和像素选择电路599。一像素延迟电路595输出延迟了 I 个像素的像素值P41。像素值P41被供给到一像素延迟电路596和像素选择电路599。一像素延迟电路596输出延迟了 I个像素的像素值P31。 像素值P31被供给到一像素延迟电路597和像素选择电路599。一像素延迟电路597输出延迟了 I个像素的像素值P21。像素值P21被供给到一像素延迟电路598和像素选择电路599。一像素延迟电路598输出延迟了 I个像素的像素值P11。像素值Pll供给到像素选择电路599。
同步信号产生电路18经由图5的同步信号输入端子500S向像素选择电路599供给水平同步信号HD和垂直同步信号VD。像素选择电路599能够根据水平同步信号HD和垂直同步信号VD判断关注像素P55的像素位置，确定与滤色器排列对应的关注像素的像素位置。此时，像素选择电路599能够确定关注像素是R像素、G像素还是B像素。根据确定的像素位置，分别对差分计算电路601 612供给构成相加图案TOl T12的像素值。
接着，对相加图案(面内像素相加图案)T01 T12进行说明。作为在像素相加中使用的像素，如果能够正确选择与关注像素之间的相关性高的像素，则能够减小像素相加后的图像的分辨率劣化。根据关注像素和周边像素的组合，存在多个相加图案。图21 图32示出在图14的像素空间配置中，关注像素为G像素时的4个像素相加的相加图案。在 G像素的4个像素相加的情况下，根据12个图案的相加图案求出相关性最高的最佳相加图案。
图21是从关注像素起对上侧的周边像素进行组合后的上侧块图案。像素选择电路599将像素值G53、G44、G64、G55供给到差分计算电路601。图22是从关注像素起对右侧的周边像素进行组合后的右侧块图案。像素选择电路599将像素值G64、G55、G75、G66供给到差分计算电路602。图23是从关注像素起对下侧的周边像素进行组合后的下侧块图案。像素选择电路599将像素值G55、G46、G66、G57供给到差分计算电路603。图24是从关注像素起对左侧的周边像素进行组合后的左侧块图案。像素选择电路599将像素值G44、 G35、G55、G46供给到差分计算电路604。
图25是对关注像素及其上侧和下侧的周边像素进行组合后的上侧纵行图案。像素选择电路599将像素值G51、G53、G55、G57供给到差分计算电路605。图26是对关注像素及其上侧和下侧的周边像素进行组合后的下侧纵行图案。像素选择电路599将像素值 G53、G55、G57、G59供给到差分计算电路606。图27是对关注像素及其右侧和左侧的周边像素进行组合后的左侧横行图案。像素选择电路599将像素值G15、G35、G55、G75供给到差分计算电路607。图28是对关注像素及其右侧和下侧的周边像素进行组合后的右侧横行图案。像素选择电路599将像素值G35、G55、G75、G95供给到差分计算电路608。
图29是对关注像素及其左上侧和右下侧的周边像素进行组合后的左上侧斜行图案。像素选择电路599将像素值633、644、655、666供给到差分计算电路609。图30是对关注像素及其右下侧和左上侧的周边像素进行组合后的右下侧斜行图案。像素选择电路599 将像素值G44、G55、G66、G77供给到差分计算电路610。图31是对关注像素及其右上侧和左下侧的周边像素进行组合后的右上侧斜行图案。像素选择电路599将像素值G73、G64、 G55、G46供给到差分计算电路611。图32是对关注像素及其左下侧和右上侧的周边像素进行组合后的左下侧斜行图案。像素选择电路599将像素 值G64、G55、G46、G37供给到差分计算电路612。
接着，图33 图36示出在图14的像素空间配置中，关注像素为R像素时的4个像素相加的相加图案。在R像素的4个像素相加的情况下，根据4个图案的相加图案求出相关性最高的最佳相加图案。图33是对关注像素及其左上侧的周边像素进行组合后的左上侧块图案。像素选择电路599将像素值R33、R53、R35、R55供给到差分计算电路601。图 34是对关注像素及其右上侧的周边像素进行组合后的右上侧块图案。像素选择电路599将像素值R53、R73、R55、R75供给到差分计算电路602。图35是对关注像素及其右下侧的周边像素进行组合后的右下侧块图案。像素选择电路599将像素值R55、R75、R57、R77供给到差分计算电路603。图36是对关注像素及其左下侧的周边像素进行组合后的左下侧块图案。像素选择电路599将像素值R35、R55、R37、R57供给到差分计算电路604。
在图14的像素空间配置中，关注像素为B像素时的4个像素相加的相加图案是具有与关注像素为R像素的情况相同的空间配置的相加图案。由此，在关注像素为B像素的情况下，也能够从4个图案的相加图案中求出相关性最闻的最佳相加图案。
如图8所示，针对并列输入的像素图案TOl T12，构成面内图案检测电路50的运算电路600的差分计算电路601 612对像素值彼此进行比较，求出最大像素值MAXl MAX12和最小像素值MINI MIN12。即，检测构成各个像素图案TOl T12的像素的像素值中的最大像素值和最小像素值。接着，求出最大像素值和最小像素值的差分(面内相关性评价值)PP1 PP12，供给到最小值计算电路620。在关注像素为G像素的情况下，差分计算电路601计算上侧块图案的像素间的差分。差分计算电路602计算右侧块图案的像素间的差分。差分计算电路603计算左侧块图案的像素间的差分。差分计算电路604计算下侧块图案的像素间的差分。并且，差分计算电路605计算上侧纵行图案的像素间的差分。差分计算电路606计算下侧纵行图案的像素间的差分。差分计算电路607计算左侧横行图案的像素间的差分。差分计算电路608计算右侧横行图案的像素间的差分。差分计算电路609 计算左上侧斜行图案的像素间的差分。差分计算电路610计算右下侧斜行图案的像素间的差分。差分计算电路611计算右上侧斜行图案的像素间的差分。差分计算电路612计算左下侧斜行图案的像素间的差分。
在关注像素为R像素或B像素的情况下，差分计算电路601计算左上侧块图案的像素间的差分。差分计算电路602计算右上侧块图案的像素间的差分。差分计算电路603 计算右下侧块图案的像素间的差分。差分计算电路604计算左下侧块图案的像素间的差分。
对关注像素为G像素的情况下的最小值计算电路620的动作进行说明。最小值计算电路620对从差分计算电路601 612输入的12个像素图案TOl T12的像素间的差分PPl PP12进行比较，求出最小差分PP的相加图案，通知给像素指定电路630。像素指定电路630从输出端子640分别向选择电路22、前方参照图案检测电路71和后方参照图案检测电路72供给构成从最小值计算电路620通知的相加图案的像素的像素位置。像素指定电路630分别从最大像素值输出端子641、最小像素值输出端子642输出与从最小值计算电路620通知的相加图案对应的最大像素值MAX和最小像素值MIN，供给到前方参照图案检测电路71、后方参照图案检测电路72。
在上侧块图案的构成像素为最小差分的情况下，将像素G53、G4 4、G64、G55的像素位置信息供给到选择电路22。在右侧块图案的构成像素为最小差分的情况下，将像素G64、 G55、G75、G66的像素位置信息供给到选择电路22。在下侧块图案的构成像素为最小差分的情况下，将像素G55、G46、G66、G57的像素位置信息供给到选择电路22。在左侧块图案的构成像素为最小差分的情况下，将像素G44、G35、G55、G46的像素位置信息供给到选择电路 22。在上侧纵行图案的构成像素为最小差分的情况下，将像素G51、G53、G55、G57的像素位置信息供给到选择电路22。在下侧纵行图案的构成像素为最小差分的情况下，将像素G53、 G55、G57、G59的像素位置信息供给到选择电路22。在左侧横行图案的构成像素为最小差分的情况下，将像素G15、G35、G55、G75的像素位置信息供给到选择电路22。在右侧横行图案的构成像素为最小差分的情况下，将像素635、655、675、695的像素位置信息供给到选择电路22。在左上侧斜行图案的构成像素为最小差分的情况下，将像素G33、G44、G55、G66的像素位置信息供给到选择电路22。在右下侧斜行图案的构成像素为最小差分的情况下，将像素G44、G55、G66、G77的像素位置信息供给到选择电路22。在右上侧斜行图案的构成像素为最小差分的情况下，将像素G73、G64、G55、G46的像素位置信息供给到选择电路22。在左下侧斜行图案的构成像素为最小差分的情况下，将像素G64、G55、G46、G37的像素位置信息供给到选择电路22。
接着，对关注像素为R像素的情况下的最小值计算电路620的动作进行说明。最小值计算电路620对从差分计算电路601 604输入的4个像素图案的像素间的差分进行比较，求出最小差分的相加图案，通知给像素指定电路630。像素指定电路630从输出端子 640向选择电路22、前方参照图案检测电路71和后方参照图案检测电路72供给构成从最小值计算电路620通知的相加图案的像素的像素位置。像素指定电路630分别从最大像素值输出端子641和最小像素值输出端子642输出与从最小值计算电路620通知的相加图案对应的最大像素值和最小像素值，供给到前方参照图案检测电路71和后方参照图案检测电路72。
在左上侧块图案的构成像素为最小差分的情况下，将像素R33、R53、R35、R55的像素位置信息供给到选择电路22。在右上侧块图案的构成像素为最小差分的情况下，将像素 R53、R73、R55、R75的像素位置信息供给到选择电路22。在右下侧块图案的构成像素为最小差分的情况下，将像素R55、R75、R57、R77的像素位置信息供给到选择电路22。在左下侧块图案的构成像素为最小差分的情况下，将像素R35、R55、R37、R57的像素位置信息供给到选择电路22。
与关注像素为R像素的情况同样地，进行最小值计算电路620的关注像素为B像素的情况下的动作。
如上所述，在关注像素为G像素的情况下，根据12个图案的相加图案求出相关性最高的最佳的相加图案，在关注像素为R像素或B像素的情况下，根据4个图案的相加图案求出相关性最高的最佳的相加图案，因此，关于在像素相加中使用的像素，能够正确地选择与关注像素之间相关性高的像素。由此，能够减小像素相加后的图像的分辨率劣化。
接着，对前方参照图案检测电路71和后方参照图案检测电路72的动作进行说明。 前方参照图案检测电路71和后方参照图案检测电路72的结构与图9的电路结构相同。如图9所示，参照图案检测电路7x具有延迟电路770、像素选择电路(参照像素提取部)719、 运算电路720和像素指定电路750。
图11的(B)示出以关注像素P55为中心的水平11个像素、垂直11个像素的周边像素的配置。对图11的(B)的像素值PAA被施加给输入端子500的定时的参照图案检测电路7x的动作进行说明。从A/D转换器13A输出的像素值PAA从像素相加电路14的输入端子INa经由空间滤波器43和延迟电路38被施加给后方参照图案检测电路72的输入端子700。或者，从A/D转换器13A输出的像素值PAA从像素相加电路14的输入端子INa经由一帧延迟电路31、一帧延迟电路32、空间滤波器41和延迟电路37被施加给前方参照图案检测电路71的输入端子700。
被施加给输入端子700的像素值PAA被供给到图10的一行延迟电路701和一像素延迟电路1700、以及图12的像素选择电路719。一像素延迟电路1700输出延迟了 I个像素的像素值P9A。像素值P9A被供给到一像素延迟电路1701和像素选择电路719。一像素延迟电路1701输出延迟了 I个像素的像素值P8A。像素值P8A被供给到一像素延迟电路 1702和像素选择电路719。一像素延迟电路1702输出延迟了 I个像素的像素值P7A。像素值P7A被供给到一像素延迟电路1703和像素选择电路719。一像素延迟电路1703输出延迟了 1个像素的像素值P6A。像素值P6A被供给到一像素延迟电路1704和像素选择电路 719。一像素延迟电路1704输出延迟了 I个像素的像素值P5A。像素值P5A被供给到一像素延迟电路1705和像素选择电路719。一像素延迟电路1705输出延迟了 I个像素的像素值P4A。像素值P4A被供给到一像素延迟电路1706和像素选择电路719。一像素延迟电路 1706输出延迟了 I个像素的像素值P3A。像素值P3A被供给到一像素延迟电路1707和像素选择电路719。一像素延迟电路1707输出延迟了 I个像素的像素值P2A。像素值P2A被供给到一像素延迟电路1708和像素选择电路719。一像素延迟电路1708输出延迟了 I个像素的像素值P1A。像素值PlA被供给到一像素延迟电路1709和像素选择电路719。一像素延迟电路1709输出延迟了 I个像素的像素值Ρ0Α。像素值POA供给到像素选择电路719。
一行延迟电路701输出像素值PA9。像素值PA9被供给到一行延迟电路702、一像素延迟电路1710和像素选择电路719。一像素延迟电路1710输出延迟了 I个像素的像素值P99。像素值P99被供给到一像素延迟电路1711和像素选择电路719。一像素延迟电路 1711输出延迟了 I个像素的像素值P89。像素值P89被供给到一像素延迟电路1712和像素选择电路719。一像素延迟电路1712输出延迟了 I个像素的像素值P79。像素值P79被供给到一像素延迟电路1713和像素选择电路719。一像素延迟电路1713输出延迟了 I个像素的像素值P69。像素值P69被供给到一像素延迟电路1714和像素选择电路719。一像素延迟电路1714输出延迟了 I个像素的像素值P59。像素值P59被供给到一像素延迟电路 1715和像素选择电路719。一像素延迟电路1715输出延迟了 I个像素的像素值P49。像素值P49被供给到一像素延迟电路1716和像素选择电路719。一像素延迟电路1716输出延迟了 I个像素的像素值P39。像素值P39被供给到一像素延迟电路1717和像素选择电路 719。一像素延迟电路1717输出延迟了 I个像素的像素值P29。像素值P29被供给到一像素延迟电路1718和像素选择电路719。一像素延迟电路1718输出延迟了 I个像素的像素值P19。像素值P19被供给到一像素延迟电路1719和像素选择电路719。一像素延迟电路 1719输出延迟了 I个像素的像素值P09。像素值P09供给到像素选择电路719。
一行延迟电路702输出像素值PA8。像素值PA8被供给到一行延迟电路703、一像素延迟电路1720和像素选择电路719。一像素延迟电路1720输出延迟了 I个像素的像素值P98。像素值P98被供给到一像素延迟电路1721和像素选择电路719。一像素延迟电路 1721输出延 迟了 I个像素的像素值P88。像素值P88被供给到一像素延迟电路1722和像素选择电路719。一像素延迟电路1722输出延迟了 I个像素的像素值P78。像素值P78被供给到一像素延迟电路1723和像素选择电路719。一像素延迟电路1723输出延迟了 I个像素的像素值P68。像素值P68被供给到一像素延迟电路1724和像素选择电路719。一像素延迟电路1724输出延迟了 I个像素的像素值P58。像素值P58被供给到一像素延迟电路 1725和像素选择电路719。一像素延迟电路1725输出延迟了 I个像素的像素值P48。像素值P48被供给到一像素延迟电路1726和像素选择电路719。一像素延迟电路1726输出延迟了 I个像素的像素值P38。像素值P38被供给到一像素延迟电路1727和像素选择电路 719。一像素延迟电路1727输出延迟了 I个像素的像素值P28。像素值P28被供给到一像素延迟电路1728和像素选择电路719。一像素延迟电路1728输出延迟了 I个像素的像素值P18。像素值P18被供给到一像素延迟电路1729和像素选择电路719。一像素延迟电路 1729输出延迟了 I个像素的像素值P08。像素值P08供给到像素选择电路719。
一行延迟电路703输出像素值PA7。像素值PA7被供给到一行延迟电路704、一像素延迟电路1730和像素选择电路719。一像素延迟电路1730输出延迟了 I个像素的像素值P97。像素值P97被供给到一像素延迟电路1731和像素选择电路719。一像素延迟电路 1731输出延迟了 I个像素的像素值P87。像素值P87被供给到一像素延迟电路1732和像素选择电路719。一像素延迟电路1732输出延迟了 I个像素的像素值P77。像素值P77被供给到一像素延迟电路1733和像素选择电路719。一像素延迟电路1733输出延迟了 I个像素的像素值P67。像素值P67被供给到一像素延迟电路1734和像素选择电路719。一像素延迟电路1734输出延迟了 I个像素的像素值P57。像素值P57被供给到一像素延迟电路 1735和像素选择电路719。一像素延迟电路1735输出延迟了 I个像素的像素值P47。像素值P47被供给到一像素延迟电路1736和像素选择电路719。一像素延迟电路1736输出延迟了 I个像素的像素值P37。像素值P37被供给到一像素延迟电路1737和像素选择电路 719。一像素延迟电路1737输出延迟了 I个像素的像素值P27。像素值P27被供给到一像素延迟电路1738和像素选择电路719。一像素延迟电路1738输出延迟了 I个像素的像素值P17。像素值P17被供给到一像素延迟电路1739和像素选择电路719。一像素延迟电路 1739输出延迟了 I个像素的像素值P07。像素值P07供给到像素选择电路719。
一行延迟电路704输出像素值PA6。像素值PA6被供给到一行延迟电路705、一像素延迟电路1740和像素选择电路719。一像素延迟电路1740输出延迟了 I个像素的像素值P96。像素值P96被供给到一像素延迟电路1741和像素选择电路719。一像素延迟电路 1741输出延迟了 I个像素的像素值P86。像素值P86被供给到一像素延迟电路1742和像素选择电路719。一像素延迟电路1742输出 延迟了 I个像素的像素值P76。像素值P76被供给到一像素延迟电路1743和像素选择电路719。一像素延迟电路1743输出延迟了 I个像素的像素值P66。像素值P66被供给到一像素延迟电路1744和像素选择电路719。一像素延迟电路1744输出延迟了 I个像素的像素值P56。像素值P56被供给到一像素延迟电路 1745和像素选择电路719。一像素延迟电路1745输出延迟了 I个像素的像素值P46。像素值P46被供给到一像素延迟电路1746和像素选择电路719。一像素延迟电路1746输出延迟了 I个像素的像素值P36。像素值P36被供给到一像素延迟电路1747和像素选择电路 719。一像素延迟电路1747输出延迟了 I个像素的像素值P26。像素值P26被供给到一像素延迟电路1748和像素选择电路719。一像素延迟电路1748输出延迟了 I个像素的像素值P16。像素值P16被供给到一像素延迟电路1749和像素选择电路719。一像素延迟电路 1749输出延迟了 I个像素的像素值P06。像素值P06供给到像素选择电路719。
一行延迟电路705输出像素值PA5。像素值PA5被供给到一行延迟电路706、一像素延迟电路1750和像素选择电路719。一像素延迟电路1750输出延迟了 I个像素的像素值P95。像素值P95被供给到一像素延迟电路1751和像素选择电路719。一像素延迟电路 1751输出延迟了 I个像素的像素值P85。像素值P85被供给到一像素延迟电路1752和像素选择电路719。一像素延迟电路1752输出延迟了 I个像素的像素值P75。像素值P75被供给到一像素延迟电路1753和像素选择电路719。一像素延迟电路1753输出延迟了 I个像素的像素值P65。像素值P65被供给到一像素延迟电路1754和像素选择电路719。一像素延迟电路1754输出延迟了 I个像素的像素值P55。像素值P55被供给到一像素延迟电路 1755和像素选择电路719。一像素延迟电路1755输出延迟了 I个像素的像素值P45。像素值P45被供给到一像素延迟电路1756和像素选择电路719。一像素延迟电路1756输出延迟了 I个像素的像素值P35。像素值P35被供给到一像素延迟电路1757和像素选择电路719。一像素延迟电路1757输出延迟了 I个像素的像素值P25。像素值P25被供给到一像素延迟电路1758和像素选择电路719。一像素延迟电路1758输出延迟了 I个像素的像素值P15。像素值P15被供给到一像素延迟电路1759和像素选择电路719。一像素延迟电路 1759输出延迟了 I个像素的像素值P05。像素值P05供给到像素选择电路719。
一行延迟电路706输出像素值PA4。像素值PA4被供给到一行延迟电路707、一像素延迟电路1760和像素选择电路719。一像素延迟电路1760输出延迟了 I个像素的像素值P94。像素值P94被供给到一像素延迟电路1761和像素选择电路719。一像素延迟电路 1761输出延迟了 I个像素的像素值P84。像素值P84被供给到一像素延迟电路1762和像素选择电路719。一像素延迟电路1762输出延迟了 I个像素的像素值P74。像素值P74被供给到一像素延迟电路1763和像素选择电路719。一像素延迟电路1763输出延迟了 I个像素的像素值P64。像素值P64被供给到一像素延迟电路1764和像素选择电路719。一像素延迟电路1764输出延迟了 I个像素的像素值P54。像素值P54被供给到一像素延迟电路 1765和像素选择电路719。一像素延迟电路1765输出延迟了 I个像素的像素值P44。像素值P44被供给到一像素延迟电路1766和像素选择电路719。一像素延迟电路1766输出延迟了 I个像素的像素值P34。像素值P34被供给到一像素延迟电路1767和像素选择电路 719。一像素延迟电路1767输出延迟了 I个像素的像素值P24。像素值P24被供给到一像素延迟电路1768和像素选择电路719。一像素延迟电路1768输出延迟了 I个像素的像素值P14。像素值P14被供给到一像素延迟电路1769和像素选择电路719。一像素延迟电路 1769输出延迟了 I个像素的像素值P04。像素值P04供给到像素选择电路719。
一行延迟电路707输出像素值PA3。像素值PA3被供给到一行延迟电路708、一像素延迟电路1770和像素选择电路719。一像素延迟电路1770输出延迟了 I个像素的像素值P93。像素值P93被供给到一像素延迟电路1771和像素选择电路719。一像素延迟电路 1771输出延迟了 I个像素的像素值P83。像素值P83被供给到一像素延迟电路1772和像素选择电路719。一像素延迟电路1772输出延迟了 I个像素的像素值P73。像素值P73被供给到一像素延迟电路1773和像素选择电路719。一像素延迟电路1773输出延迟了 I个像素的像素值P63。像素值P63被供给到一像素延迟电路1774和像素选 择电路719。一像素延迟电路1774输出延迟了 I个像素的像素值P53。像素值P53被供给到一像素延迟电路 1775和像素选择电路719。一像素延迟电路1775输出延迟了 I个像素的像素值P43。像素值P43被供给到一像素延迟电路1776和像素选择电路719。一像素延迟电路1776输出延迟了 I个像素的像素值P33。像素值P33被供给到一像素延迟电路1777和像素选择电路 719。一像素延迟电路1777输出延迟了 I个像素的像素值P23。像素值P23被供给到一像素延迟电路1778和像素选择电路719。一像素延迟电路1778输出延迟了 I个像素的像素值P13。像素值P13被供给到一像素延迟电路1779和像素选择电路719。一像素延迟电路 1779输出延迟了 I个像素的像素值P03。像素值P03供给到像素选择电路719。
一行延迟电路708输出像素值PA2。像素值PA2被供给到一行延迟电路709、一像素延迟电路1780和像素选择电路719。一像素延迟电路1780输出延迟了 I个像素的像素值P92。像素值P92被供给到一像素延迟电路1781和像素选择电路719。一像素延迟电路 1781输出延迟了 I个像素的像素值P82。像素值P82被供给到一像素延迟电路1782和像素选择电路719。一像素延迟电路1782输出延迟了 I个像素的像素值P72。像素值P72被供给到一像素延迟电路1783和像素选择电路719。一像素延迟电路1783输出延迟了 I个像素的像素值P62。像素值P62被供给到一像素延迟电路1784和像素选择电路719。一像素延迟电路1784输出延迟了 I个像素的像素值P52。像素值P52被供给到一像素延迟电路 1785和像素选择电路719。一像素延迟电路1785输出延迟了 I个像素的像素值P42。像素值P42被供给到一像素延迟电路1786和像素选择电路719。一像素延迟电路1786输出延迟了 I个像素的像素值P32。像素值P32被供给到一像素延迟电路1787和像素选择电路 719。一像素延迟电路1787输出延迟了 I个像素的像素值P22。像素值P22被供给到一像素延迟电路1788和像素选择电路719。一像素延迟电路1788输出延迟了 I个像素的像素值P12。像素值P12被供给到一像素延迟电路1789和像素选择电路719。一像素延迟电路 1789输出延迟了 I个像素的像素值P02。像素值P02供给到像素选择电路719。
一行延迟电路709输出像素值PAl。像素值PAl被供给到一行延迟电路710、一像素延迟电路1790和像素选择电路719。一像素延迟电路1790输出延迟了 I个像素的像素值P91。像素值P91被供给到一像素延迟电路1791和像素选择电路719。一像素延迟电路 1791输出延迟了 I个像素的像素值P81。像素值P81被供给到一像素延迟电路1792和像素选择电路719。一像素延迟电路1792输出延迟了 I个像素的像素值P71。像素值P71被供给到一像素延迟电路1793和像素选择电路719。一像素延迟电路1793输出延迟了 I个像素的像素值P61。像素值P61被供给到一像素延迟电路1794和像素选择电路719。一像素延迟电路1794输出延迟了 I个像素的像素值P51。像素值P51被供给到一像素延迟电路 1795和像素选择电路719。一像素延迟电路1795输出延迟了 I个像素的像素值P41。像素值P41被供给到一像素延迟电路1796和像素选择电路719。一像素延迟电路1796输出延迟了 I个像素的像素值P31。像素值P31被供给到一像素延迟电路1797和像素选择电路 719。一像素延迟电路1797输出延迟了 I个像素的像素值P21。像素值P21被供给到一像素延迟电路1798和像素选择电路719。一像素延迟电路1798输出延迟了 I个像素的像素值P11。像素值Pll被供给到一像素延迟电路1799和像素选择电路719。一像素延迟电路 1799输出延迟了 I个像素的像素值P01。像素值POl供给到像素选择电路719。
一行延迟电路710输出像素值ΡΑ0。像素值PAO被供给到一像素延迟电路1800和像素选择电路719。一像素延迟电路1800输出延迟了 I个像素的像素值P90。像素值P90 被供给到一像素延迟电路1801和像素选择电路719。一像素延迟电路1801输出延迟了 I 个像素的像素值P80。像素值P80被供给到一像素延迟电路1802和像素选择电路719。一像素延迟电路1802输出延迟了 I个像素的像素值P70。像素值P70被供给到一像素延迟电路1803和像素选择电路719。一像素延迟电路1803输出延迟了 I个像素的像素值P60。 像素值P60被供给到一像素延迟电路1804和像素选择电路719。一像素延迟电路1804输出延迟了 I个像素的像素值P50。像素值P50被供给到一像素延迟电路1805和像素选择电路719。一像素延迟电路1805输出延迟了 I个像素的像素值P40。像素值P40被供给到一像素延迟电路1806和像素选择电路719。一像素延迟电路1806输出延迟了 I个像素的像素值P30。像素值P30被供给到一像素延迟电路1807和像素选择电路719。一像素延迟电路1807输出延迟了 I个像素的像素值P20。像素值P20被供给到一像素延迟电路1808和像素选择电路719。一像素延迟电路1808输出延迟了 I个像素的像素值P10。像素值PlO 被供给到一像素延迟电路1809和像素选择电路719。一像素延迟电路1809输出延迟了 I个像素的像素值POO。像素值POO供给到像素选择电路719。
同步信号产生电路18经由图9的同步信号输入端子718向像素选择电路719供给水平同步信号HD和垂直同步信号VD，因此，像素选择电路719根据水平同步信号HD和垂直同步信号VD判断关注帧图像的关注像素P55或与相邻帧图像的关注像素相当的P55的像素位置，确定与滤色器排列对应的关注像素的像素位置。能够确定关注像素是R像素、G 像素还是B像素。根据确定的像素位置，分别向与相加图案的像素区域对应的差分计算电路721 725供给构成相加图案的像素值。面内图案检测电路50经由图9的像素区域输入端子711向像素选择电路719通知由面内图案检测电路50判别出的与关注像素之间相关性最高的周边像素的相加图案。像素选择电路719根据由面内图案检测电路50判别出的相加图案，依据考虑到帧图像间的像素区域的移动的相加图案来选择像素。
接着，对所述相加图案进行说明。图37的(A)、(B) 图46的(A)、(B)示出在图 14的像素空间配置中关注像素为G像素时，选择从关注像素起对上侧的周边像素进行组合后的上侧块图案作为4个像素的面内相加图案时的、面内相加图案与前侧参照帧图像内的 4个像素相加图案的组合以及面内相加图案与后侧参照帧图像内的4个像素相加图案的组八口 ο
在这些图37的(A)、(B) 图46的(A)、(B)中示出滤波器信号NR2的关注帧图像的面内相加图案、帧延迟信号NRlD的前侧的相邻帧图像(参照帧图像)的相加图案(前方参照像素图案)、帧延迟信号NR3D的后侧的相邻帧图像的相加图案(后方参照像 素图案)。前方参照图案检测电路71、后方参照图案检测电路72分别针对由面内图案检测电路50判别出的面内相加图案，从相邻帧图像的5个图案的相加图案中判别相关性最高的相加图案作为参照像素相加图案。
图37的(A)、(B) 图41的(A)、(B)是示出关注像素为G像素，选择第I面内相加图案时的与前方参照图案检测电路71对应的第I 第5前方参照相加图案的图。第I 面内相加图案是从关注像素起对上侧的周边像素进行组合后的上侧块图案。G155表示参照关注像素。
图37是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值G153、G144、G164、G155供给到差分计算电路721。图38是使关注帧图像的像素配置向左上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值6142、6133、6153、6144供给到差分计算电路722。图39是使关注帧图像的像素配置向右下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G164、G155、 G175、G166供给到差分计算电路723。图40是使关注帧图像的像素配置向右上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G162、G153、G173、G164供给到差分计算电路724。图41是使关注帧图像的像素配置向左下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G144、G135、G155、G146供给到差分计算电路 725。
图42 图46是示出关注像素为G像素，选择第I面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第I面内相加图案是从关注像素起对上侧的周边像素进行组合后的上侧块图案。G355表示参照关注像素。
图42是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值G353、G344、G364、G355供给到差分计算电路721。图43是使关注帧图像的像素配置向左上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G342、G333、G353、G344供给到差分计算电路722。图44是使关注帧图像的像素配置向右下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G364、G355、 G375、G366供给到差分计算电路723。图45是使关注帧图像的像素配置向右上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G362、G353、G373、G364供给到差分计算电路724。图46是使关注帧图像的像素配置向左下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G344、G335、G355、G346供给到差分计算电路 725。
在选择对关注像素及其右侧的周边像素进行组合后的右侧块图案(G64、G55、G75、 G66)作为关注像素为G像素时的第2面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
在选择对关注像素及其下侧的周边像素进行组合后的下侧块图案(G55、G46、G66、 G57)作为关注像素为G像素时的第3面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
在选择对关注像素及其左侧的周边像素进行组合后的左侧块图案(G44、G35、G55、 G46)作为关注像素为G像素时的第4面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
图47 图51是示出关注像素为G像素，选择第5面内相加图案时的与前方参照图案检测电路71对应的第I 第5前方参照相加图案的图。第5面内相加图案是从关注像素起对上侧的周边像素进行组合后的上侧纵行图案。
图47是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值G151、G153、G155、G157供给到差分计算电路721。图48是使关注帧图像的像素配置向左上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值6140、6142、6144、6146供给到差分计算电路722。图49是使关注帧图像的像素配置向左下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G142、G144、 G146、G148供给到差分计算电路723。图50是使关注帧图像的像素配置向右上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G160、G162、G164、G166供给到差分计算电路724。图51是使关注帧图像的像素配置向右下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G162、G164、G166、G168供给到差分计算电路 725。
图52 图56是示出关注像素为G像素，选择第5面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第5面内相加图案是从关注像素起对上侧的周边像素进行组合后的上侧纵行图案。
图52是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值G351、G353、G355、G357供给到差分计算电路721。图53是使关注帧图像的像素配置向左上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G340、G342、G344、G346供给到差分计算电路722。图54是使关注帧图像的像素配置向左下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G342、G344、 G346、G348供给到差分计算电路723。图55是使关注帧图像的像素配置向右上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G360、G362、G364、G366供给到差分计算电路724。图56是使关注帧图像的像素配置向右下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G362、G364、G366、G368供给到差分计算电路 725。
在选择对关注像素及其下侧的周边像素进行组合后的下侧纵行图案(G53、G55、 G57、G59)作为关注像素为G像素时的第6面内相加图案的情况下，与选择第5面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
图57 图61是示出关注像素为G像素，选择第7面内相加图案时的与前方参照图案检测电路71对应的第I 第5前方参照相加图案的图。第7面内相加图案是从关注像素起对左侧的周边像素进行组合后的左侧横行图案。
图57是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值Gl 15、G135、G155、G175供给到差分计算电路721。图58是使关注帧图像的像素配置向左上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G104、G124、G144、G164供给到差分计算电路722。图59是使关注帧图像的像素配置向右上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G124、G144、 G164、G184供给到差分计算电路723。图60是使关注帧图像的像素配置向左下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G106、G126、G146、G166供给到差分计算电路724。图61是使关注帧图像的像素配置向右下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G126、G146、G166、G186供给到差分计算电路 725。
图62 图66是示出关注像素为G像素，选择第7面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第7面内相加图案是从关注像素起对左侧的周边像素进行组合后的左侧横行图案。
图62是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值G315、G335、G355、G375供给到差分计算电路721。图63是使关注帧图像的像素配置向左上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G304、G324、G344、G364供给到差分计算电路722。图64是使关注帧图像的像素配置向右上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G324、G344、 G364、G384供给到差分计算电路723。图65是使关注帧图像的像素配置向左下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G306、G326、G346、G366供给到差分计算电路724。图66是使关注帧图像的像素配置向右下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G326、G346、G366、G386供给到差分计算电路 725。
在选择对关注像素及其右侧的周边像素进行组合后的右侧横行图案(G35、G55、G75、G95)作为关注像素为G像素时的第8面内相加图案的情况下，与选择第7面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、或者面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
图67 图71是示出关注像素为G像素，选择第9面内相加图案时的与前方参照图案检测电路71对应的第I 第5前方参照相加图案的图。第9面内相加图案是从关注像素起对左上侧的周边像素进行组合后的左上侧斜行图案。
图67是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值G133、G144、G155、G166供给到差分计算电路721。图68是使关注帧图像的像素配置向左上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值6122、6133、6144、6155供给到差分计算电路722。图69是使关注帧图像的像素配置向右下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G144、G155、 G166、G177供给到差分计算电路723。图70是使关注帧图像的像素配置向右上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G142、G153、G164、G175供给到差分计算电路724。图71是使关注帧图像的像素配置向左下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G124、G135、G146、G157供给到差分计算电路 725。
图72 图76是示出关注像素为G像素，选择第9面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第9面内相加图案是从关注像素起对左上侧的周边像素进行组合后的左上侧斜行图案。
图72是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值G333、G344、G355、G366供给到差分计算电路721。图73是使关注帧图像的像素配置向左上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G322、G333、G344、G355供给到差分计算电路722。图74是使关注帧图像的像素配置向右下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素 值G344、G355、 G366、G377供给到差分计算电路723。图75是使关注帧图像的像素配置向右上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G342、G353、G364、G375供给到差分计算电路724。图76是使关注帧图像的像素配置向左下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G324、G335、G346、G357供给到差分计算电路 725。
在选择对关注像素及其右下侧的周边像素进行组合后的右下侧斜行图案(G44、 G55、G66、G77)作为关注像素为G像素时的第10面内相加图案的情况下，与选择第9面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、 以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
图77是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值G146、G155、G164、G173供给到差分计算电路721。图78是使关注帧图像的像素配置向右上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值6155、6164、6173、6182供给到差分计算电路722。图79是使关注帧图像的像素配置向左下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G137、G146、 G155、G164供给到差分计算电路723。图80是使关注帧图像的像素配置向左上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G135、G144、G153、G162供给到差分计算电路724。图81是使关注帧图像的像素配置向右下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值G157、G166、G175、G184供给到差分计算电路 725。
图82 图86是示出关注像素为G像素，选择第11面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第11面内相加图案是从关注像素起对右上侧的周边像素进行组合后的右上侧斜行图案。
图82是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值G346、G355、G364、G373供给到差分计算电路721。图83是使关注帧图像的像素配置向右上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G355、G364、G373、G382供给到差分计算电路722。图84是使关注帧图像的像素配置向左下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G337、G346、 G355、G364供给到差分计算电路723。图85是使关注帧图像的像素配置向左上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G335、G344、G353、G362供给到差分计算电路724。图86是使关注帧图像的像素配置向右下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值G357、G366、G375、G384供给到差分计算电路 725。
在选择对关注像素及其左下侧的周边像素进行组合后的左下侧斜行图案(G64、 G55、G46、G37)作为关注像素为G像素时的第12面内相加图案的情况下，与选择第11面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
图87的(A)、(B) 图96的(A)、(B)示出在图14的像素空间配置中，选择对关注像素及其左 上侧的周边像素进行组合后的左上侧块图案作为关注像素为R像素时的面内4 个像素相加图案时的面内相加图案与前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案与后侧参照帧图像内的4个像素相加图案的组合。在这些图87的(A)、(B) 图96的(A)、(B)中示出滤波器信号NR2的关注帧图像的面内相加图案、帧延迟信号NRlD 的前侧的相邻帧图像的相加图案(前方参照像素图案)、帧延迟信号NR3D的后侧的相邻帧图像的相加图案(后方参照像素图案)。前方参照图案检测电路71、后方参照图案检测电路72 分别针对由面内图案检测电路50判别出的面内相加图案，从相邻帧图像的5个图案的相加图案中判别相关性最高的相加图案作为参照像素相加图案。
图87 图91是示出关注像素为R像素，选择第I面内相加图案时的与前方参照图案检测电路71对应的第I 第5前方参照相加图案的图。第I面内相加图案是从关注像素起对左上侧的周边像素进行组合后的左上侧块图案。
图87是与关注帧图像的像素配置相同的像素配置的前方参照相加图案。像素选择电路719将像素值R133、R153、R135、R155供给到差分计算电路721。图88是使关注帧图像的像素配置向左方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值R113、R133、R115、R135供给到差分计算电路722。图89是使关注帧图像的像素配置向右方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值R153、R173、R155、 R175供给到差分计算电路723。图90是使关注帧图像的像素配置向上方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值R131、R151、R133、R153供给到差分计算电路724。图91是使关注帧图像的像素配置向下方位移后的像素配置的前方参照相加图案。像素选择电路719将像素值Rl35、Rl55、Rl37、Rl57供给到差分计算电路725。
图92 图96是示出关注像素为R像素，选择第I面内相加图案时的与后方参照图案检测电路72对应的第I 第5后方参照相加图案的图。第I面内相加图案是从关注像素起对左上侧的周边像素进行组合后的左上侧块图案。
图92是与关注帧图像的像素配置相同的像素配置的后方参照相加图案。像素选择电路719将像素值R333、R353、R335、R355供给到差分计算电路721。图93是使关注帧图像的像素配置向左方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值R313、R333、R315、R335供给到差分计算电路722。图94是使关注帧图像的像素配置向右方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值R353、R373、R355、 R375供给到差分计算电路723。图95是使关注帧图像的像素配置向上方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值R331、R351、R333、R353供给到差分计算电路724。图96是使关注帧图像的像素配置向下方位移后的像素配置的后方参照相加图案。像素选择电路719将像素值R335、R355、R337、R357供给到差分计算电路725。
在选择对关注像素及其右上侧的周边像素进行组合后的右上侧块图案(R53、R73、 R55、R75)作为关注像素为R像素时的第2面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
在选择对关注像素及其右下侧的周边像素进行组合后的右下侧块图案(R55、R75、 R57、R77)作为关注像素为R像素时的第3面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
在选择对关注像素及其左下侧的周边像素进行组合后的左下侧块图案(R35、R55、 R37、R57)作为关注像素为R像素时的第4面内相加图案的情况下，与选择第I面内相加图案的情况同样，决定面内相加图案和前侧参照帧图像内的4个像素相加图案的组合、以及面内相加图案和后侧参照帧图像内的4个像素相加图案的组合。
在图14的像素空间配置中，关注像素为B像素时的面内相加图案与前侧参照帧图像内的4个像素相加图案的组合、或者面内相加图案与后侧参照帧图像内的4个像素相加图案的组合与关注像素为R像素的情况同样。前方参照图案检测电路71和后方参照图案检测电路72分别针对由面内图案检测电路50判别出的面内相加图案，从相邻帧图像的5 个图案的相加图案中判别相关性最高的相加图案。
面内图案检测电路50经由图9的最大像素值输入端子712和最小像素值输入端子713，向图12的差分计算电路721 725供给与由面内图案检测电路50判别为相关性最高的相加图案对应的最大像素值MAX和最小像素值MIN。差分计算电路721 725分别对从图9的像素 选择电路719输入的4个像素组Kl K5中的任意一个像素值、以及从面内图案检测电路50输入的最大像素值MAX和最小像素值MIN的这6个像素的值进行相互比较，求出这6个像素的值中的最大像素值和最小像素值。接着，差分计算电路721 725分别求出这些最大像素值和最小像素值的差分(面间相关性评价值)，作为该相加图案的差分信息供给到最小值计算电路740。
最小值计算电路740对从差分计算电路721 725输入的5个图案的像素间的差分进行相互比较，求出最小差分的相加图案，将求出的相加图案的信息通知给图9的像素指定电路750。像素指定电路750从输出端子760向像素相加部20供给构成从最小值计算电路740通知的相加图案的像素的像素位置。前方参照图案检测电路71的输出被供给到选择电路21，后方参照图案检测电路72的输出被供给到选择电路23。
如上所述，在G像素的情况下，针对由面内图案检测电路50判别出的12个图案的相加图案，分别组合相邻帧图像的5个图案的相加图案。并且，在R像素、B像素的情况下， 针对由面内图案检测电路50判别出的4个图案的相加图案，分别组合相邻帧图像的5个图案的相加图案。由此，关于包含相邻帧图像在内的在像素相加中使用的像素，能够正确地选择与关注像素之间相关性高的像素，能够减小像素相加后的图像的分辨率劣化。
接着，参照图13对选择电路21、22、23中的任意一个选择电路2x的动作进行说明。利用延迟电路270对图14所示的由以关注像素P55为中心的水平11个像素、垂直11 个像素构成的像素组进行采样。下面，对图14的像素值PAA被施加给输入端子200的定时的动作进行说明。从A/D转换器13A输出的像素值PAA从像素相加电路14的输入端子INa 经由延迟电路36被施加给选择电路23的输入端子200。或者，从A/D转换器13A输出的像素值PAA从像素相加电路14的输入端子INa经由一帧延迟电路31、延迟电路35被施加给选择电路22的输入端子200。或 者，从A/D转换器13A输出的像素值PAA从像素相加电路14的输入端子INa经由一帧延迟电路31、一帧延迟电路32、延迟电路34被施加给选择电路21的输入端子200。
被施加给输入端子200的像素值PAA被供给到一行延迟电路201、一像素延迟电路 2700、像素选择电路220。一像素延迟电路2700输出延迟了 I个像素的像素值P9A。像素值P9A被供给到一像素延迟电路2701、像素选择电路220。一像素延迟电路2701输出延迟了 I个像素的像素值P8A。像素值P8A被供给到一像素延迟电路2702、像素选择电路220。 一像素延迟电路2702输出延迟了 I个像素的像素值P7A。像素值P7A被供给到一像素延迟电路2703、像素选择电路220。一像素延迟电路2703输出延迟了 I个像素的像素值P6A。 像素值P6A被供给到一像素延迟电路2704、像素选择电路220。一像素延迟电路2704输出延迟了 I个像素的像素值P5A。像素值P5A被供给到一像素延迟电路2705、像素选择电路 220。一像素延迟电路2705输出延迟了 I个像素的像素值P4A。像素值P4A被供给到一像素延迟电路2706、像素选择电路220。一像素延迟电路2706输出延迟了 I个像素的像素值 P3A。像素值P3A被供给到一像素延迟电路2707、像素选择电路220。一像素延迟电路2707 输出延迟了 I个像素的像素值P2A。像素值P2A被供给到一像素延迟电路2708、像素选择电路220。一像素延迟电路2708输出延迟了 I个像素的像素值P1A。像素值PlA被供给到一像素延迟电路2709、像素选择电路220。一像素延迟电路2709输出延迟了 I个像素的像素值Ρ0Α。像素值POA供给到像素选择电路220。
一行延迟电路201输出像素值PA9。像素值PA9被供给到一行延迟电路202、一像素延迟电路2710、像素选择电路220。一像素延迟电路2710输出延迟了 I个像素的像素值 P99。像素值P99被供给到一像素延迟电路2711、像素选择电路220。一像素延迟电路2711 输出延迟了 I个像素的像素值P89。像素值P89被供给到一像素延迟电路2712、像素选择电路220。一像素延迟电路2712输出延迟了 I个像素的像素值P79。像素值P79被供给到一像素延迟电路2713、像素选择电路220。一像素延迟电路2713输出延迟了 I个像素的像素值P69。像素值P69被供给到一像素延迟电路2714、像素选择电路220。一像素延迟电路2714输出延迟了 I个像素的像素值P59。像素值P59被供给到一像素延迟电路2715、像素选择电路220。一像素延迟电路2715输出延迟了 I个像素的像素值P49。像素值P49被供给到一像素延迟电路2716、像素选择电路220。一像素延迟电路2716输出延迟了 I个像素的像素值P39。像素值P39被供给到一像素延迟电路2717、像素选择电路220。一像素延迟电路2717输出延迟了 I个像素的像素值P29。像素值P29被供给到一像素延迟电路 2718、像素选择电路220。一像素延迟电路2718输出延迟了 I个像素的像素值P19。像素值P19被供给到一像素延迟电路2719、像素选择电路220。一像素延迟电路2719输出延迟了 I个像素的像素值P09。像素值P09供给到像素选择电路220。一行延迟电路202输出像素值PA8。像素值PA8被供给到一行延迟电路203、一像素延迟电路2720、像素选择电路 220。一像素延迟电路2720输出延迟了 I个像素的像素值P98。像素值P98被供给到一像素延迟电路2721、像素选择电路220。一像素延迟电路2721输出延迟了 I个像素的像素值 P88。像素值P88被供给到一像素延迟电路2722、像素选择电路220。一像素延迟电路2722 输出延迟了 I个像素的像素值P78。像素值P78被供给到一像素延迟电路2723、像素选择电路220。一像素延迟电路2723输出延迟了 I个像素的像素值P68。像素值P68被供给到一像素延迟电路2724、像素选择电路220。一像素延迟电路2724输出延迟了 I个像素的像素值P58。像素值P58被供给到一像素延迟电路2725、像素选择电路220。一像素延迟电路 2725输出延迟了 I个像素的像素值P48。像素值P48被供给到一像素延迟电路2726、像素选择电路220。一像素延迟电路2726输出延迟了 I个像素的像素值P38。像素值P38被供给到一像素延迟电路2727、像素选择电路220。一像素延迟电路2727输出延迟了 I个像素的像素值P28。像素值P28被供给到一像素延迟电路2728、像素选择电路220。一像素延迟电路2728输出延迟了 I个像素的像素值P18。像素值P18被供给到一像素延迟电路2729、 像素选择电路220。一像素延迟电路2729输出延迟了 I个像素的像素值P08。像素值P08 供给到像素选择电路220。
一行延迟电路203输出像素值PA7。像素值PA7被供给到一行延迟电路204、一像素延迟电路2730、像素选择电路220。一像素延迟电路2730输出延迟了 I个像素的像素值 P97。像素值P97被供给到一像素延迟电路2731、像素选择电路220。一像素延迟电路2731 输出延迟了 I个像素的像素值P87。像素值P87被供给到一像素延迟电路2732、像素选择电路220。一像素延迟电路2732输出延迟了 I个像素的像素值P77。像素值P77被供给到一像素延迟电路2733、像素选择电路220。一像素延迟电路2733输出延迟了 I个像素的像素值P67。像素值P67被供给到一像素延迟电路2734、像素选择电路220。一像素延迟电路 2734输出延迟了 I个像素的像素值P57。像素值P57被供给到一像素延迟电路2735、像素选择电路220。一像素延迟电路2735输出延迟了 I个像素的像素值P47。像素值P47被供给到一像素延迟电路2736、像素选择电路220。一像素延迟电路2736输出延迟了 I个像素的像素值P37。像素值P37被供给到一像素延迟电路2737、像素选择电路220。一像素延迟电路2737输出延迟了 I个像素的像素值P27。像素值P27被供给到一像素延迟电路2738、 像素选择电路220。一像素延迟电路2738输出延迟了 I个像素的像素值P17。像素值P17被供给到一像素延迟电路2739、像素选择电路220。一像素延迟电路2739输出延迟了 I个像素的像素值P07。像素值P07供给到像素选择电路220。
一行延迟电路204输出像素值PA6。像素值PA6被供给到一行延迟电路205、一像素延迟电路2740、像素选择电路220。一像素延迟电路2740输出延迟了 I个像素的像素值 P96。像素值P96被供给到一像素延迟电路2741、像素选择电路220。一像素延迟电路2741 输出延迟了 I个像素的像素值P86。像素值P86被供给到一像素延迟电路2742、像素选择电路220。一像素延迟电路2742输出延迟了 I个像素的像素值P76。像素值P76被供给到一像素延迟电路2743、像素选择电路220。一像素延迟电路2743输出延迟了 I个像素的像素值P66。像素值P66被供给到一像素延迟电路2744、像素选择电路220。一像素延迟电路 2744输出延迟了 I个像素的像素值P56。像素值P56被供给到一像素延迟电路2745、像素选择电路220。一像素延迟电路2745输出延迟了 I个像素的像素值P46。像素值P46被供给到一像素延迟电路2746、像素选择电路220。一像素延迟电路2746输出延迟了 I个像素的像素值P36。像素值P36被供给到一像素延迟电路2747、像素选择电路220。一像素延迟电路2747输出延迟了 I个像素的像素值P26。像素值P26被供给到一像素延迟电路2748、 像素选择电路220。一像素延迟电路2748输出延迟了 I个像素的像素值P16。像素值P16 被供给到一像素延迟电路2749、像素选择电路220。一像素延迟电路2749输出延迟了 I个像素的像素值P06。像素值P06供给到像素选择电路220。
一行延迟电路205输出像素值PA5。像素值PA5被供给到一行延迟电路206、一像素延迟电路2750、像素选择电路220。一像素延迟电路2750输出延迟了 I个像素的像素值 P95。像素值P95被供给到一像素延迟电路2751、像素选择电路220。一像素延迟电路2751 输出延迟了 I个像素的像素值P85。像素值P85被供给到一像素延迟电路2752、像素选择电路220。一像素延迟电路2752输出延迟了 I个像素的像素值P75。像素值P75被供给到一像素延迟电路2753、像素选择电路220。一像素延迟电路2753输出延迟了 I个像素的像素值P65。像素值P65被供给到一像素延迟电路2754、像素选择电路220。一像素延迟电路 2754输出延迟了 I个像素的像素值P55。像素值P55被供给到一像素延迟电路2755、像素选择电路220。一像素延迟电路 2755输出延迟了 I个像素的像素值P45。像素值P45被供给到一像素延迟电路2756、像素选择电路220。一像素延迟电路2756输出延迟了 I个像素的像素值P35。像素值P35被供给到一像素延迟电路2757、像素选择电路220。一像素延迟电路2757输出延迟了 I个像素的像素值P25。像素值P25被供给到一像素延迟电路2758、 像素选择电路220。一像素延迟电路2758输出延迟了 I个像素的像素值P15。像素值P15 被供给到一像素延迟电路2759、像素选择电路220。一像素延迟电路2759输出延迟了 I个像素的像素值P05。像素值P05供给到像素选择电路220。
一行延迟电路206输出像素值PA4。像素值PA4被供给到一行延迟电路207、一像素延迟电路2760、像素选择电路220。一像素延迟电路2760输出延迟了 I个像素的像素值 P94。像素值P94被供给到一像素延迟电路2761、像素选择电路220。一像素延迟电路2761 输出延迟了 I个像素的像素值P84。像素值P84被供给到一像素延迟电路2762、像素选择电路220。一像素延迟电路2762输出延迟了 I个像素的像素值P74。像素值P74被供给到一像素延迟电路2763、像素选择电路220。一像素延迟电路2763输出延迟了 I个像素的像素值P64。像素值P64被供给到一像素延迟电路2764、像素选择电路220。一像素延迟电路2764输出延迟了 I个像素的像素值P54。像素值P54被供给到一像素延迟电路2765、像素选择电路220。一像素延迟电路2765输出延迟了 I个像素的像素值P44。像素值P44被供给到一像素延迟电路2766、像素选择电路220。一像素延迟电路2766输出延迟了 I个像素的像素值P34。像素值P34被供给到一像素延迟电路2767、像素选择电路220。一像素延迟电路2767输出延迟了 I个像素的像素值P24。像素值P24被供给到一像素延迟电路2768、 像素选择电路220。一像素延迟电路2768输出延迟了 I个像素的像素值P14。像素值P14 被供给到一像素延迟电路2769、像素选择电路220。一像素延迟电路2769输出延迟了 I个像素的像素值P04。像素值P04供给到像素选择电路220。
一行延迟电路207输出像素值PA3。像素值PA3被供给到一行延迟电路208、一像素延迟电路2770、像素选择电路220。一像素延迟电路2770输出延迟了 I个像素的像素值 P93。像素值P93被供给到一像素延迟电路2771、像素选择电路220。一像素延迟电路2771 输出延迟了 I个像素的像素值P83。像素值P83被供给到一像素延迟电路2772、像素选择电路220。一像素延迟电路2772输出延迟了 I个像素的像素值P73。像素值P73被供给到一像素延迟电路2773、像素选择电路220。一像素延迟电路2773输出延迟了 I个像素的像素值P63。像素值P63被供给到一像素延迟电路2774、像素选择电路220。一像素延迟电路 2774输出延迟了 I个像素的像素值P53。像素值P53被供给到一像素延迟电路2775、像素选择电路220。一像素延迟电路2775输出延迟了 I个像素的像素值P43。像素值P43被供给到一像素延迟电路2776、像素选择电路220。一像素延迟电路2776输出延迟了 I个像素的像素值P33。像素值P33被供给到一像素延迟电路2777、像素选择电路220。一像素延迟电路2777输出延迟了 I个像素的像素值P23。像素值P23被供给到一像素延迟电路2778、 像素选择电路220。一像素延迟电路2778输出延迟了 I个像素的像素值P13。像素值P13 被供给到一像素延迟电路2779、像素选择电路220。一像素延迟电路2779输出延迟了 I个像素的像素值P03。像素值P03供给到像素选择电路220。
一行延迟电路208输出像素值PA2。像素值PA2被供给到一行延迟电路209、一像素延迟电路2780、像素选择电 路220。一像素延迟电路2780输出延迟了 I个像素的像素值 P92。像素值P92被供给到一像素延迟电路2781、像素选择电路220。一像素延迟电路2781 输出延迟了 I个像素的像素值P82。像素值P82被供给到一像素延迟电路2782、像素选择电路220。一像素延迟电路2782输出延迟了 I个像素的像素值P72。像素值P72被供给到一像素延迟电路2783、像素选择电路220。一像素延迟电路2783输出延迟了 I个像素的像素值P62。像素值P62被供给到一像素延迟电路2784、像素选择电路220。一像素延迟电路 2784输出延迟了 I个像素的像素值P52。像素值P52被供给到一像素延迟电路2785、像素选择电路220。一像素延迟电路2785输出延迟了 I个像素的像素值P42。像素值P42被供给到一像素延迟电路2786、像素选择电路220。一像素延迟电路2786输出延迟了 I个像素的像素值P32。像素值P32被供给到一像素延迟电路2787、像素选择电路220。一像素延迟电路2787输出延迟了 I个像素的像素值P22。像素值P22被供给到一像素延迟电路2788、 像素选择电路220。一像素延迟电路2788输出延迟了 I个像素的像素值P12。像素值P12 被供给到一像素延迟电路2789、像素选择电路220。一像素延迟电路2789输出延迟了 I个像素的像素值P02。像素值P02供给到像素选择电路220。
一行延迟电路209输出像素值PAl。像素值PAl被供给到一行延迟电路210、一像素延迟电路2790、像素选择电路220。一像素延迟电路2790输出延迟了 I个像素的像素值 P91。像素值P91被供给到一像素延迟电路2791、像素选择电路220。一像素延迟电路2791 输出延迟了 I个像素的像素值P81。像素值P81被供给到一像素延迟电路2792、像素选择电路220。一像素延迟电路2792输出延迟了 I个像素的像素值P71。像素值P71被供给到一像素延迟电路2793、像素选择电路220。一像素延迟电路2793输出延迟了 I个像素的像素值P61。像素值P61被供给到一像素延迟电路2794、像素选择电路220。一像素延迟电路 2794输出延迟了 I个像素的像素值P51。像素值P51被供给到一像素延迟电路2795、像素选择电路220。一像素延迟电路2795输出延迟了 I个像素的像素值P41。像素值P41被供给到一像素延迟电路2796、像素选择电路220。一像素延迟电路2796输出延迟了 I个像素的像素值P31。像素值P31被供给到一像素延迟电路2797、像素选择电路220。一像素延迟电路2797输出延迟了 I个像素的像素值P21。像素值P21被供给到一像素延迟电路2798、 像素选择电路220。一像素延迟电路2798输出延迟了 I个像素的像素值P11。像素值Pll 被供给到一像素延迟电路2799、像素选择电路220。一像素延迟电路2799输出延迟了 I个像素的像素值PO I。像素值POl供给到像素选择电路220。
一行延迟电路210输出像素值ΡΑ0。像素值PAO被供给到一像素延迟电路2800、 像素选择电路220。一像素延迟电路2800输出延迟了 I个像素的像素值P90。像素值P90 被供给到一像素延迟电路2801、像素选择电路220。一像素延迟电路2801输出延迟了 I个像素的像素值P80。像素值P80被供给到一像素延迟电路2802、像素选择电路220。一像素延迟电路2802输出延迟了 I个像 素的像素值P70。像素值P70被供给到一像素延迟电路 2803、像素选择电路220。一像素延迟电路2803输出延迟了 I个像素的像素值P60。像素值P60被供给到一像素延迟电路2804、像素选择电路220。一像素延迟电路2804输出延迟了 I个像素的像素值P50。像素值P50被供给到一像素延迟电路2805、像素选择电路220。 一像素延迟电路2805输出延迟了 I个像素的像素值P40。像素值P40被供给到一像素延迟电路2806、像素选择电路220。一像素延迟电路2806输出延迟了 I个像素的像素值P30。 像素值P30被供给到一像素延迟电路2807、像素选择电路220。一像素延迟电路2807输出延迟了 I个像素的像素值P20。像素值P20被供给到一像素延迟电路2808、像素选择电路 220。一像素延迟电路2808输出延迟了 I个像素的像素值P10。像素值PlO被供给到一像素延迟电路2809、像素选择电路220。一像素延迟电路2809输出延迟了 I个像素的像素值 POO。像素值POO供给到像素选择电路220。
同步信号产生电路18经由同步信号输入端子218向像素选择电路220供给水平同步信号HD和垂直同步信号VD，因此，像素选择电路220根据水平同步信号HD和垂直同步信号VD判断关注帧图像的关注像素P55、或与相邻帧图像的关注像素相当的P55的像素位置，确定与滤色器排列对应的关注像素的像素位置。并且，能够确定关注像素是R像素、G 像素还是B像素。还能够确定从面内图案检测电路50、前方参照图案检测电路71、后方参照图案检测电路72指定的应该相加的像素的像素位置。
参照图2，选择电路21、22、23将与相加图案对应的4个像素的像素值供给到相加运算电路24。MPU19经由控制端子INc针对相加运算电路24设定I倍 12倍的增敏倍率 L0相加运算电路24对从选择电路21、22、23供给的各4个像素，合计12个像素的像素值进行相加，经由输出端子OUTa供给到视频信号处理电路15。
关于在关注像素为G像素时，在帧图像间不存在运动时的动作例，对图37的(A)、 (B)和图42的(A)、(B)进行说明。
在关注帧图像中，图像区域“上侧块图案”与关注像素之间的相关性最高，在前侧参照帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高， 在后侧帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
G= (G153+G144+G164+G155
+G53+G44+G64+G55
+G353+G344+G364+G355 ) XL/12
关于在关注像素为G像素时，在帧图像间存在运动时的动作例，对图38的(A)、(B) 和图44的(A)、(B)进行说明。
在关注帧图像中，图像区域“上侧块图案”与关注像素之间的相关性最高，在前侧帧图像中，使关注帧图像的像素配置向左上方位移后的像素配置与关注像素之间的相关性最高，在后侧帧图像中，使关注帧图像的像素配置向右下方位移后的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
G= (G153+G144+G164+G155
+G53+G44+G64+G55
+G353+G344+G364+G355 ) XL/12
关于在关注像素为R像素时，在帧图像间不存在运动时的动作例，对图87和图92 进行说明。
在关注帧图像中，图像区域“左上侧块图案”与关注像素之间的相关性最高，在前侧帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高，在后侧帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
R= (R133+R153+R135+R155
+R33+R53+R35+R55
+R333+R353+R335+R355) XL/12
关于在关注像素为R像素时，在帧图像间存在运动时的动作例，对图88和图94进行说明。
在关注帧图像中，图像区域“上侧块图案”与关注像素之间的相关性最高，在前侧帧图像中，使关注帧图像的像素配置向左方位移后的像素配置与关注像素之间的相关性最高，在后侧帧图像中，使关注帧图像的像素配置向右方位移后的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
R= (R113+R133+R115+R135
+R33+R53+R35+R55
+R353+R373+R355+R375) XL/12
关于在关注像素为B像素时，在帧图像间不存在运动时的动作例，对图19进行说明。其中，关于前侧帧图像和后侧帧图像的B像素，采样与图87的(A)和图92的(B)的情况类似的表记。
在关注帧图像中，图像区域“左上侧块图案”与关注像素之间的相关性最高，在前侧帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高，在后侧帧图像中，与关注帧图像的像素配置相同的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
B= (B133+B153+B135+B155
+B33+B53+B35+B55
+B333+B353+B335+B355) XL/12
关于在关注像素为B像素时，在帧图像间存在运动时的动作例，对图19进行说明。 其中，关于前侧帧图像和后侧帧图像的B像素，采样与图88的(A)和图94的(B)的情况类似的表记。
在关注帧图像中，图像区域“左上侧块图案”与关注像素之间的相关性最高，在前侧帧图像中，使关注帧图像的像素配置向左方位移后的像素配置与关注像素之间的相关性最高，在后侧帧图像中，使关注帧图像的像素配置向右方位移后的像素配置与关注像素之间的相关性最高的情况下，相加运算电路24进行下式的运算。
B= (B113+B133+B115+B135
+B33+B53+B35+B55
+B353+B373+B355+B375) XL/12
在上述实施方式中，关于像素相加，使用纵、横、斜图案、块图案等的假设包含分辨率高的被摄体的图像的相加图案，因此，能够对相关性高的像素彼此进行相加。具有如下效果在对包含分辨率高的被摄体的场景进行像素相加的情况下，也能够防止高分辨率部分变 得模糊。
R像素和B像素的相加图案也可以与G像素同样地构成为包含纵、横、斜图案来判定相关。在R像素和B像素的情况下，与G像素相比，相加对象的像素间距离变长，因此，综合判断相关判定的误判定的危险性变高、电路规模增大、人针对颜色变化的灵敏度低于亮度等，决定相加图案。
在上述实施方式中，说明了能够对关注帧图像和前后的相邻帧图像的各面内的相加像素数为4个像素，3面合计12个像素进行相加的情况，但是，例如也可以对各面内的相加像素数为2个像素，3面合计6个像素进行相加。所述增敏倍率L可以设定为I 12倍， 但是，在增敏倍率L为7 12倍时，使用面内的相加像素数为4个像素的相加图案，在增敏倍率L为I 6倍时，使用面内的相加像素数为2个像素的相加图案，由此，能够实现将分辨率的降低抑制到最低限度的高灵敏度化。
对所述增敏倍率L的设定图案的其它图案进行说明。在增敏倍率L为I 6倍时，使用面内的相加像素数为2个像素的相加图案，实现最大倍率即6倍。在增敏倍率L为 6 8倍时，使用关注帧图像内的相加像素数为4个像素的相加图案，使用相邻帧图像内的相加像素数为2个像素的相加图案，实现最大倍率即8倍。在增敏倍率L为8 12倍时， 使用面内的相加像素数为4个像素的相加图案，实现最大倍率即12倍。这样，通过对2个像素的相加图案和4个像素的相加图案进行组合，能够实现将分辨率的降低抑制到最低限度的高灵敏度化。
在上述实施方式中，说明了将相邻帧图像的前后双方均作为相加对象的结构，但是，为了通过削减包含帧图像存储器在内的电路规模而实现低成本化，也可以使相邻帧图像为任意一方而削减帧图像存储器。虽然应该相加的像素减少，但是，能够得到本发明的分辨率的劣化少的高灵敏度化的效果。
在上述实施方式中，采用如下结构根据使用2个帧图像的量的帧图像存储器的关注帧图像和相邻2个帧图像的合计3个帧图像进行相加，但是，通过采用4个帧图像以上的结构，能够进一步增加相加像素数，实现高灵敏度化。通过参照由空间判别电路判别出的像素区域的最大值像素和最小值像素而探索下一个相邻帧图像的相加对象像素，由此，还能够依次进行帧图像数的扩张。
作为滤色器的排列，对RGB的原色系的拜耳排列的情况进行了说明，但是，如果将水平2个像素、垂直2个像素的4个像素的同样的方格图案作为基本排列，则在任意滤色器的组合中同样进行动作，得到同样的效果。
如以上说明的那样，在本实施方式中，使用与关注像素之间相关性最高的像素进行像素相加，因此，能够在将图像分辨率的劣化抑制到最小限度的同时，实现灵敏度的提高和S/N比的提闻。
并且，使用与关注帧图像的关注像素之间相关性最高的像素，对时间上位于前方和后方的相邻帧图像的像素进行像素相加，因此，能够在将由于运动而导致的模糊抑制到最小限度的同时，实现灵敏度的提高和S/N比的提高。
并且，如上所述，首先在关注帧图像中判别相关性高的像素，然后，缩小到其相加图案，探索前后的相邻帧图像的中的应该相加的像素，因此，能够削减用于对全部相加图案进行探索的电路规模。
并且，如上所述，从摄像元件输出之后立即进行像素相加，由此，不会受到视频信号处理的影响， 能够生成基于像素相加的高灵敏度信号。关于在视频信号处理的后级进行的像素相加，实施使用附近像素的运算即颜色同时化处理、滤波器处理，因此，水平分辨率和垂直分辨率的降低比设想的大。并且，直接对小振幅信号进行视频信号处理，因此，存在灰度降低的可能性。从摄像元件输出之后立即进行像素相加，由此，能够在图像信息受损之前进行像素相加并恢复信号振幅，因此，具有能够对细部的图像信息进行视觉辨认的效果。
并且，能够在对由摄像部得到的图像(例如根据透射过拜耳排列的滤色器阵列的光学像而得到的图像)实施颜色同时化处理等各种图像处理之前，实施降低噪声的处理。因此，能够在由于实施各种图像处理而使噪声的影响向周围扩散之前，实施降低噪声的处理。 因此，能够有效地降低噪声。
并且，在视频信号处理电路15中进行非线性的滤波器处理和灰度转换处理，因此，在将低振幅信号作为输入的情况下，有时丢失信号振幅。因此，即使对视频信号处理电路15的输出信号进行2个像素相加，也可能不会成为信号振幅为2倍的图像信号。在上述实施方式中，在视频信号处理电路15的视频信号处理前进行像素相加，因此，具有如下效果如果进行2个像素相加，则成为信号振幅为2倍的图像信号。
并且，在上述实施方式中，对设定12倍的增敏倍率L的情况进行了说明，但是，也可以设定为12倍以上。12倍以上的增敏倍率L的设定需要注意灰度降低。
并且，在上述实施方式中，例如为了易于理解说明，利用冗长的结构说明了图3、图 6、图10和图13的延迟电路420、520、770、270，但是，在电路结构的研究中，也可以削减结构的一部分。
并且，如上所述，在本实施方式中，对相同滤波器色的像素进行相加，因此，不会混色，能够得到高灵敏度的彩色图像。
但是，当利用模拟放大器对低照度时的摄像图像进行放大时，与信号相比，噪声变大。并且，当利用数字放大器进行放大时产生灰度降低。如上所述，在本实施方式中，能够通过周边像素的像素相加而实现高灵敏度化，因此，与信号成分相比，噪声成分减小。例如进行2个像素相加时，信号成分成为2倍，噪声成分成为2的平方根倍，相对而言，纯粹的信号成分增大。并且，作为图像的性质，在空间上位于附近的像素彼此具有较高的相关性，因此，通过对最接近关注像素的位置的多个像素进行相加，实现实效性高的灵敏度提高。
实施方式2
接着，对本发明的实施方式2进行说明。图97是示出实施方式2的摄像装置2的概略结构的框图。在图97中，关于实施方式2的摄像装置2的结构，除了附加图像检波电路81这点以及代替图1的MPU19而设置MPU19B这点以外，与实施方式I的摄像装置I的结构相同，发挥与实施方式I相同的效果。
图像检波电路81具有如下功能与从同步信号产生电路18供给的水平同步信号 HD和垂直同步信号VD同步地进行动作，对像素相加电路14的输出信号(即校正后的摄像信号)进行检波。例如，图像检波电路81具有积分功能和平均电平检测功能，积分功能是指， 与垂直扫描周期同步，按照规定数的帧量(例如I帧量)对像素相加电路14的输出信号中包含的有效像素区域的校正像素值进行累计而计算累计值Σρ，平均电平检测功能是指，将该累计值Σρ除以全部有效像素数Np，计算(检测)信号振幅的平均电平ASA ( = Σρ/Νρ)。积分值Σρ和平均电平ASA被提供给MPU19B。图像检波电路81能够从像素相加电路14的输出信号中提取特定的空间频率成分，对提取出的空间频率成分进行累计，进行累计值Σρ 的计算和平均电平ASA的检测。另外，在全部有效像素数Np由2的η次方(η为2以上的整数)给出的情况下，也可以通过对表示累计值Σρ的比特串实施位位移运算，计算(检测) 平均电平ASA。
并且，图像检波电路81具有如下功能根据由MPU19B指定的曝光控制参数和累计值Σρ，对被摄体照度的换算值进行逆运算。作为曝光控制参数，例如可举出表示孔径光阑 111的开口度的光圈值、可编程增益放大电路13Ρ的放大增益、CXD图像传感器12的电荷蓄积时间以及增敏倍率L。在利用LX表示被摄体照度的换算值时，例如，能够使用下式(I)对被摄体照度的换算值LX进行逆运算。
LX= Σp/ (KXTcXGXL) ... (I)
在上式(I)中，K是比例常数，Tc是CXD图像传感器12的电荷蓄积时间，G是可编程增益放大电路13P的放大增益，L是在像素相加电路14中使用的增敏倍率。
本实施方式的MPU19B除了实施方式I的MPU19的功能以外，还具有如下功能根据图像检波电路81的输出对曝光控制参数进行控制，使得视频信号电平成为目标的信号电平。具体而言，MPU19B能够根据图像检波电路81的输出对摄像光学系统11的孔径光阑 111的光圈值进行控制。并且，定时产生电路17能够将驱动定时信号DRT供给到驱动电路 16，对从CCD元件122的光电转换元件读出电荷的电荷读出定时和电荷强制排出定时进行控制，因此，MPU19B根据图像检波电路81的输出对定时产生电路17的动作进行控制，由此，能够对CXD图像传感器12的电荷蓄积时间Tc (即曝光时间)进行控制。并且，MPU19B能够根据图像检波电路81的输出，单独控制放大增益G和增敏倍率L。
视频信号处理电路15具有如下功能与垂直扫描周期同步，检测像素相加电路14 的输出中包含的噪声信号的信号电平(噪声电平)。MPU19B能够根据从视频信号处理电路 15供给的噪声电平进行曝光控制。例如，MPU19B能够根据该噪声电平对系数可变设定电路 495进行控制，将空间滤波器41、42、43中的滤波器系数组设定为最佳值。由此，能够得到降低了噪声的图像。
另外，在上述例子中，说明了与垂直扫描周期同步地进行信号振幅的平均电平ASA 的计算和噪声电平的计算的情况，但是，也可以考虑图像检波电路81和视频信号处理电路 15各自的信号处理时间、以及从图像检波电路81和视频信号处理电路15向MPU19B传送信号的信号传送时间，按照进行数次垂直扫描周期而进行I次的比例进行平均电平ASA的计算和噪声电平的计算。
并且，图像检波电路81也可以具有对像素相加电路14的输出信号执行峰值检波和平均值检波的功能。MPU19B能够使用由图像检波电路81检测到的峰值和平均值进行曝光控制，使得要关注的被摄体图像的视觉辨认性提高。例如，MPU19B可以使用峰值进行曝光控制，使得被摄体图像的高光部分不变白而饱和，或者，也可以使用平均值进行曝光控制， 使得即使高光部分变白而饱和，也可清楚地视觉辨认中间灰度部分。
接着，下面说明使用像素相加电路14的输出信号的曝光控制的一例。如以下详细叙述的那 样，MPU19B通过控制像素相加电路14的动作，作为曝光控制的一环，能够进行灵敏度控制。因此，具有如下效果即使照度环境变动，也能够始终在最佳的摄影条件下得到视觉辨认性良好的被摄体图像。如上所述，像素相加电路14根据照度环境的变动而改变增敏倍率L，由此，能够调整像素的信号振幅。
MPU19B能够根据上述被摄体照度的换算值LX进行自动曝光控制，使得从图像检波电路81得到的平均电平ASA的检测值恒定。在被摄体照度的换算值LX较高，由于明亮环境下的摄像而使像素的信号振幅较大时，MPU19B能够进行控制以缩小摄像光学系统11 的孔径光阑111 (即，对光圈值进行控制)，减少针对CCD图像传感器12的入射光量，调整定时产生电路17的电荷强制排出定时，强制排出在CCD图像传感器12的光电转换元件中蓄积的电荷，减少曝光时间(电荷蓄积时间Tc)。
另一方面，在被摄体照度的换算值LX较低，由于昏暗环境下的摄像而使像素的信号振幅较小时，MPU19B能够进行控制以增大可编程增益放大电路13P的放大增益G，放大摄像信号。此时，当放大增益G过大时，图像中的噪声明显，可能成为视觉辨认性差的图像，因此，优选对放大增益G设置上限。
MPU19B能够进行控制，使得以垂直扫描周期单位对来自CXD图像传感器12的光电转换元件的电荷读出进行间疏，由此延长曝光时间(电荷蓄积时间Tc)。此时，当曝光时间过长时，运动的被摄体成为残像，对视觉辨认性差的图像进行摄像，因此，优选设置以垂直扫描周期单位缺失的图像的插值(帧插值)的电路。
与上述实施方式I的情况同样，本实施方式的MPU19B能够根据被摄体照度的换算值LX，针对像素相加电路14将增敏倍率L设定为I倍 12倍的范围内的值。根据图像检波电路81的输出和曝光控制参数进行增敏倍率L的设定(即调整)。如上所述，相加运算电路24对位于关注像素的附近区域内的相互之间相关性高的多个像素(例如12个像素)进行相加，生成插值像素，对该插值像素的像素值乘以增敏倍率L。因此，能够实现灵敏度的提高， 即使是极为昏暗的低照度环境下的摄像，也能够大幅改善摄像图像的视觉辨认性。并且，能够防止或者抑制帧频率的降低，因此，能够将动态分辨率、水平分辨率和垂直分辨率的劣化抑制到最小。
下面，参照图98的(A) (E)对被摄体照度的换算值LX (以下简称作“照度LX”) 变化时的曝光控制(灵敏度控制)用的顺序的一例进行说明。图98的(A) (D)是示出照度LX与各种曝光控制参数的关系的曲线图，图98的(E)是示出针对照度LX的平均电平ASA 的一例的曲线图。图98的(A)是示出照度LX与孔径光阑111的光圈值(开口量)的关系的曲线图，图98的(B)是示出照度LX与放大增益G的关系的曲线图，图98的(C)是示出照度LX与增敏倍率L的关系的曲线图，图98的(D)是示出照度LX与曝光时间的关系的曲线图。可以在I倍 12倍的范围内设定增敏倍率L。
如图98的(D)的实线所示，在曝光时间维持在标准曝光时间Tr的情况下，在设孔径光阑111的光圈值为开放值，设放大增益G为上限值UGL，设增敏倍率L为I倍(下限值) 时，将像素相加电路14的输出值为规定电平的照度设为高照度侧基准值HL。并且，在该高照度基准值HL的1/12的照度即曝光时间维持在标准曝光时间Tr的情况下，在设孔径光阑 111的光圈值为开放值，设放大增益G为上限值UGL，设增敏倍率L为12倍时，将像素相加电路14的输出值为规定电平的照度设为低照度侧基准值LL。
如图98的(A)、(B)、(C)所示，在照度LX超过阈值UL，摄像条件为高照度环境时， MPU19B使光圈值维持在上限值(最大光圈值)，使放大增益G维持在下限值LGL，使增敏倍率 L维持在I倍。此时，如图98的(D)的实线所示，曝光时间维持在恒定值(标准曝光时间) Tr。并且，在照度LX为阈值UL以下且阈值ML以上的范围Sa内的情况下，光圈值随着从阈值UL朝向阈值ML而从上限值连续或阶段地降低到全开值(开放F值)。曝光时间恒定。此时，放大增益G维持在下限值LGL，增敏倍率L维持在I倍。由此，在照度LX位于范围Sa内的情况下，如图98的(E)所示，能够使平均电平ASA维持在大致恒定的目标值。
并且，在照度LX位于小于阈值ML且高照度侧基准值HL以上的范围Sb内时，如图 98的(A)、(C)所示，光圈值维持在全开值，增敏倍率L维持在I倍。此时，如图98的(B)所示，放大增益G随着从阈值ML朝向高照度侧基准值HL而从下限值LGL连续或阶段地上升到上限值UGL。曝光时间恒定。由此，在照度LX位于范围Sb内的情况下，如图98的(E)所示，能够使平均电平ASA维持在大致恒定的目标值。
并且，在照度LX位于小于高照度侧基准值HL且低照度侧基准值LL以上的范围Sc 内时，如图98的(A)、(B)所示，光圈值维持在全开值，放大增益G维持在上限值UGL。此时， 如图98的(C)所示，增敏倍率L随着从高照度侧基准值HL朝向低照度侧基准值LL而从I 倍连续或阶段地上升到12倍。曝光时间恒定。由此，在照度LX位于范围Sc内的情况下， 如图98的(E)所示，能够使平均电平ASA维持在大致恒定的目标值。而且，在照度LX小于低照度侧基准值LL时，如图98的(A) (D)所示，光圈值维持在全开值，放大增益G维持在上限值UGL，增敏倍率L维持在12倍，曝光时间维持在恒定值Tr。
图98的(A) (D)的对应关系可以由保持在存储器(未图不)中的设定值表(一览表)实现，或者，也可以由通过使用一次函数等函数的运算来计算曝光控制参数的值的运算电路实现。MPU19B能够根据图98的(A) (D)的对应关系，使信号振幅的平均电平ASA维持在期望的目标值。
例如，当照度LX逐渐变暗，信号振幅的平均电平ASA的检测值降低时，MPU19B能够向开放方向控制摄像光学系统11的孔径光阑111 (图98的(A)的范围Sa)，使信号振幅的平均电平ASA维持恒定。并且，在摄像光学系统11的孔径光阑111的光圈值成为全开值后，MPU19B进行控制以增大可编程增益放大电路13P的放大增益G (图98的(B)的范围 Sb),使信号振幅的平均电平ASA维持恒定。在可编程增益放大电路13P的放大增益G增大而达到放大增益G的规定上限值UGL后，MPU19B进行控制以增大像素相加电路14的增敏倍率L (图98的(C)的范围Sc)，使信号振幅的平均电平ASA维持恒定。
能够在增敏倍率L成为最大值(L=12)之前，通过控制增敏倍率L来维持平均电平 ASA。当增敏倍率L达到最大值(=12倍)后照度LX进一步降低时，如图98的(E)的实线所示,平均电平ASA开始降低。
并且，当照度LX逐渐变亮而成为低照度侧基准值LL以上，信号振幅的平均电平的检测值ASA要提高时，进行控制以减小像素相加电路14中的增敏倍率L (图98的(C)的范围Sc)，使信号振幅的平均电平ASA维持恒定。当增敏倍率L减小到I倍时，MPU19B进行控制以减小可编程增益放大电路13P的放大增益G，使信号振幅的平均电平ASA维持恒定。 在可编程增益放大电路13P的放大增益G减小(图98的(B)的范围Sb)而达到规定下限值 LGL后，向遮光方向控制摄像光学系统11的孔径光阑111 (图98的(A)的范围Sa)，使信号振幅的平均电平ASA维持恒定(图98的(E))。当照度LX进一步提高时，如图98的(E)所示，平均电平ASA上升。
通过以上的曝光控制，如图98的(E)的实线所示，能够在低照度侧基准值LL 阈值UL (UL)LL)的照度范围内，确保信号振幅的平均电平ASA恒定。
在上述曝光控制中，如图98的(D)的实线所示，曝光时间恒定，但是，也可以根据照度LX而将曝光时间控制为可变。例如，在照度LX降低，即使增敏倍率L达到最大值(=12 倍)，平均电平ASA也未成为充分的值时，如图98的(D)的虚线所示，MPU19B也可以在低照度 侧基准值LL以下且阈值LLe以上的照度范围Sd内延长曝光时间。相反，在照度LX变高，即使孔径光阑111缩小到最大程度(使F值最高)，平均电平ASA也过大的情况下，如图 98的(D)的虚线所示，MPU19B也可以在阈值UL以上且阈值ULe以下的照度范围Se内缩短曝光时间。通过执行这种曝光时间的控制，如图98的(E)的虚线所示，能够在下限LLe 上限ULe的照度范围内，确保信号振幅的平均电平ASA恒定。
但是，放大增益G的上限值UGL可以根据由视频信号处理电路15检测到的噪声电平而设定为适当值。此时，在照度LX降低，与此相伴CXD图像传感器12的输出的S/N比降低的情况下，考虑需要增加放大增益G的状况。具体而言，可以将噪声电平的检测值相对于平均电平ASA的检测值的比率达到容许上限值即规定比例(以下称作“第I规定噪声比例”) 时的可编程增益放大电路13P的放大增益G的值设定为上限值UGL。第I规定噪声比例例如确定为1/50。
例如，通过滤波处理从像素相加电路14的输出中提取噪声成分，将全部有效像素范围的噪声成分的绝对值的总和除以全部有效像素数，由此计算噪声电平的检测值。在滤波处理中，首先，根据像素相加电路14的输出信号生成降低了噪声成分的降噪信号，接着，通过从像素相加电路14的输出信号中减去降噪信号，能够从像素相加电路14的输出信号中提取噪声成分。
根据用途的不同，被摄体图像的视觉辨认所容许的噪声电平不同，因此，根据重视 S/N比或重视图像分辨率等的摄像装置2的用途来确定第I规定噪声比例。MPU19B也可以监视在可编程增益放大电路13P中设定的放大增益G、以及从视频信号处理电路15向 MPU19B供给的噪声电平的检测值，动态决定放大增益G的上限值UGL，对可编程增益放大电路13P和像素相加电路14进行控制。
并且，也可以在摄像装置2从工厂出厂之前，测定噪声电平的检测值相对于平均电平ASA的检测值的比率达到第I规定噪声比例时的放大增益G的值，将该测定值作为上限值UGL，以能够参照的形式写入存储器(未图示)中。由此，MPU19B能够参照存储在该存储器中的上限值UGL并加以利用。另外，写入上限值UGL的数据的存储器是即使切断摄像装置 2的电源也能够保持其存储内容的非易失性存储器、备用电池型存储器(利用内置电池进行备份的易失性存储器)即可。
但是，放大增益G的下限值LGL也可以根据由视频信号处理电路15检测到的噪声电平而设定为适当值。具体而言，可以将噪声电平的检测值相对于平均电平ASA的检测值的比率低于规定比例(以下称作“第2规定噪声比例”)时的可编程增益放大电路13P的放大增益G的值设定为下限值LGL。可以根据上述第I规定噪声比例(例如1/50)和增敏倍率L的设定值(例如12倍)来决定第2规定噪声比例。例如，第2规定噪声比例可以确定为 1/600 ( = { (1/50) X (1/12)})的值。
根据用途的不同，被摄体图像的视觉辨认所容许的噪声电平不同，因此，根据重视 S/N比或重视图像分辨率等的摄像装置2的用途来确定第2规定噪声比例。MPU19B也可以监视在可编程增益放大电路13P中设定的放大增益G、以及从视频信号处理电路15向 MPU19B供给的噪声电平的检测值，动态决定放大增益G的下限值LGL，对可编程增益放大电路13P和像素相加电路14进行控制。
并且，也可以在摄像装置2从工厂出厂之前，测定噪声电平的检测值相对于平均电平ASA的检测值的比率达到第2规定噪声比例时的放大增益G的值，将该测定值作为下限值LGL，写入能够参照的存储器(未图示)中。由此，MPU19B能够参照存储在该存储器中的下限值LGL并加以利用。另外，写入下限值LGL的存储器是即使切断摄像装置2的电源也能够保持其存储内容的非易失性存储器、备用电池型存储器即可。
如以上说明的那样，在实施方式2中，MPU19B能够根据像素相加电路14的输出信号，动态设定曝光控制参数(孔径光阑111的光圈值、放大增益G、电荷蓄积时间Tc和增敏倍率L)，因此，即使摄影环境变化，也能够生成包含视觉辨认性良好的图像的视频信号。例如， MPU19B能够根据从图像检波电路81供给的被摄体照度LX和平均电平ASA的检测值，动态设定曝光控制参数。如上所述，像素相加电路14能够在将图像分辨率的劣化抑制到最小限度的同时实现灵敏度的提高和S/N比的提高。因此，能够根据像素相加电路14的输出信号进行适当的自动曝光控制。
并且，如上所述，像素相加电路14具有在像素相加处理的过程中进行使用增敏倍率L的增感处理(乘法处理)的功能。MPU19B结合摄影环境的变化，除了能够动态设定光圈值、放大增益G和电荷蓄积时间Tc以外，还能够动态设定增敏倍率L。因此，即使摄影环境变化，摄像装置2也能够进行细致的连续的曝光控制。由此，不会伴有图像的亮度的急剧变化等的画质劣化，能够生成视觉辨认性良好的图像。并且，增敏倍率L不限于整数值，也可以设定为包含小数的值，因此，能够进行极为细致的曝光控制。
并且，如图98的(A) (E)例示的那样，MPU19B根据从图像检波电路81输出的被摄体照度的换算值LX对包含增敏倍率L的曝光控制参数进行控制，因此，在低照度环境下也能够进行适当的曝光控制。具有如下效果通过依次切换光圈值的控制、放大增益G的控制、增敏倍率L的控制和曝光时间的控制，能够输出视觉辨认性良好的最佳亮度的图像。
实施方式3
接着，对本发明的实施方式3进行说明。图99是示出实施方式3的摄像装置3的概略结构的框图。在图99中，关于实施方式3的摄像装置3的结构，除了附加测光部82这点以及代替MPU19而设置MPU19C这点以外，与实施方式I的摄像装置I的结构相同，发挥与实施方式I相同的效果。
测光部82具有如下功能对针对CXD图像传感器12的摄像面或摄像光学系统11 的入射光进行测光，检测被摄体照度。测光部82具有照度传感器(未图示)，根据摄像光学系统11的光轴决定该照度传感器的安装及其定位。
MPU19C除了实施方式I的MPU19的功能以外，还具有如下功能根据从测光部 82供给的被摄体照度的检测值(以下称作“照度”)对曝光控制参数进行控制。具体而言， MPU19C能够根据照度，单独控制摄像光学系统11的孔径光阑111的光圈值、放大增益G、 增敏倍率L。并且，MPU19C根据照度对定时产生电路17的动作进行控制，由此，能够控制 CXD图像传感器12的电荷蓄积时间Tc(即曝光时间)。并且，与实施方式2的MPU19B同样， MPU19C能够根据从视频信号处理电路15供给的噪声电平进行曝光控制。
MPU19C例如使用保持在存储器(未图示)中的设定值表或运算电路，取得与照度对应的曝光控制参数(孔径光 阑111的光圈值、放大增益G、电荷蓄积时间Tc和增敏倍率L)的值，使用所取得的值进行曝光控制。设定值表是记录多个照度值与曝光控制参数的值之间的对应关系的一览表。
在设定值表中，例如能够记录图98的(A) (D)的对应关系。该情况下，例如，在照度位于范围Sa内时，MPU19C可以将CCD图像传感器12的曝光时间设定为基于帧速率的标准曝光时间Tr，将可编程增益放大电路13P的放大增益G设定为下限值LGL，将像素相加电路14的增敏倍率L设定为I倍。此时，当照度逐渐上升时，按照图98的(A)的对应关系， MPU19C使光圈值连续或阶段地上升。在光圈值达到上限值(最大光圈值)后照度进一步上升时，如图422的(D)的虚线所示，MPU19C能够控制成CXD图像传感器12的曝光时间比标准曝光时间Tr短(图98的(D)的范围Se)。
另一方面，在照度位于范围Sa内时，当照度逐渐变暗时，MPU19C按照图98的(A) 的对应关系，使光圈值连续或阶段地降低。在光圈值达到全开值(开放值)后照度进一步降低时，MPU19C使可编程增益放大电路13P的放大增益G从下限值LGL起增加(图98的(B) 的范围Sb)。在放大增益G达到上述上限值UGL后照度进一步降低时，MPU19C使增敏倍率 L从I倍起上升(图98的(C)的范围Sc)。在增敏倍率L达到12倍(上限值)后照度进一步降低时，如图98的(D)的虚线所示，MPU19C使曝光时间比标准曝光时间Tr长(图98的(D) 的范围Sd)。
通过以上的曝光控制，如图98的(E)所示，在下限LLe 上限ULe的照度范围内， 能够确保信号振幅的平均电平ASA恒定。
如以上说明的那样，在实施方式3中，与实施方式2的情况同样，MPU19C能够根据照度的测定值，动态设定曝光控制参数(孔径光阑111的光圈值、放大增益G、电荷蓄积时间 Tc和增敏倍率L)，因此，即使摄影环境变化，也能够生成包含视觉辨认性良好的图像的视频信号。并且，根据像素相加电路14的输出信号，在低照度环境下，也能够进行适当的自动曝光控制。并且，增敏倍率L不限于整数值，也可以设定为包含小数的值，因此，能够进行极为细致的曝光控制。
并且，与实施方式2的情况同样，MPU19C结合摄影环境的变化，除了能够动态设定光圈值、放大增益G和电荷蓄积时间Tc以外，还能够动态设定增敏倍率L。因此，即使摄影环境变化，摄像装置3也能够进行细致的连续的曝光控制。进而，通过依次切换光圈值的控制、放大增益G的控制、增敏倍率L的控制和曝光时间的控制，能够生成包含视觉辨认性良好的最佳亮度的图像的视频信号。
另外，在上述实施方式2、3中，说明了在即使增敏倍率L为最大，信号振幅也不充分的情况下延长曝光时间的情况，但是，这是优先考虑使得帧速率不变的结果。在与帧速率相比更重视分辨率的情况下，也可以先进行延长曝光时间的控制，在即使延长曝光时间(例如到规定值)，信号振幅也不充分的情况下，增大增敏倍率L。并且，也可以并行进行增大增敏倍率L的控制和延长曝光时间的控制。
实施方式I 3的变形例
以上，参照附图叙述了本发明的各种实施方式，但是，这些 实施方式是本发明的例示，也可以采用上述以外的各种方式。例如，在上述实施方式I 3中，作为固体摄像元件的一例，使用CXD图像传感器12，但是不限于此。只要是二维图形传感器即可，也可以使用CMOS摄像兀件等的CCD图像传感器12以外的任意的固体摄像兀件。图100 是示出实施方式I的变形例的摄像装置4的概略结构的框图。代替上述CCD图像传感器12和前端部13，该摄像装置4具有CMOS图像传感器12C。并且，作为CXD图像传感器12,不限于隔行传输CO)摄像元件(interline-transfer CO) imager),也可以是中贞传输CO)摄像元件(frame-transfer CO) imager),还可以是巾贞隔行传输CO)摄像元件 (frame-1nterline-transfer CCD imager)。
并且，在上述实施方式中，像素相加电路14可以仅对所输入的摄像信号中的有效像素区域内的像素进行处理，或者，也可以使用位于有效像素区域外侧的像素进行处理。例如，在关注像素位于有效像素区域端部时，代替有效像素区域外的像素，像素相加电路14 可以使用有效像素区域内的像素，在存在有效像素区域外的像素的情况下，也可以使用该有效像素区域外的像素。
并且，上述像素相加电路14 可以通过 FPGA (Field-Programmable Gate Array)> ASIC (Application Specific Integrated Circuit)等的 LSI (Large scale integrated circuit)实现。
并且，上述像素相加电路14的功能的全部或一部分可以通过硬件结构实现，或者，可以通过由微处理器执行的计算机程序实现。图101是概略地示出通过计算机程序实现该功能的全部或一部分时的图像处理单元5的结构的图。图101的图像处理单元5具有包含 CPU (central processing unit)的处理器 91、输入输出接口 92、RAM (random access memory) 93、非易失性存储器94、记录介质95和总线90。作为记录介质95,例如可举出硬盘(磁盘)、光盘或闪存。处理器91从非易失性存储器94或记录介质95装载计算机程序并执行，由此，能够实现像素相加电路14的功能。
上述摄像装置1 4例如可以组装在监视照相机或车载照相机中。特别是在使用上述摄像装置I 4作为对较暗场所进行摄像的监视照相机的情况下，即使在暗处也能够得到良好的视觉辨认性，能够实现高灵敏度。近年来，伴随固体摄像元件的像素数的增大， 像素尺寸的微细化得到发展，由于单位像素的聚光量减少而导致的灵敏度的降低成为课题，上述摄像装置I 4具有能够解决这种课题的结构。
权利要求
1.一种图像处理装置，该图像处理装置对时间上连续的多个帧图像进行处理，其特征在于，该图像处理装置具有面内图案检测部，其从构成所述多个帧图像中的关注帧图像的像素中选择关注像素， 计算表示包含所述关注像素的多个面内像素图案与所述关注像素之间的相关性的面内相关性评价值，进而，根据所述面内相关性评价值，从所述多个面内像素图案中选择与所述关注像素之间相关性最高的面内像素图案作为面内像素相加图案；参照图案检测部，其从构成相对于所述关注帧图像在时间上相邻的参照帧图像的像素中确定与所述关注像素对应的参照关注像素，计算表示多个参照像素图案与所述面内像素相加图案之间的相关性的面间相关性评价值，进而，根据所述面间相关性评价值，从所述多个参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案作为参照像素相加图案，其中，所述多个参照像素图案包含所述参照关注像素和位于该参照关注像素周边的周边像素中的一方或双方；以及像素相加部，其将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加，生成针对所述关注像素的校正像素。
2.根据权利要求1所述的图像处理装置，其特征在于，所述面内像素图案由所述关注像素和位于该关注像素周边的周边像素构成，所述面内图案检测部具有运算部，其检测构成所述多个面内像素图案中的各个面内像素图案的多个像素的像素值中的最大像素值和最小像素值，计算所述最大像素值与所述最小像素值之间的差分作为所述面内相关性评价值，进而，从所述多个面内像素图案中选择所述面内相关性评价值的大小最小的面内像素图案作为所述面内像素相加图案；以及像素指定部，其向所述像素相加部通知表示所述面内像素相加图案的像素位置的信肩、O
3.根据权利要求1所述的图像处理装置，其特征在于，所述参照图案检测部具有运算部，其检测构成所述多个参照像素图案中的各个参照像素图案的多个像素的像素值中的最大像素值和最小像素值，根据所述最大像素值和所述最小像素值计算所述面间相关性评价值，进而，从所述多个参照像素图案中选择所述面间相关性评价值的大小最小的参照像素图案作为所述参照像素相加图案；以及像素指定部，其向所述像素相加部通知表示所述参照像素相加图案的像素位置的信肩、O
4.根据权利要求1 3中的任意一项所述的图像处理装置，其特征在于，所述图像处理装置还具有第I延迟电路，其使所述图像信号延迟，并列输出所述关注帧图像中以该关注像素为中心的第I局部像素区域内的多个像素的信号；以及第2延迟电路，其使所述图像信号延迟，并列输出所述参照帧图像中以该参照关注像素为中心的第2局部像素区域内的多个像素的信号，所述像素相加部具有面内像素选择部，其从由所述第I延迟电路并列输出的该第I局部像素区域内的多个像素的信号中选择所述面内像素相加图案的像素；参照像素选择部，其从由所述第2延迟电路并列输出的该第2局部像素区域内的多个像素的信号中选择所述参照像素相加图案的像素；以及相加运算部，其将由所述面内像素选择部选择出的像素和由所述参照像素选择部选择出的像素相加。
5.根据权利要求1 3中的任意一项所述的图像处理装置，其特征在于，所述参照帧图像包含前方参照帧图像，其相对于所述关注帧图像在时间上位于前方；以及后方参照帧图像，其相对于所述关注帧图像在时间上位于后方，所述面间相关性评价值包含第I面间相关性评价值，其表示所述多个参照像素图案中的所述前方参照帧图像内的多个前方参照像素图案与所述面内像素相加图案之间的相关性；以及第2面间相关性评价值，其表示所述多个参照像素图案中的所述后方参照帧图像内的多个后方参照像素图案与所述面内像素相加图案之间的相关性，所述参照图案检测部根据所述第I面间相关性评价值，从所述多个前方参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案，作为所述前方参照帧图像的相应参照像素相加图案，所述参照图案检测部根据所述第2面间相关性评价值，从所述多个后方参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案，作为所述后方参照帧图像的相应参照像素相加图案。
6.根据权利要求1 3中的任意一项所述的图像处理装置，其特征在于，所述像素相加部对将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加而得到的值乘以增敏倍率，生成所述校正像素。
7.一种摄像装置，其特征在于，该摄像装置具有权利要求1 3中的任意一项所述的图像处理装置；以及输出所述多个帧图像的摄像元件。
8.根据权利要求7所述的摄像装置，其特征在于，所述摄像元件具有滤色器阵列，其是周期性面状排列N种滤色器而成的，该N种滤色器分别透射相互不同的N个波段的颜色的光，其中，N为2以上的正整数；以及摄像面，其对透射过所述滤色器阵列的光学像进行检测，构成所述多个帧图像中的各个帧图像的各个像素具有所述N个波段的颜色中的任意一种颜色，所述面内图案检测部从所述关注帧图像中选择具有与所述关注像素相同颜色的像素图案作为所述多个面内像素图案，所述参照图案检测部从所述参照帧图像中选择具有与所述关注像素相同颜色的像素图案作为所述多个参照像素图案。
9.根据权利要求8所述的摄像装置，其特征在于，所述滤色器的排列是拜耳排列。
10.根据权利要求7所述的摄像装置，其特征在于，所述像素相加部对将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加而得到的值乘以增敏倍率，生成所述校正像素。
11.根据权利要求10所述的摄像装置，其特征在于，所述摄像装置还具有孔径光阑，其配置在所述摄像元件的前面；信号放大器，其对从所述摄像元件输出的相应图像信号进行放大；以及控制部，其设定所述增敏倍率的值，所述控制部根据所述像素相加部的输出，设定所述孔径光阑的开口量、所述信号放大器的放大增益、所述摄像元件的曝光时间中的至少一方。
12.根据权利要求11所述的摄像装置，其特征在于，所述控制部根据所述像素相加部的输出的信号振幅、所述放大增益、所述曝光时间、所述增敏倍率计算被摄体照度的换算值，根据所述被摄体照度的换算值，单独设定所述开口量、所述放大增益、所述曝光时间、所述增敏倍率。
13.根据权利要求11所述的摄像装置，其特征在于，所述摄像装置还具有测光部，该测光部通过对入射到所述摄像元件的光学像进行测光，检测被摄体照度，所述控制部根据由所述测光部检测到的该被摄体照度，设定所述增敏倍率的值。
14.一种图像处理方法，该图像处理方法对时间上连续的多个帧图像进行处理，其特征在于，该图像处理方法具有以下步骤从构成所述多个帧图像中的关注帧图像的像素中选择关注像素，计算表示包含所述关注像素的多个面内像素图案与所述关注像素之间的相关性的面内相关性评价值；根据所述面内相关性评价值，从所述多个面内像素图案中选择与所述关注像素之间相关性最高的面内像素图案作为面内像素相加图案；从构成相对于所述关注帧图像在时间上相邻的参照帧图像的像素中确定与所述关注像素对应的参照关注像素，计算表示多个参照像素图案与所述面内像素相加图案之间的相关性的面间相关性评价值，其中，所述多个参照像素图案包含所述参照关注像素和位于该参照关注像素周边的周边像素中的一方或双方；根据所述面间相关性评价值，从所述多个参照像素图案中选择与所述面内像素相加图案之间相关性最高的参照像素图案作为参照像素相加图案；以及将所述面内像素相加图案中包含的像素和所述参照像素相加图案中包含的像素相加， 生成针对所述关注像素的校正像素。
15.根据权利要求14所述的图像处理方法，其特征在于，所述面内像素图案由所述关注像素和位于该关注像素周边的周边像素构成，计算所述面间相关性评价值的步骤包含以下步骤检测构成所述多个面内像素图案中的各个面内像素图案的多个像素的像素值中的最大像素值和最小像素值；以及计算所述最大像素值与所述最小像素值之间的差分作为所述面内相关性评价值， 所述面内像素相加图案是从所述多个面内像素图案中作为所述面内相关性评价值的大小最小的面内像素图案而选择出的。
16.根据权利要求14所述的图像处理方法，其特征在于，计算所述面间相关性评价值的步骤包含以下步骤检测构成所述多个参照像素图案中的各个参照像素图案的多个像素的像素值中的最大像素值和最小像素值；以及根据所述最大像素值和所述最小像素值计算所述面间相关性评价值，所述参照像素相加图案是从所述多个参照像素图案中作为所述面间相关性评价值的大小最小的参照像素图案而选择出的。
17.根据权利要求14所述的图像处理方法，其特征在于，所述图像信号是从摄像元件输出的信号，所述摄像元件具有滤色器阵列，其是周期性面状排列N种滤色器而成的，该N种滤色器分别透射相互不同的N个波段的颜色的光，其中，N为2以上的正整数；以及摄像面，其对透射过所述滤色器阵列的光学像进行检测，构成所述多个帧图像中的各个帧图像的各个像素具有所述N个波段的颜色中的任意一种颜色，所述多个面内像素图案是从所述关注帧图像中作为具有与所述关注像素相同颜色的像素图案而选择出的，所述多个参照像素图案是从所述参照帧图像中作为具有与所述关注像素相同颜色的像素图案而选择出的。
全文摘要
本发明提供图像处理装置、图像处理方法和摄像装置，能够在低照度环境下实现高灵敏度化和高S/N比，能够抑制分辨率的降低。图像处理装置具有面内图案检测部，计算表示包含关注像素的多个面内像素图案与关注像素之间的相关性的面内相关性评价值，根据面内相关性评价值，从多个面内像素图案中选择面内像素相加图案；参照图案检测部，计算表示相对于关注帧图像在时间上相邻的参照帧图像内的多个参照像素图案与面内像素相加图案之间的相关性的面间相关性评价值，根据面间相关性评价值，从多个参照像素图案中选择参照像素相加图案；像素相加部，将面内像素相加图案和参照像素相加图案的双方中包含的像素相加，生成针对关注像素的校正像素。
文档编号H04N5/357GK103024285SQ20121032128
公开日2013年4月3日 申请日期2012年9月3日 优先权日2011年9月20日
发明者铃木大祐, 山下孝一 申请人:三菱电机株式会社