摄像装置、摄像装置的控制方法及控制程序的制作方法
摄像装置、摄像装置的控制方法及控制程序的制作方法
【专利摘要】在使用具备拜耳排列以外的滤色器的摄像元件的情况下，进行有效的间拔读出。摄像装置(10)具备：摄像元件(14)，包括在第一、第二方向上排列的多个光电转换元件；滤色器，重复配置有以下基本排列图案：第一、第二滤光片为(N×M)像素的预先规定的图案且第一、第二滤光片在第一、第二方向上分别配置，并且，第一滤光片在滤色器内配置于第一～第三方向上；行图像数据生成单元，从摄像元件(14)以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；及图像数据生成单元，基于行图像数据生成图像数据。
【专利说明】摄像装置、摄像装置的控制方法及控制程序
【技术领域】
[0001]本发明涉及摄像装置、摄像装置的控制方法及控制程序，尤其涉及具有彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
【背景技术】
[0002]作为在彩色摄像元件中广泛使用的彩色排列的原色系拜耳排列(例如参照专利文献I?3)中，将对人眼敏感且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状，将红(R)、蓝(B)按照线型顺序配置。
[0003]专利文献1:日本特开2002-135793号公报
[0004]专利文献2:日本专利第3960965号公报
[0005]专利文献3:日本特开2004-266369号公报
【发明内容】
[0006]发明要解决的问题
[0007]但是，在现有的采用拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上进行间拔读出时，例如在垂直方向上每2η(η为自然数)行读出I行量的图像数据的情况下(垂直方向1/2η间拔，偶数间拔)，读出仅包含G和R或G和B两种颜色的行图像数据，无法重现颜色。因此，一般情况下是每(2η+1)行读出I行量的图像数据的间拔读出(垂直方向1/(2η+1)间拔，奇数间拔)。并且，在进行除此之外的间拔读出时，为了获得颜色重现，也需要交替读出包含G和R的水平行及包含G和B的水平行，读出方法非常受限。
[0008]并且,在拜耳排列中，生成G信号处于倾斜方向、R、B信号处于水平、垂直方向的高频信号时的重现精度出现问题，存在对于高频信号无法抑制彩色莫尔条纹(伪色)产生的问题，在进行上述间拔读出时，形成与原来的拜耳排列相同的彩色排列，因此产生同样的问题。
[0009]本发明为了解决以上问题而提出，其目的在于提供在使用具有拜耳排列以外的排列的滤色器的摄像元件的情况下也能够进行有效的间拔读出的摄像装置、摄像装置的控制方法及控制程序。
[0010]用于解决问题的方法
[0011]为了解决上述问题，本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k)(0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；及图像数据生成单元，基于行图像数据生成图像数据。
[0012]根据本发明，和拜耳排列不同，根据摄像元件，生成在第一方向上以(N+k)行(0〈k〈N)周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，因此可获得设计的自由度。
[0013]此外也可以是，行图像数据生成单元以第一颜色及两种颜色以上的第二颜色的各色在沿着第一方向的各行上至少包含一个以上的方式，生成在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0014]根据本发明，以第一颜色及两种颜色以上的第二颜色的各色在沿着第一方向的各行上至少包含一个以上的方式生成行图像数据，因此能够降低伪色的产生。
[0015]并且也可以是，行图像数据生成单元生成以(N+1)行周期作为设定的周期而在第一方向上排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0016]根据本发明，间拔后的图像也和间拔前一样，成为重复基本排列图案而成的图像，因此能够使图像处理与静止图像摄影那样不间拔图像数据的情况通用。
[0017]并且其构成也可以是，具有像素混合单元，对于在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在第一方向上以N行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，同色像素彼此分别进行像素混合。
[0018]根据本发明，对于在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在第一方向上以N行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，同色像素彼此分别进行像素混合，因此和不进行像素混合时相比，能够提高图像的S/N比。
[0019]并且其构成也可以是，具备切换单元，切换第一生成方法和第二生成方法，上述第一生成方法生成在第一方向上以(N+k)行(0〈k〈N)周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，上述第二生成方法生成在第一方向上以(N — k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0020]并且其构成也可以是，滤色器包括与由第一滤光片构成的2X2像素对应的正方排列。
[0021 ] 根据本发明，基于与2 X 2像素对应的正方排列的4像素的各像素间的像素值的差值，能够以最小像素间隔判别亮度的相关方向位于4个方向中的哪个方向。
[0022]并且其构成也可以是，第一颜色是绿(G)色，第二颜色是红(R)色及蓝(B)色。
[0023]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，滤色器由第一排列和第二排列交替地排列于第一方向及第二方向上而构成，上述第一排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，上述第二排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。[0024]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，存在隔着5X5像素的中心的像素(R像素或B像素)并在水平及垂直方向上分别相邻的G像素。这些G像素(共8个像素)的像素值能够用于4个方向的相关方向的判别。
[0025]本发明的摄像装置的控制方法中，该摄像装置具备:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上，摄像装置的控制方法的特征在于，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，基于行图像数据生成图像数据。
[0026]本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，该摄像装置具备:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上，处理包括以下步骤:从摄像元件以设定的周期读出多个像素中的像素信号；根据读出的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；基于行图像数据生成图像数据。
[0027]本发明的控制程序的特征在于，用于使计算机执行包括以下步骤的处理:对从包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件和设于由多个光电转换元件构成的多个像素上的滤色器的摄像元件以设定的周期读出多个像素中的像素信号的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，该滤色器重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上；基于行图像数据生成图像数据。
[0028]发明效果
[0029]根据本发明，具有在间拔并读出图像数据时能够降低伪色发生的效果。【专利附图】
【附图说明】
[0030]图1是第一实施方式涉及的摄像装置的概略框图。
[0031]图2是第一实施方式涉及的滤色器的构成图。
[0032]图3是表示第一实施方式涉及的滤色器中包含的基本排列图案的图。
[0033]图4是表示将第一实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X 3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。
[0034]图5是表示第三实施方式涉及的滤色器的G像素的特征性配置的图。
[0035]图6是用于说明在垂直方向上每(N+1)行读出I行量的图像数据时的图像的图。
[0036]图7是表示由控制部执行的处理的流程图。
[0037]图8是用于说明第二实施方式涉及的像素加算处理的图。
[0038]图9是用于说明第三实施方式涉及的读出行的切换的图。
[0039]图10是用于说明第三实施方式涉及的读出行的切换的图。
[0040]图11是表示滤色器的变形例的图。
[0041]图12是表示滤色器的变形例的图。
[0042]图13是表示滤色器的变形例的图。
[0043]图14是表示滤色器的变形例的图。
[0044]图15是表示滤色器的变形例的图。
[0045]图16是表示滤色器的变形例的图。
[0046]图17是用于说明在垂直方向上每(N+2)行读出I行量的图像数据时的图像的图。
[0047]图18是用于说明在垂直方向上每(N+3)行读出I行量的图像数据时的图像的图。
[0048]图19是用于说明在垂直方向上每(N+4)行读出I行量的图像数据时的图像的图。
[0049]图20是用于说明在垂直方向上每(N+5)行读出I行量的图像数据时的图像的图。
【具体实施方式】
[0050]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0051](第一实施方式)
[0052]图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10的构成包括:光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
[0053]光学系统12的构成例如包括由多个光学镜头构成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
[0054]摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像兀件、例如 CCD (Charge Coupled Device:电荷稱合器件)、CM0S (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)等摄像元件上配置了滤色器的构成的所谓单板式的摄像元件。
[0055]图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)三原色的滤色器中的任一个。
[0056](滤色器排列的特征)[0057]第一实施方式的滤色器具有下述特征(I)?(6)。
[0058][特征(I)]
[0059]滤色器排列中，重复地配置以下基本排列图案:红(R)、绿(G)、蓝⑶三原色的滤光片在垂直方向及水平方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置并且绿(G)滤光片和红(R)及蓝(B)中的至少一种颜色的滤光片在垂直方向及水平方向上分别配置。
[0060]本实施方式涉及的图2所示的滤色器中，作为一例包括与6X6像素(N = M = 6)对应的正方排列图案所构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在垂直方向(第一方向)及水平方向(第二方向)上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0061]如此，R滤光片、G滤光片、B滤光片以预定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理(也称为去马赛克算法处理。下同)等时，能够按照重复图案进行处理。
[0062][特征⑵]
[0063]图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片配置于滤色器排列的作为第一方向的垂直方向、作为第二方向的水平方向及在滤色器面内与第一方向及第二方向交叉的第三方向即倾斜(NE、NW)方向的各行内。此外，NE是指斜右上方向，NW是指斜右下方向。例如，当是正方形的像素排列时，斜右上及斜右下方向是相对于水平方向分别呈45度的方向，如果是长方形的像素排列，则是长方形的对角线的方向，其角度根据长边/短边的长度可变。
[0064]亮度系像素所对应的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向的各行内，因此无论高频的方向如此都能够提高高频区域中的去马赛克算法处理的重现精度。
[0065][特征⑶]
[0066]图2所示的滤色器排列中，上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)所对应的R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0067]R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向的各行内，因此能够减少彩色莫尔条纹(伪色)的产生。
[0068]由此，能够在从光学系统的入射面到摄像面的光路上不配置用于抑制伪色产生的光学低通滤波器，或者即使在适用光学低通滤波器的情况下，也能够适用用于防止伪色产生的、切断高频成分的作用较弱的装置，能够不损害分辨率。
[0069][特征⑷]
[0070]图3表示将图2所示的基本排列图案P四分为3X3像素的状态。
[0071]如图3所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0072]A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，隔着中央的G滤光片在水平方向上排列有R滤光片，在垂直方向上排列有B滤光片，另一方面，B排列中，隔着中央的G滤光片在水平方向上排列有B滤光片，在垂直方向上排列有R滤光片。即，A排列和B排列中,R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0073]并且，A排列和B排列的四角的G滤光片如图4所示，通过A排列和B排列在水平、垂直方向上交替配置，成为2X2像素所对应的正方排列的G滤光片。
[0074]S卩，图2所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2X2像素所对应的正方排列。
[0075]现在，如图5所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域时，该局部区域内的四角的2X2像素的G像素变为图5所示的配置。
[0076]如图5所示，在将2X2像素的G像素的像素值从左上到右下依次设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1 —G3| + |G2 — G4|)/2，水平方向的差的绝对值是(I Gl — G2| + |G3 — G4|)/2，斜右上方向的差的绝对值是|G2 — G3|，斜左上方向的差的绝对值是|G1 —G4|。
[0077]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。
[0078]现在，为了如图4或图5所示使3X3像素的A排列位于中央而从马赛克图像提取出5X5像素的局部区域时，在四角配置2X2像素的G像素。因此，在将上述局部区域内的A排列的3 X 3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中的最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0079][特征(5)]
[0080]图2所示的构成滤色器排列的基本排列图案P相对于该基本排列图案的中心(4个G滤光片的中心)形成点对称。并且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片形成点对称，且上下左右形成对称(线对称)。
[0081]通过该对称性，能够减小或简化后段的处理电路的电路规模。
[0082]摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双重采样处理、A/D转换处理等预先规定的处理，作为像素数据输出到图像处理部20。
[0083]图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即，对于全部像素，从周围的像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成全部像素的R、G、B的像素数据。并且，对生成的R、G、B像素数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号缩放成与摄影模式对应的大小的缩放处理。
[0084]驱动部22根据来自控制部24的指示，进行来自摄像元件14的摄像信号的读出驱动等。
[0085]控制部24根据摄影模式等，统一控制驱动部22及图像处理部20等。稍后详述，控制部24指示驱动部22以与摄影模式对应的读出方法读出摄像信号，或者指示图像处理部20进行与摄影模式对应的图像处理。
[0086]根据摄影模式，需要间拔并读出来自摄像元件14的摄像信号，因此控制部24指示驱动部22以与指示的摄影模式对应的间拔方法进行间拔并读出摄像信号。[0087]作为摄影模式包括:拍摄静止图像的静止图像模式；对拍摄的图像进行间拔而生成较高分辨率的HD (高清)动画数据并记录到未图示的存储卡等记录介质的HD动画模式；对拍摄的图像进行间拔并将较低分辨率的实时取景动画(实时取景图像)输出到未图示的显示部的实时取景动画模式(实时取景模式)等动画模式，但摄影模式的种类不限于此。
[0088]接着，作为本实施方式的作用，对于由控制部24执行的处理，参照图7所示的流程图进行说明。
[0089]此外，图7所示的处理在指示执行与摄影模式对应的摄影时执行。并且，以下，说明在垂直方向上以预先规定的周期读出行图像数据的情况即对垂直方向上的预先规定的周期的行以外的行进行间拔(去除)并读出的情况。并且，此时的行图像数据是指沿着水平方向排列的像素的像素数据的集合。
[0090]首先，在步骤100中，指示驱动部22以与摄影模式对应的间拔方法读出图像数据。
[0091]在本实施方式中，指示驱动部22从摄像元件14在垂直方向上以(N+k)行(0〈k〈N)周期读出沿着水平方向的行的行图像数据。即，指示驱动部22以基本排列图案P的垂直方向的像素周期以上的像素周期读出沿着水平方向的行的行图像数据(在本实施方式中，驱动部22及控制部24与行图像数据生成单元对应)。
[0092]图2所示的构成滤色器排列的基本排列图案P中，在从摄像元件14在垂直方向上以(N+1)行周期读出了沿着水平方向的行的行图像数据时，间拔后的图像成为重复基本排列图案P而成的图像。
[0093]图2的滤色器的基本排列图案是6X6像素，因此如图6的箭头所示，在垂直方向上以7行周期读出行图像数 据(垂直方向1/7间拔)，从而使间拔后的图像成为重复基本排列图案P而成的图像。
[0094]即，当将基本排列图案P的垂直方向的行从上到下设为I~6行时，在垂直方向上以7行周期读出时的顺序是1、2、3、4、5、6、1、2、3、4、5、6、……的顺序。因此，间拔后的图像也重复基本排列图案P的垂直方向的I~6行，和间拔前一样，成为重复基本排列图案而成的图像。
[0095]因此，指示驱动部22仅在垂直方向上以7行周期读出沿着水平方向的行的行图像数据。由此，垂直方向每7行读出I行量的图像数据，该图像成为重复基本排列图案P而成的图像。
[0096]在步骤102中，对于间拔读出的图像数据，指示图像处理部20执行与摄影模式对应的图像处理(例如去马赛克算法处理、YC转换处理、缩放处理等)(在本实施方式中，图像处理部20及控制部24与图像数据生成单元对应)。
[0097]此外，控制部24及图像处理部20能够由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM中，由CPU将其读入并执行。
[0098]如此，在本实施方式中，在垂直方向上以(N+1)行周期读出沿着水平方向的行的行图像数据，所以间拔后的图像也和间拔前一样，成为重复基本排列图案而成的图像。
[0099]因此，能够使图像处理与静止图像摄影那样不间拔图像数据的情况通用。
[0100]并且，G滤光片、R滤光片及B滤光片在垂直方向及水平方向上分别配置，因此即使以(N+1)行周期读出，读出的各行图像数据中也包括G滤光片、R滤光片及B滤光片。[0101]因此，不会如在现有的拜耳排列中进行1/2间拔时那样读出所读出的行图像数据仅包括G和R或G和B两种颜色的行图像数据，读出任意的行图像数据均能够重现颜色。
[0102](第二实施方式)
[0103]接着，说明本发明的第二实施方式。在本实施方式中，说明以下情况:在垂直方向上以预先规定的周期读出行图像数据，并且读出与所读出的行图像数据相同排列的行图像数据并进行像素混合(例如像素加算)。
[0104]在本实施方式中，控制部24在图7的步骤100中，指示驱动部22读出:从摄像元件14在垂直方向上以(N+k)行(0〈k〈N)周期沿着水平方向的行图像数据；及从该行图像数据起在垂直方向上以N行周期沿着水平方向读出的行图像数据。
[0105]并且，控制部24在图7的步骤102中，指示图像处理部20执行如下图像处理:对在垂直方向上以(N+k)行周期沿着水平方向读出的行图像数据及从该行图像数据起在垂直方向上以N行周期沿着水平方向读出的行图像数据以同色像素彼此分别进行像素混合(控制部24、驱动部22、摄像处理部16及图像处理部20与像素混合单元对应)。或者也可以在摄像元件14内部进行像素混合(在这种情况下，控制部24、驱动部22、摄像元件14及摄像处理部16与像素混合单元对应)。
[0106]图8表示以下情况:在6X6像素的基本排列图案P重复配置而成的滤色器中，在垂直方向上以(N+1)行周期读出行图像数据，即，如图8的实线箭头所示，以7行周期读出行图像数据(垂直方向1/7间拔)，并且读出从以7行周期读出的行图像数据起在垂直方向上以N行周期即如图8的虚线箭头所示以6行周期读出的行图像数据，并对它们以同色像素彼此分别进行像素加算。
[0107]如图8所示，以7行周期读出的行图像数据的排列与从该行图像数据起6行后的行图像数据的排列相同。
[0108]如此，对于以7行周期读出的行图像数据及在垂直方向上从该行图像数据起6行后的相同排列的行图像数据，相同的颜色彼此即水平方向上相同位置的像素彼此进行像素加算，从而与不进行像素加算时相比，能够提高图像的S/N比。
[0109]此外，在本实施方式中，说明了对相同排列的行图像数据的同色彼此的像素值单纯地进行加算的情况，但不限于此，也可以赋以权重地进行加算。
[0110](第三实施方式)
[0111]接着，说明本发明的第三实施方式。在本实施方式中，说明根据摄影模式切换读出的行、即切换间拔方法的情况。
[0112]在图9所示的6X6像素的基本排列图案P重复而成的滤色器的情况下，第二行、第五行、第八行、第十一行的行图像数据中，R、B比G多。因此，当选择了拍摄R、B较多的被摄体的摄影模式时，控制部24指示驱动部22以第二行为开头在垂直方向上以1/3间拔读出行图像数据。由此，当拍摄R、B较多的被摄体时，能够提高分辨率。并且，当拍摄R、B极其少的被摄体时，能够提高图像的S/N比。
[0113]并且，如图9所示，第一行、第四行、第七行、第十行的行图像数据中，G比R、B多。因此，当选择了拍摄G较多的被摄体的摄影模式时，控制部24指示驱动部22以第一行为开头在垂直方向上以1/3间拔读出行图像数据。由此，当拍摄G较多的被摄体时，能够提高图像的S/N比。[0114]并且，如图9所示，第二行、第四行、第七行、第十一行的行图像数据中，R、B、G的比率相同。因此，当选择了拍摄黑白成分较多的被摄体的摄影模式时，控制部24指示驱动部22按照第二行、第四行、第七行、第十一行……的顺序读出行图像数据。由此，当拍摄黑白成分多的被摄体时，能够提高图像的S/N比。
[0115]并且，在要求较高分辨率的摄影模式的情况下，控制部24如图10所示，也可以指示驱动部22在垂直方向上以(N — k)行(0〈k〈N)周期读出沿着水平方向的行图像数据。在图10的情况下，N = 6，k = 1，在垂直方向上以5行周期读出行图像数据。在这种情况下，如图10所示，间拔后的图像也成为包括重复基本排列图案P而成的图像的图像。因此，能够对间拔后的图像数据实施与静止图像摄影那样不间拔图像数据时的图像处理共同的处理。
[0116]并且，如上所述，可以根据摄影模式切换以下情况:进行驱动使得在垂直方向上以(N - k)行(0〈k〈N)周期读出沿着水平方向的行图像数据；及进行驱动使得在垂直方向上以(N+k)行(0〈k〈N)周期、例如如第一实施方式中所说明那样以(N+1)行周期读出沿着水平方向的行图像数据(控制部24与切换单元对应)。
[0117]如此，在本实施方式中，可以根据摄影模式切换读出的行，即能够切换间拔方法，因此能够根据摄影模式适当控制图像的分辨率、S/N比，并且能够在AWB(自动白平衡)控制、AE(自动曝光)控制中进行适当的设定。
[0118]并且，如上所述，在现有的拜耳排列的滤色器中，在垂直方向上每偶数行读出I行量的图像数据时(例如垂直方向1/2间拔)，仅含有G和R或G和B两种颜色的行图像数据被读出，因此仅在垂直方向上每奇数行读出I行量的图像数据。 [0119]与之相对，在本实施方式的滤色器中，能够在垂直方向上每偶数行读出I行量的图像数据，也能够在垂直方向上每奇数行读出I行量的图像数据。
[0120]如此，能够读出垂直方向的任意行的图像数据，所以能够对应各种分辨率、帧速。例如，根据摄影模式，在希望优先提高帧速的情况下降低分辨率，在优先提高分辨率的情况下降低帧速等，能够对应各种摄影模式。
[0121]并且，也可以根据被摄体的动作来切换读出的行。例如，在摇动摄像装置的情况下，使用被摄体信息(例如帧间信息)或使用陀螺仪传感器等外部传感器，检测被摄体移动量。
[0122]并且，根据被摄体移动量设定分辨率、帧速，通过与设定的分辨率、帧速对应的间拔方法读出图像数据。由此，能够获得被摄体的动作延迟与分辨率的最佳平衡点。
[0123]此外，滤色器不限于上述实施方式中说明的装置，本发明也可以适用于具有以下滤色器排列的摄像元件的摄像装置。
[0124]例如，作为具有上述特征⑴、(2)、(3)、⑷、(5)的滤色器排列，如图11所示，包括基本排列图案P为5X5像素的滤色器排列。该滤色器排列是下述基本排列图案重复而形成的排列:以在5X5像素中的两条对角线上配置G且在其余的像素位置上R、B像素在5X5像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。该滤色器如图11所示，在垂直方向上以(N+1)行周期读出行图像数据时，间拔后的图像成为包括重复基本排列图案而成的图像的图像。
[0125]同样，作为具有上述特征(I)、(2)、(3)的滤色器排列，如图12所示，包括基本排列图案P为5X5像素的滤色器排列。并且，如图13所示，包括基本排列图案P为6X6像素的滤色器排列。该滤色器排列是下述基本排列图案重复而形成的排列:第一子排列和第二子排列分别各两个在水平方向、垂直方向上彼此交替相邻地配置，上述第一子排列中，G在R或B的外周呈矩形地配置，上述第二子排列中，G配置于中央部。在该排列中，在特征(3)中，也具有R及B在滤色器排列的倾斜(NE、NW)方向(第三方向)的各行内配置I个以上的特征。并且，如图14所示，包括基本排列图案P为7X7像素的滤色器排列，如图15所示，包括基本排列图案P为8X8像素的滤色器排列。
[0126]此外，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的难易度，优选N、M为10以下。
[0127]并且，在上述实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也可以适用于RGB三原色+其他颜色(例如翠绿色(E))的4色滤色器、例如图16所示的滤色器。并且，本发明也可以适用于作为其他颜色具有白色或透明(W)滤光片的滤色器。例如，也可以替代图16的翠绿色而配置W滤光片。在这种情况下，W和G的组合、或者W成为最有助于亮度信号的第一颜色。
[0128]并且，本发明也可以适用于具有对作为原色RGB的互补色的C(青色)、M(品红色)、Y(黄色)加入G的四种颜色的互补色系的滤色器的彩色摄像元件。
[0129]并且，在上述各实施方式中，说明了在垂直方向上以预先规定的周期读出沿着水平方向的行图像数据的情况，但本发明也可以适用于在水平方向上以预先规定的周期读出沿着垂直方向的行图像数据的情况。
[0130]并且，在上述第一实施方式中，说明了从摄像元件14在垂直方向上以(N+1)行周期读出沿着水平方向的行的行图像数据的情况，但不限于此，也可以在垂直方向上以(N+1)行周期以外的周期读出。
[0131]例如，如图17所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+2)行周期读出沿着水平方向的行的行图像数据。并且，如图18所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+3)行周期读出沿着水平方向的行的行图像数据。如图19所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+4)行周期读出沿着水平方向的行的行图像数据。并且，如图20所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+5)行周期读出沿着水平方向的行的行图像数据。
[0132]并且，在本实施方式中，说明了以下情况:从摄像元件14在垂直方向上以(N+k)行周期读出沿着水平方向的行的像素的像素信号，生成行图像数据，基于这些行图像数据生成图像数据，但也可以是:读出所有行的像素的像素信号，选择性地使用(N+k)行周期的行的行图像数据(不使用或不存储其他行的行图像数据)，生成图像数据。并且也可以是:读出所有行的像素的像素信号，暂时存储到RAM等存储器中，选择性地使用(N+k)行周期的行的行图像数据，生成图像数据(在这种方式的情况下，摄像处理部16或图像处理部20与行图像数据生成单元对应)。
[0133]而且，本发明不限于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。
[0134]附图标记[0135]10摄像装置
[0136]12光学系统
[0137]14摄像元件
[0138]16摄像处理部
[0139]20图像处理部
[0140]22驱动部
[0141]24控制部
[0142]P基本排列图案
【权利要求】
1.一种摄像装置，具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，N、M为3以上的整数； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数；及 图像数据生成单元，基于上述行图像数据生成图像数据。
2.根据权利要求1所述的摄像装置，其中， 上述行图像数据生成单元以上述第一颜色及上述两种颜色以上的第二颜色的各色在沿着上述第一方向的各行上至少包含一个以上的方式生成在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据。
3.根据权利要求2所述的摄像装置，其中， 上述行图像数据生成单元生成以(N+1)行周期作为上述设定的周期而在上述第一方向上排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据。
4.根据权利要求1~3中任一项所述的摄像装置，其中， 具备像素混合单元，该像素混合单元对在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在上述第一方向上以N行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据同色像素彼此分别进行像素混合。
5.根据权利要求1~4中任一项所述的摄像装置，其中， 具备切换单元，切换第一生成方法和第二生成方法，上述第一生成方法生成在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，上述第二生成方法生成在上述第一方向上以(N — k)行周期以行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N。
6.根据权利要求1~5中任一项所述的摄像装置，其中， 上述滤色器包括由上述第一滤光片构成的与2X2像素对应的正方排列。
7.根据权利要求1~6中任一项所述的摄像装置，其中， 上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。
8.根据权利要求7所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地排列于上述第一方向及上述第二方向上而构成，上述第一排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，上述第二排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
9.一种摄像装置的控制方法， 该摄像装置具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，其中，N、M为3以上的整数， 在摄像装置的控制方法中， 从上述摄像元件以设定的周期读出上述多个像素中的像素信号， 根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数， 基于上述行图像数据生成图像数据。
10.一种控制程序，用于使控制摄像装置的计算机执行处理， 该摄像装置具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，N、M为3以上的整数， 上述处理包括以下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号； 根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数； 基于上述行图像数据生成图像数据。
11.一种控制程序，用于使计算机执行包括以下步骤的处理:对从包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件和设于由上述多个光电转换元件构成的多个像素上的滤色器的摄像元件以设定的周期读出上述多个像素中的像素信号而得到的像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，上述滤色器重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，其中，N、M为3以上的整数，0〈k〈N，k为自然数；基于上述行图像数据生成 图像数据。
【文档编号】H04N9/07GK104041019SQ201280064714
【公开日】2014年9月10日 申请日期:2012年12月27日 优先权日:2011年12月27日
【发明者】林健吉, 田中诚二, 河合智行, 仓桥秀和, 河村典子, 堀井洋史 申请人:富士胶片株式会社
【专利摘要】在使用具备拜耳排列以外的滤色器的摄像元件的情况下，进行有效的间拔读出。摄像装置(10)具备：摄像元件(14)，包括在第一、第二方向上排列的多个光电转换元件；滤色器，重复配置有以下基本排列图案：第一、第二滤光片为(N×M)像素的预先规定的图案且第一、第二滤光片在第一、第二方向上分别配置，并且，第一滤光片在滤色器内配置于第一～第三方向上；行图像数据生成单元，从摄像元件(14)以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；及图像数据生成单元，基于行图像数据生成图像数据。
【专利说明】摄像装置、摄像装置的控制方法及控制程序
【技术领域】
[0001]本发明涉及摄像装置、摄像装置的控制方法及控制程序，尤其涉及具有彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
【背景技术】
[0002]作为在彩色摄像元件中广泛使用的彩色排列的原色系拜耳排列(例如参照专利文献I?3)中，将对人眼敏感且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状，将红(R)、蓝(B)按照线型顺序配置。
[0003]专利文献1:日本特开2002-135793号公报
[0004]专利文献2:日本专利第3960965号公报
[0005]专利文献3:日本特开2004-266369号公报
【发明内容】
[0006]发明要解决的问题
[0007]但是，在现有的采用拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上进行间拔读出时，例如在垂直方向上每2η(η为自然数)行读出I行量的图像数据的情况下(垂直方向1/2η间拔，偶数间拔)，读出仅包含G和R或G和B两种颜色的行图像数据，无法重现颜色。因此，一般情况下是每(2η+1)行读出I行量的图像数据的间拔读出(垂直方向1/(2η+1)间拔，奇数间拔)。并且，在进行除此之外的间拔读出时，为了获得颜色重现，也需要交替读出包含G和R的水平行及包含G和B的水平行，读出方法非常受限。
[0008]并且,在拜耳排列中，生成G信号处于倾斜方向、R、B信号处于水平、垂直方向的高频信号时的重现精度出现问题，存在对于高频信号无法抑制彩色莫尔条纹(伪色)产生的问题，在进行上述间拔读出时，形成与原来的拜耳排列相同的彩色排列，因此产生同样的问题。
[0009]本发明为了解决以上问题而提出，其目的在于提供在使用具有拜耳排列以外的排列的滤色器的摄像元件的情况下也能够进行有效的间拔读出的摄像装置、摄像装置的控制方法及控制程序。
[0010]用于解决问题的方法
[0011]为了解决上述问题，本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k)(0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；及图像数据生成单元，基于行图像数据生成图像数据。
[0012]根据本发明，和拜耳排列不同，根据摄像元件，生成在第一方向上以(N+k)行(0〈k〈N)周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，因此可获得设计的自由度。
[0013]此外也可以是，行图像数据生成单元以第一颜色及两种颜色以上的第二颜色的各色在沿着第一方向的各行上至少包含一个以上的方式，生成在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0014]根据本发明，以第一颜色及两种颜色以上的第二颜色的各色在沿着第一方向的各行上至少包含一个以上的方式生成行图像数据，因此能够降低伪色的产生。
[0015]并且也可以是，行图像数据生成单元生成以(N+1)行周期作为设定的周期而在第一方向上排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0016]根据本发明，间拔后的图像也和间拔前一样，成为重复基本排列图案而成的图像，因此能够使图像处理与静止图像摄影那样不间拔图像数据的情况通用。
[0017]并且其构成也可以是，具有像素混合单元，对于在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在第一方向上以N行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，同色像素彼此分别进行像素混合。
[0018]根据本发明，对于在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在第一方向上以N行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，同色像素彼此分别进行像素混合，因此和不进行像素混合时相比，能够提高图像的S/N比。
[0019]并且其构成也可以是，具备切换单元，切换第一生成方法和第二生成方法，上述第一生成方法生成在第一方向上以(N+k)行(0〈k〈N)周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，上述第二生成方法生成在第一方向上以(N — k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据。
[0020]并且其构成也可以是，滤色器包括与由第一滤光片构成的2X2像素对应的正方排列。
[0021 ] 根据本发明，基于与2 X 2像素对应的正方排列的4像素的各像素间的像素值的差值，能够以最小像素间隔判别亮度的相关方向位于4个方向中的哪个方向。
[0022]并且其构成也可以是，第一颜色是绿(G)色，第二颜色是红(R)色及蓝(B)色。
[0023]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，滤色器由第一排列和第二排列交替地排列于第一方向及第二方向上而构成，上述第一排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，上述第二排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。[0024]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，存在隔着5X5像素的中心的像素(R像素或B像素)并在水平及垂直方向上分别相邻的G像素。这些G像素(共8个像素)的像素值能够用于4个方向的相关方向的判别。
[0025]本发明的摄像装置的控制方法中，该摄像装置具备:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上，摄像装置的控制方法的特征在于，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，基于行图像数据生成图像数据。
[0026]本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，该摄像装置具备:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上，处理包括以下步骤:从摄像元件以设定的周期读出多个像素中的像素信号；根据读出的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据；基于行图像数据生成图像数据。
[0027]本发明的控制程序的特征在于，用于使计算机执行包括以下步骤的处理:对从包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件和设于由多个光电转换元件构成的多个像素上的滤色器的摄像元件以设定的周期读出多个像素中的像素信号的像素信号，生成多个像素中的在第一方向上以(N+k) (0〈k〈N，k为自然数)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，该滤色器重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在第一方向及第二方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置且第一滤光片及与第二颜色的各色对应的第二滤光片在第一方向及第二方向上分别配置I个以上，并且，第一滤光片在滤色器面内在第一方向、第二方向及与第二方向交叉的第三方向上配置I个以上；基于行图像数据生成图像数据。
[0028]发明效果
[0029]根据本发明，具有在间拔并读出图像数据时能够降低伪色发生的效果。【专利附图】
【附图说明】
[0030]图1是第一实施方式涉及的摄像装置的概略框图。
[0031]图2是第一实施方式涉及的滤色器的构成图。
[0032]图3是表示第一实施方式涉及的滤色器中包含的基本排列图案的图。
[0033]图4是表示将第一实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X 3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。
[0034]图5是表示第三实施方式涉及的滤色器的G像素的特征性配置的图。
[0035]图6是用于说明在垂直方向上每(N+1)行读出I行量的图像数据时的图像的图。
[0036]图7是表示由控制部执行的处理的流程图。
[0037]图8是用于说明第二实施方式涉及的像素加算处理的图。
[0038]图9是用于说明第三实施方式涉及的读出行的切换的图。
[0039]图10是用于说明第三实施方式涉及的读出行的切换的图。
[0040]图11是表示滤色器的变形例的图。
[0041]图12是表示滤色器的变形例的图。
[0042]图13是表示滤色器的变形例的图。
[0043]图14是表示滤色器的变形例的图。
[0044]图15是表示滤色器的变形例的图。
[0045]图16是表示滤色器的变形例的图。
[0046]图17是用于说明在垂直方向上每(N+2)行读出I行量的图像数据时的图像的图。
[0047]图18是用于说明在垂直方向上每(N+3)行读出I行量的图像数据时的图像的图。
[0048]图19是用于说明在垂直方向上每(N+4)行读出I行量的图像数据时的图像的图。
[0049]图20是用于说明在垂直方向上每(N+5)行读出I行量的图像数据时的图像的图。
【具体实施方式】
[0050]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0051](第一实施方式)
[0052]图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10的构成包括:光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
[0053]光学系统12的构成例如包括由多个光学镜头构成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
[0054]摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像兀件、例如 CCD (Charge Coupled Device:电荷稱合器件)、CM0S (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)等摄像元件上配置了滤色器的构成的所谓单板式的摄像元件。
[0055]图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)三原色的滤色器中的任一个。
[0056](滤色器排列的特征)[0057]第一实施方式的滤色器具有下述特征(I)?(6)。
[0058][特征(I)]
[0059]滤色器排列中，重复地配置以下基本排列图案:红(R)、绿(G)、蓝⑶三原色的滤光片在垂直方向及水平方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置并且绿(G)滤光片和红(R)及蓝(B)中的至少一种颜色的滤光片在垂直方向及水平方向上分别配置。
[0060]本实施方式涉及的图2所示的滤色器中，作为一例包括与6X6像素(N = M = 6)对应的正方排列图案所构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在垂直方向(第一方向)及水平方向(第二方向)上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0061]如此，R滤光片、G滤光片、B滤光片以预定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理(也称为去马赛克算法处理。下同)等时，能够按照重复图案进行处理。
[0062][特征⑵]
[0063]图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片配置于滤色器排列的作为第一方向的垂直方向、作为第二方向的水平方向及在滤色器面内与第一方向及第二方向交叉的第三方向即倾斜(NE、NW)方向的各行内。此外，NE是指斜右上方向，NW是指斜右下方向。例如，当是正方形的像素排列时，斜右上及斜右下方向是相对于水平方向分别呈45度的方向，如果是长方形的像素排列，则是长方形的对角线的方向，其角度根据长边/短边的长度可变。
[0064]亮度系像素所对应的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向的各行内，因此无论高频的方向如此都能够提高高频区域中的去马赛克算法处理的重现精度。
[0065][特征⑶]
[0066]图2所示的滤色器排列中，上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)所对应的R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0067]R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向的各行内，因此能够减少彩色莫尔条纹(伪色)的产生。
[0068]由此，能够在从光学系统的入射面到摄像面的光路上不配置用于抑制伪色产生的光学低通滤波器，或者即使在适用光学低通滤波器的情况下，也能够适用用于防止伪色产生的、切断高频成分的作用较弱的装置，能够不损害分辨率。
[0069][特征⑷]
[0070]图3表示将图2所示的基本排列图案P四分为3X3像素的状态。
[0071]如图3所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0072]A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，隔着中央的G滤光片在水平方向上排列有R滤光片，在垂直方向上排列有B滤光片，另一方面，B排列中，隔着中央的G滤光片在水平方向上排列有B滤光片，在垂直方向上排列有R滤光片。即，A排列和B排列中,R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0073]并且，A排列和B排列的四角的G滤光片如图4所示，通过A排列和B排列在水平、垂直方向上交替配置，成为2X2像素所对应的正方排列的G滤光片。
[0074]S卩，图2所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2X2像素所对应的正方排列。
[0075]现在，如图5所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域时，该局部区域内的四角的2X2像素的G像素变为图5所示的配置。
[0076]如图5所示，在将2X2像素的G像素的像素值从左上到右下依次设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1 —G3| + |G2 — G4|)/2，水平方向的差的绝对值是(I Gl — G2| + |G3 — G4|)/2，斜右上方向的差的绝对值是|G2 — G3|，斜左上方向的差的绝对值是|G1 —G4|。
[0077]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。
[0078]现在，为了如图4或图5所示使3X3像素的A排列位于中央而从马赛克图像提取出5X5像素的局部区域时，在四角配置2X2像素的G像素。因此，在将上述局部区域内的A排列的3 X 3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中的最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0079][特征(5)]
[0080]图2所示的构成滤色器排列的基本排列图案P相对于该基本排列图案的中心(4个G滤光片的中心)形成点对称。并且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片形成点对称，且上下左右形成对称(线对称)。
[0081]通过该对称性，能够减小或简化后段的处理电路的电路规模。
[0082]摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双重采样处理、A/D转换处理等预先规定的处理，作为像素数据输出到图像处理部20。
[0083]图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即，对于全部像素，从周围的像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成全部像素的R、G、B的像素数据。并且，对生成的R、G、B像素数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号缩放成与摄影模式对应的大小的缩放处理。
[0084]驱动部22根据来自控制部24的指示，进行来自摄像元件14的摄像信号的读出驱动等。
[0085]控制部24根据摄影模式等，统一控制驱动部22及图像处理部20等。稍后详述，控制部24指示驱动部22以与摄影模式对应的读出方法读出摄像信号，或者指示图像处理部20进行与摄影模式对应的图像处理。
[0086]根据摄影模式，需要间拔并读出来自摄像元件14的摄像信号，因此控制部24指示驱动部22以与指示的摄影模式对应的间拔方法进行间拔并读出摄像信号。[0087]作为摄影模式包括:拍摄静止图像的静止图像模式；对拍摄的图像进行间拔而生成较高分辨率的HD (高清)动画数据并记录到未图示的存储卡等记录介质的HD动画模式；对拍摄的图像进行间拔并将较低分辨率的实时取景动画(实时取景图像)输出到未图示的显示部的实时取景动画模式(实时取景模式)等动画模式，但摄影模式的种类不限于此。
[0088]接着，作为本实施方式的作用，对于由控制部24执行的处理，参照图7所示的流程图进行说明。
[0089]此外，图7所示的处理在指示执行与摄影模式对应的摄影时执行。并且，以下，说明在垂直方向上以预先规定的周期读出行图像数据的情况即对垂直方向上的预先规定的周期的行以外的行进行间拔(去除)并读出的情况。并且，此时的行图像数据是指沿着水平方向排列的像素的像素数据的集合。
[0090]首先，在步骤100中，指示驱动部22以与摄影模式对应的间拔方法读出图像数据。
[0091]在本实施方式中，指示驱动部22从摄像元件14在垂直方向上以(N+k)行(0〈k〈N)周期读出沿着水平方向的行的行图像数据。即，指示驱动部22以基本排列图案P的垂直方向的像素周期以上的像素周期读出沿着水平方向的行的行图像数据(在本实施方式中，驱动部22及控制部24与行图像数据生成单元对应)。
[0092]图2所示的构成滤色器排列的基本排列图案P中，在从摄像元件14在垂直方向上以(N+1)行周期读出了沿着水平方向的行的行图像数据时，间拔后的图像成为重复基本排列图案P而成的图像。
[0093]图2的滤色器的基本排列图案是6X6像素，因此如图6的箭头所示，在垂直方向上以7行周期读出行图像数 据(垂直方向1/7间拔)，从而使间拔后的图像成为重复基本排列图案P而成的图像。
[0094]即，当将基本排列图案P的垂直方向的行从上到下设为I~6行时，在垂直方向上以7行周期读出时的顺序是1、2、3、4、5、6、1、2、3、4、5、6、……的顺序。因此，间拔后的图像也重复基本排列图案P的垂直方向的I~6行，和间拔前一样，成为重复基本排列图案而成的图像。
[0095]因此，指示驱动部22仅在垂直方向上以7行周期读出沿着水平方向的行的行图像数据。由此，垂直方向每7行读出I行量的图像数据，该图像成为重复基本排列图案P而成的图像。
[0096]在步骤102中，对于间拔读出的图像数据，指示图像处理部20执行与摄影模式对应的图像处理(例如去马赛克算法处理、YC转换处理、缩放处理等)(在本实施方式中，图像处理部20及控制部24与图像数据生成单元对应)。
[0097]此外，控制部24及图像处理部20能够由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM中，由CPU将其读入并执行。
[0098]如此，在本实施方式中，在垂直方向上以(N+1)行周期读出沿着水平方向的行的行图像数据，所以间拔后的图像也和间拔前一样，成为重复基本排列图案而成的图像。
[0099]因此，能够使图像处理与静止图像摄影那样不间拔图像数据的情况通用。
[0100]并且，G滤光片、R滤光片及B滤光片在垂直方向及水平方向上分别配置，因此即使以(N+1)行周期读出，读出的各行图像数据中也包括G滤光片、R滤光片及B滤光片。[0101]因此，不会如在现有的拜耳排列中进行1/2间拔时那样读出所读出的行图像数据仅包括G和R或G和B两种颜色的行图像数据，读出任意的行图像数据均能够重现颜色。
[0102](第二实施方式)
[0103]接着，说明本发明的第二实施方式。在本实施方式中，说明以下情况:在垂直方向上以预先规定的周期读出行图像数据，并且读出与所读出的行图像数据相同排列的行图像数据并进行像素混合(例如像素加算)。
[0104]在本实施方式中，控制部24在图7的步骤100中，指示驱动部22读出:从摄像元件14在垂直方向上以(N+k)行(0〈k〈N)周期沿着水平方向的行图像数据；及从该行图像数据起在垂直方向上以N行周期沿着水平方向读出的行图像数据。
[0105]并且，控制部24在图7的步骤102中，指示图像处理部20执行如下图像处理:对在垂直方向上以(N+k)行周期沿着水平方向读出的行图像数据及从该行图像数据起在垂直方向上以N行周期沿着水平方向读出的行图像数据以同色像素彼此分别进行像素混合(控制部24、驱动部22、摄像处理部16及图像处理部20与像素混合单元对应)。或者也可以在摄像元件14内部进行像素混合(在这种情况下，控制部24、驱动部22、摄像元件14及摄像处理部16与像素混合单元对应)。
[0106]图8表示以下情况:在6X6像素的基本排列图案P重复配置而成的滤色器中，在垂直方向上以(N+1)行周期读出行图像数据，即，如图8的实线箭头所示，以7行周期读出行图像数据(垂直方向1/7间拔)，并且读出从以7行周期读出的行图像数据起在垂直方向上以N行周期即如图8的虚线箭头所示以6行周期读出的行图像数据，并对它们以同色像素彼此分别进行像素加算。
[0107]如图8所示，以7行周期读出的行图像数据的排列与从该行图像数据起6行后的行图像数据的排列相同。
[0108]如此，对于以7行周期读出的行图像数据及在垂直方向上从该行图像数据起6行后的相同排列的行图像数据，相同的颜色彼此即水平方向上相同位置的像素彼此进行像素加算，从而与不进行像素加算时相比，能够提高图像的S/N比。
[0109]此外，在本实施方式中，说明了对相同排列的行图像数据的同色彼此的像素值单纯地进行加算的情况，但不限于此，也可以赋以权重地进行加算。
[0110](第三实施方式)
[0111]接着，说明本发明的第三实施方式。在本实施方式中，说明根据摄影模式切换读出的行、即切换间拔方法的情况。
[0112]在图9所示的6X6像素的基本排列图案P重复而成的滤色器的情况下，第二行、第五行、第八行、第十一行的行图像数据中，R、B比G多。因此，当选择了拍摄R、B较多的被摄体的摄影模式时，控制部24指示驱动部22以第二行为开头在垂直方向上以1/3间拔读出行图像数据。由此，当拍摄R、B较多的被摄体时，能够提高分辨率。并且，当拍摄R、B极其少的被摄体时，能够提高图像的S/N比。
[0113]并且，如图9所示，第一行、第四行、第七行、第十行的行图像数据中，G比R、B多。因此，当选择了拍摄G较多的被摄体的摄影模式时，控制部24指示驱动部22以第一行为开头在垂直方向上以1/3间拔读出行图像数据。由此，当拍摄G较多的被摄体时，能够提高图像的S/N比。[0114]并且，如图9所示，第二行、第四行、第七行、第十一行的行图像数据中，R、B、G的比率相同。因此，当选择了拍摄黑白成分较多的被摄体的摄影模式时，控制部24指示驱动部22按照第二行、第四行、第七行、第十一行……的顺序读出行图像数据。由此，当拍摄黑白成分多的被摄体时，能够提高图像的S/N比。
[0115]并且，在要求较高分辨率的摄影模式的情况下，控制部24如图10所示，也可以指示驱动部22在垂直方向上以(N — k)行(0〈k〈N)周期读出沿着水平方向的行图像数据。在图10的情况下，N = 6，k = 1，在垂直方向上以5行周期读出行图像数据。在这种情况下，如图10所示，间拔后的图像也成为包括重复基本排列图案P而成的图像的图像。因此，能够对间拔后的图像数据实施与静止图像摄影那样不间拔图像数据时的图像处理共同的处理。
[0116]并且，如上所述，可以根据摄影模式切换以下情况:进行驱动使得在垂直方向上以(N - k)行(0〈k〈N)周期读出沿着水平方向的行图像数据；及进行驱动使得在垂直方向上以(N+k)行(0〈k〈N)周期、例如如第一实施方式中所说明那样以(N+1)行周期读出沿着水平方向的行图像数据(控制部24与切换单元对应)。
[0117]如此，在本实施方式中，可以根据摄影模式切换读出的行，即能够切换间拔方法，因此能够根据摄影模式适当控制图像的分辨率、S/N比，并且能够在AWB(自动白平衡)控制、AE(自动曝光)控制中进行适当的设定。
[0118]并且，如上所述，在现有的拜耳排列的滤色器中，在垂直方向上每偶数行读出I行量的图像数据时(例如垂直方向1/2间拔)，仅含有G和R或G和B两种颜色的行图像数据被读出，因此仅在垂直方向上每奇数行读出I行量的图像数据。 [0119]与之相对，在本实施方式的滤色器中，能够在垂直方向上每偶数行读出I行量的图像数据，也能够在垂直方向上每奇数行读出I行量的图像数据。
[0120]如此，能够读出垂直方向的任意行的图像数据，所以能够对应各种分辨率、帧速。例如，根据摄影模式，在希望优先提高帧速的情况下降低分辨率，在优先提高分辨率的情况下降低帧速等，能够对应各种摄影模式。
[0121]并且，也可以根据被摄体的动作来切换读出的行。例如，在摇动摄像装置的情况下，使用被摄体信息(例如帧间信息)或使用陀螺仪传感器等外部传感器，检测被摄体移动量。
[0122]并且，根据被摄体移动量设定分辨率、帧速，通过与设定的分辨率、帧速对应的间拔方法读出图像数据。由此，能够获得被摄体的动作延迟与分辨率的最佳平衡点。
[0123]此外，滤色器不限于上述实施方式中说明的装置，本发明也可以适用于具有以下滤色器排列的摄像元件的摄像装置。
[0124]例如，作为具有上述特征⑴、(2)、(3)、⑷、(5)的滤色器排列，如图11所示，包括基本排列图案P为5X5像素的滤色器排列。该滤色器排列是下述基本排列图案重复而形成的排列:以在5X5像素中的两条对角线上配置G且在其余的像素位置上R、B像素在5X5像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。该滤色器如图11所示，在垂直方向上以(N+1)行周期读出行图像数据时，间拔后的图像成为包括重复基本排列图案而成的图像的图像。
[0125]同样，作为具有上述特征(I)、(2)、(3)的滤色器排列，如图12所示，包括基本排列图案P为5X5像素的滤色器排列。并且，如图13所示，包括基本排列图案P为6X6像素的滤色器排列。该滤色器排列是下述基本排列图案重复而形成的排列:第一子排列和第二子排列分别各两个在水平方向、垂直方向上彼此交替相邻地配置，上述第一子排列中，G在R或B的外周呈矩形地配置，上述第二子排列中，G配置于中央部。在该排列中，在特征(3)中，也具有R及B在滤色器排列的倾斜(NE、NW)方向(第三方向)的各行内配置I个以上的特征。并且，如图14所示，包括基本排列图案P为7X7像素的滤色器排列，如图15所示，包括基本排列图案P为8X8像素的滤色器排列。
[0126]此外，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的难易度，优选N、M为10以下。
[0127]并且，在上述实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也可以适用于RGB三原色+其他颜色(例如翠绿色(E))的4色滤色器、例如图16所示的滤色器。并且，本发明也可以适用于作为其他颜色具有白色或透明(W)滤光片的滤色器。例如，也可以替代图16的翠绿色而配置W滤光片。在这种情况下，W和G的组合、或者W成为最有助于亮度信号的第一颜色。
[0128]并且，本发明也可以适用于具有对作为原色RGB的互补色的C(青色)、M(品红色)、Y(黄色)加入G的四种颜色的互补色系的滤色器的彩色摄像元件。
[0129]并且，在上述各实施方式中，说明了在垂直方向上以预先规定的周期读出沿着水平方向的行图像数据的情况，但本发明也可以适用于在水平方向上以预先规定的周期读出沿着垂直方向的行图像数据的情况。
[0130]并且，在上述第一实施方式中，说明了从摄像元件14在垂直方向上以(N+1)行周期读出沿着水平方向的行的行图像数据的情况，但不限于此，也可以在垂直方向上以(N+1)行周期以外的周期读出。
[0131]例如，如图17所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+2)行周期读出沿着水平方向的行的行图像数据。并且，如图18所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+3)行周期读出沿着水平方向的行的行图像数据。如图19所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+4)行周期读出沿着水平方向的行的行图像数据。并且，如图20所示，在图2的基本排列图案使用6X6像素的滤色器的情况下，也可以从摄像元件14在垂直方向上以(N+5)行周期读出沿着水平方向的行的行图像数据。
[0132]并且，在本实施方式中，说明了以下情况:从摄像元件14在垂直方向上以(N+k)行周期读出沿着水平方向的行的像素的像素信号，生成行图像数据，基于这些行图像数据生成图像数据，但也可以是:读出所有行的像素的像素信号，选择性地使用(N+k)行周期的行的行图像数据(不使用或不存储其他行的行图像数据)，生成图像数据。并且也可以是:读出所有行的像素的像素信号，暂时存储到RAM等存储器中，选择性地使用(N+k)行周期的行的行图像数据，生成图像数据(在这种方式的情况下，摄像处理部16或图像处理部20与行图像数据生成单元对应)。
[0133]而且，本发明不限于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。
[0134]附图标记[0135]10摄像装置
[0136]12光学系统
[0137]14摄像元件
[0138]16摄像处理部
[0139]20图像处理部
[0140]22驱动部
[0141]24控制部
[0142]P基本排列图案
【权利要求】
1.一种摄像装置，具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，N、M为3以上的整数； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数；及 图像数据生成单元，基于上述行图像数据生成图像数据。
2.根据权利要求1所述的摄像装置，其中， 上述行图像数据生成单元以上述第一颜色及上述两种颜色以上的第二颜色的各色在沿着上述第一方向的各行上至少包含一个以上的方式生成在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据。
3.根据权利要求2所述的摄像装置，其中， 上述行图像数据生成单元生成以(N+1)行周期作为上述设定的周期而在上述第一方向上排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据。
4.根据权利要求1~3中任一项所述的摄像装置，其中， 具备像素混合单元，该像素混合单元对在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在上述第一方向上以N行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据同色像素彼此分别进行像素混合。
5.根据权利要求1~4中任一项所述的摄像装置，其中， 具备切换单元，切换第一生成方法和第二生成方法，上述第一生成方法生成在上述第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，上述第二生成方法生成在上述第一方向上以(N — k)行周期以行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N。
6.根据权利要求1~5中任一项所述的摄像装置，其中， 上述滤色器包括由上述第一滤光片构成的与2X2像素对应的正方排列。
7.根据权利要求1~6中任一项所述的摄像装置，其中， 上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。
8.根据权利要求7所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地排列于上述第一方向及上述第二方向上而构成，上述第一排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，上述第二排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
9.一种摄像装置的控制方法， 该摄像装置具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，其中，N、M为3以上的整数， 在摄像装置的控制方法中， 从上述摄像元件以设定的周期读出上述多个像素中的像素信号， 根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数， 基于上述行图像数据生成图像数据。
10.一种控制程序，用于使控制摄像装置的计算机执行处理， 该摄像装置具备: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，N、M为3以上的整数， 上述处理包括以下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号； 根据读出的上述像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着上述第二方向排列的像素的像素信号所构成的行图像数据，其中，0〈k〈N，k为自然数； 基于上述行图像数据生成图像数据。
11.一种控制程序，用于使计算机执行包括以下步骤的处理:对从包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件和设于由上述多个光电转换元件构成的多个像素上的滤色器的摄像元件以设定的周期读出上述多个像素中的像素信号而得到的像素信号，生成上述多个像素中的在第一方向上以(N+k)行周期排列且沿着第二方向排列的像素的像素信号所构成的行图像数据，上述滤色器重复配置有以下基本排列图案:与最有助于获得亮度信号的第一颜色对应的第一滤光片和与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片在上述第一方向及上述第二方向上为(NXM)像素的预先规定的图案且上述第一滤光片及与上述第二颜色的各色对应的上述第二滤光片在上述第一方向及上述第二方向上分别配置I个以上，并且，上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向及与上述第二方向交叉的第三方向上配置I个以上，其中，N、M为3以上的整数，0〈k〈N，k为自然数；基于上述行图像数据生成 图像数据。
【文档编号】H04N9/07GK104041019SQ201280064714
【公开日】2014年9月10日 申请日期:2012年12月27日 优先权日:2011年12月27日
【发明者】林健吉, 田中诚二, 河合智行, 仓桥秀和, 河村典子, 堀井洋史 申请人:富士胶片株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1