据与摄像部是一个的摄像单元10 (图I (a))同样，在数字图像处理部 14中实施数字图像处理，在图像放大处理部16中生成放大图像，包含放大图像的图像摄影 数据36由输入输出控制部18进行输入输出控制，并在存储部20中存储图像摄影数据36， 或在显示部22显示放大图像，或经由信号输入输出I/F24而输出到外部。另外，在用户能 够经由用户I/F17对摄像部（第一摄像部12A、第二摄像部12B)、数字图像处理部14、图像 放大处理部16和输入输出控制部18发送控制指示信号这一点上也是同样的。
[0098] 另外，也可以将摄像部设为能够互换的结构，采用能够从至少包含第一摄像部和 第二摄像部的多个摄像部之中进行选择互换的摄像单元。例如，将图1(b)所示的第一摄像 部12A和第二摄像部12B作为能够安装和卸下的结构而理解，也可以设为能够选择第一摄 像部12A和第二摄像部12B的任一个而使用的结构。作为采用这种结构的设备种类，例如， 可以列举出能够对包含透镜?摄像元件的透镜单元（摄像部）进行互换的相机（透镜互换 相机等）。
[0099] 在图1(a)和图1(b)中示出了单体设置摄像部12、12A、12B和图像放大处理部16 的例子，但是摄像部和图像放大处理部也可以如图1(c)所示分体设置。
[0100] 例如，对于具备摄像部12的摄像单元10"和具备图像放大处理部16的计算机11 能够经由彼此的信号输入输出I/F24A、24B而连接的系统，也能够适用本申请发明。
[0101] 在该情况下，数字图像处理部可以设于摄像单元10"侧（参照图I (c)的附图标记 "14A"），也可以设于计算机11侧（参照图1(c)的附图标记"14B"）。在摄像单元10"侧 设置数字图像处理部14A的情况下，数字图像处理后的图像摄影数据经由信号输入输出1/ F24A而从摄像单元10"输出，并经由信号输入输出I/F24B输入到计算机11。输入到计算 机11的图像摄影数据30与上述同样，在图像放大处理部16中生成放大图像，包含放大图 像的图像摄影数据36由输入输出控制部18控制，而被适当输出到存储部20、显示部22和 信号输入输出I/F24B。另外，在计算机11侧设置数字图像处理部14B的情况下，包含数字 图像处理前的摄影数据（RAW数据等）的图像摄影数据30经由信号输入输出I/F24A从摄 像单元10"输出，并经由信号输入输出I/F24B输入到计算机11。输入到计算机11的图像 摄影数据30与上述同样，在数字图像处理部14B中被实施数字图像处理，在图像放大处理 部16中生成放大图像，包含放大图像的图像摄影数据36由输入输出控制部18控制，而适 当输出到存储部20、显示部22和信号输入输出I/F24B。
[0102] 另外，该功能结构不仅对于图I (C)所示的"具备具有对包含摄像数据32的图像摄 影数据30进行摄像生成的摄像部12的摄像单元10"和具有图像放大处理部（图像处理装 置）16的计算机11的摄像装置（系统）"，而且对于图1(b)所示的、摄像单元10'与计算机 11连接的情况那样的"具备具有至少包含第一摄像部12A和第二摄像部12B的多个摄像部 的摄像单元10'及具有图像放大处理部（图像处理装置）16的计算机的摄像装置（系统）" 也能够适用。
[0103] 接下来，对将上述的图1(a)所示的类型的摄像单元10适用于数码相机的情况的、 更详细的具体例进行说明。
[0104] 图3是表示摄像装置（数码相机）的一实施方式的框图。
[0105] 该摄像装置40是将拍摄到的图像记录于内部存储器（存储器部56)或外部的记 录介质（未图示）的数码相机，装置整体的动作由CPU(中央处理装置）42集中控制。
[0106] 在摄像装置40,设有包含快门按钮（快门开关）、模式拨盘、重放按钮、菜单/OK 键、十字键、变焦按钮、返回键等的操作部44。来自该操作部44的信号被输入到CPU42， CPU42基于输入信号对摄像装置40的各电路进行控制，例如，经由设备控制部46对透镜部 48、快门50、作为图像获取单元而发挥功能的摄像元件52进行控制，另外，进行摄影动作控 制、图像处理控制、图像数据的记录/重放控制、显示部55的显示控制等。
[0107] 透镜部48包含聚焦透镜、变焦透镜、光圈等，通过了透镜部48和快门50的光束在 摄像元件52的受光面成像。
[0108] 摄像元件 52 是 CMOS (Complementary Metal - Oxide Semiconductor :互补金属氧 化物半导体）型、XY寻址型、或CO) (Charge Coupled Device:电荷親合设备）型等彩色图 像传感器，具有将滤色器和对通过了滤色器的光进行接收的多个受光元件（光电二极管） 二维排列而成的构造。在各光电二极管的受光面上成像的被摄体像被转换为与其入射光量 对应的信号电压（或电荷）。
[0109] 图4是表示滤色器的基本排列图案例的图，图4(a)表示所谓的拜耳（Bayer) 排列的滤色器，图4(b)表示具有其他类型的排列的滤色器（本说明书中也被称作"X - Trans"（注册商标））。另外，在图4中，"R"表示red(红色）滤光片，"G"表示green(绿 色）滤光片，"B"表示blue (蓝色）滤光片。
[0110] 将由与MXN(2X2、6X6等）像素对应的正方排列图案组成的基本排列图案P沿 水平方向和垂直方向重复配置而构成本例的摄像元件52的滤色器。因此，在进行从摄像元 件52读出的RGB的RAW数据（马赛克图像）的图像处理等时，能够按照重复图案而进行处 理。这种滤色器排列中，红（R)、绿（G)、蓝（B)各色滤光片（R滤光片、G滤光片、B滤光片） 保持预定的周期性而排列。
[0111] 例如，在图4 (a)所示的拜耳排列的滤色器中，将G滤光片和R滤光片交替地配置 的行（水平方向排列）与将G滤光片和B滤光片交替地配置的行在垂直方向上交替地配置， 在各R滤光片和各B滤光片的上下左右的位置配置G滤光片。并且，在各R滤光片的倾斜 方向的位置配置B滤光片，在各B滤光片的倾斜方向的位置配置R滤光片，在各G滤光片的 倾斜方向的位置配置G滤光片。
[0112] 另一方面，在图4(b)所示的其他排列的滤色器中，由实线的框围成的3X3像素的 A排列和由虚线的框围成的3 X 3像素的B排列成为在水平方向和垂直方向上交替地排列而 成的的排列。
[0113] A排列和B排列中，G滤光片分别被配置在4角和中央，在两对角线上配置G滤光 片。在A排列中，R滤光片隔着中央的G滤光片而排列在水平方向，B滤光片隔着中央的G 滤光片而排列在垂直方向。另一方面，在B排列中，B滤光片隔着中央的G滤光片而排列在 水平方向，R滤光片隔着中央的G滤光片而排列在垂直方向。即，A排列与B排列中的R滤 光片和B滤光片的位置关系颠倒，但是其他配置是同样的。
[0114] 另外，通过将A排列和B排列在水平方向和垂直方向上交替地配置，A排列和B排 列的4角的G滤光片构成与2 X 2像素对应的正方排列的G滤光片。
[0115] 图5表示将图4(b)所示的基本排列图案的滤色器在水平方向和垂直方向上每二 个并排配置而成的滤色器排列。在该滤色器排列中，如从图5所说明的那样，通常，与最有 助于得到亮度信号的颜色（该实施方式中为G色）对应的G滤光片在滤色器排列的水平、 垂直、斜右上（NE)和斜左上（NW)方向的各行内配置一个以上。
[0116] NE表示图5的斜右上方向，NW表示图5的斜右下方向。例如，在正方形的像素的 排列的情况下，斜右上和斜右下方向相对于水平方向分别成为45°的方向，但是若各滤光 片为长方形，则NE和NW是各滤光片的长方形的对角线的方向，其角度根据长边/短边的长 度而变化。
[0117] 根据这种滤色器排列，与亮度系像素对应的G滤光片配置在滤色器排列的水平、 垂直和倾斜（NE、NW)方向的各行内，因此无论成为高频的方向如何都能够提供高频区域中 的去马赛克算法处理的再现精度。
[0118] 另外，图5所示的滤色器排列中，与上述G色以外的两种颜色以上的其他色（该实 施方式中为R、B色）对应的R滤光片、B滤光片分别在基本排列图案的水平和垂直方向的 各行内配置一个以上。
[0119] 根据图5所示的滤色器排列，由于R滤光片、B滤光片配置于滤色器排列的水平和 垂直方向的各行内，因此能够降低伪色（彩色莫尔条纹）的发生。由此，能够将用于降低 (抑制）伪色的发生的光学低通滤光器省略。另外，能够设为，即使在适用光学低通滤光器 的情况下也能够适用用于防止伪色的发生的、将高频成分截止的功能较弱的光学低通滤光 片而不有损分辨率。
[0120] 此外，图5所示的滤色器排列的基本排列图案P中，与该基本排列图案内的R、G、 B滤光片对应的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即，RGB像 素的各像素数的比率为2 :5 :2,最有助于得到亮度信号的G像素的像素数的比率大于其他 色的R像素、B像素的像素数的比率。
[0121] 如上述那样，在图5所示的滤色器排列中，G像素的像素数与R、B像素的像素数的 比率不同，特别是使得最有助于得到亮度信号的G像素的像素数的比率大于R、B像素的像 素数的比率，因此能够对去马赛克算法处理时的混淆进行抑制，并且也能够改善高频再现 性。
[0122] 在具备具有上述的图4(a)、图4(b)所示的基本排列的滤色器的摄像元件52中蓄 积的信号电荷基于从设备控制部46施加的读出信号而作为与信号电荷对应的电压信号被 读出。从摄像元件52读出的电压信号被施加于A/D转换器（模拟/数字转换器）54,在该 A/D转换器54中，被依次转换为与滤色器排列对应的数字的R、G、B信号，被数字转换后的 R、G、B信号暂且保存于存储器部56。
[0123] 存储器部56包括作为易失性存储器的SDRAM、作为可擦写的非易失性存储器的 EEPROM(存储单元）等，SDRAM作为由CPU42执行程序时的工作区域，并且作为将摄像而获 取的数字图像信号暂时保持的存储区域而使用。另一方面，在EEPROM存储有包含图像处理 程序的相机控制程序、摄像元件52的像素的缺陷信息、包含混色校正的图像处理等中使用 的各种参数、表等。
[0124] 图像处理部58对暂且存储于存储器部56的数字的图像信号进行混色校正、白平 衡校正、伽玛校正处理、去马赛克算法处理（去马赛克算法处理）、RGB/YC转换等预定的信 号处理。
[0125] 由图像处理部58处理后的图像数据在编码器60中被编码为图像显示用的数据， 并经由驱动器62输出到设于相机背面的显示部55。由此，被摄体像连续地在显示部55的 显示画面上显示。
[0126] 若存在操作部44的快门按钮的第一阶段的按下（半按），则CPU42进行控制，使得 开始AF动作（自动焦点）和AE动作（自动曝光），并经由设备控制部46使透镜部48的聚 焦透镜沿光轴方向移动，使聚焦透镜到达对焦位置。
[0127] CPU42在快门按钮的半按时基于从A/D转换器54输出的图像数据，算出被摄体的 亮度（摄影Ev值），并根据该摄影Ev值决定曝光条件（F值、快门速度）。
[0128] 若AE动作和AF动作结束，并存在快门按钮的第二阶段的按下（全按），则根据所 决定的曝光条件而对光圈、快门50和摄像元件52中的电荷累积时间进行控制，从而进行主 摄像。主摄像时从摄像元件52读出，并由A/D转换器54进行了 A/D转换后的RGB的马赛 克图像（与图4和图5所示的滤色器排列对应的图像）的图像数据被暂时性地存储于存储 器部56。
[0129] 被暂时性地存储于存储器部56的图像数据由图像处理部58适当读出，在此，进行 包括混色校正、白平衡校正、伽玛校正、去马赛克算法处理、RGB/YC转换等预定的信号处理。 被RGB/YC转换后的图像数据（YC数据）按照预定的压缩格式（例如JPEG方式）被压缩， 被压缩后的图像数据以预定的图像文件（例如Exif文件）形式记录于内部存储器、外部存 储器。
[0130] 在这种摄像装置40中，有时配置将照射到摄像元件52的光的高频成分光学性地 截止的光学低通滤光器（〇LPF)64。例如，在使用具有图4(a)所示的拜耳型的基本排列的 滤色器的情况下，所得到的图像的高频成分易于成为莫尔条纹等图像劣化的主要原因。因 此，在使用高频成分易于有助于图像劣化的拜耳型那样的滤色器而获取摄像数据（图像数 据）的情况下，通过配置光学低通滤光器64而能够抑制图像劣化。另一方面，在使用具有 图4(b)所示的基本排列的滤色器（X - Trans)的情况下，能够如上述那样进一步降低莫尔 条纹等图像劣化，因此通过不设置光学低通滤光器，能够得到保留了高频成分的、分辨率高 的摄像数据。
[0131] 如此，根据摄像装置40中使用的摄像元件（滤色器）的种类、具体的图像处理内 容等装置结构而适当决定是否配置光学低通滤光器64的判别。
[0132] 接下来，对与具有上述的装置结构的摄像装置40中的图像放大处理关联的具体 的处理