专利名称：电子摄像装置及电子摄像方法
技术领域：
本发明涉及使用彩色摄像元件的电子摄像装置及电子摄像方法，特别涉及可以使用彩色摄像元件进行静态图像摄影和实时取景显示的电子摄像装置及这种电子摄像方法。
背景技术：
在数字静止照相机(以下适当地称为照相机)等电子摄像装置中，存在设置了具有多个不同驱动模式的彩色摄像元件的电子摄像装置。例如，在数字静止照相机中，提出了具有静态图像摄影用驱动模式和实时取景显示用驱动模式的数字静止照相机。在静态图像摄影用驱动模式中，为了将所记录的静态图像的像质设为优先，全部读出摄像元件的输出。另一方面，在LCD等显示部上实时显示利用摄像元件得到的图像的所谓实时取景显示用驱动模式中，为了缩短摄像元件输出的读出时间和之后的图像处理的时间等而实现实时显示，间疏(同引ㄑ)读出摄像元件输出的一部分。
此处，在实时取景显示用驱动模式的情况下，非驱动中的像素的电荷有可能泄漏到正在驱动中的像素中。该情况时，在应该读出输出的像素中混入其他颜色成分而引起混色，按实时取景显示用驱动模式和静态图像摄影用驱动模式拍摄的图像的色调有所不同。
相对于此，例如在专利文献1中，事先运算静态图像摄影用驱动模式中的摄像元件灵敏度和动态图像摄影用(或实时取景显示用)驱动模式的摄像元件灵敏度之比，根据该灵敏度比，进行白平衡增益的校正运算。
专利文献1日本特开2004-328460号公报专利文献1中的灵敏度比是静态图像摄影用驱动模式中的摄像元件灵敏度和实时取景显示用驱动模式的摄像元件灵敏度之比。此处，摄像元件的灵敏度具有分光特性，所以灵敏度比根据摄像元件的灵敏度具有分光特性之外的要因即光源的分光放射亮度或镜头的分光透射率而变化。对此，在专利文献1的方法中，没有考虑光源的分光放射亮度和镜头的分光透射率，因此不一定能够根据摄影环境进行准确的白平衡校正。
发明内容
本发明是鉴于上述情况而提出的，其目的在于，提供一种不依赖于摄影环境，能够在静态图像摄影时和实时取景显示时得到相同的颜色再现的电子摄像装置及这种电子摄像方法。
为了达到上述目的，本发明的第一方式的电子摄像装置，其对被摄体进行摄像，获得图像数据，所述电子摄像装置的特征在于，其具有彩色摄像元件，其具有至少包括第一驱动模式和第二驱动模式的多个驱动模式；同时摄影单元，其同时或连续执行在上述第一驱动模式下驱动上述彩色摄像元件来取得第一图像数据的动作和在上述第二驱动模式下驱动上述彩色摄像元件来取得第二图像数据的动作；以及颜色转换参数计算单元，其计算颜色转换参数，使上述同时摄影单元通过上述彩色摄像元件取得的上述第一图像数据和上述第二图像数据的色调相同。
并且，为了达到上述目的，本发明的第二方式的电子摄像装置，其对被摄体进行摄像，获得图像数据，所述电子摄像装置的特征在于，其具有摄像单元，其由至少包括第一彩色摄像元件和第二彩色摄像元件的多个彩色摄像元件构成；同时摄影单元，其同时或连续执行驱动上述第一彩色摄像元件来取得第一图像数据的动作和驱动上述第二彩色摄像元件来取得第二图像数据的动作；以及颜色转换参数计算单元，其计算颜色转换参数，使上述同时摄影单元通过上述摄像元件取得的上述第一图像数据和上述第二图像数据的色调相同。
为了达到上述目的，本发明的第三方式的电子摄像方法，其是利用具有至少包括第一驱动模式和第二驱动模式的多个驱动模式的彩色摄像元件进行摄像的电子摄像方法，所述电子摄像方法的特征在于，同时或连续执行以上述第一驱动模式驱动上述彩色摄像元件来取得第一图像数据的动作和以上述第二驱动模式驱动上述彩色摄像元件来取得第二图像数据的动作，计算使作为上述同时或连续动作的结果而取得的上述第一图像数据和上述第二图像数据分别与单个或多个目标颜色数据一致的第一颜色转换参数和第二颜色转换参数。
并且，为了达到上述目的，本发明的第四方式的电子摄像方法，其是利用具有至少包括第一驱动模式和第二驱动模式的多个驱动模式的彩色摄像元件进行摄像的电子摄像方法，所述电子摄像方法的特征在于，同时或连续执行以上述第一驱动模式驱动上述彩色摄像元件来取得第一图像数据的动作和以上述第二驱动模式驱动上述彩色摄像元件来取得第二图像数据的动作，以任意的颜色转换参数对作为上述同时或连续动作的结果而取得的上述第一图像数据进行处理，生成第三图像数据，计算使作为上述同时或连续动作的结果而取得的上述第二图像数据的色调与上述第三图像数据的色调一致的第三颜色转换参数。
根据这些第一～第四方式，大致同时进行在第一驱动模式下驱动彩色摄像元件的动作和在第二驱动模式下驱动彩色摄像元件的动作，从而能够在大致相同的条件下在第一驱动模式和第二驱动模式下进行摄影。因此，根据第一图像数据和第二图像数据计算出颜色转换参数，从而能够不依赖于摄影环境，在静态图像摄影时和实时取景显示时获得相同的颜色再现。
根据本发明，能够提供可不依赖于摄影环境地在静态图像摄影时和实时取景显示时获得相同的颜色再现的电子摄像装置和这种电子摄像方法。
图1是表示作为本发明第一实施方式的电子摄像装置的一例的结构的方框图。
图2是表示光学系统的分光透射率特性的图。
图3是表示分光放射亮度特性的例子的图。
图4是表示第一实施方式中作为颜色转换参数特别计算出白平衡增益时的概念的图。
图5是第一实施方式中的白平衡增益的运算的第一例的流程图。
图6是第一实施方式中的白平衡增益的运算的第二例的流程图。
图7是表示根据单触式白平衡校正白平衡时的静态图像摄影时的处理的流程图。
图8是表示作为本发明第二实施方式的电子摄像装置的一例的结构的方框图。
图9是表示第二实施方式中的白平衡增益的运算的流程图。
图10是表示第三实施方式中的计算白平衡增益和颜色矩阵时的概念图。
图11是表示第三实施方式中的白平衡增益和颜色矩阵的计算运算的流程图。
标号说明100镜头单元；101光学系统；102、210微计算机；103存储器；200照相机主体；201、402、403摄像模块；201a、402a、403a摄像元件；201b、402b、403b接口(I/F)电路；201c、212、402c、403c闪存；202总线；203 DRAM；204图像信号处理电路；204a白平衡(WB)校正电路；204b同时化电路；204c颜色转换电路；204d伽马转换电路；205 LCD驱动器；206 LCD；207压缩/解压缩电路；208存储器接口(I/F)；209记录介质；211操作部；401光路分支棱镜。
具体实施例方式
以下，参照
本发明的实施方式。
图1是表示作为本发明第一实施方式的电子摄像装置的一例的结构的方框图。图1中的示例是由相互可自由装卸地连接的镜头单元100和照相机主体200构成的单反式数字静止照相机301。
在作为光学镜头的镜头单元100中设有由对焦镜头、光圈、变焦镜头等构成的光学系统101，使来自未图示的被摄体的光会聚到照相机主体200内的摄像元件201a上。此处，在图1中省略了图示，构成光学系统101的各个镜头由未图示的镜头驱动机构驱动，光圈由未图示的光圈驱动机构驱动。
并且，在镜头单元100中设有微计算机102和闪存103。微计算机102根据来自照相机主体200的指示进行镜头单元100内的各部分的控制。例如，微计算机102根据来自照相机主体200的指示而驱动未图示的镜头驱动机构，进行光学系统101的调焦，或驱动未图示的光圈驱动机构而进行摄像元件201a的曝光调节。闪存103存储由微计算机102执行的各种程序和与光学系统101相关的数据。在第一实施方式中，作为与光学系统101相关的数据，至少存储有光学系统101的分光透射率特性。图2表示光学系统的分光透射率特性。此处，图2示出2种光学系统的特性，但闪存103中可以仅存储与光学系统101对应的分光透射率特性。此外，闪存103中除了分光透射率特性之外还可以预先存储光学系统101的焦距信息等自动对焦所需要的信息等。
在此，镜头单元100和照相机主体200构成为在安装时可自由通信。即，在镜头单元100被安装到照相机主体200上时，可以根据来自照相机主体200的指示，向照相机主体200发送存储于闪存103中的与光学系统101相关的数据。
照相机主体200包括摄像模块201；总线202；DRAM 203；图像信号处理电路204；LCD驱动器205；LCD 206；压缩/解压缩电路207；存储器接(I/F)208；记录介质209；微计算机210；操作部211；以及闪存212。
摄像模块201是用于接受通过光学系统101入射的被摄体像而获得图像数据(RAW数据)的模块。该摄像模块201由摄像元件201a、接口(I/F)电路201b和闪存201c构成。
摄像元件201a是例如在前表面上设有Bayer排列的滤色器的彩色摄像元件。此处，Bayer排列是通过交替配置由R像素和G(Gr)像素构成的行、和由G(Gb)像素和B像素构成的行而构成的。另外，摄像元件201a可以是CMOS方式的摄像元件，也可以是CCD方式的摄像元件。
这种摄像元件201a在各个像素上接收通过光学系统101入射的光并进行光电转换，将进行光电转换而得到的电荷作为图像信号输出。其中，在第一实施方式中，假设摄像元件201a至少能够以静态图像摄影用驱动模式(第一驱动模式)和实时取景显示用驱动模式(第二驱动模式)这两种驱动模式来驱动。作为第一驱动模式的静态图像摄影用驱动模式是为了将所记录的静态图像的像质设为优先，而全部读出来自摄像元件的有效像素的输出的驱动模式。另一方面，实时取景显示用驱动模式是为了可以进行实时显示而间疏读出摄像元件的输出的一部分的驱动模式。
I/F电路201b对从摄像元件201a读出的图像信号，进行去除噪声、波形整形、放大等模拟处理，再将这些模拟处理后的图像信号转换为数字信号，获得图像数据(由R、Gr、Gb、B这三色四成分构成的RAW数据)。闪存201c存储与摄像元件201a相关的各种数据。其中，作为与摄像元件201a相关的数据，包括例如摄像元件201a的灵敏度特性。其中，对于摄像元件201a的灵敏度特性，预先存储与静态图像摄影用驱动模式对应的灵敏度特性和与实时取景显示用驱动模式对应的灵敏度特性这两种。
总线202与摄像模块201、DRAM 203、图像信号处理电路204、LCD驱动器205、压缩/解压缩电路207、存储器I/F 208和微计算机210连接，是用于将在照相机内产生的各种数据传送给照相机内的各个部分的传送路径。由摄像模块201取得的图像数据(RAW数据)通过总线202传送给DRAM 203并存储。DRAM 203是暂时存储通过摄像模块201的I/F电路201b获得的图像数据、和在图像信号处理电路204、压缩/解压缩电路207中处理后的图像数据等各种数据的存储部。
图像信号处理电路204读出存储在DRAM 203中的图像数据(RAW数据)并实施图像处理。该图像信号处理电路204包括白平衡(WB)校正电路204a、同时化电路204b、颜色转换电路204c和伽马转换电路204d。
白平衡校正电路204a通过对从DRAM 203读出的图像数据中的R数据和B数据乘以由微计算机210所指示的白平衡增益，从而进行白平衡校正，取得白平衡校正后的图像数据R’、Gr’、Gb’、B’，将所取得的图像数据R’、Gr’、Gb’、B’输出到同时化电路204b。同时化电路204b根据来自于WB校正电路204a的图像数据R’、Gr’、Gb’、B’，通过插值生成将R、G、B三个颜色作为1个像素成分的图像数据Rp、Gp、Bp，将该图像数据Rp、Gp、Bp输出到颜色转换电路204c。颜色转换电路204c进行对来自同时化电路204b的图像数据Rp、Gp、Bp乘以由微计算机210所指示的颜色矩阵(color matrix)的线性转换，校正图像数据的颜色，将由此获得的图像数据Rc、Gc、Bc输出到伽马转换电路204d。
伽马转换电路204d对来自颜色转换电路204c的图像数据Rc、Gc、Bc进行伽马转换(灰度转换)处理，将图像数据的灰度校正成适合于显示和打印，将由此获得的图像数据Rg、Gg、Bg存储到DRAM 203中。
LCD驱动器205将图像显示到LCD 206上。例如，在实时取景显示时，LCD驱动器205从DRAM 203读出由摄像模块201取得并在图像信号处理电路204中进行了实时取景显示用的图像处理的图像数据，转换成视频信号，根据该视频信号在LCD 206上进行实时取景显示。
压缩/解压缩电路207在静态图像摄影时，从DRAM 203读出由摄像模块201取得并在图像信号处理电路204中进行了静态图像摄影用的图像处理的图像数据，按照JPEG方式等进行压缩。在把该压缩的图像数据存储到DRAM 203中之后，通过存储器I/F 208记录到记录介质209中。此处，记录介质209没有特别限定，例如可以使用存储卡。并且，在重放静态图像时，压缩/解压缩电路207读出记录于记录介质209中的静态图像进行解压缩。在把该解压缩的图像数据暂时存储到DRAM 203中之后，通过LCD驱动器205显示于LCD 206上。
作为同时摄影单元和颜色转换参数计算单元的微计算机210总体地控制照相机主体200的各种动作序列。微计算机210上连接着操作部211、闪存212。操作部211是用于接通该照相机的电源的电源按钮、用于执行静态图像摄影的快门释放按钮、用户以手动调节白平衡的单触式白平衡(OTWB)按钮等各种操作部件。通过用户对操作部211进行操作，微计算机210执行静态图像摄影等与用户操作对应的各种动作序列。闪存212存储有后述的计算白平衡增益时作为目标的颜色的RGB值以及各种光源(例如太阳光、A光源、白色荧光灯等)的分光放射亮度特性。图3表示分光放射亮度特性的示例。图3中表示三波长昼白色荧光灯的分光放射亮度和昼光的分光放射亮度。这些虽具有比较相近的色温(约5000K～6000K)，但分光特性差异较大。因此，校正白平衡时，不仅要考虑色温，还需考虑光源的分光放射亮度。
下面，说明作为第一实施方式的电子摄像方法的主要部分的颜色转换参数(白平衡增益和颜色矩阵)。图4是表示作为颜色转换参数特别计算出白平衡增益时的概念的图。此处，第一实施方式中的白平衡增益计算用于进行单触式白平衡校正所需的白平衡增益的计算，该单触式白平衡校正用于用户手动设定白平衡。在单触式白平衡校正以外的例如自动白平衡等中，使用图2所示的镜头分光透射率特性和图3所示的光源分光放射亮度特性、摄像元件201a的分光灵敏度特性，计算白平衡增益。对于该方法，与本实施方式有本质上的不同，所以省略说明。
在图4所示的白平衡计算时，首先，使照相机301的摄像元件201a在第一驱动模式和第二驱动模式下分别动作，拍摄同一被摄体(例如灰度图(gray chart))302。此时，为了在基于第一驱动模式的摄影时和基于第二驱动模式的摄影时摄影条件(对被摄体进行照明的光源的状态等)不改变，同时(或可看作同时地连续)进行基于第一驱动模式的摄影和基于第二驱动模式的摄影。
在这种同时摄影之后，根据第一驱动模式下得到的图像数据(第一图像数据)计算静态图像摄影用的白平衡增益WBs，根据第二驱动模式下得到的图像数据(第二图像数据)计算实时取景显示用的白平衡增益WB1。具体地说，计算使第一驱动模式下取得的图像数据的RGB值S(R，G，B)变成目标色的RGB值D(R，G，B)的系数，作为静态图像用白平衡增益WBs。并且，计算出第二驱动模式下取得的图像数据的RGB值L(R，G，B)成为D(R，G，B)的系数，作为实时取景显示用白平衡增益WB1。此处，目标色的RGB值D(R，G，B)是所拍摄到的被摄体的颜色中所包含的颜色的RGB值。也就是说，图4的例子中为灰色的RGB值。
下面，说明实际的运算流程。图5是表示第一实施方式中的白平衡增益运算的第一例的流程图。此处，图5的处理与在静态图像摄影前进行实时取景显示时的处理对应。
在图5中，首先，微计算机210实施用于在LCD 206上进行实时取景显示的处理。为此，微计算机210使摄像模块201的摄像元件201a在第二驱动模式下动作(步骤S1)。由此，在摄像元件201a中取得实时取景显示用的图像数据(步骤S2)。摄像元件201a将所得到的实时取景显示用的图像数据经由总线202存储到DRAM 203中。
接着，利用未图示的OB减法电路对存储于DRAM 203中的图像数据进行OB减法处理(步骤S3)。该OB减法处理是通过从由DRAM 203读出的图像数据减去OB(光学黑色，Optical black)的量，从而使所取得的图像数据的黑电平与0一致的处理。
OB减法处理之后，微计算机210读出在上次运算时计算出并存储于闪存212中的实时取景显示用的白平衡增益WB1，输出给WB校正电路204a。WB校正电路204a对进行了OB减法处理的图像数据乘以从微计算机210通知的实时取景显示用的白平衡增益WB1，从而对图像数据进行白平衡校正(步骤S4)。之后，同时化电路204b对白平衡校正后的图像数据进行同时化处理(步骤S5)。接着，微计算机210读出闪存212中存储的实时取景显示用颜色矩阵，输出到颜色转换电路204c。颜色转换电路204c通过对图像数据乘以从微计算机210通知的实时取景显示用颜色矩阵，来进行颜色转换(步骤S6)。之后，伽马转换电路204d对颜色转换电路204c的输出实施伽马转换(步骤S7)。
进行了上述的图像处理之后，LCD驱动器205从DRAM 203读出图像数据，将该图像数据作为实时取景显示图像显示到LCD 206上(步骤S8)。
在进行步骤S1～步骤S8所示的实时取景显示的期间，微计算机210判断用户是否进行了用于设定单触式白平衡(OTWB)用的白平衡增益的操作(下面，称为OTWB操作)(步骤S9)。此处，OTWB操作是例如按下OTWB按钮的同时按下快门释放按钮的操作。当然，也可以不进行这种操作。在步骤S9的判断中，在用户未进行OTWB操作的情况下，返回到步骤S1，微计算机210继续进行实时取景显示。
另一方面，在步骤S9的判断中，用户进行了OTWB操作的情况下，微计算机210将用户进行OTWB操作之前刚刚通过摄像元件201a取得的实时取景显示用的图像数据的RGB值L(R，G，B)保存到DRAM 203中(步骤S10)。
将L(R，G，B)保存到DRAM 203中之后，微计算机210使摄像模块201的摄像元件201a在第一驱动模式下动作(步骤S11)。由此，摄像元件201a取得静态图像数据(步骤S12)。摄像元件201a将所得到的静态图像数据经由总线202存储到DRAM 203中。
微计算机210读出DRAM 203中存储的静态图像数据，计算出使该静态图像数据的RGB值S(R，G，B)变成闪存212中存储的目标色(灰色)的RGB值D(R，G，B)的系数，作为静态图像摄影用的白平衡增益WBs(步骤S13)。接着，微计算机210读出步骤S10中保存在DRAM203中的实时取景显示用的图像数据的RGB值L(R，G，B)，计算出使该实时取景显示用的图像数据的RGB值L(R，G，B)变成闪存212中存储的RGB值D(R，G，B)的系数，作为实时取景显示用的白平衡增益WB1(步骤S14)。由此，结束白平衡增益的运算。另外，把步骤S13中计算出的静态图像摄影用的白平衡增益WBs以及步骤S14中计算出的实时取景显示用的白平衡增益WB1例如存储到闪存212中。
根据以上说明的图5的方法，能够使摄像元件201a在第一驱动模式和第二驱动模式下大致同时地拍摄同一被摄体。由此，在第一驱动模式的摄影时和第二驱动模式的摄影时，可以认为对被摄体进行照明的光源等摄影条件不变，通过分别计算出使两种驱动模式下分别得到的图像数据与同一目标颜色一致的白平衡增益，可以进行使实时取景显示时和静态图像显示时获得相同色调的白平衡校正。
并且，在图5中，接受用户进行的OTWB操作之后，计算白平衡增益。也就是说，用户可以在所希望的时刻进行单触式白平衡用的白平衡增益计算。
此处，在图5的例子中，对灰度图302进行拍摄，但只要是灰色被摄体即可，不限于灰度图。但是，为了计算出适当的白平衡增益，优选对灰色之类的低色度颜色的被摄体进行拍摄。并且，若预先设定3色以上的目标色，并对3色以上的被摄体进行拍摄，则不仅可以计算出白平衡增益，还可以计算出颜色矩阵。对于该方法，将在后面叙述。
图6是表示第一实施方式的白平衡增益运算的第二例的流程图。该第二例是与静态图像摄影前不进行实时取景显示的情况对应的处理。
在图6中，首先，微计算机210判断用户是否按下了OTWB按钮(步骤S21)，进行待机直到按下了OTWB按钮。另一方面，在步骤S21的判断中按下了OTWB按钮的情况下，微计算机210使摄像模块201的摄像元件201a在第二驱动模式下动作(步骤S22)。由此，在摄像元件201a中取得实时取景显示用的图像数据(步骤S23)。摄像元件201a将所得到的图像数据经由总线202存储到DRAM 203中。
在DRAM 203中存储了实时取景显示用的图像数据之后，微计算机210判断用户是否进行了单触式白平衡(OTWB)操作(步骤S24)。在步骤S24的判断中用户未进行OTWB操作的情况下，返回到步骤S21。
另一方面，在步骤S24的判断中用户进行了OTWB操作的情况下，微计算机210将用户进行OTWB操作之前刚刚通过摄像元件201a取得的实时取景显示用的图像数据的RGB值L(R，G，B)保存到DRAM 203中(步骤S25)。并且，使摄像模块201的摄像元件201a在第一驱动模式下动作(步骤S26)。由此，摄像元件201a取得静态图像数据(步骤S27)。摄像元件201a将所得到的静态图像数据经由总线202存储到DRAM 203中。
微计算机210读出DRAM 203中存储的静态图像数据，计算使该静态图像数据的RGB值S(R，G，B)变成闪存212中存储的目标色(灰色)的RGB值D(R，G，B)的系数，作为静态图像摄影用的白平衡增益WBs(步骤S28)。接着，微计算机210读出步骤S25中保存到DRAM203中的实时取景显示用的图像数据的RGB值L(R，G，B)，计算使该实时取景显示用的图像数据的RGB值L(R，G，B)变成闪存212中存储的目标色(灰色)的RGB值D(R，G，B)的系数，作为实时取景显示用的白平衡增益WB1(步骤S29)。由此，结束白平衡增益的运算。
根据该第二例，即使用户设定成在摄影前不进行实时取景显示的情况下，也可以计算单触式白平衡用的白平衡增益。
图7是表示进行基于单触式白平衡的白平衡校正的情况下静态图像摄影时的处理的流程图。
在图7中，微计算机210实施用于在LCD 206上进行实时取景显示的处理。为此，微计算机210使摄像模块201的摄像元件201a在第二驱动模式下动作(步骤S31)。由此，在摄像元件201a中取得实时取景显示用的图像数据(步骤S32)。摄像元件201a将所得到的图像数据经由总线202存储到DRAM 203中。
接着，利用未图示的OB减法电路对存储于DRAM 203中的图像数据进行OB减法处理(步骤S33)。然后，微计算机210读出通过图5或图6的运算所计算出并存储于闪存212中的实时取景显示用的白平衡增益WB1，输出到WB校正电路204a。WB校正电路204a对进行了OB减法处理的图像数据乘以从微计算机210通知的实时取景显示用的白平衡增益WB1，从而对图像数据进行白平衡校正(步骤S34)。之后，同时化电路204b对白平衡校正后的图像数据进行同时化处理(步骤S35)。接着，微计算机210读出闪存212中存储的实时取景显示用颜色矩阵，输出到颜色转换电路204c。颜色转换电路204c通过对图像数据乘以从微计算机210通知的实时取景显示用颜色矩阵，来进行颜色转换(步骤S36)。伽马转换电路204d对颜色转换电路204c的输出实施伽马转换(步骤S37)。
在进行了上述的图像处理之后，LCD驱动器205从DRAM 203读出图像数据，将该图像数据作为实时取景图像显示到LCD 206上(步骤S38)。
在进行步骤S31～步骤S38所示的实时取景显示的期间，微计算机210判断用户是否按下了操作部211的快门释放按钮(步骤S39)。在步骤S39的判断中未按下快门释放按钮的情况下，返回到步骤S31，微计算机210继续进行实时取景显示。另一方面，在步骤S39的判断中按下了快门释放按钮的情况下，微计算机210使摄像模块201的摄像元件201a在第一驱动模式下动作(步骤S40)。由此，摄像元件201a取得静态图像数据。摄像元件201a将所得到的静态图像数据经由总线202存储到DRAM 203中。
接着，对DRAM 203中存储的图像数据进行OB减法处理(步骤S41)。接着，微计算机210读出通过图5或图6的运算所计算出并存储到闪存212中的静态图像摄影用的白平衡增益WBs，输出到WB校正电路204a。WB校正电路204a对进行了OB减法处理的图像数据乘以从微计算机210通知的静态图像摄影用的白平衡增益WBs，从而对图像数据进行白平衡校正，输出到同时化电路204b(步骤S42)。通过这种处理，进行能够在实时取景显示时和静态图像摄影时得到同一色调的白平衡校正。在白平衡校正之后，同时化电路204b进行同时化处理(步骤S43)。接着，微计算机210读出闪存212中存储的静态图像摄影用颜色矩阵，输出到颜色转换电路204c。颜色转换电路204c通过对图像数据乘以从微计算机210通知的静态图像摄影用颜色矩阵，来进行颜色转换(步骤S44)。之后，伽马转换电路204d对颜色转换电路204c的输出实施伽马转换(步骤S45)。
在以上这样的图像处理之后，压缩/解压缩电路207从DRAM 203读出图像处理后的图像数据进行压缩，存储到DRAM 203中。微计算机210读出DRAM 203中存储的压缩图像数据，将读出的压缩图像数据经由存储器I/F 208记录到记录介质209中(步骤S46)。
如上述说明，根据第一实施方式，能够在大致相同的条件下取得实时取景显示用的图像数据和静态图像摄影用的图像数据，计算使两个图像数据具有相同白平衡的白平衡增益。由此，能够不依赖于摄影环境，在静态图像摄影时和实时取景显示时得到相同的白平衡。
接着说明本发明的第二实施方式。图8是表示作为本发明的第二实施方式的电子摄像装置的一例的结构的方框图。此处，在图8中，赋予了与图1相同的标号的结构与图1相同，所以省略说明。在图8所示的照相机301的照相机主体200内部设置有光路分支棱镜401。光路分支棱镜401使被光学系统101会聚的光分支，使分支的一方的光入射到摄像模块402，使另一方的光入射到摄像模块403。通过这样的结构，能够使来自被摄体的光同时入射到2个摄像模块。
摄像模块402是实时取景显示用的摄像模块，其由摄像元件402a、I/F电路402b、闪存402构成c。此外，摄像模块403是静态图像摄影用的摄像模块，其由摄像元件403a、I/F电路403b、闪存403c构成。此处，摄像模块402和摄像模块403可以具有相同的结构，也可以构成为使实时取景显示用的摄像元件402a的像素数少于静态图像显示用的摄像元件403a的像素数。
在图8所示的结构中，在图像信号处理电路204中对摄像模块402得到的图像数据进行实时取景显示用的图像处理。另一方面，在图像信号处理电路204中对摄像模块403所得到的图像数据进行静态图像摄影用的图像处理。另外，实时取景显示用的图像处理和静态图像摄影用的图像处理可以在1个图像信号处理电路内依次进行，也可以在2个图像信号处理电路内单独进行。
图9是表示第二实施方式中的白平衡增益运算的流程图。此处，图9的处理与静态图像摄影前进行实时取景显示的情况下的处理对应。此外，在进行图9的处理时，用户利用照相机301对灰度图302进行拍摄。
在图9中，首先，微计算机210实施用于在LCD 206上进行实时取景显示的处理。为此，微计算机210使摄像模块402的摄像元件402a动作(步骤S51)。由此，摄像元件402a取得实时取景显示用的图像数据(步骤S52)。摄像元件402a将所得到的实时取景显示用的图像数据经由总线202存储到DRAM 203中。
接着，利用未图示的OB减法电路对DRAM 203中存储的图像数据进行OB减法处理(步骤S53)。然后，微计算机210读出上次运算时计算出并存储于闪存212中的实时取景显示用的白平衡增益WB1，输出到WB校正电路204a。WB校正电路204a对进行了OB减法处理的图像数据乘以从微计算机210通知的实时取景显示用的白平衡增益WB1，从而对图像数据进行白平衡校正(步骤S54)。之后，同时化电路204b对白平衡校正后的图像数据进行同时化处理(步骤S55)。接着，微计算机210读出闪存212中存储的实时取景显示用颜色矩阵，输出到颜色转换电路204c。然后，颜色转换电路204c通过对图像数据乘以从微计算机210通知的实时取景显示用颜色矩阵，来进行颜色转换(步骤S56)。伽马转换电路204d对颜色转换电路204c的输出实施伽马转换(步骤S57)。
在进行了上述的图像处理之后，LCD驱动器205从DRAM 203读出图像数据，将该图像数据作为实时取景图像显示到LCD 206上(步骤S58)。
在进行步骤S51～步骤S58所示的实时取景显示的期间，微计算机210判断用户是否进行了单触式白平衡(OTWB)操作(步骤S59、S71)。在步骤S59、S71的判断中用户未进行OTWB操作的情况下，返回到步骤S51，微计算机210继续进行实时取景显示。
另一方面，在步骤S59、S71的判断中用户进行了OTWB操作的情况下，微计算机210使摄像模块402的摄像元件402a和摄像模块403的摄像元件403a同时动作(步骤S60、S72)。由此，在摄像元件402a中取得实时取景显示用的图像数据(步骤S61)。另一方面，在摄像元件403a中取得静态图像摄影用的图像数据(步骤S73)。各个摄像元件所得到的图像数据经由总线202存储到DRAM 203中。
微计算机210读出DRAM 203中存储的静态图像数据，计算出使该静态图像数据的RGB值S(R，G，B)变成闪存212中存储的目标色(灰色)的RGB值D(R，G，B)的系数，作为静态图像摄影用的白平衡增益WBs(步骤S81)。接着，微计算机210读出DRAM 203中存储的实时取景显示用的图像数据，计算使该实时取景显示用的图像数据的RGB值L(R，G，B)变成闪存212中存储的目标色(灰色)的RGB值D(R，G，B)的系数，作为实时取景显示用的白平衡增益WB1(步骤S82)。由此，结束白平衡增益的运算。
如上说明，根据第二实施方式，能够完全同时取得静态图像和实时取景显示用图像。由此，与第一实施方式相比，能够求出精度更好的白平衡增益。
接着，说明第三实施方式。图10是表示第三实施方式的计算颜色转换参数(白平衡增益和颜色矩阵)时的概念图。另外，对于照相机的结构，可以是图1和图8的任一结构，此处，以图1的结构为例进行说明。
在图10所示的白平衡计算时，首先，照相机301的摄像元件201a分别在第一驱动模式和第二驱动模式下动作，拍摄同一被摄体(例如，色卡图)303。然后，从实时取景显示用的图像数据中，将预定3色的RGB值L1(R，G，B)、L2(R，G，B)、L3(R，G，B)保存到DRAM203中。另一方面，在图像信号处理电路204的WB校正电路204a中利用任意的静态图像摄影用白平衡增益WBs对静态图像摄影用的图像进行白平衡校正。然后，在同时化电路204b中对白平衡校正后的图像数据进行同时化，进而在颜色转换电路204c中以任意的静态图像摄影用颜色矩阵CMXs进行颜色转换。微计算机210从颜色转换电路204c所得到的图像数据(第三图像数据)提取作为白平衡校正和颜色转换的目标的3色的RGB值D1(R，G，B)、D2(R，G，B)、D3(R，G，B)。
此外，微计算机210计算出使RGB值L1(R，G，B)、L2(R，G，B)、L3(R，G，B)变成先前提取出的RGB值D1(R，G，B)、D2(R，G，B)、D3(R，G，B)的颜色矩阵和白平衡增益，作为实时取景显示用颜色矩阵CMX1和白平衡增益WB1。
下面，说明实际运算的流程。图11是表示第三实施方式的白平衡增益和颜色矩阵运算的流程图。此处，图11的处理与在静态图像摄影之前进行实时取景显示时的处理对应。
在图11中，首先，微计算机210实施用于在LCD206上进行实时取景显示的处理。为此，微计算机210使摄像模块201的摄像元件201a在第二驱动模式下动作(步骤S91)。由此，在摄像元件201a中取得实时取景显示用的图像数据(步骤S92)。摄像元件201a将所得到的实时取景显示用的图像数据经由总线202存储到DRAM 203中。
接着，利用未图示的OB减法电路进行OB减法处理(步骤S93)。在OB减法处理之后，微计算机210读出上次运算时计算出并存储于闪存2 12中的实时取景显示用的白平衡增益WB1，输出到WB校正电路204a。WB校正电路204a对进行了OB减法处理的图像数据乘以从微计算机210通知的实时取景显示用的白平衡增益WB1，从而对图像数据进行白平衡校正(步骤S94)。之后，同时化电路204b对白平衡校正后的图像数据进行同时化处理(步骤S95)。接着，微计算机210读出闪存212中存储的实时取景显示用颜色矩阵CMX1，输出到颜色转换电路204c。颜色转换电路204c对图像数据乘以从微计算机210通知的实时取景显示用颜色矩阵CMX1，从而进行颜色转换(步骤S96)。伽马转换电路204d对颜色转换电路204c的输出实施伽马转换(步骤S97)。
在进行了上述的图像处理之后，LCD驱动器205从DRAM 203读出图像数据，将该图像数据作为实时取景图像显示到LCD 206上(步骤S98)。
在进行步骤S91～步骤S98所示的实时取景显示的期间，微计算机210判断用户是否进行了单触式白平衡(OTWB)操作(步骤S99)。在步骤S99的判定中用户未进行OTWB操作的情况下，返回到步骤S91，微计算机210继续进行实时取景显示。
另一方面，在步骤S99的判断中用户进行了OTWB操作的情况下，微计算机210从用户进行OTWB操作之前刚刚通过摄像元件201a取得的实时取景显示用的图像数据之中提取与目标色对应的3色的RGB值L1(R，G，B)、L2(R，G，B)、L3(R，G，B)，保存到DRAM 203中(步骤S100)。
将与目标色对应的实时取景显示用图像的RGB值保存到DRAM 203中之后，微计算机210使摄像模块201的摄像元件201a在第一驱动模式下动作(步骤S101)。由此，摄像元件201a取得静态图像数据(步骤S102)。摄像元件201a将所得到的静态图像数据经由总线202存储到DRAM 203中。
接着，利用未图示的OB减法电路对DRAM 203中存储的图像数据进行OB减法处理。之后，WB校正电路204a对进行了OB减法处理的图像数据乘以任意的静态图像摄影用的白平衡增益WBs，从而对图像数据进行白平衡校正。接着，同时化电路204b对白平衡校正后的图像数据进行同时化处理。然后，颜色转换电路204c对图像数据乘以任意的静态图像摄影用颜色矩阵CMXs，从而进行颜色转换(步骤S103)。在颜色转换之后，微计算机210从步骤S103中得到的颜色转换后的图像数据中提取3色，提取这些RGB值D1(R，G，B)、D2(R，G，B)、D3(R，G，B)，存储到DRAM 203中(步骤S104)。
接着，微计算机210计算使RGB值L1(R，G，B)变成目标色RGB值D1(R，G，B)、使RGB值L2(R，G，B)变成目标色RGB值D2(R，G，B)、使RGB值L3(R，G，B)变成目标色RGB值D3(R，G，B)的颜色矩阵和白平衡增益，作为实时取景显示用颜色矩阵CMX1和白平衡增益WB1(步骤S105)。由此，结束颜色转换参数的运算。
如上述说明，根据第三实施方式，根据按照任意的静态图像摄影用白平衡增益WBs和静态图像摄影用颜色矩阵CMXs进行图像处理的结果，能够计算出实时取景显示用的白平衡增益WB1和实时取景显示用颜色矩阵CMX1。由此，不仅能够不依赖于摄影环境，在静态图像摄影时和实时取景显示时得到相同的色调，还能够在静态图像摄影时得到所希望的色调。
此处，在图10的例子中，提取3色的目标色。通常，颜色矩阵是3×3的矩阵，所以通过提取3色的目标色，可以计算出颜色矩阵，但也可以提取4色以上的目标色。通过由4色以上的目标色求出颜色矩阵，能够求出可进行与摄影条件对应的更加适当的颜色转换的3×3颜色矩阵。
根据以上实施方式说明了本发明，但本发明不限于上述实施方式，当然可以在本发明要旨的范围内进行各种变形和应用。例如，上述的实施方式中电子摄像装置以单反式照相机为例，但也可以将上述的实施方式的方法应用到紧凑式照相机中。
此外，在上述的各个实施方式中，摄像元件201a作为第二驱动模式可以在实时取景显示用的驱动模式下驱动，但只要第二驱动模式是间疏读出摄像元件输出的一部分的驱动模式，则不限于实时取景显示用的驱动模式。例如，除了实时取景显示用的驱动模式外，也可以考虑动态图像摄影用的驱动模式、和虽然是静态图像也只记录一部分区域的驱动模式等。
另外，在上述实施方式中包含了各种层次的发明，根据所公开的多个构成要素的适当组合可以提取出各种发明。例如，如果从实施方式所示的所有构成要素中删除几个构成要素，也能够解决上述问题，并获得上述效果，则删除了该构成要素后的结构也可以提为发明。
权利要求
1.一种电子摄像装置，其对被摄体进行摄像，获得图像数据，所述电子摄像装置的特征在于，其具有彩色摄像元件，其具有至少包括第一驱动模式和第二驱动模式的多个驱动模式；同时摄影单元，其同时或连续执行在上述第一驱动模式下驱动上述彩色摄像元件来取得第一图像数据的动作和在上述第二驱动模式下驱动上述彩色摄像元件来取得第二图像数据的动作；以及颜色转换参数计算单元，其计算颜色转换参数，使得上述同时摄影单元通过上述彩色摄像元件取得的上述第一图像数据和上述第二图像数据的色调相同。
2.根据权利要求1所述的电子摄像装置，其特征在于，上述第一驱动模式是静态图像摄影用驱动模式。
3.根据权利要求1所述的电子摄像装置，其特征在于，上述第二驱动模式包括实时取景显示用驱动模式。
4.根据权利要求1所述的电子摄像装置，其特征在于，上述同时摄影单元接受用户操作而进行取得上述第一图像数据的动作和取得上述第二图像数据的动作。
5.根据权利要求4所述的电子摄像装置，其特征在于，上述用户操作是用于手动设定白平衡的单触式白平衡设定操作。
6.根据权利要求1所述的电子摄像装置，其特征在于，上述颜色转换参数计算单元计算使上述第一图像数据和上述第二图像数据与单个或多个目标颜色数据一致的第一颜色转换参数和第二颜色转换参数，作为上述颜色转换参数。
7.根据权利要求1所述的电子摄像装置，其特征在于，上述颜色转换参数计算单元以任意的颜色转换参数对上述第一图像数据进行处理，生成第三图像数据，计算使上述第二图像数据的色调与上述第三图像数据的色调一致的第三颜色转换参数，作为上述颜色转换参数。
8.一种电子摄像装置，其对被摄体进行摄像，获得图像数据，所述电子摄像装置的特征在于，其具有摄像单元，其由至少包括第一彩色摄像元件和第二彩色摄像元件的多个彩色摄像元件构成；同时摄影单元，其同时或连续执行驱动上述第一彩色摄像元件来取得第一图像数据的动作和驱动上述第二彩色摄像元件来取得第二图像数据的动作；以及颜色转换参数计算单元，其计算颜色转换参数，以使上述同时摄影单元通过上述摄像单元取得的上述第一图像数据和上述第二图像数据的色调相同。
9.根据权利要求8所述的电子摄像装置，其特征在于，上述第一彩色摄像元件是静态图像摄影用彩色摄像元件。
10.根据权利要求8所述的电子摄像装置，其特征在于，上述第二彩色摄像元件包括实时取景显示用彩色摄像元件。
11.根据权利要求8所述的电子摄像装置，其特征在于，上述同时摄影单元接受用户操作而进行取得上述第一图像数据的动作和取得上述第二图像数据的动作。
12.根据权利要求11所述的电子摄像装置，其特征在于，上述用户操作是用于手动设定白平衡的单触式白平衡设定操作。
13.根据权利要求8所述的电子摄像装置，其特征在于，上述颜色转换参数计算单元计算使上述第一图像数据和上述第二图像数据与单个或多个目标颜色数据一致的第一颜色转换参数和第二颜色转换参数，作为上述颜色转换参数。
14.根据权利要求8所述的电子摄像装置，其特征在于，上述颜色转换参数计算单元以任意的颜色转换参数对上述第一图像数据进行处理，生成第三图像数据，计算使上述第二图像数据的色调与上述第三图像数据的色调一致的第三颜色转换参数，作为上述颜色转换参数。
15.一种电子摄像方法，其是利用具有至少包括第一驱动模式和第二驱动模式的多个驱动模式的彩色摄像元件进行摄像的电子摄像方法，所述电子摄像方法的特征在于，同时或连续执行以上述第一驱动模式驱动上述彩色摄像元件来取得第一图像数据的动作和以上述第二驱动模式驱动上述彩色摄像元件来取得第二图像数据的动作，计算使作为上述同时或连续动作的结果而取得的上述第一图像数据和上述第二图像数据分别与单个或多个目标颜色数据一致的第一颜色转换参数和第二颜色转换参数。
16.一种电子摄像方法，其是利用具有至少包括第一驱动模式和第二驱动模式的多个驱动模式的彩色摄像元件进行摄像的电子摄像方法，所述电子摄像方法的特征在于，同时或连续执行在上述第一驱动模式下驱动上述彩色摄像元件来取得第一图像数据的动作和在上述第二驱动模式下驱动上述彩色摄像元件来取得第二图像数据的动作，以任意的颜色转换参数对作为上述同时或连续动作的结果而取得的上述第一图像数据进行处理，生成第三图像数据，计算使作为上述同时或连续动作的结果而取得的上述第二图像数据的色调与上述第三图像数据的色调一致的第三颜色转换参数。
全文摘要
本发明提供电子摄像装置及电子摄像方法，其能够不依赖于摄影环境而在静态图像摄影时和实时取景显示时获得相同的颜色再现。作为解决手段，使具有至少包括第一驱动模式和第二驱动模式的多个驱动模式的摄像元件(201a)大致同时进行在第一驱动模式下驱动的动作和在第二驱动模式下驱动的动作，计算颜色转换参数，使由第一驱动模式取得的图像数据和由第二驱动模式取得的图像数据的色调相同。
文档编号H04N9/64GK101090505SQ20071010468
公开日2007年12月19日 申请日期2007年5月29日 优先权日2006年6月12日
发明者小野村研一 申请人:奥林巴斯映像株式会社