专利名称：摄像模块以及图像信号处理方法
技术领域：
本发明涉及摄像模块以及图像信号处理方法，特别是涉及省略以机械方式进行焦点调节的焦点调节机构，并且得到高分辨率的图像信号的技术。
背景技术：
以往提出了一种摄像装置(专利文献1)，其通过在拍摄光学系统的光路中插入调制相位的光波面调制元件来对焦点深度进行放大，对由于焦点深度的放大而模糊的图像 (大的点像)，实施基于具有复原处理参数的核(kernel)的解卷积处理，由此复原为高分辨率的图像(小的点像)。该摄像元件具有包括光波面调制元件的光学系统、对通过了光学系统的被摄体像进行拍摄的摄像元件、和对来自摄像元件的被摄体的图像数据实施规定的处理的图像处理装置，图像处理装置将选择的特定区域的分散图像复原作为没有分散的图像信号。选择的特定区域例如在图像内预先决定。另外，特定区域也能构成为从图像内提取特征部位，通过选择该部分来决定。光波面调制元件例如是相位板，其具有三维的曲面，被配置在物体侧透镜与成像透镜间，使基于成像透镜而向摄像元件的受光面成像的波面变形。或者，作为相位板的其他例子，还存在折射率变化的光学元件(例如折射率分布型波面调制透镜)，厚度、折射率根据向透镜表面的编码(coding)而变化的光学元件(例如波面调制混合透镜)等。专利文献2以及3表示摄像器件的瑕疵修正的一个例子。作为修正的方法的一个例子，存在如下所述的“回填”针对各个缺陷单元，对在上下以及左右方向相邻的四个单元的像素信号进行简单平均，对缺陷单元的像素信号进行修正，即，将该缺陷像素信号置换为修正值。专利文献4表示适于静态图像或者运动图像拍摄的图像信号的读出方式的一个例子。作为适合于运动图像拍摄的信号的读出方式，例如存在色差线依次方式。色差线依次方式是在排列的像素之上配置补色滤光器，读出像素的行之中奇数行的像素的信号来作为A场的信号，读出偶数行的像素的信号来作为B场信号，针对1帧以A以及B这两个场信号读出。另一方面，在静态图像拍摄中，大多采用将拜耳排列了 RGB的彩色滤光器配置在像素上，按每一行依次读出来读出所有像素的信号的方式。由于不清楚散焦量，所以不管有没有对焦，PSF(Point Spread Function)都具有相同展宽的特殊的光学系统被称作EDof^Extended Depth of Field，放大的焦点深度)(专利文献5 7)。专利文献1 特开2009-159535号公报专利文献2 特开2000_18似89号公报专利文献3 特开2004-23683号公报专利文献4 特开2010-171868号公报专利文献5 特开2009-10944号公报
专利文献6 特开2009-187092号公报专利文献7 特开2009-188676号公报如专利文献2以及3所记载的那样，通常，摄像元件包含缺陷像素(瑕疵)。瑕疵包括与摄像信号无关地始终输出固定的信号的白瑕疵以及黑瑕疵、输出与周边像素存在一定以上增益的不同信号的调制瑕疵、由读出电路的缺陷产生的线瑕疵等。这些之中，等级大的瑕疵需要无条件地修正。在由EDof光学系统得到的模糊图像的复原时，由于如专利文献1那样进行提高低电平信号(MTF)的修正处理，所以若不修正到与通常的瑕疵不同的微小瑕疵，则会对复原后的图像的画质造成影响。但是，在整个画面上修正微小等级的瑕疵在时间上是困难的。
发明内容
本发明是鉴于上述状况而做出的发明，其目的在于提供一种仅限于对由焦点深度被放大的光学系统得到的图像的复原所需的区域进行详细的瑕疵修正的技术。本发明的一个方式提供一种摄像模块，具备透镜部，其通过规定的光学相位调制机构而被放大了焦点深度；摄像元件，其安装有在规定的成像面以矩阵状排列的各像素所对应的红、蓝以及绿的彩色滤光器，通过各像素对经由透镜部而在规定的成像面成像的光学像进行光电变换，从而能够输出与各像素对应的颜色的模拟图像信号；AD变换部，其将从摄像元件输出的每个像素的模拟图像信号变换为每个像素的数字图像信号并输出；修正部，其对规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正；和复原处理部，其实施从通过修正部修正了缺陷后的规定区域的像素群所对应的数字图像信号中，除去由光学相位调制机构引起的被摄体像的劣化的复原处理。作为优选方式，修正部对规定区域的像素群以及规定区域以外的像素群所对应的数字图像信号的高等级的缺陷进行修正。作为优选方式，还具备判断部，其判断是选择静态图像拍摄模式还是选择运动图像拍摄模式，在判断部判断选择静态图像拍摄模式的情况下，修正部对静态图像信号的读出像素群之中规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正，在判断部判断选择运动图像拍摄模式的情况下，修正部对运动图像信号的读出像素群的全部所对应的数字图像信号的高等级的缺陷进行修正。本发明提供一种图像信号处理方法，其中，摄像模块具备透镜部，其通过规定的光学相位调制机构而被放大了焦点深度；摄像元件，其安装有在规定的成像面以矩阵状排列的各像素所对应的红、蓝以及绿的彩色滤光器，通过各像素对经由透镜部而在规定的成像面成像的光学像进行光电变换，从而能够输出与各像素对应的颜色的模拟图像信号；和 AD变换部，其将从摄像元件输出的每个像素的模拟图像信号变换为每个像素的数字图像信号并输出，摄像模块执行以下步骤对规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正的步骤；和实施从修正了缺陷后的规定区域的像素群所对应的数字图像信号中，除去由光学相位调制机构引起的被摄体像的劣化的复原处理的步骤。发明效果在本发明中，由于针对被复原处理的规定区域的图像信号，在进行了修正更微小的瑕疵的处理的基础上实施复原处理，所以能防止微小瑕疵因复原处理而明显化，并且与修正整个图像的微小瑕疵的情况相比，能缩短修正所需的时间来完成处理。
图1是本发明所涉及的摄像模块的框图；图2是表示透镜部的光学系统的一个例子的图；图3是表示第1实施方式的复原处理的流程图；图4是表示第2实施方式的复原处理的流程图；图5是表示第3实施方式的复原处理的流程图；图6是表示摄像装置的一个例子的框图。图中1...摄像模块，10...透镜部，10A...拍摄透镜，11...光学滤光器，
12...摄像元件，14. . . AD变换部，20...复原处理块，21...复原处理块判断部，22...瑕疵表选择部，24...瑕疵修正处理部，25...图像复原处理部。
具体实施例方式[第1实施方式]图1是表示本发明的摄像模块1的第1实施方式的框图。如图1所示，摄像模块1由透镜部10、摄像元件12、AD变换部14、复原处理块20 构成。图2是表示透镜部10的光学系统的一个例子的图。透镜部10如图2所示，由单焦点固定的拍摄透镜10A、和在瞳孔位置插入的光学滤光器11构成。光学滤光器11是调制相位的部件，使拍摄透镜EDoF化，来得到被放大的焦点深度(Extended Depth OfFocus EDoF)。此外，在光学滤光器11的附近，配置了未图示的光圈。另外，光学滤光器11可以是 1个，也可以是组合多个而得到的部件。另外，光学滤光器11只不过是光学相位调制机构的一个例子，也可以采用其他的部件，例如可以采用专利文献1那样的各种光波面调制元件。该透镜部10能够省略以机械方式进行焦点调节的焦点调节机构，从而能实现小型化，适合搭载于带照相功能的移动电话、便携信息终端。透过了被EDoF化的透镜部10的光学像被成像于摄像元件12，在此被变换为电信号。摄像元件12是彩色摄像元件，按照每个像素将红(R)、绿(G)、蓝(B) 3原色的原色滤光器以规定的图案排列成矩阵状(拜耳排列、G条纹R/G完美方格图案(perfectly checkered pattern)，蜂窝排列等),摄像元件 12 由 C-MOS (complementary metal-oxide semiconductor)图像传感器或者CCD (charge-coupled device)图像传感器构成。经由透镜部10而入射到摄像元件12的受光面的光学像由在该受光面排列的各光电二极管被变换为与入射光量对应的量的信号电荷。然后，在各光电二极管中积蓄的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。AD变换部14将从摄像元件12按每个像素输出的模拟的RGB图像信号变换为数字的RGB图像信号。由AD变换部14变换为数字的图像信号后的数字图像信号被施加给复原处理块20。从复原处理块20输出的图像信号被施加给去马赛克(demosaicing)信号处理部沈。去马赛克信号处理部沈进行去马赛克处理，补充从马赛克状的图像数据缺失的颜色成分，生成RGB的各成分齐备的图像信号即RAW数据。复原处理块20包括复原处理块判断部21、瑕疵表选择部22、瑕疵数据存储部23、 瑕疵修正处理部24、图像复原处理部25。复原处理块判断部21判断从AD变换部14输入的图像信号是从复原处理的对象的块(像素群)输出的图像信号，还是从复原处理的对象以外的块输出的图像信号。该判断与专利文献1公开的复原处理的所需位置的选择同样地进行。例如，将从存在于画面中央等预先决定的区域内的块、存在于从图像内提取出的脸部等特征部位的块的像素读出的图像信号，判断为从复原处理的对象的块输出的图像信号。块是覆盖静止图像的像素群整体的N个部分像素群区域。块的尺寸与复原处理的单位一致。例如，若解卷积滤波器的核尺寸为7X7，则1块的单位成为7X7像素。瑕疵表选择部22基于复原处理块判断部21的判断结果，从存储于瑕疵数据存储部23的表之中，选择用于瑕疵修正的表。瑕疵数据存储部23存储有第1瑕疵表23a、第2 瑕疵表23b、第3瑕疵表23c。第1瑕疵表23a存储当进行运动图像拍摄时读出图像信号的像素所对应的第1等级的瑕疵(像素缺陷)的坐标。第1等级的瑕疵是醒目到需要修正的程度的瑕疵。第2瑕疵表2 存储当进行静态图像拍摄时读出图像信号的像素所对应的第1等级的瑕疵的坐标。第1瑕疵表23a与第2瑕疵表2 分别表示静态图像信号以及运动图像信号的读出像素中的瑕疵的坐标，但在存储第1等级的瑕疵的坐标这一点上是共通的。第3瑕疵表23c 存储当进行静态图像拍摄时读出图像信号的像素所对应的第2等级的瑕疵的坐标。第2等级的瑕疵是比第1等级的瑕疵更微小的瑕疵。瑕疵的等级表示视觉上的瑕疵的程度，与瑕疵的种类无关。作为瑕疵的种类，包括白瑕疵、黑瑕疵、调制瑕疵、线瑕疵等。另外，第1等级的瑕疵与第2等级的瑕疵的定义方法没有特别限定。例如，将摄像元件12的像素(群)的瑕疵从尺寸大的开始排序，将从前端最大尺寸的瑕疵开始按顺序变小的规定个数的瑕疵(例如从前端开始到第100的瑕疵)定义为第1等级的瑕疵，将比第 1等级的瑕疵中最小的瑕疵进一步按规定顺序的尺寸小的瑕疵(例如从前端开始的第101 到第200的瑕疵)定义为第2等级的瑕疵。或者，也可以定义为第1等级的瑕疵以外全部为第2等级的瑕疵。在拍摄图像的记录时压缩图像数据的情况下，也可以根据记录图像的压缩率来决定修正怎样程度的微小瑕疵。例如，若是FINE模式的静态图像记录，则将从前端开始的第101到第300为止的瑕疵定义为第2等级的瑕疵，若是Normal模式的静态图像记录，则将从前端开始的第101到第200为止的瑕疵定义为第2等级的瑕疵。瑕疵修正处理部M从瑕疵表选择部22选择的表中取得瑕疵的坐标信息，基于该瑕疵的坐标信息，进行图像信号的瑕疵修正。瑕疵修正的方法可以采用公知的方法。例如， 可以如专利文献2以及3所记载的那样，通过对存在于缺陷像素周边的像素的“回填”来进行瑕疵修正。图像复原处理部25针对瑕疵修正后的图像信号实施复原处理，将需要复原处理的块的分散图像信号复原为没有分散的图像信号。例如，如专利文献1所记载的那样，在复原处理中进行如下处理提升1次图像的空间频率中的调制传递函数(MTF Modulation Transfer Function)，进行接近没有采用相位板的情况下的MTF特性的修正，形成高精细的最终图像。接下来，对复原处理块20进行的复原处理进行说明。图3是表示第1实施方式的复原处理块20进行的复原处理的流程图。该处理对应于静态图像拍摄模式的选择而开始。在Sl中，从AD变换部14，对复原处理块判断部21与瑕疵修正处理部M施加数字图像信号。该图像信号分别由静态图像的读出像素、例如偶数以及奇数行的像素输出。S2中，复原处理块判断部21根据从AD变换部14输入的图像信号，判断复原处理的对象的块与复原处理的对象以外的块。对块赋予连续编号n(n = 1 N)。在S3中，瑕疵表选择部22设定连续编号η = 1。在S4中，瑕疵表选择部22判断被赋予了连续编号η的块是否被判断为进行复原处理的块。在“是”的情况下进入S5，在“否”的情况下进入S6。在S5中，瑕疵表选择部22选择第3瑕疵表23c。瑕疵修正处理部M从瑕疵表选择部22选择的表(在此为第3瑕疵表23c)取得瑕疵的坐标信息。然后，基于该瑕疵的坐标信息，仅对来自复原对象块的图像信号进行第2等级的瑕疵的修正。进一步，在第2等级的瑕疵的修正前后，瑕疵表选择部22选择第2瑕疵表23b。瑕疵修正处理部M从瑕疵表选择部22选择的表(在此为第2瑕疵表23b)取得瑕疵的坐标信息。然后，基于该瑕疵的坐标信息，仅对来自复原对象块的图像信号进行第1等级的瑕疵的修正。由此，针对来自复原对象块的图像信号，既修正了大的第1等级的瑕疵，又修正了微小的第2等级的瑕疵。在S6中，瑕疵表选择部22将η增加1。在S7中，瑕疵表选择部22判断是否是η = N。在“是”的情况下进入S8，在“否” 的情况下返回S4。在S8中，图像复原处理部25仅对从复原处理的对象的块输出的图像信号(也包括瑕疵修正结束的图像信号)实施复原处理，针对复原对象块生成没有模糊的静止图像信号。另外，图像复原处理部25将来自复原处理的对象以外的块的图像信号保持原样地输入到去马赛克信号处理部26。在S9中，来自图像复原处理部25的图像信号(包括复原后的静止图像信号与复原的对象以外的静态图像信号双方)被输入到去马赛克信号处理部沈，实施去马赛克处理，输出RAW数据。通过以上的处理，针对需要复原的块，在进行了修正更微小的瑕疵的处理的基础上实施复原处理，所以能防止微小的瑕疵因复原处理而明显化，并且与修正整个图像的微小瑕疵的情况相比，能缩短修正所需的时间来完成处理。[第2实施方式]图4是表示第2实施方式的复原处理块40进行的复原处理的流程图。关于与第 1实施方式相同的处理步骤，省略其说明。SlO S12分别与Sl 3相同。S13与S4的判断相同。其中，“是”的情况下进入S14，“否”的情况下进入S15。S14 与 S5 相同。在S15中，瑕疵表选择部22选择第2瑕疵表23b。瑕疵修正处理部M从瑕疵表选择部22选择的表(在此为第2瑕疵表23b)取得瑕疵的坐标信息。然后，基于该瑕疵的坐标信息，进行图像信号整体的第1等级的瑕疵的修正。
S16 S19分别与S6 S9相同。其中，S17中为“是”的情况下进入S18，为“否” 的情况下返回S13。通过以上的处理，由于针对需要复原的块，在进行了修正更微小的瑕疵的处理的基础上实施复原处理，所以能防止微小的瑕疵因复原处理而明显化，并且与修正整个图像的微小瑕疵的情况相比，能缩短修正所需的时间来完成处理。另外，针对不需要复原的块， 仅进行修正显眼的瑕疵的处理。[第3实施方式]图5是表示第3实施方式的复原处理块40进行的复原处理的流程图。针对与第 1至第2实施方式与相同的处理步骤，省略其说明。在S20中，复原处理块判断部21判断是否指示了运动图像模式或者静态图像模式的某一个来作为拍摄模式的用户选择。在运动图像模式的情况下进入S21，在静态图像模式的情况下进入S26。在S21中，从AD变换部14，对复原处理块判断部21与瑕疵修正处理部M施加数字图像信号。该图像信号从运动图像的读出像素，例如从奇数行的像素定期地输出。 在S22中，瑕疵表选择部22选择第1瑕疵表23a。在S23中，瑕疵修正处理部M从瑕疵表选择部22选择的表(在此为第1瑕疵表 23a)取得瑕疵的坐标信息。然后，基于该瑕疵的坐标信息，进行运动图像信号的第1等级的瑕疵修正。该瑕疵修正针对全部图像信号而进行。在S24中，图像复原处理部25对运动图像的读出像素所对应的全部的图像信号 (也包括瑕疵修正结束的图像信号)实施复原处理，生成没有模糊的运动图像帧的图像信号。在S25中，复原后的运动图像帧信号被输入到去马赛克信号处理部沈，被实施去马赛克处理。该去马赛克处理后的运动图像帧信号能被作为实时取景图像而显示，或者能作为运动图像数据被记录。在S^执行第1实施方式或者第2实施方式的某一复原处理。执行哪一个处理是任意的，可以通过用户设定等来选择。在S27中，复原处理块判断部21判断用户是否输入了结束拍摄模式的指示。在 “是”的情况下结束处理，在“否”的情况下返回S20。[第4实施方式]图6是表示使用了摄像模块1的摄像装置的一个例子的框图。图6所示的摄像装置100是被装入了图1所示的摄像模块1的装置，除了摄像模块以外，具有与通常的数字摄像机等相同的结构。中央处理装置(CPU central processing unit) 102是按照来自操作部104的操作输入以及规定的程序，统一控制装置整体的部分，也作为实施自动曝光(AE)运算、白平衡(WB)调整运算等各种运算的运算机构发挥作用。在CPU102上，经由总线103以及存储器 接口(存储器I/F) 106连接了 RAM (Random Access Memory) 108 以及 ROM (Read Only Memory) IlO0 RAM108 被用作程序的展开区域以及CPU102的运算作业用区域，并且被用作图像数据的临时存储区域。R0M110中，存储有CPU102执行的程序以及控制所需的各种数据、与摄像动作相关的各种常量/信息等。
8CPU102控制上述第1 3实施方式的复原处理的流程的程序被存储在R0M110中。摄像模块1根据来自CPU102的指令进行拍摄动作等，输出RGB的RAW数据。该 RAW数据经由总线103以及存储器I/F106临时保存在RAM108中。保存在RAM108中的RGB的RAW数据被输入到图像处理块30中，被实施各种图像处理。图像处理包括伽马修正、对比度调整处理、锐度调整处理、噪声减少处理、颜色修正处理、YC变换等各种处理。另外，在选择了 RAW数据记录的情况下，RAW数据以RAW文件的格式，经由外部存储器 接口(外部存储器I/F) 114被记录于存储卡116。操作部104包括快门按钮、选择拍摄模式与再生模式的模式选择开关、使菜单画面显示于显示部(IXD :liquid crystal display) 118的菜单按钮、用于从菜单画面选择所希望的项目的多功能方向键等。来自操作部104的输出信号经由总线103被输入到CPU102， CPU102基于来自操作部104的输入信号，实施拍摄、再生等适当的处理。摄像装置100包括用于向被摄体照射闪光的闪光装置120，闪光装置120根据来自 CPU102的发光指令，从充电部122接受电源的提供，来照射闪光。在图像处理块30中处理的图像数据(静态图像或者运动图像)被提供给图像记录部31，在此，按照规定的压缩格式(例如，JPEG (Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式)压缩该图像数据。被压缩后的图像数据以图像文件(例如JPEG文件、MPEG文件)的格式，经由外部存储器I/F114被记录于存储卡116中。当在图像记录部31中记录拍摄图像时压缩图像数据的情况下，也可以根据记录图像的压缩率来决定修正怎样程度的微小瑕疵。另外，在IXD118IXD上，根据经由接口 1 而施加的运动图像信号，在摄像准备中显示影像(实时取景图像)，另外，在再生模式时，读出记录于存储卡116的JPEG文件、MPEG 文件、RAff文件等图像文件，显示图像。另外，存储于JPEG文件、MPEG文件中的压缩图像数据通过压缩扩展处理电路1 进行扩展处理，之后输出到IXD118，存储于RAW文件中的RAW 数据通过图像处理块30进行了 RAW显影后被输出到IXD118。
权利要求
1.一种摄像模块，具备透镜部，其通过规定的光学相位调制机构而被放大了焦点深度； 摄像元件，其安装有在规定的成像面以矩阵状排列的各像素所对应的红、蓝以及绿的彩色滤光器，通过上述各像素对经由上述透镜部而在上述规定的成像面成像的光学像进行光电变换，从而能够输出与上述各像素对应的颜色的模拟图像信号；AD变换部，其将从上述摄像元件输出的每个像素的模拟图像信号变换为每个像素的数字图像信号并输出；修正部，其对规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正；和复原处理部，其实施从通过上述修正部修正了缺陷后的上述规定区域的像素群所对应的数字图像信号中，除去由上述光学相位调制机构引起的被摄体像的劣化的复原处理。
2.根据权利要求1所述的摄像模块，其特征在于，上述修正部对上述规定区域的像素群以及上述规定区域以外的像素群所对应的数字图像信号的高等级的缺陷进行修正。
3.根据权利要求1或2所述的摄像模块，其特征在于，还具备判断部，其判断是选择静态图像拍摄模式还是选择运动图像拍摄模式， 在上述判断部判断选择上述静态图像拍摄模式的情况下，上述修正部对静态图像信号的读出像素群之中上述规定区域的像素群所对应的数字图像信号的上述低等级的缺陷进行修正，在上述判断部判断选择上述运动图像拍摄模式的情况下，上述修正部对运动图像信号的读出像素群的全部所对应的数字图像信号的上述高等级的缺陷进行修正。
4.一种图像信号处理方法，其中， 摄像模块具备透镜部，其通过规定的光学相位调制机构而被放大了焦点深度； 摄像元件，其安装有在规定的成像面以矩阵状排列的各像素所对应的红、蓝以及绿的彩色滤光器，通过上述各像素对经由上述透镜部而在上述规定的成像面成像的光学像进行光电变换，从而能够输出与上述各像素对应的颜色的模拟图像信号；和AD变换部，其将从上述摄像元件输出的每个像素的模拟图像信号变换为每个像素的数字图像信号并输出，上述摄像模块执行以下步骤对规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正的步骤；和实施从修正了上述缺陷后的上述规定区域的像素群所对应的数字图像信号中，除去由上述光学相位调制机构引起的被摄体像的劣化的复原处理的步骤。
全文摘要
本发明提供一种摄像模块以及图像信号处理方法。在本发明的一个方式的图像信号处理方法中，摄像模块具备透镜部，通过规定的光学相位调制机构而被放大了焦点深度；摄像元件，包括在规定的成像面以矩阵状排列的各像素，通过由各像素对经由透镜部而成像于规定的成像面的光学像进行光电变换，能够输出与各像素对应的颜色的模拟图像信号；AD变换部，将从摄像元件输出的每个像素的模拟图像信号变换为每个像素的数字图像信号并输出，摄像模块执行以下步骤对规定区域的像素群所对应的数字图像信号的低等级的缺陷进行修正；实施从修正了缺陷后的规定区域的像素群所对应的数字图像信号中，除去由光学相位调制机构引起的被摄体像的劣化的复原处理。
文档编号H04N5/232GK102387294SQ20111024525
公开日2012年3月21日 申请日期2011年8月24日 优先权日2010年8月26日
发明者三泽岳志 申请人:富士胶片株式会社