专利名称：摄像模块、图像处理装置及图像记录方法
技术领域：
本发明涉及一种摄像模块、图像处理装置及图像记录方法。
背景技术：
以往，从临近距离到无穷远的宽范围内的摄影，例如使用具有自动对焦(AF)功能 的透镜模块。采用AF功能时，存在透镜个数及零件个数增加、以及成本随之增加的问题。尤 其是，用于数码相机等的摄像模块应对薄型化和小型化的要求，倾向于使透镜与摄像元件 之间的距离(焦点距离)尽可能缩短。此外，近年来被称作EDoF (Extended Depth of Field，扩展景深技术)的技术发 展起来，该EDoF用于使固定焦点的透镜与信号处理相结合，从而确保足够的景深。AF用透 镜能够确保焦点位置处的解析度即可，与之相对，EDoF用固定焦点透镜由于要确保景深， 存在解析度不够的问题。例如，在用图表表示景深和调制传递函数(Modulation Transfer Function :MTF)之间的关系时，AF用透镜的情况下对应于窄幅宽的图表，与之相对，EDoF用 固定焦点透镜的情况下对应于宽幅宽的图表。针对EDoF用固定焦点透镜的这种透镜特性， 通过信号处理弥补解析度的不足，但在该过程中存在S/N(信噪比)恶化的倾向。此外，弥 补景深也是存在极限的，一般，重视无穷远处的解析度地进行透镜设计。因此，难以在临近 距离时获得足够的解析度。
发明内容
根据实施方式，摄像模块具有多个子摄像模块。上述子摄像模块具有摄像元件和 摄像透镜。上述摄像元件对被摄体像进行摄像。上述摄像透镜使取自被摄体的光向上述摄 像原件入射。上述多个子摄像模块中的至少两个子摄像模块具有使得到最佳焦点时的被摄 体距离相互不同的上述摄像透镜。上述被摄体距离是上述子摄像模块与上述被摄体之间的 距离。
图1是本实施方式的摄像模块的立体概略图。图2是影像传感器部的上表面示意图。图3是表示各颜色用子摄像模块的摄像透镜所具有的MTF特性的例子的图表。图4是表示用于对由摄像模块的摄像所得到的信号进行处理的图像处理装置的 结构的框图。图5是对由块匹配单元实施的被摄体像彼此的对位进行说明的图。
图6是说明FFT单元、被摄体距离推测单元、矩阵选择单元及解析度复原单元中的 处理的顺序的流程图。图7是表示实施方式的变形例的图像处理装置的结构的框图。
具体实施例方式下面参照附图，对实施方式的摄像模块、图像处理装置及图像记录方法进行详细 说明。另外，本实施方式并不限定本发明。图1是实施方式的摄像模块10的立体概略图。摄像模块10具有影像传感器部11 和透镜组件12。影像传感器部11具有对被摄体像进行摄像的四个摄像元件13。透镜组件 12具有与摄像元件13对应地配置在平面上的四个摄像透镜14。摄像模块10包括四个独立的、具有摄像元件13和摄像透镜14的子摄像模块。各 子摄像模块分担被摄体像的各颜色成分地进行摄像。摄像透镜14使取自被摄体的光向摄 像元件13入射。摄像元件13将由摄像透镜14取入的光转换为信号电荷。图2是影像传感器部11的上表面示意图。四个摄像元件13(1361、131 、138、1362) 配置成纵横2X2的矩阵状。红色(I )光用的摄像元件13R、蓝色(B)光用的摄像元件13B、 绿色(G)光用的两个摄像元件13G1、13G2与拜耳排列相同，以G光用的两个摄像元件13G1、 13G2斜向相对的方式配置。具有R光用的摄像元件13R的R用子摄像模块对被摄体像的R成分进行摄像。具 有B光用的摄像元件13B的B用子摄像模块对被摄体像的B成分进行摄像。具有G光用的 摄像元件13G1的Gl用子摄像模块、和具有G光用的摄像元件13G2的G2用子摄像模块对 被摄体像的作为同色成分的G成分进行摄像。另外，所谓同色成分，不限定于波长区域相同 的色光的情况，也包含波长区域相近似而被认为是大致相同的色光的情况。摄像模块10通过采用具有透镜组件12的结构，使摄像透镜14的焦点距离缩短。 由此，能够使摄像元件13与摄像透镜14之间的距离缩短。摄像模块10通过使子摄像模块 具有对于同一颜色成分的像素，可以避免相邻像素间的、对于不同颜色成分的信号彼此的 干涉。由此，能够减少混色，大幅提高灵敏度。此外，各子摄像模块的摄像透镜14由于对各 种颜色成分进行了最优化透镜的设计，所以能够大幅减轻轴上色差。摄像模块10对应于使 灵敏度提高，能够使F值增大，因此，能够保持与使各颜色用像素以拜耳排列混合存在摄像 元件内的情况相同的噪声水平，并且扩大并加宽景深。这里，四个子摄像模块中，以Gl用子摄像模块为基准子摄像模块。在图2所示的平 面中，设基准子摄像模块的G光用摄像元件13G1与R用子摄像模块的R光用摄像元件13R 并列的方向为X方向，设基准子摄像模块的G光用摄像元件13G1与B用子摄像模块的B光 用摄像元件13B并列的方向为Y方向。X方向与Y方向相互垂直。图2所示的虚线的交点表示假设各颜色成分的被摄体像的成像位置一致的情况 下的、各摄像元件13Gl、13R、i;3B、13G2的中心位置。当以基于Gl用子摄像模块产生的被摄 体像的成像位置为基准时，R用子摄像模块以被摄体像的成像位置相对于基准向X方向位 移半个像素的量的方式配置。B用子摄像模块以被摄体像的成像位置相对于基准向Y方向 位移半个像素的量的方式配置。G2用子摄像模块以被摄体像的成像位置相对于基准向X方 向及Y方向分别位移半个像素的量的方式配置。通过将G用子摄像模块中的一个作为基准子摄像模块，将可见度高的G成分的被摄体像作为基准，可以减轻后述图像处理中的精度差。图3是表示各颜色用的子摄像模块的摄像透镜14所具有的MTF特性的例子的图 表。图中所示图表表示对于Gl成分、R成分、G2成分、B成分，在l/2NyqUist下的被摄体距 离与MTF之间的关系。图表的纵轴为MTF，横轴为被摄体距离。MTF是表示正弦波物体的像 的调制相对于空间频率的增加的函数。Gl用、R用、B用的各颜色子摄像模块中设置的摄像透镜14，每一个都设计为最佳 焦点在无穷远处。与之相对，G2用子摄像模块中设置的摄像透镜14，设计为例如最佳焦点 在30cm左右的临近距离处。这样，四个子摄像模块中对被摄体像的绿色成分进行摄像的Gl 用子摄像模块和G2用子摄像模块具有得到最佳焦点时的被摄体距离相互不同的摄像透镜 14。图4是表示用于对摄像模块10摄像所得的信号进行处理的图像处理装置的结构 的框图。图像处理装置大体分为前阶段的影像传感器部11和后阶段的处理器20。影像传 感器部11具有阴影修正单元15、失真修正单元16、矩阵选择单元17及解析度复原单元18。 阴影修正单元15、失真修正单元16、矩阵选择单元17及解析度复原单元18按照由四个子 摄像模块获得的61、62、1 、8图像数据(RAW图像)的每个实施信号处理。阴影修正单元15修正摄像透镜14引起的亮度不均，尤其是修正被摄体像的中央 部与周边部的光量差(阴影修正)。失真修正单元16修正摄像透镜14引起的位置错位所 产生的被摄体像的畸变(失真)。处理器20具有高速傅立叶变换(Fast Fourier Transform ；FFT)单元21、被摄体 距离推测单元22、块匹配单元23及逆马赛克变换单元24。FFT单元21取入Gl、G2的RAW 图像，执行基于FFT的从实际空间向频率空间的变换。被摄体距离推测单元22推测摄像模 块10及被摄体之间的被摄体距离。影像传感器部11的矩阵选择单元17根据在被摄体距离推测单元22中推测的被 摄体距离，对于R、G、B各色选择最佳解析度复原用矩阵。本实施方式中，解析度复原用矩阵 是能够获得与图像复原算法相同效果的反卷积矩阵(deconvolution matrix) 0矩阵选择 单元17从预先准备的例如两个解析度复原用矩阵中选择最佳的解析度复原用矩阵。另外， 矩阵选择单元17从至少两个以上的解析度复原用矩阵中选择最佳的解析度复原用矩阵即 可。解析度复原单元18根据矩阵选择单元17选择的解析度复原用矩阵，实施解析度 复原处理。解析度复原处理按照由四个子摄像模块得到Gl、G2、R、B的图像数据的每个实 施。解析度复原的效果依赖于复原时采用的算法。为了复原为与原被摄体像接近的图像， 解析度复原处理例如采用Richards0n-Lucy(R-L)法。处理器20的块匹配单元23对于经过阴影修正单元15、失真修正单元16、矩阵选 择单元17及解析度复原单元18的处理的G1、G2、R、B的各图像数据，实施块匹配(图形匹 配)处理。块匹配单元23对于各子摄像模块得到的被摄体像彼此，进行基于块匹配处理的 对位。图5是对基于块匹配单元23的被摄体像彼此的对位进行说明的图。这里，图中所 示的正方形的每一个都是表示像素。对于R像素、B像素、G2像素，用虚线表示被摄体像的成像位置一致的情况，对于Gl像素，用实线表示位移半个像素的量的状态。R像素相对于 Gl像素向图中横向位移半个像素的量。B像素相对于Gl像素向图中纵向位移半个像素的 量。G2像素相对于Gl像素向横向及纵向分别位移半个像素的量。块匹配单元23以使R像 素、B像素及G2像素以Gl像素的位置为基准向规定方向位移半个像素的量的方式，进行以 子像素(sub-pixel)为单位的对位。返回到图4，逆马赛克变换单元M通过对经块匹配处理得到的图像实施逆马赛克 变换处理，合成彩色图像。逆马赛克变换单元M通过实施像素插值处理，生成不足色成分 的信号值，所述像素插值处理可看作将经块匹配处理得到的图像进行拜耳(Bayer)排列。 本实施方式中，通过使由子摄像模块摄像的被摄体像位移而合成彩色图像，从而得到规定 的总像素数。图像处理装置输出如此合成的彩色图像。另外，本实施方式中说明的处理的 过程是一个例子，也可以适当追加其他处理，或者改变处理的顺序等。图像处理装置不限定于通过配置子摄像模块使被摄体像位移的情况。例如，也可 以以子像素单位进行映射之后，适用双线性插值或者双立方插值等插值方法，生成拜耳排 列。该方法在物理地控制被摄体像的位移量比较困难的情况下，例如摄像元件的安装误差 或摄像模块1的制造偏差等的影响较大之类的情况下是有用的，适于使摄像元件细微化的 情况。本实施方式的摄像模块10相比现有的产品具有高灵敏度，因此，即使在不能得到子 像素单位的精度的情况下，也可以例如通过增采样得到规定的总像素数。图6是对FFT单元21、被摄体距离推测单元22、矩阵选择单元17以及解析度复原 单元18中的处理的顺序进行说明的流程图。FFT单元21在步骤Sl中取入G1、G2的RAW图 像时，在步骤S2中，执行基于FFT的从实际空间向频率空间的转换。在步骤S3中，被摄体距离推测单元22推测被摄体距离。被摄体距离推测单元22 比较Gl及G2经数值化后的空间频率特性，将含有高频成分多的一方的RAW图像选择为具 有鲜明轮廓的被摄体像。被摄体距离推测单元22将Gl选择为含有高频成分多的一方时， 推测为被摄体距离为无穷远。此外，被摄体距离推测单元22将G2选择为含有高频成分多 的一方时，推测为被摄体距离为临近距离。被摄体距离推测单元22中，当推测为被摄体距离为临近距离时(步骤S4，是)，矩 阵选择单元17对于将无穷远设定为最佳焦点的摄像透镜14的R、G1、B的各像素数据，选择 用于实施临近距离处的解析度复原的解析度复原用矩阵mma。ra(R)mma。ra(Gl)mma。ra 。另一方面，在被摄体距离推测单元22中，当推测为被摄体距离为无穷远时(步骤 S4，否)，矩阵选择单元17对于将临近距离设定为最佳焦点的摄像透镜14的G2的像素数 据，选择用于实施无穷远处的解析度复原的解析度复原用矩阵minf (G2)。解析度复原单元18根据在步骤S5或步骤S6中选择的解析度复原用矩阵，在步骤 S7中实施解析度复原处理。当选择mma。ra(R)mma。ra(Gl)mma。ra 作为解析度复原用矩阵时，解 析度复原单元18对于R、G1、B的各像素数据实施以临近距离为瞄准处的解析度复原处理， 并在步骤S8中输出。解析度复原单元18也可以不对G2的图像数据进行处理，在步骤S8 中直接输出即可。当选择minf (G2)作为解析度复原用矩阵时，解析度复原单元18对于G2的像素数 据实施以无穷远为瞄准处的解析度复原处理，并在步骤S8中输出。解析度复原单元18也 可以不对R、G1、B的各图像数据进行处理，在步骤S8中直接输出即可。
本实施方式的摄像模块10通过设置最佳焦点不同的摄像透镜14，实施基于根据 推测的被摄体距离选择的解析度复原用矩阵的解析度复原处理，能够在确保景深的同时， 获得对应于被摄体距离的足够的解析度。此外，通过使用固定焦点的摄像透镜14，能够使摄 像模块10薄型化以及小型化。由此，当摄像模块10薄型化以及小型化时，能够进行足够景 深的高灵敏度的摄影。另外，被摄体距离推测单元22不限定于推测被摄体距离为临近距离以及无穷远 的某一方。被摄体距离推测单元22也可以推测被摄体距离为至少两个焦点距离范围中的 任一个，或者，推测为三个以上的焦点距离范围中的任一个。例如，在被摄体距离为临近距 离和无穷远这两种焦点距离范围的基础上，另外还可以推测Im至: 的焦点距离范围的情 况。矩阵选择单元17根据推测的被摄体距离的焦点距离范围准备三个以上的解析度复原 用矩阵，可以从中选择最佳的解析度复原用矩阵。透镜组件12可以使多个摄像透镜14中的至少两个是得到最佳焦点时被摄体距离 相互不同的透镜，也可以使得到最佳焦点时的被摄体距离相互不同的摄像透镜14为三个 以上。得到最佳焦点时的被摄体距离可以根据摄影用途、按被摄体距离的不同摄影频度的 高低等，任意选择。例如，临近距离处的最佳焦点位置优选设定在无穷远处的解析度不极端 低下的范围内。由此，可以确保足够的景深。摄像模块10不限定于包括各一个的R用及B用的子摄像模块、和两个G用的子摄 像模块这四个子摄像模块。构成摄像模块10的子摄像模块也可以为多个，为四个以外。此 外，使得到最佳焦点的摄像透镜14的被摄体距离相互不同不限定于G用的子摄像模块彼此 的情况，也可以是任意的色光用的子摄像模块彼此。对同色成分进行摄像的多个子摄像模 块彼此通过使被摄体距离相互不同，能够利用被摄体距离的推测。图7是表示本实施方式的变形例的图像处理装置的结构的框图。影像传感器部11 具有在阴影修正单元15、失真修正单元16、矩阵选择单元17及解析度复原单元18之外设 置的参数存储单元19。参数存储单元19中写入影像传感器部11的处理所需的参数，并对 其进行保存。影像处理器部11将摄像模块10的个体信息作为参数保存在参数存储单元19 中。另外，个体信息例如为与透镜等的零件制造误差、零件彼此的组装误差等、以及不同制 品的个体差异相关的信息。阴影修正单元15参照保存在参数存储单元19中的参数，对被摄体像进行阴影修 正。失真修正单元16参照保存在参数存储单元19中的参数，修正被摄体像的失真。由此， 能够根据摄像模块10的个体差进行图像处理。图像处理装置不限定于在影像传感器部11内实施从阴影处理到解析度复原处理 的结构。图像处理装置也可以在处理器20内实施从阴影处理到解析度复原处理中的一部 分或者全部。此外，图像处理装置不限定于在处理器20内实施FFT、被摄体距离推测、块匹 配处理及逆马赛克变换处理的结构。如果影像传感器部11的电路规模和消耗功率能够允 许，图像处理装置也可以在影像传感器部11内实施FFT、被摄体距离推测、块匹配处理及逆 马赛克变换处理中的一部分或者全部。以上说明了本发明的实施方式，但该实施方式仅是作为例子而公开，并不意在限 定本发明的范围。该新颖的实施方式能够以其他各种方式进行实施，在不脱离本发明主旨 的范围内，可以进行各种省略、置换以及变更。该实施方式或其变形，均包含在本发明的范围和主旨内，并包含在技术方案的范围所记载的发明及其等同替代的范围内。
权利要求
1.一种摄像模块，具有多个子摄像模块，上述子摄像模块具有对被摄体像进行摄像的 摄像元件、和使取自被摄体的光向上述摄像元件入射的摄像透镜，上述多个子摄像模块中的至少两个子摄像模块，具有使得到最佳焦点时的、上述子摄 像模块与上述被摄体之间的被摄体距离相互不同的上述摄像透镜。
2.如权利要求1所述的摄像模块，上述多个子摄像模块分担上述被摄体像的各颜色成 分进行摄像，上述多个子摄像模块中对上述被摄体像的同色成分进行摄像的至少两个子摄像模块， 具有使得到上述最佳焦点时的上述被摄体距离相互不同的上述摄像透镜。
3.如权利要求2所述的摄像模块，上述同色成分是绿色成分。
4.如权利要求1所述的摄像模块，上述多个子摄像模块的上述摄像透镜构成透镜组件。
5.如权利要求1所述的摄像模块，将上述多个子摄像模块中的一个子摄像模块作为基 准子摄像模块，基于上述基准子摄像模块以外的子摄像模块产生的上述被摄体像的成像位置，相对于 基于上述基准子摄像模块产生的上述被摄体像的成像位置发生位移。
6.如权利要求1所述的摄像模块，还具有实施上述被摄体像的解析度复原处理的解析度复原单元、 推测上述被摄体像的上述被摄体距离的被摄体距离推测单元、和 根据上述被摄体距离推测单元中推测的上述被摄体距离选择反卷积矩阵的矩阵选择 单元，上述解析度复原单元根据上述矩阵选择单元选择的上述反卷积矩阵，按照每个由上述 子摄像模块得到的图像数据实施上述解析度复原处理。
7.如权利要求6所述的摄像模块，上述被摄体距离推测单元根据使得到上述最佳焦点 时的上述被摄体距离相互不同的上述至少两个子摄像模块得到的上述图像数据，推测上述 被摄体距离。
8.如权利要求7所述的摄像模块，上述被摄体距离推测单元通过对由上述至少两个 子摄像模块得到的上述图像数据经数值化后的空间频率特性进行比较，推测上述被摄体距1 。
9.一种图像处理装置，具有解析度复原单元，对由多个子摄像模块摄像得到的被摄体像实施解析度复原处理、 被摄体距离推测单元，推测上述子摄像模块与被摄体之间的被摄体距离、和 矩阵选择单元，根据在上述被摄体距离推测单元中推测的上述被摄体距离，选择反卷 积矩阵，上述解析度复原单元根据由上述矩阵选择单元选择的上述反卷积矩阵，按照每个由上 述子摄像模块得到的图像数据实施上述解析度复原处理。
10.如权利要求9所述的图像处理装置，上述多个子摄像模块含有得到最佳焦点时的 上述被摄体距离相互不同的至少两个子摄像模块，上述被摄体距离推测单元根据由上述至少两个子摄像模块得到的上述图像数据，推测 上述被摄体距离。
11.如权利要求10所述的图像处理装置，上述被摄体距离推测单元通过对由上述至少 两个子摄像模块得到的上述图像数据经数值化后的空间频率特性进行比较，推测上述被摄 体距离。
12.如权利要求10所述的图像处理装置，在上述被摄体距离推测单元中，当推测为上 述被摄体距离为临近距离时，上述矩阵选择单元对于由具有在无穷远处得到最佳焦点的上 述摄像透镜的上述子摄像模块得到的上述图像数据，选择用于实施在临近距离处的上述解 析度复原处理的上述反卷积矩阵，在上述被摄体距离推测单元中，当推测为上述被摄体距离为无穷远时，上述矩阵选择 单元对于由具有在临近距离处得到最佳焦点的上述摄像透镜的上述子摄像模块得到的上 述图像数据，选择用于实施在无穷远处的上述解析度复原处理的上述反卷积矩阵。
13.如权利要求12所述的图像处理装置，上述解析度复原处理单元对于根据上述矩阵 选择单元选择的上述反卷积矩阵实施上述解析度复原处理以外的上述图像数据，不实施上 述解析度复原处理而输出。
14.一种图像记录方法，通过多个子摄像模块对被摄体像进行摄像，上述多个子摄像模 块中含有得到最佳焦点时的子摄像模块与被摄体之间的被摄体距离相互不同的至少两个 子摄像模块，实施上述被摄体像的解析度复原处理，推测上述被摄体像的上述被摄体距离，根据推测的上述被摄体距离选择反卷积矩阵，根据选择的上述反卷积矩阵，按照每个由上述子摄像模块得到的图像数据实施上述解 析度复原处理。
15.如权利要求14所述的图像记录方法，通过上述多个子摄像模块分担上述被摄体像 的各颜色成分进行摄像，通过得到上述最佳焦点时的上述被摄体距离相互不同的上述至少两个子摄像模块，对 上述被摄体像的同色成分进行摄像。
16.如权利要求14所述的图像记录方法，根据由得到上述最佳焦点时的上述被摄体距 离相互不同的上述至少两个子摄像模块得到的上述图像数据，推测上述被摄体距离。
17.如权利要求16所述的图像记录方法，通过对由上述至少两个子摄像模块得到的上 述图像数据经数值化后的空间频率特性进行比较，推测上述被摄体距离。
18.如权利要求16所述的图像记录方法，当推测为上述被摄体距离为临近距离时，对 于由在无穷远处得到最佳焦点的上述子摄像模块得到的上述图像数据，选择用于实施在临 近距离处的上述解析度复原处理的上述反卷积矩阵，当推测为上述被摄体距离为无穷远时，对于由在临近距离处得到最佳焦点的上述子摄 像模块得到的上述图像数据，选择用于实施在无穷远处的上述解析度复原处理的上述反卷 积矩阵。
19.如权利要求18所述的图像记录方法，对于根据选择的上述反卷积矩阵实施上述解 析度复原处理以外的上述图像数据，不实施上述解析度复原处理。
20.如权利要求14所述的图像记录方法，将上述多个子摄像模块中的一个子摄像模块 作为基准子摄像模块，使基于上述基准子摄像模块以外的子摄像模块产生的上述被摄体像的成像位置，相对 于基于上述基准子摄像模块产生的上述被摄体像的成像位置发生位移。
全文摘要
摄像模块、图像处理装置及图像记录方法，根据实施方式，摄像模块具有多个子摄像模块。上述子摄像模块具有摄像元件和摄像透镜。上述多个辐摄像模块中的至少两个具有得到最佳焦点时的被摄体距离相互不同的上述摄像透镜。
文档编号H04N5/232GK102111544SQ20101060561
公开日2011年6月29日 申请日期2010年12月24日 优先权日2009年12月24日
发明者小笠原隆行 申请人:株式会社东芝