图像处理设备、图像拾取设备以及图像处理方法
【技术领域】
[0001] 本发明涉及图像锐化处理。
【背景技术】
[0002] 已知的反锐化掩模处理向原始图像增加或从原始图像减去在原始图像和通过向 原始图像（输入图像）施加反锐化掩模而获得的模糊图像之间的差，以便使图像锐化。在 模糊图像和输入图像之间差异大的地方图像更加锐化。日本专利公开No. 2010-81263公开 了一种通过向在图像高度方向排列的像素信号施加非对称的一维滤波器来减少光学系统 的点扩散函数（PSF)的影响的方法。
[0003] 但是，传统的反锐化掩模处理使用旋转对称的滤波器作为反锐化掩模，并且难以 对由于PSF的形状杂乱的影响（如非对称像差和弧矢光晕）而劣化的图像进行锐化。具体 地说，在具有大像差的方位方向上的像差校正引起在具有小像差的方位方向上的下冲，而 抑制下冲导致像差的校正不充分。
[0004] 日本专利公开No. 2010-81263的方法只考虑图像高度方向上的非对称性并且校 正滤波器是一维的，并因此不能提高除了图像高度方向之外的方向上的非对称性。图像高 度方向是子午方向（meridional azimuth direction)。另外，传统的方法不能充分地锐化 图像高度方向上的校正，这是因为滤波器的非对称性是通过调整负抽头系数的数量来调整 的，并且滤波器引起与由光学系统的PSF引起的模糊不同的模糊。
[0005] 如上所述，传统的方法不能充分地校正形状杂乱的像差并且使图像锐化。
[0006] 为了给输入图像提供锐化处理，需要该输入图像的图像拾取条件和与图像高度对 应的点扩散函数的数据。但是，预先存储各种图像拾取条件和与图像高度对应的大量数据 需要大量的存储器，并因此是不现实的。
【发明内容】
[0007] 本发明提供具有良好的锐化效果的图像处理设备、图像拾取设备、图像处理方法 和图像处理程序。
[0008] 作为本发明的一个方面的图像处理设备包括：获取单元，被配置为获取通过经由 光学系统进行的图像拾取而生成的图像；以及处理器，被配置为通过使用基于与光学系统 的图像拾取条件对应的光学系统的点扩散函数的信息生成的滤波器来向图像提供反锐化 掩模处理。该滤波器具有二维数据。
[0009] 作为本发明的另一个方面的图像拾取设备包括：图像传感器，被配置为对通过光 学系统形成的物体的光学图像进行光电转换；图像处理器，被配置为处理从图像传感器获 得的图像；以及记录器，被配置为存储光学系统的图像拾取条件和光学系统的点扩散函数 之间的关系。图像处理器从记录器获得与光学系统的图像拾取条件对应的光学系统的点扩 散函数的信息，并且通过使用基于光学系统的点扩散函数的信息生成的滤波器向图像提供 反锐化掩模处理。滤波器具有二维数据。
[0010] 作为本发明的另一个方面的图像处理方法包括以下步骤：获取通过经由光学系统 进行的图像拾取而生成的图像；以及通过使用基于与光学系统的图像拾取条件对应的光学 系统的点扩散函数的信息生成的滤波器来向图像提供反锐化掩模处理。该滤波器具有二维 数据。
[0011] 作为本发明的另一个方面的图像处理程序使计算机执行包括以下步骤的处理：获 取通过经由光学系统进行的图像拾取而生成的图像；以及通过使用基于与光学系统的图像 拾取条件对应的光学系统的点扩散函数的信息生成的滤波器来向图像提供反锐化掩模处 理。该滤波器具有二维数据。
[0012] 作为本发明的另一方面的非暂时性计算机可读存储介质存储图像处理程序。
[0013] 参照附图根据示例性实施例的下列描述，本发明的更多特征和方面将变得清楚。
【附图说明】
[0014] 图1是根据本发明的实施例1、2和3中的每一个实施例的图像拾取设备的框图。
[0015] 图2是根据实施例1、2和3中的每一个实施例的图像处理方法的流程图。
[0016] 图3A和3B是通过反锐化掩模处理进行锐化的模式图。
[0017] 图4A和4B是图像拾取光学系统的PSF在xy平面上的模式图。
[0018] 图5A和5B是用旋转对称的反锐化掩模进行锐化处理的模式图。
[0019] 图6A和6B是用旋转非对称的反锐化掩模进行锐化处理的模式图。
[0020] 图7A和7B是反锐化掩模的模式图和示意性截面图。
[0021] 图8A至8C是根据本发明的图像处理方法的流程图。（实施例1)
[0022] 图9是拜耳阵列的模式图。
[0023] 图10是划分输入图像的方法的说明图。
[0024] 图11是在图像高度方向上对输入图像进行内插的方法的说明图。
[0025] 图12是根据本发明的图像处理方法的流程图。（实施例2)
[0026] 图13是根据本发明的图像处理方法的流程图。（实施例3)
[0027] 图14是根据本发明实施例1的图像处理方法的流程图。
[0028] 图15A至15E是根据实施例4的OTF和PSF的布置的说明图。
[0029] 图16是包括根据实施例4的图像处理设备的图像处理系统的图。
[0030] 图17是根据实施例4的系数数据的说明图。
[0031] 图18是根据实施例4的系数数据的详细说明图。
[0032] 图19是根据实施例4的抽头数和频率间距的说明图。
[0033] 图20是根据实施例4的另一个抽头数和频率间距的说明图。
[0034] 图21是根据实施例4的OTF的重构的说明图。
[0035] 图22是根据实施例4的OTF的重构的详细说明图。
[0036] 图23是根据实施例4的图像处理的修改示例的流程图。
[0037] 图24示出根据本发明实施例5的图像拾取设备的配置。
[0038] 图25是设置在根据实施例5的图像拾取设备中的图像处理器的说明图。
【具体实施方式】
[0039] 下面将参照附图描述本发明的示例性实施例。
[0040] 在对实施例进行具体描述之前，将描述在实施例和图像处理中所使用的术语的定 义。
[0041] [输入图像]
[0042] 输入图像是根据来自图像传感器的输出而生成的数字图像，所述图像传感器对由 图像拾取设备中的图像拾取光学系统（在下文中，简称为光学系统）形成的物体图像进行 光电转换。该数字图像是被包括光学系统（包含诸如透镜和光学滤波器等的光学元件）的 像差的光学传递函数（OTF)劣化的图像。图像传感器包括诸如CMOS和CXD之类的光电转 换元件。图像拾取光学系统可以包括曲面镜（反射表面）。光学系统可以是能从图像拾取 设备上拆卸的（可互换的）。在图像拾取设备中，图像拾取系统由光学系统、图像传感器和 根据来自图像传感器的输出生成数字图像（输入图像）的信号处理电路构成。
[0043] 输入图像的颜色分量具有，例如，RGB颜色分量的信息。要使用的颜色分量可以从 诸如表示亮度、色调和饱和度的LCH颜色空间以及表示亮度和色差的YCbCr颜色空间之类 的其他广泛使用的颜色空间中选择。其他可应用的颜色空间包括，例如XYZ、Lab、Yuv和JCh 颜色空间，并且色温可以额外地被使用。
[0044] 输入和输出图像可以具有在生成（捕捉）输入图像时图像拾取设备中的光学系统 的诸如焦距、光圈值和物距之类的图像拾取条件的信息（在下文中，称为图像拾取条件信 息）。输入和输出图像还可以具有用于校正输入图像的各种校正信息。在其中图像拾取设 备将输入图像输出到分开布置的图像处理设备并且图像处理设备向输入图像提供图像恢 复处理的配置中，输入图像期望地具有图像拾取条件信息和校正信息。图像拾取条件信息 和校正信息可以通过通信从图像拾取设备直接地或间接地传送到图像处理设备，而不是随 着输入图像发送。
[0045] [反锐化掩模处理（锐化处理）]
[0046] 图3A和3B示意性地示出了通过反锐化掩模处理进行的图像锐化。在图3A中，实 线代表将要处理的输入图像，而长虚线（短划线）代表通过向输入图像提供反锐化掩模而 被模糊的图像。短虚线代表经锐化的图像。图3B中的实线代表用于锐化的校正成分（校 正信号）。在图3A和3B中，水平轴代表坐标，垂直轴代表像素值或亮度值。图3A和3B每 个对应于之后描述的图4A和4B中的预定方向（例如，X方向）上的部分。
[0047] 当输入图像由f (X，y)表示并且校正成分由h(x, y)表示时，经锐化的图像g(x, y) 可由表达式⑴表示：
[0048] g(x,y) = f(x,y)+mXh(x,y). . . (I)
[0049] 在表达式⑴中，校正信号h(x，y)乘以常数m并与表示输入图像的f(x，y)相加。 可以改变常数m以调整校正量。常数m可以是均一的，不论输入图像中的位置如何。作为 替代，随着输入图像中的位置变化的调整系数m(x，y)可用来根据输入图像中的位置来调 整校正量。常数m和调整系数m(x，y)可以根据诸如光学系统的焦距、光圈值和物距之类的 图像拾取条件而变化。在后续描述中常数m可用调整系数m(x，y)替换。
[0050] 当反锐化掩模由USM表示时，校正成分h(x, y)表示如下：
[0051] h (x, y) = f (x, y) -f (x, y) *USM (x, y). . . (2)
[0052] 作为替代，表达式（2)的右侧可用表达式（3)重写。USM(x，y)是，例如，USM在坐 标（X，y)处的抽头值。
[0053] h(x,y) = f(x,y)*(5 (x, y)-USM(x, y)). . . (3)
[0054] 符号*表示卷积（卷积积分、乘积和），而符号δ代表其积分为I的δ函数（理 想点图像）。此处的S函数是其抽头数等于USM(x，y)的抽头数并且其值除了中心值为1 以外都为〇的数据。
[0055] 表达式（3)与表达式（2)的不同之处在于处理中使用的计算方法。然而，由于表 达式（3)可通过重写表达式（2)来获得，所以表达式（3)代表与表达式（2)的处理等效的 处理。由于这个原因，下面使用表达式（2)来描述校正成分的生成。
[0056] 表达式（2)计算输入图像f(x，y)和通过用反锐化掩模USM使输入图像f(x，y)反 锐化而获得的图像之间的差，并且生成校正成分h(x，y)。在典型的反锐化掩模处理中，反 锐化掩模USM是诸如高斯滤波器、中值滤波器和滑动平均滤波器之类的平滑滤波器。例如， 当高斯滤波器作为反锐化掩模USM被施加给图3A中用实线示出的输入图像f(x，y)时，通 过使输入图像f(x，y)反锐化而