复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质的制作方法
【技术领域】
[0001] 本发明涉及生成用于针对根据多种颜色中的每种颜色的图像数据来生成的亮度 系图像数据进行复原处理的复原滤波器的复原滤波器生成装置以及方法、使用该复原滤波 器来进行复原处理的图像处理装置以及方法、具备该图像处理装置的摄像装置、用于生成 复原滤波器的程序、以及记录介质。
【背景技术】
[0002] 在通过数码相机等摄像装置来对被摄体进行摄像而得到的图像中，有时产生由光 学系统（摄影透镜等）的各种像差引起的图像劣化。该像差所导致的图像劣化能够通过点 图像分布函数（PSF:Point Spread Function)等来表现。因此，根据PSF等光学系统的劣 化特性来生成复原滤波器，使用该复原滤波器来针对图像数据实施点图像复原处理（复原 处理），从而能够降低图像劣化。
[0003] 专利文献1(特别是参照第[0043] - [0048]段）公开了如下发明：从由摄像设备 输入了的图像数据中分离亮度分量Y，使用该亮度分量Y ( = Wr X R+Wg X G+Wb X B)中的R、 G、B的系数（Wr，Wg，Wb)，来合成R、G、B各颜色的点图像分布函数（PSFr，PSFg，PSFb)，从而 取得亮度分量的点图像分布函数PSFy ( = Wr X PSFr+WgX PSFg+Wb X PSFb)，根据该亮度分 量的点图像分布函数PSFy来计算针对亮度分量Y的校正系数。
[0004] 专利文献2公开了如下发明：在作为复原滤波器的调整参数而选择了振幅特性的 情况下，根据用户用调整杆调整了的量，来变更复原滤波器的增益（振幅特性），在作为调 整参数而选择了相位特性的情况下，根据用户用调整杆调整了的量，来变更复原滤波器的 相位角（相位特性）。
[0005] 专利文献3公开了如下发明：通过相对的平行移动来降低点图像分布函数的颜色 分量间的差异（色像差），根据该点图像分布函数来生成复原滤波器。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1 :日本特开2010 - 140442号公报
[0009] 专利文献2 :日本特开2011 - 193277号公报
[0010] 专利文献3 :日本特开2012 - 129932号公报
【发明内容】
[0011] 发明所要解决的课题
[0012] 专利文献1中记载的发明仅校正校正对象的图像数据的亮度分量，所以能够在全 部的颜色中使R、G、B的相位偏移量平均地返回，但存在在特定的波长的颜色中发生相位偏 移的过度返回（过校正）的问题。特别是，在针对亮度系图像数据进行相位校正的情况下， 与针对多种颜色（R、G、B)的各颜色的图像数据（R图像数据、G图像数据、B图像数据）单 独进行相位校正的情况不同，容易产生相位的过校正。如果相位成为过校正，则有时产生假 象，反而画质劣化。
[0013] 专利文献2中记载的发明能够通过用户输入，单独地调整复原滤波器的振幅特性 (调制特性）与相位特性，但针对R、G、B各颜色的图像数据，进行复原处理，未触及在仅校 正亮度分量的情况下产生的特定的颜色中的过校正的问题，如果直接应用于仅对亮度分量 的校正，则发生过校正。
[0014] 专利文献3中记载的发明能够生成针对色像差校正后的图像数据的复原滤波器， 但同样地针对R、G、B各颜色的图像数据进行复原处理，未触及在仅校正亮度分量的情况下 产生的特定的颜色中的过校正的问题。
[0015] 本发明的目的在于，提供一种在针对亮度系图像数据进行复原处理的情况下能够 根据光学传递函数的波动来降低过校正的复原文件生成装置以及方法、图像处理装置以及 方法、摄像装置、程序、以及记录介质。
[0016] 用于解决课题的技术方案
[0017] 为了达到上述目的，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复 原滤波器用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与 亮度相关的图像数据即亮度系图像数据，进行复原处理，其中，该复原滤波器生成装置备： 信息取得部，取得表示光学系统的光学传递函数的取决于颜色的波动的波动信息；以及复 原滤波器生成部，生成复原滤波器，复原滤波器生成部根据通过信息取得部取得的波动信 息来生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没 有取决于颜色的波动而确定的理想滤波器的复原强度相比，使复原强度减弱。
[0018] 此处，作为"光学传递函数"，可列举例如PSF(Point Spread Function :也称为 "点图像分布函数"或者"点扩散函数"），对PSF进行傅立叶变换而得到的OTF(Optical Transfer Function)、PTF(Phase Transfer Function :也称为"相位传递函数"）、 MTF(Modulation Transfer Function:也称为"调制传递函数"或者"振幅传递函数"）。另 外，"光学传递函数"不直接限定于表示"振幅"以及"相位"中的至少一个的信息。也可以 通过针对"光学传递函数"进行特定的运算处理，计算"振幅"以及"相位"中的至少一个。 即，"光学传递函数"间接地包括表示"振幅"以及"相位"中的至少一个的信息。
[0019] 另外，"光学系统的光学传递函数的基于颜色的波动"是指光学系统中的各颜色的 光学传递函数间的波动。
[0020] 根据本发明，具备生成复原滤波器的复原滤波器生成部，复原滤波器生成部根据 所取得的波动信，生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度， 与假定为没有取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度，所 以在生成用于针对亮度系图像数据进行复原处理的复原滤波器的情况下，能够生成降低了 光学传递函数的基于颜色的波动的过校正的韧性高的复原滤波器。
[0021] 在本发明的一种实施方式中，表示光学传递函数的基于颜色的波动的信息（光学 传递函数的波动信息）是取决于颜色的波动设为服从正态分布而计算出的光学传递函数 的方差。由此，防止生成具有仅针对亮度系图像数据上的特定的颜色而偏差了的复原强度 的复原滤波器。
[0022] 在本发明的一种实施方式中，信息取得部取得各颜色的光学传递函数，根据各颜 色的光学传递函数来计算取决于颜色的波动。由此，即使没有特地准备表示光学传递函数 的基于颜色的波动的信息，如果仅准备有各颜色的光学传递函数，则能够生成具有针对基 于形成亮度系图像数据的所有颜色的光学传递函数波动而没有偏差的可靠的复原强度的 复原滤波器。
[0023] 在本发明的一种实施方式中，信息取得部设为取决于颜色的波动服从正态分布而 计算光学传递函数的平均以及方差，复原滤波器生成部根据光学传递函数的平均以及方差 来生成复原滤波器。由此，防止生成具有仅针对亮度系图像数据上的特定的颜色而偏差了 的复原强度的复原滤波器。
[0024] 在本发明的一种实施方式中，复原滤波器生成部根据平均以及方差的项被设置于 分母的算式来生成复原滤波器。另外，在本发明的一种实施方式中，复原滤波器生成部针 对每个空间频率计算平均以及方差，根据每个该空间频率的平均以及方差来生成复原滤波 器。由此，根据作为形成亮度系图像数据的所有颜色中的光学传递函数的波动的中心的"平 均"、以及表示形成亮度系图像数据的所有颜色中的光学传递函数波动的"方差"，来生成光 学传递函数的基于颜色的波动（方差）越大则越减弱复原强度的复原滤波器。
[0025] 在本发明的一种实施方式中，复原滤波器生成部生成在取决于颜色的波动越大的 空间频率下越使复原强度减弱的复原滤波器。由此，在光学传递函数的波动越大的空间频 率下，复原强度与理想滤波器相比越减弱，所以在光学传递函数的波动小的空间频率下，以 与理想滤波器接近的复原强度来进行复原，同时在光学传递函数的波动大的空间频率下， 能够抑制过校正。
[0026] 在本发明的一种实施方式中，信息取得部取得由摄像装置得到的亮度系图像数据 中的颜色的概率分布以及各颜色的光学传递函数，根据所取得的亮度系图像数据中的颜色 的概率分布以及各颜色的光学传递函数，光学传递函数的取决于颜色的波动设为服从正态 分布，来计算表示该光学传递函数的取决于颜色的波动的信息（波动信息）。由此，如果准 备有亮度系图像数据中的颜色的概率分布与各颜色的光学传递函数，则能够生成具有针对 基于形成亮度系图像数据的所有颜色的光学传递函数波动没有偏差的可靠的复原强度的 复原滤波器。
[0027] 在本发明的一种实施方式中，波动信息包括光学传递函数的至少由光学系统的 制造引起的波动，复原滤波器生成部生成复原滤波器，该复原滤波器与假定为没有由光学 系统的制造引起的波动而确定的理想滤波器的复原强度相比，使复原滤波器的复原强度减 弱。由此，也能够根据光学传递函数的由制造导致的波动来降低过校正。
[0028] 在本发明的一种实施方式中，波动信息包括光学传递函数的取决于摄影条件的波 动，复原滤波器生成部使复原滤波器的复原强度比假定为没有取决于摄影条件的波动而确 定的理想滤波器的复原强度弱。由此，也能够根据光学传递函数的由摄影条件导致的波动 来降低过校正。
[0029] 在本发明的一种实施方式中，复原滤波器生成部至少生成进行伴随着相位复原的 复原处理的复原滤波器。由此，特别是在伴随着相位复原的复原处理中，能够生成针对基于 颜色的波动而韧性高的复原滤波器。
[0030] 在本发明的一种实施方式中，复原滤波器生成部生成进行不伴随着相位复原的复 原处理的复原滤波器。由此，在不伴随着相位复原的复原处理中，能够生成针对基于颜色的 波动而韧性高的复原滤波器。
[0031] 在本发明的一种实施方式中，复原滤波器生成部生成维纳滤波器来作为复原滤波 器。
[0032] 在本发明的一种实施方式中，光学系统具有对相位进行调制而使景深扩大的透镜 部。
[0033] 另外，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于 针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成装 置具备：信息取得部，取得表示光学系统的光学传递函数的、由光学系统的制造引起的波 动的波动信息；以及复原滤波器生成部，生成复原滤波器，波动信息是由光学系统的制造引 起的波动设为服从正态分布而计算出的光学传递函数的方差，复原滤波器生成部根据通过 信息取得部取得的波动信息，来生成复原滤波器，该复原滤波器根据由光学系统的制造引 起的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算复原强度，与假 定为没有由光学系统的制造引起的波动而确定的理想滤波器的复原强度相比，减弱复原强 度。由此，能够生成针对光学传递函数的由光学系统的制造引起的波动降低了过校正的韧 性高的复原滤波器。另外，不生成具有仅在光学系统的特定的个体中偏差了的复原强度的 复原滤波器，能够生成具有针对光学系统的所有个体而没有偏差的可靠的复原强度的复原 滤波器。
[0034] 另外，本发明提供一种复原滤波器生成装置，生成复原滤波器，该复原滤波器用于 针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成装 置具备：信息取得部，取得表示光学系统的光学传递函数的取决于摄影条件的波动的波动 信息；以及复原滤波器生成部，生成复原滤波器，波动信息是取决于摄影条件的波动设为服 从正态分布而计算出的光学传递函数的方差，复原滤波器生成部根据通过信息取得部取得 的波动信息，来生成复原滤波器，该复原滤波器根据取决于摄影条件的波动来减弱复原强 度，通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有取决于摄影条 件的波动而确定的理想滤波器的复原强度相比，减弱复原强度。能够生成针对光学传递函 数的取决于摄影条件的波动降低了过校正的韧性高的复原滤波器。另外，不生成具有仅在 特定的摄影条件中偏差了的复原强度的复原滤波器，能够生成具有针对光学传递函数的取 决于摄影条件的波动而没有偏差的可靠的复原强度的复原滤波器。
[0035] 另外，本发明提供一种图像处理装置，具备：图像数据取得部，取得根据由具有光 学系统的摄像装置得到的各颜色的图像数据来生成的与亮度相关的图像数据即亮度系图 像数据；复原滤波器储存部，储存通过复原滤波器生成装置来生成的复原滤波器；以及复 原处理部，针对由图像数据取得部取得的亮度系图像数据，使用在复原滤波器储存部中储 存了的复原滤波器来实施复原处理。
[0036] 另外，本发明提供一种图像处理装置，具备：图像数据取得部，取得由具有光学系 统的摄像装置得到的图像数据；复原滤波器储存部，储存通过复原滤波器生成装置来生成 的复原滤波器；以及复原处理部，针对由图像数据取得部取得的图像数据，使用在复原滤波 器储存部中储存的复原滤波器来实施复原处理。
[0037] 另外，本发明提供包括复原滤波器生成装置的图像处理装置。
[0038] 另外，本发明提供一种摄像装置，具备：光学系统；输出多种颜色中的每种颜色的 图像数据的摄像元件；以及图像处理装置。
[0039] 另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于 针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图 像数据即亮度系图像数据进行复原处理，其中，复原滤波器生成方法具备：信息取得步骤， 取得表示光学系统的光学传递函数的取决于颜色的波动的波动信息；以及复原滤波器生成 步骤，生成复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息 来生成复原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有 取决于颜色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。
[0040] 另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于 针对由具有光学系统的摄像装置得到的图像数据进行复原处理，复原滤波器生成方法具 备：信息取得步骤，取得表示光学系统的光学传递函数的、由光学系统的制造引起的波动的 波动信息；以及复原滤波器生成步骤，生成复原滤波器，波动信息是由光学系统的制造引起 的波动设为服从正态分布而计算出的光学传递函数的方差，在复原滤波器生成步骤中，根 据在信息取得步骤中取得的波动信息，来生成复原滤波器，该复原滤波器根据光学传递函 数的由光学系统的制造引起的波动来减弱复原强度，通过根据方差的项被设置于分母的算 式来计算复原强度，与假定为没有由光学系统的制造引起的波动而确定的理想滤波器的复 原强度相比，减弱复原强度。
[0041] 另外，本发明提供一种复原滤波器生成方法，生成复原滤波器，该复原滤波器用于 针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，复原滤波器生成方 法具备：信息取得步骤，取得表示光学系统的光学传递函数的取决于摄影条件的波动的波 动信息；以及复原滤波器生成步骤，生成复原滤波器，在信息取得步骤中取得的波动信息是 取决于摄影条件的波动设为服从正态分布而计算出的光学传递函数的方差，在复原滤波器 生成步骤中，根据在信息取得步骤中取得的波动信息，来生成复原滤波器，该复原滤波器根 据取决于摄影条件的波动来减弱复原强度，通过根据方差的项被设置于分母的算式来计算 复原强度，与假定为没有取决于摄影条件的波动而确定的理想滤波器的复原强度相比，减 弱复原强度。
[0042] 另外，本发明提供一种图像处理方法，具有：图像数据取得步骤，取得根据通过具 有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关的图像数据即亮度 系图像数据；以及复原处理步骤，使用通过复原滤波器生成方法来生成的复