复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质的制作方法
【技术领域】
[0001] 本发明涉及生成复原滤波器的复原滤波器生成装置以及方法、使用该复原滤波器 进行复原处理的图像处理装置以及方法、具备该图像处理装置的摄像装置、以及用于生成 复原滤波器的程序以及记录介质，该复原滤波器用于进行对于基于多个颜色的每个颜色的 图像数据而生成的亮度系图像数据的复原处理。
【背景技术】
[0002] 存在在通过数码相机等的摄像装置拍摄被摄体而得到的图像中，产生由光学系统 (摄影透镜等）的各种像差所引起的图像劣化的情况。由该像差所引起的图像劣化能够通 过点像分布函数（PSF:Point Spread Function)等而表现。因此，基于PSF等的光学系统 的劣化特性而生成复原滤波器，使用该复原滤波器对图像数据实施点像复原处理（复原处 理），能够降低图像劣化。
[0003] 专利文献1 (尤其，参照段落0043-0048)公开了如下发明：从自摄像设备输入的 图像数据分离亮度分量Y，使用该亮度分量Y( = WrXR+WgXG+WbXB)中的R、G、B的系数 (Wr，Wg，Wb)，合成R、G、B各颜色的点像分布函数（PSFr，PSFg，PSFb)，从而取得亮度分量的 点像分布函数PSFy ( = Wr X PSFr+WgX PSFg+Wb X PSFb)，基于该亮度分量的点像分布函数 PSFy而计算对于亮度分量Y的校正系数。
[0004] 专利文献2公开了如下发明：在选择了振幅特性作为复原滤波器的调整参数的情 况下，根据用户通过调整杆进行了调整的量，变更复原滤波器的增益（振幅特性），在选择 了相位特性作为调整参数的情况下，根据用户通过调整杆进行了调整的量，变更复原滤波 器的相位角（相位特性）。
[0005] 专利文献3公开了如下发明：通过相对的平行移动而降低点像分布函数的颜色分 量间的差异（色差），并基于该点像分布函数而生成复原滤波器。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1 :特开2010-140442号公报
[0009] 专利文献2 :特开2011-193277号公报
[0010] 专利文献3 :特开2012-129932号公报
【发明内容】
[0011] 发明要解决的课题
[0012] 专利文献1中记载的发明存在如下问题：由于只对校正对象的图像数据的亮度分 量进行校正，所以虽然在全部颜色中能够将R、G、B的相位偏移量平均地恢复，但在特定的 波长的颜色中发生相位偏移的过度恢复（过校正）。尤其，在对亮度系图像数据进行相位校 正的情况下，与对多个颜色（R，G，B)的各颜色的图像数据（R图像数据、G图像数据、B图像 数据）单独进行相位校正的情况不同地，容易产生相位的过校正。若相位成为过校正，则有 时产生假象（Artifact)，画质反而会劣化。
[0013]专利文献2中记载的发明存在如下问题：虽然能够通过用户输入而对复原滤波器 的振幅特性（调制特性）和相位特性单独进行调整，但会发生过校正。
[0014]专利文献3中记载的发明存在如下问题：虽然能够生成对于色差校正后的图像数 据的复原滤波器，但会发生过校正。
[0015] 本发明的目的在于，提供一种复原滤波器生成装置以及方法、图像处理装置以及 方法、摄像装置、以及程序以及记录介质，其在对亮度系图像数据进行复原处理的情况下， 能够防止作为相位偏移的过度恢复的过校正。
[0016]用于解决课题的手段
[0017] 为了实现上述的目的，本发明的一个方式提供一种复原滤波器生成装置，生成用 于对亮度系图像数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系 统的摄像单元所得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据， 所述复原滤波器生成装置包括：信息取得单元，按多个颜色的每个颜色取得与光学系统中 的点像分布对应的传递函数信息；以及复原滤波器生成单元，基于由信息取得单元所取得 的传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而 进行亮度系图像数据的相位校正的复原滤波器。
[0018] 作为由信息取得单元所取得的"传递函数信息"，例举如下：PSF(Point Spread Function :也称为"点像分布函数"或者"点扩散函数；对PSF进行傅里叶变换而得到 的 OTF (Optical Transfer Function:也称为"光学传递函数"）；PTF (Phase Transfer Function :也称为"相位传递函数"）；MTF(调制传递函数（Modulation Transfer Function))。此外，"传递函数信息"并不限定于直接表示"相位偏移量"的信息。也可以通 过对"传递函数信息"进行特定的运算处理而计算"相位偏移量"。即，"传递函数信息"包 括间接表示"相位偏移量"的信息。
[0019]在复原滤波器生成单元中的"生成根据多个颜色中的单色的传递函数信息而进行 亮度系图像数据的相位校正的复原滤波器"这样的复原滤波器生成处理中，包括：第一，在 一张亮度系图像数据的整体（一个图像面的整体）中，只使用多个颜色中的单色的传递函 数信息的情况；第二，按一张亮度系图像数据（一个图像面的整体）的每个位置，从多个颜 色的每个颜色的传递函数信息中选择单色的传递函数信息的情况。
[0020] 根据本发明的一个方式，由于生成根据多个颜色中的单色的传递函数信息而进行 亮度系图像数据的相位校正的复原滤波器，所以与对多个颜色的每个颜色的图像数据单独 进行相位校正的情况相比，运算负荷减轻，且能够防止作为相位偏移的过度恢复的过校正。
[0021] 在本发明的一个方式中，复原滤波器生成单元从根据多个颜色的每个颜色的传递 函数信息而分别得到的多个颜色的每个颜色的相位偏移量中，选择绝对值最小的单色的相 位偏移量，生成以与所选择的单色的相位偏移量对应的相位校正量来对亮度系图像数据的 相位偏移进行校正的复原滤波器。由此，即使是在相位偏移量的绝对值成为最小的颜色因 每个光学系统而异的情况下，也能够通过复原滤波器可靠地防止过校正。
[0022] 在本发明的一个方式中，复原滤波器生成单元按图像面内的每个位置选择单色的 相位偏移量，生成根据单色的相位偏移量来对亮度系图像数据的相位偏移进行校正的复原 滤波器。由此，即使是在相位偏移量的绝对值成为最小的颜色因亮度系图像数据中的每个 位置而异的情况下，也能够可靠地防止过校正。此外，即使是在将PSF(点扩散函数（Point Spread Function))用作传递函数信息的情况下，也能够可靠地防止过校正。
[0023] 在本发明的一个方式中，复原滤波器生成单元按每个空间频率选择单色的相位偏 移量，生成根据单色的相位偏移量来对亮度系图像数据的相位偏移进行校正的复原滤波 器。由此，即使是在相位偏移量的绝对值成为最小的颜色因每个空间频率而异的情况下，也 能够可靠地防止过校正。此外，即使是在将依赖频率而定义的PTF(相位传递函数（Phase Transfer Function))用作传递函数信息的情况下，也能够可靠地防止过校正。
[0024] 在本发明的一个方式中，复原滤波器生成单元在多个颜色中相位偏移量的符号不 同的情况下，将对于亮度系图像数据的相位校正量设定为零，在多个颜色的全部中相位偏 移量的符号相同的情况下，选择绝对值最小的单色的相位偏移量，采用与单色的相位偏移 量对应的相位校正量，生成复原滤波器。由此，即使是在多个颜色中相位偏移量的符号不同 的情况下，也能够可靠地防止过校正。
[0025] 在本发明的一个方式中，复原滤波器生成单元包括运算部，该运算部将复原滤波 器的抽头数作为输入参数，且按每个空间频率，将复原滤波器的相位校正量的绝对值作为 光学系统中的相位偏移量的绝对值以下而运算复原滤波器的滤波器系数。这样，由于将复 原滤波器的滤波器系数通过"将复原滤波器的抽头数作为输入参数"且"将复原滤波器的相 位校正量的绝对值作为光学系统中的相位偏移量的绝对值以下"的运算而求出，所以能够 生成能够可靠地防止由存在抽头数限制所引起的过校正的复原滤波器。
[0026] 在本发明的一个方式中，多个颜色中的一个颜色为绿色（G)，信息取得单元取得多 个颜色中的至少绿色（G)的传递函数信息，复原滤波器生成单元生成以与绿色（G)的传递 函数信息对应的相位校正量来对亮度系图像数据的相位偏移进行校正的复原滤波器。这 样，由于只基于绿色（G)的传递函数信息而生成复原滤波器，所以能够生成在绿色中能够 可靠地防止过校正的复原滤波器，且能够生成在其他的颜色中过校正的发生概率也少的复 原滤波器。一般对亮度系图像数据贡献最多的颜色为绿色（G)，所以一般以该绿色（G)的模 糊最少的方式设计光学系统。在这样的情况下，通过生成进行与绿色（G)单色的传递函数 信息对应的相位校正的复原滤波器，关于红色（R)以及蓝色（B)，也能够防止相位校正的过 校正。即，能够非常容易地生成在多个颜色中的任一个颜色中过校正都少的复原滤波器。
[0027] 在本发明的一个方式中，包括切换单元，该切换单元切换是否使复原滤波器进行 对于亮度系图像数据的相位校正，复原滤波器生成单元在使复原滤波器不进行相位校正的 情况下，将传递函数信息在多个颜色间混合，基于在多个颜色间混合的传递函数信息，生成 对亮度系图像数据不改变相位分量而进行点像复原处理的复原滤波器。由此，能够切换是 否使复原滤波器进行对于亮度系图像数据的相位校正，在不进行相位校正的情况下，不需 要对于相位校正所引起的过校正的对应。因此，基于在多个颜色间混合的传递函数信息，生 成对亮度系图像数据不改变相位分量而进行点像复原处理的复原滤波器，能够生成提供良 好的画质的复原滤波器。
[0028] 此外，本发明的其他方式提供一种复原滤波器生成装置，生成用于对亮度系图像 数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所 得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，所述复原滤波器 生成装置包括：信息取得单元，按多个颜色的每个颜色取得与光学系统中的点像分布对应 的传递函数信息；以及复原滤波器生成单元，基于由信息取得单元所取得的传递函数信息 而生成复原滤波器，复原滤波器生成单元将传递函数信息在多个颜色间混合，基于在该多 个颜色间混合而得到的传递函数信息，生成用于对亮度系图像数据不改变相位分量而进行 复原处理的复原滤波器。根据本方式，由于不需要对于相位校正所引起的过校正的对应，基 于在多个颜色间混合的传递函数信息，生成对亮度系图像数据不改变相位分量而进行点像 复原处理的复原滤波器，能够生成提供良好的画质的复原滤波器。
[0029] 在本发明的一个方式中，信息取得单元通过对光学系统中的多个颜色的每个颜色 的点像分布函数分别进行傅里叶变换，取得光学系统中的多个颜色的每个颜色的光学传递 函数，在使复原滤波器不进行相位校正的情况下，复原滤波器生成单元将作为各颜色的光 学传递函数的振幅分量的各颜色的调制传递函数在多个颜色之间混合，基于在多个颜色之 间混合而得到的调制传递函数，生成对亮度系图像数据不改变相位分量而进行复原处理的 复原滤波器。
[0030] 在本发明的一个方式中，信息取得单元取得表示在生成亮度系图像数据前是否对 多个颜色的每个颜色的图像数据实施倍率色差校正的倍率色差校正信息，在基于倍率色差 校正信息而检测出实施倍率色差校正的情况下，复原滤波器生成单元对由信息取得单元所 取得的各颜色的传递函数信息进行倍率色差校正中的校正量的坐标移动处理，将进行了坐 标移动处理之后的各颜色的传递函数信息在多个颜色间混合。由此，能够生成即使是在对 多个颜色的颜色间的位置偏移（倍率色差）进行校正的情况下，也能够可靠地防止过校正 的复原滤波器。
[0031] 在本发明的一个方式中，光学系统具有透镜部，该透镜部对相位进行调制而使景 深扩大。
[0032] 此外，本发明的其他方式提供一种图像处理装置，包括：图像数据取得单元，取得 亮度系图像数据，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个颜色 的每个颜色的图像数据而生成的与亮度有关的图像数据；复原滤波器存储单元，存储由上 述的复原滤波器生成装置所生成的复原滤波器；以及复原处理单元，对由图像数据取得单 元所取得的亮度系图像数据，使用在复原滤波器存储单元中存储的复原滤波器而实施复原 处理。
[0033] 此外，本发明的其他方式提供一种图像处理装置，包括复原滤波器生成装置。
[0034] 此外，本发明的其他方式提供一种摄像装置，包括：摄像单元，具有光学系统，且输 出多个颜色的每个颜色的图像数据；以及图像处理装置。
[0035] 此外，本发明的其他方式提供一种复原滤波器生成方法，生成用于对亮度系图像 数据进行复原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所 得到的多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，其中，所述复原 滤波器生成方法包括以下步骤：信息取得步骤，按多个颜色的每个颜色取得与光学系统中 的点像分布对应的传递函数信息；以及复原滤波器生成步骤，基于通过信息取得步骤而取 得的传递函数信息而生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息 而进行亮度系图像数据的相位校正的复原滤波器。
[0036] 此外，本发明的其他方式提供一种图像处理方法，包括以下步骤：图像数据取得步 骤，取得亮度系图像数据，该亮度系图像数据作为是由具有光学系统的摄像单元所得到的 多个颜色的每个颜色的图像数据而生成的与亮度有关的图像数据；以及复原处理步骤，使 用所生成的复原滤波器，对在图像数据取得步骤中取得的亮度系图像数据实施复原处理。
[0037] 此外，本发明的其他方式提供一种程序，用于生成用于对亮度系图像数据进行复 原处理的复原滤波器，该亮度系图像数据是基于由具有光学系统的摄像单元所得到的多个 颜色的每个颜色的图像数据而生成的与亮度有关的图像数据，所述程序用于使计算机执行 如下步骤：信息取得步骤，按多个颜色的每个颜色取得与光学系统中的点像分布对应的传 递函数信息；以及复原滤波器生成步骤，基于通过信息取得步骤而取得的传递函数信息而 生成复原滤波器，并且，生成根据多个颜色中的单色的传递函数信息而进行亮度系图像数 据的相位校正的复原滤波器。
[0038] 发明效果
[0039] 根据本发明，在通过进行亮度系图像数据的相位校正而比按每个颜色进行相位校 正时减轻运算负荷的情况下，能够防止作为相位偏移的过度恢复的过校正。
【附图说明】<