在不使复原滤波器F进行相位校正的情况下（步骤Sll中的"否"的情况下），复原 滤波器生成部84在多种颜色之间将多种颜色（R、G、B)中的每种颜色的传递函数信息（PSF 或者MTF)混合，根据在该多种颜色之间混合了的传递函数信息（PSF或者MTF)，生成针对亮 度系图像数据进行不使相位分量变化并且仅使振幅分量变化的点图像复原处理的复原滤 波器。即，复原滤波器生成部84生成具有在针对亮度系图像数据的点图像复原处理中不进 行相位校正而仅进行振幅校正的功能的复原滤波器。
[0105] 此外，在针对亮度系图像数据的振幅校正中，并非要对多种颜色（R、G、B)中的每 种颜色进行振幅校正，所以在多种颜色（R、G、B)中的某种或者多种颜色中，有可能发生校 正不足（MTF低于1.0)、过校正（MTF超过1.0)。但是，通过复原滤波器生成部84,在多种颜 色（R、G、B)之间将传递函数信息（PSF或者MTF)混合，根据该混合了的传递函数信息（PSF 或者MTF)，生成进行使调制传递函数MTF平均地接近于" 1"的振幅校正的复原滤波器，从而 能够生成抑制了校正不足以及过校正的良好的复原滤波器。
[0106] 接着，设为通过信息取得部82取得的光学传递函数是由MTF以及PTF构成的复 0TF，另外通过信息取得部82取得的光学传递函数的波动信息表示复OTF的波动，分实施方 式地具体说明复原滤波器生成处理。此外，在以下的实施方式中，将"光学传递函数的波动 信息"简称为"0TF波动"。
[0107] 〈第一实施方式〉
[0108] 在第一实施方式中，在针对亮度系图像数据的点图像复原处理用的复原滤波器的 生成处理中，生成具有与基于颜色的OTF波动相应的复原强度的复原滤波器，从而生成韧 性高的复原滤波器。
[0109] 图9示出用于说明第一实施方式中的复原滤波器生成处理的复原处理模型。但 是，图9所示的复原处理模型只不过是一个例子，也可以应用于其他复原处理模型。
[0110] 在图9中，输入到转换M的各颜色的图像数据的输入像素值（R'，G'，B')、与从 转换M输出的亮度系图像数据的输出像素值（Y'，Cb，Cr)的对应关系由下式显示。
[0111] [算式 1]
[0112]
[0113] 此处，转换M是从RGB颜色空间向亮度系空间（YCbCr颜色空间）的映射。该转换 M仅取决于"如何对被加工的信号施加复原滤波器"这样的、图像处理装置中的信号处理系 统的定义。一般来说，从RGB空间向亮度系空间的转换包括伽马校正，所以需要非线性的转 换，但根据亮度系复原处理的安装方式，也有时为线性转换。
[0114] 图10是示出第一实施方式中的复原滤波器生成处理例的流程的流程图。
[0115] 首先，通过信息取得部82,来取得t、Cb、Cr的概率分布P_R(Y'，Cb，Cr)(步骤 S21) 〇
[0116] 此处，Y'是输入到图9的复原滤波器F的亮度信号的值（输入像素值）。
[0117] P_R V，Cb，Cr)是由数码相机10得到的亮度系图像数据中的颜色的概率分布。 换而言之，，Cb，Cr)是某个表色系的颜色空间上的输入颜色波动。例如在设计光 学系统14时事先求出该，Cb，Cr)。在将平均的颜色假定为白色的情况下，设为Cb =0, Cr = 0〇
[0118] 接着，通过信息取得部82, Wpomr (Y、Cb，Cr)中，取得红（R)、绿（G)、蓝（B)的 各颜色的复 0TF(0TFr，0TFs，OTFb)(步骤 S22)。
[0119] 接着，通过信息取得部82,计算红（R)、绿（G)、蓝（B)的各颜色的复OTF的同时分 布 P· (hR，hc，hB I ω χ，ω y)(步骤 S23)。
[0120] 此处，在同时分布PRSB(hR，h(；，hB| ωχ，coy)中，针对每个空间频率（ωχ，coy)示出R、 G、B的各颜色的复OTF的概率变量为hR，hs以及h 8这样的值的概率。同时分布P RSB (hR，hs， hB I ωχ，coy)如下式那样计算。
[0121] [算式 2]
[0122] I Prgb (hR，hG，hB I ω χ，ω y)
[0123] = J J δ (hR/IR-〇TFR(cox，coy)) δ (hG/IG-〇TFG(cox，coy)) δ (hB/IB-〇TFB(cox，coy))
[0124] Pcolor(Yr ,Cb,Cr)dYr dCbdCr
[0125] 在上式中，δ ()是克罗内克的δ函数。〇TFR(cox，coy)、〇TFs(co x，coy)以及 〇TFB(cox，co y)是作为唯一地确定的设计值的复0TF。与此相对地，hR、hs、hB是在存在输入 颜色波动的情况下的复OTF的概率变量。另外，I R、L、Ib如下式那样定义。
[0126] [算式 3]
[0127]
[0128] 式 2 表示：仅在满足 hR/IR= OTF R(cox，coy)、hG/IG= 0TFG(cox，coy)以及 hB/IB = 〇TFB(c〇x，coy)的情况下，关于Y'、Cb、Cr对IV^Y^CKCr)进行积分，将该积分的结果 设为同时分布P rsb (hR，hs，hB I ω χ，ω y)。即，式2意味着：如果考虑式3,则在复OTF的概率变 量为 hR、hs 以及 1^的情况下，通过针对满MhR/IR= 0TFR(cox，CoyKhyis= 0TFs(cox，coy) 以及hB/I B=0TFB(?x，coy)的颜色的全部组合{I R，Ie，IB}在全部的组合中将这些组合的 产生的可能性丨概率彡相加而得到的结果丨积分值沁来表示同时分布？^^^!^，！^^^， ?y) 〇
[0129] 通过以上所述，能够得到红（R)、绿（G)、蓝（B)的各颜色的复OTF的同时分布 Prgb (hp hG，hB I ω χ，ω y) 0
[0130] 接着，通过信息取得部82,针对每个空间频率（ωχ，coy)，计算特定的表色系中的 复OTF的总集中的复OTF的平均μ以及方差 〇2,（步骤S24)。此处，总集是处于在设计时 预先确定的颜色波动的范围内的复OTF的集合。
[0131] 在本例子中，设为总集中的OTF波动服从复正态分布（Circular symmetric complex normal distribution)，服从该正态分布的同时分布Py将平均μ (ωχ，coy)以及 方差σ2(ωχ，co y)作为参数，由下式表示。
[0132] [算式 4]
[0133]
' V J
[0134] 作为上式中的参数的平均μ (ωχ，coy)以及方差σ 2(ωχ，coy)通过信息取得部82， 如下式那样，通过最大似然估计来计算。
[0135] [算式 5]
[0136]
[0137] KfW I
[0138] 通过以上的步骤S21~S22,根据亮度系图像数据中的颜色的概率分布Pomr (Y^， 〇3,0)、以及各颜色的光学传递函数0^(?：!，〇^)、(^(；(? ；!，〇^)和〇^(?；!，〇^)，设为 光学传递函数的基于颜色的波动服从正态分布，来计算平均μ (ωχ，coy)以及方差σ2(ωχ， ? y) 〇
[0139] 接着，通过复原滤波器生成部84,根据平均μ (ωχ，coy)以及方差。2(ωχ，co y)，来 计算复原滤波器的复原强度（步骤S25)。
[0140] 此处，用于计算复原强度的算式以如下方式得到。首先，反映了特定的表色系中的 总集中的OTF波动的亮度OTF (亮度信号的0TF)如下式那样表示。
[0141] [算式 6]
[0142] OTFy(ωχ, ωγ) = μ (ωχ, ωγ) + Δ μ (ωχ, ωγ)
[0143] 在上式中，Λ μ (ωχ，coy)表示服从平均为〇、方差为σ 2(ωχ，coy)的复正态分布 的概率变量。
[0144] 在点图像复原处理中用于解卷积的维纳滤波器(Wiener filter)中的误差基准被 定义为针对原始图像（基于光学系统的劣化前图像）与复原图像的平方误差，关于输入图 像（劣化图像）以及噪声取平均（或者积分）而得到的结果。在这样的公知的维纳滤波器 的误差基准中，光学传递函数被定义为固定值，所以在直接使用公知的导出式的情况下，针 对基于颜色的OTF波动、亮度系校正所引起的过校正，无法发挥颜色韧性。
[0145] 因此，考虑基于颜色的OTF波动、亮度系校正所引起的过校正，不直接利用公知的 维纳滤波器的导出式，而导入也适用基于颜色的OTF波动的维纳滤波器导出用的误差基 准。在将复原滤波器的频率特性设为f(? x，coy)时，针对信号、噪声、OTF波动取平均而得 到的误差基准J[f]如下式那样表示。
[0146] 「算式 71
[0147]
[0148] 此处，Sy (ωχ，coy)、Ny (ωχ，coy)分别是亮度Y的信号功率、噪声功率。应该求出的 维纳滤波器的频率特性f将上式的J最小化。如果展开上式并关于A μ进行积分，则得到 下式。
[0149] [算式 8]
[0150]
[0151] 此处，表示复共辄。如果用f*(?x，coy)对该式（式8)进行偏微分而设为0， 则应该求出的维纳滤波器的复频率特性f(c〇 x，coy)为下式。
[0152] [算式 9]
[0153]
[0154] 此处，复频率特性f(c〇x，coy)可以说表示复原滤波器的复原强度。
[0155] 如上式所示，通过方差σ 2(ωχ，coy)来表示的波动大的空间频率下，通过减弱复原 强度（增大上式的右边的分母），能够生成针对基于颜色的波动具有韧化的特性的复原滤 波器。关于本例的复原滤波器生成部84,越是基于颜色的OTF波动大的空间频率，则越减弱 复原强度。
[0156] 接着，通过复原滤波器生成部84,生成具有在步骤S25中计算出的复原强度的复 原滤波器（步骤S26)。
[0157] 以在所提供的抽头数内，使现实的复原滤波器的复频率特性近似于通过步骤 S21~S25的工序来求出的复频率特性f(cox，coy)的方式，计算复原滤波器的滤波器系数。
[0158] 在图11中，为了容易理解，仅关于复OTF的实部（MTF)，示出正态分布中的平均 μ(ω)、μ(ω) + σ (ω)、μ(ω) - σ (ω)。如果在不考虑OTF波动而根据平均μ (ω)来 计算复原滤波器的复原强度的情况下，在σ大的空间频率下，有可能发生过校正。因此，在 本发明中，在σ大的空间频率下，计算复原滤波器的复原强度，以达到μ (ω) + 〇 (ω)(或 者接近于μ ( ω ) + σ ( ω ))。
[0159] 如以上说明的那样，根据本实施方式，在亮度系图像数据的点图像复原处理中，能 够可靠地抑制根据输入颜色而与光学传递函数所设想的不同所引起的假象。
[0160] 此外，在不实施相位校正的情况下，在求出的复原滤波器的频率特性中舍弃相位 特性而仅与振幅特性近似，计算复原滤波器的滤波器系数，从而进行复原滤波器生成。
[0161] 〈第二实施方式〉
[0162] 作为在复原滤波器生成处理中应该考虑的OTF波动的主要原因，除了在第一实施 方式中考虑的颜色之外，还可列举光学系统14的制造波动、摄像装置中的摄影时的摄影条 件的波动（例如被摄体距离的测定误差）。以下，作为例子，说明考虑了由光学系统14的制 造导致的OTF波动的、韧性高的复原滤波器生成处理例。另外，由制造导致的OTF波动、由摄 影条件导致的OTF波动是不限于亮度系图像数据而在各颜色的图像数据中也产生的现象。 因此，以下，以生成针对R、G、B的各颜色的图像数据的点图像复原用的复原滤波器的情况 为例来说明。
[0163] 计算与由光学系统14的制造导致的OTF波动相应的复原强度，所以使用与由制造 导致的OTF波动对应的概率分布。
[0164] 首先，通过信息取得部82,取得表示由制造导致的光学系统14的OTF波动的分布 的同时分布？。1^〇1[!，11(；，11[5|0 )!，0^)。
[0165] P0TF(hR，hG，hB| ωχ，coy)是通过光学系统14的制造中的波动发生的机制解析、批 量生产样品测定来得到的固有的信息。如果将空间频率ω χ、coy中的R、G、B各自的复OTF 设为V I hB，则OTF波动服从同时分布Potf (hR，I hB I ω χ，ω y)。此外，在本例子中，设为 P0TF(hR，hs，hB| ωχ，coy)是预先构筑（计算）的。
[0166] 作为构筑？_〇11?，11(；，11」《；!，〇^)时的注意点，可列举如下的问题。通过复〇^，也 能够表现PSF形状的平行移动，但如果在包括平行移动波动（PSF成像位置波动）地模型化 为OTF波动，采用该OTF波动中的OTF的平均的情况下，可能引起无法适当表现现实的平均 的像差而MTF过度地劣化的问题。作为针对该问题的对策，存在根据以基准颜色（例如绿） 的PSF的重心位置为中心而预先进行位置对准的PSF样品（或者OTF样品）来构筑P OTF(hR， ht；，hB I ωχ，coy)的方法。在该方法中，基准颜色的PSF的位置被标准化，但保持颜色之间的 相对的PSF重心坐标的波动信息，个体波动被复原滤波器的复原强度反映。
[0167] 接着，通过信息取得部82,针对每个空间频率（ωχ，coy)计算正态分布中的OTF的 平均μ以及方差σ 2。
[0168] 在本例子中，针对输入到复原滤波器F的R、G、B图像数据（各颜色的图像数 据）的空间频率ω χ、〇^的每个的OTF波动，如下式那样，模型化为复正态分布（Circular symmetric complex normal distribution)。在本例子中，由于是针对R、G、B的各颜色 能够校正的信号处理系统，所以也针对每种颜色求出OTF波动。将表示颜色的指数K设为 K e {R，G，B}，则表示各颜色的OTF波动的同时分布匕被表现为下式。
[0169] [算式 10]
[0170]
[0171] 此处，作为上式中的参数的平均μκ(ωχ，coy)与方差σ κ2(ωχ，coy)如下式那样， 通过最大似然估计来求出。
[0172] [算式 11]
[0173] μκ(οχ，Oy) - J" J" J" hKPRGB (hR，hG，hB I w χ，〇 y) dhRdhGdhB
[0174] σκ ( ω x? ωy)-工工工 Il hf H κ ( ω x，ωy) I I Prgb (hp hG，hB I ω x，ω y) dhRdhGdhB
[0175] 利用通过以上所述得到的各颜色的OTF波动信息，与第一实方式同样地求出复原 滤波器的频率特性，生成具有与该频率特性对应的复原强度的复原滤波器。
[0176] 根据本实施方式，在RGB系图像数据或者亮度系图像数据的点图像复原处理中， 能够可靠地抑制由于光学系统的制造波动（或者摄影条件波动）而与光学传递函数所设想 的不同所引起的假象。另外，不需要光学系统14各自的个体差信息，能够仅根据OTF波动 的概率论上的统计信息来生成复原滤波器。
[0177] 〈第三实施方式〉
[0178] 在第三实施方式中，在针对亮度系图像数据的点图像复原处理用的复原滤波器的 生成处理中，不仅根据基于颜色的OTF波动，还根据光学系统的由制造导