1] 如上面描述，不与图像105重叠的部分中的像素在图像105的目标部分图像中被设 置为"〇"，目标部分图像作为逆变换滤波器的卷积运算的目标，但不限于此。例如，作为不与 图像105重叠的目标部分图像的部分中的像素，可以使用关于目标部分图像的中心数据作 为参照折叠与图像105重叠的目标部分图像的部分中的像素的情况下的像素。
[0192] 具体地，采用图16(a)的目标部分图像131a作为示例给出描述。假设目标部分图像 131a的像素的名称类似于图15中例示的目标部分图像131a的那些。在此情况下，目标部分 图像131a的不与图像105重叠的部分中的像素是像素 All至A15、A21至A25、A31、A32、A41、 A42、A51和A52。此外，目标部分图像131a的与图像105重叠的部分中的像素是像素 A33至 A35、A43至A45和A53至A55。
[0193] 此时，对于像素431^32^41^42^51和六52，可以通过关于中心数据作为参照折 叠目标部分图像131a的与图像105重叠的部分中的像素而分别使用像素 A35、A34、A45、A44、 A55和A54的值。此外，对于像素 A13至A15和A23至A25,可以通过关于中心数据作为参照折叠 目标部分图像131a的与图像105重叠的部分中的像素而分别使用像素 A53至A55和A43至A45 的值。对于像素六11^12^21和422，可以使用在目标部分图像131&的与图像105重叠的部分 中的像素之中处于关于中心数据作为参照的点对称位置关系的像素的值，换言之，A55、 A54、A45和A44的值。在如上面描述的这种方法中，可以确定目标部分图像的每个像素。
[0194] 接下来，按照如上所述已经通过逆滤波器处理单元1436对其执行了滤波处理的图 像，3X3像素被输入到DCT单元1431a中，DCT单元1431a执行离散余弦变换，以将其变换到频 域中，并且输出作为频域中的九个值的相乘值Rl · X'l至R9 · X'9。以这个方式，虽然第一实 施例中在由图12例示的FT单元1431变换到频域之后输出数据的数目是输入数据的数目的 两倍，但是输出数据的数目与在由DCT单元1431a进行的到频域的变换中的输入数据的数目 相同。因此，可以简化DCT单元1431a的电路下游。自然地，可以替代DCT单元1431a和IDCT单 元1435a类似于第一实施例中例示的而使用FT单元和IFT单元。
[0195] 接下来，K计算单元1433a基于上面提及的公式（15)和（23)至（26)中的任一个，分 别从输入的相乘值Rl · X' 1至R9 · X'9计算作为基于频率特性Κ( ω )的校正滤波器的系数的 滤波器系数Kl至Κ9。
[0196] 接下来，减位单元1437j至1437_9降低对于分别从K计算单元1433输出的滤波器 系数Kl至K9的量化位速率，并且输出分别具有降低的量化位速率的滤波器系数Kl至K9。
[0197] 接下来，乘法器1434a_l至1434a_9分别将从DCT单元1431a输出的相乘值Rl · X'l 至R9 · X'9和从减位单元1437_1至1437_9输出的滤波器系数Kl至K9相乘，并且分别输出数 据Rl · Kl · X'l至R9 · K9 · X'9〇
[0198] IDCT单元1435a然后执行将从乘法器1434a_l至1434a_9输出的数据Rl · Kl · X' 1 至R9 · K9 · X'9分别转换为实空间中的值的逆离散余弦变换，并且输出1X1像素。如上面描 述，从IDCT单元1435a输出的像素与通过使用基于与检测到的图像的5X5部分图像的像素 的中心处的像素对应的频率特性R'（ ω )的逆变换滤波器对5X5像素执行滤波处理获得的 像素对应。
[0199] 如上面描述，通过使用图13中例示的配置作为图像处理单元14的滤波器处理单元 143a的配置，可以获得与第一实施例的效果类似的效果。
[0200] 此外，在图13例示的滤波器处理单元143a中，在由逆滤波器处理单元1436通过基 于频率特性R( ω )的逆变换滤波器对检测到的图像的5X5像素执行滤波处理之后，对通过 从滤波后的图像减少像素的数目而获得的3 X 3像素执行DCT单元1431a的校正滤波器下游 的滤波处理。换言之，校正滤波器的抽头的数目被设置为小于基于频率特性R( ω )的逆变换 滤波器的抽头的数目。这是因为，即使输入到K计算单元1433a中的数据的数目减少以通过K 计算单元1433a计算校正滤波器的滤波器系数，也几乎不对图像的劣化有任何影响。从而， 可以进一步简化要实现的滤波器电路。
[0201 ] 通过减位单元1437j至1437_9降低由K计算单元1433a输出的滤波器系数的量化 位速率。然而，这不是根本的。不是必须要求提供减位单元1437_1至1437_9。此外，也能够将 减位单元应用于第一实施例的滤波器处理单元143,并且将它们放置在滤波器处理单元143 中的K计算单元1433的下游。
[0202]实施例可以在抑制噪声的同时恢复作为光学像差的模糊。
[0203]虽然已经为了完整和清楚公开关于具体实施例描述了本发明，但是所附的权利要 求并不因此受限，而是将被理解为包含本领域技术人员可以想到的、合理落入本文阐述的 基本教导内的所有修改和替代结构。
[0204] 参考标号列表 [0205] 1图像捕捉装置
[0206] 2 PC
[0207] 3通信电缆
[0208] 4被摄体
[0209] 11透镜单元
[0210] Ila相位板
[0211] Ilb 光圈
[0212] 12图像捕捉设备
[0213] 14图像处理单元
[0214] 15通信单元
[0215] 21通信单元
[0216] 22操作单元
[0217] 23显示单元
[0218] 24存储单元
[0219] 25外部存储设备
[0220] 26控制单元
[0221] 27 总线
[0222] 101检测到的图像
[0223] IOla纹理部分
[0224] 102,103 区域
[0225] 105 图像
[0226] 121逆变换滤波器
[0227] 131，131&至131【目标部分图像
[0228] 135a至135f 中心数据
[0229] 141图像缓冲器单元
[0230] 143,143a滤波器处理单元
[0231] 500图像捕捉系统
[0232] 1410输入单元
[0233] 1411a 至 Hlld 寄存器
[0234] 1412a 至 1412d 行缓冲器
[0235] 1413a 至 1413e 输出部分
[0236] 1431 FT 单元
[0237] 1431a DCT 单元
[0238] 1432_1 至 1432_50 乘法器
[0239] 1433,1433a K 计算单元
[0240] 1434_1 至 1434_50 乘法器
[0241 ] 1434a_l 至 1434a_9 乘法器
[0242] 1435 IFT 单元
[0243] 1435a IDCT 单元
[0244] 1436逆滤波器处理单元
[0245] 1437_1 至 1437_9 减位单元
[0246] A帧开始时段
[0247] B水平消隐时段
[0248] C帧结束时段
[0249] D垂直消隐时段
[0250] T有效数据时段
[0251]引用列表 [0252]专利文献
[0253]专利文献1:日本专利申请特开第2012-54795号。
【主权项】
1. 一种图像捕捉装置，包括： 光学系统，对入射光给予像差； 图像捕捉单元，将穿过该光学系统的光转换为像素，并且捕捉图像；W及 逆变换单元，获得第一逆变换滤波器用于恢复由该图像捕捉单元捕捉的捕捉图像的每 个预定部分的像差，并且通过第一逆变换滤波器对该捕捉图像执行第一逆变换处理。2. 如权利要求1所述的图像捕捉装置，其中，所述第一逆变换滤波器是基于该光学系统 的像差和该捕捉图像的每个预定部分中的像素的频率特性而获得的滤波器。3. 如权利要求2所述的图像捕捉装置，其中，所述第一逆变换滤波器是最小化被摄体的 理想图像的每个预定部分的像素的频率特性与已经由该逆变换单元执行了第一逆变换处 理的输出图像的每个预定部分的像素的频率特性之间的均方差的滤波器。4. 如权利要求2或3所述的图像捕捉装置，其中，所述第一逆变换滤波器是用于对每个 捕捉图像和作为该捕捉图像的预定部分的该捕捉图像的每个像素恢复像差的滤波器。5. 如权利要求1至4中的任一项所述的图像捕捉装置，其中，所述第一逆变换滤波器的 频率特性R'由下面的公式(1)计算：(R' ：第一逆变换滤波器的频率特性， S' ：理想图像的每个局部部分的频率特性， W:噪声的频率特性， H:光学系统的点扩散函数的频率特性，W及 ? :空间频率）。6. 如权利要求1至5中的任一项所述的图像捕捉装置，其中，所述第一逆变换滤波器的 频率特性是用于恢复整个捕捉图像的像差的第二逆变换滤波器的频率特性与用于校正第 二逆变换滤波器的频率特性的校正滤波器的频率特性的乘积。7. 如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公 式(2)计算：化:校正滤波器的频率特性， S:整个理想图像的频率特性， S' ：理想图像的每个局部部分的频率特性， W:噪声的频率特性， H:光学系统的点扩散函数的频率特性，W及 ? :空间频率）。8. 如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公 式(3)计算：(3) 化:校正滤波器的频率特性， S:整个理想图像的频率特性， s' ：理想图像的每个局部部分的频率特性，W及 ? :空间频率）。9. 如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公 式(4)计算： K(w) = t .E[|S'（w)鬥 （4) 化:校正滤波器的频率特性， t:比例性的常数， S' ：理想图像的每个局部部分的频率特性，W及 ? :空间频率）。10. 如权利要求6至9中的任一项所述的图像捕捉装置，其中，理想图像是在捕捉图像上 操作用于恢复整个捕捉图像的像差的第二逆变换滤波器的图像。11. 如权利要求6至10中的任一项所述的图像捕捉装置，其中，从查找表导出校正滤波 器的频率特性，在该查找表中校正滤波器的频率特性与理想图像的每个预定部分的像素的 频率特性相关联。12. 如权利要求6至11中的任一项所述的图像捕捉装置，其中，校正滤波器的滤波处理 包括对已经被执行了第一逆变换处理的数据执行离散余弦变换的处理。13. 如权利要求6至12中的任一项所述的图像捕捉装置，其中，校正滤波器的抽头的数 目小于第二逆变换滤波器的抽头的数目。14. 如权利要求6至13中的任一项所述的图像捕捉装置，其中，所述逆变换单元通过在 实空间的值的计算，基于第二逆变换滤波器执行第二逆变换处理。15. 如权利要求6至13中的任一项所述的图像捕捉装置，其中，所述逆变换单元通过频 域中的值的计算，基于第二逆变换滤波器执行第二逆变换处理。16. -种图像捕捉系统，包括： 根据权利要求1至15中的任一项所述的图像捕捉装置；W及 信息处理装置，包括 通信单元，从所述图像捕捉装置接收已经被执行了第一逆变换处理的输出图像，W及 显示单元，显示输出的图像。17. -种图像捕捉方法，包括： 对入射光给予像差； 将已经被给予像差的光转换为像素，并且捕捉图像；W及 获得第一逆变换滤波器用于恢复捕捉的图像的每个预定部分的像差，并且通过该第一 逆变换滤波器对捕捉的图像执行第一逆变换处理。
【专利摘要】图像捕捉装置包括：光学系统，对入射光给予像差；图像捕捉单元，将穿过光学系统的光转换为像素，并且捕捉图像；以及逆变换单元，获得第一逆变换滤波器用于恢复由图像捕捉单元捕捉的捕捉图像的每个预定部分的像差，并且通过第一逆变换滤波器对捕捉图像执行第一逆变换处理。
【IPC分类】H04N5/232, G06T5/00
【公开号】CN105594193
【申请号】CN201480052566
【发明人】笠原亮介
【申请人】株式会社理光
【公开日】2016年5月18日
【申请日】2014年9月26日
【公告号】WO2015046625A1