滤波器电路、图像处理设备、成像设备和图像处理方法

专利名称：滤波器电路、图像处理设备、成像设备和图像处理方法
技术领域：
本发明涉及在保存图像边缘的同时对图像进行平滑(smooth)的滤波器电路，使 用该滤波器电路的图像处理设备和成像设备，图像处理方法以及计算机程序。
背景技术：
过去，在用于静止图像、运动图像等的图像处理设备中，各种滤波器(滤波器电 路)被用来提高图像质量。作为这些滤波器中的一种，存在被称为双边滤波器(bilateral filter)的滤波器(例如，参见 JP-A-2006-180268)。双边滤波器是一种主要用于噪声去除的非线性滤波器，并且具有如下特性双边 滤波器可以在保存图像边缘的同时实现图像的平滑。为了获得该特性，双边滤波器确定不 仅考虑到像素之间的距离还考虑到像素之间的像素值(亮度)差异的权重。在以下说明中， 可以执行这种处理的滤波器也被称为边缘保存平滑滤波器(edge-preserving smoothing filter)。参考图IOA到IOC简要说明了过去的双边滤波器的处理原理。图IOA到IOC是用于说明一种双边滤波器的滤波器处理的原理的示图，该双边滤 波器具有包括围绕关注像素71的五个抽头(五个像素)的一维滤波器框，即，该双边滤波 器具有1X5像素的最小滤波器框。图IOA是在图IOB所示的关注像素71中在空间方向上 的权重系数(关于位置的权重系数)的分布的示图。图IOB是在关注像素71以及围绕关 注像素71的外围像素72中像素位置和像素电平之间的关系的示图。图IOC是在关注像素 71中在电平方向上的权重系数(关于像素电平的权重系数)的分布的示图。在图IOA到IOC所示的示例中，处理是利用按如下所述方式设置的关注像素71的 像素电平Y2来执行的。首先，在滤波器框中处在位置XO到X5的五个像素中，按以下公式 1来计算权重ffi(i = 0到4)。公式1Wi = Gspace (Xi_X2) XGlevel (Yi_Y2)公式1中的GspaceOO和GleveKy)是各个像素中在空间方向和电平方向上的权 重系数的分布函数。在双边滤波器中，GspaceOO和GleveKy)由高斯函数表示。具体讲， Gspace(x)和Glevel (y)分别由以下公式2和3表示。公式2Gspace (x) = exp [~x2/2 a 2]公式3Glevel (y) = exp [~y2/2 σ 2]在上述公式中，公式2中的χ等于Xi_X2 (i = 0到4)。公式3中的y等于Yi_Y2 (i =0到4)。公式2中的σ表示高斯函数的标准偏差(standard deviation)参数。关注像素71的像素电平Y2通过如下方法被校正(平滑)使用由公式1计算的 像素的权重Wi和像素的电平值Yi来执行以下公式4的算术运算。公式4中的Y2'表示平 滑处理之后的关注像素71的像素电平。
公式4 在过去的双边滤波器的滤波器处理中，平滑可以通过改变在空间方向和电平方向 上的权重系数的分布函数GspaceOO和GleveKy)的标准偏差参数σ来调整。通常，噪 声电平的幅度被认为小于图像边缘的电平幅度。因此，通过将电平方向上的权重系数的分 布函数GleveKy)的ο调整到噪声电平的标准偏差，可以在保存图像边缘的同时只平滑噪声。

发明内容
如上所述，由于双边滤波器在保存图像的边缘的同时可以只平滑噪声，因此双边 滤波器作为用于提高图像质量的滤波器是非常有效的。因此，近年来，存在对于开发具有更 好的特性的边缘保存平滑滤波器的需求。因此，希望提供具有更高性能的边缘保存平滑型滤波器电路、包括该滤波器电路 的图像处理设备和成像设备、图像处理方法以及计算机程序。根据本发明第一实施例，提供了一种包括第一权重系数计算单元、第一权重系数 调整单元、第三权重系数计算单元和校正处理单元的滤波器电路。各个单元的功能如下所 述。第一权重系数计算单元计算关于第一像素和围绕该第一像素布置的多个第二像素的像 素电平的第一权重系数。第一权重系数调整单元在布置在跨第一像素的对称位置上的一对 第二像素的第一权重系数彼此不同时，将这对第二像素的第一权重系数调整为相同的值。 在调整第一权重系数时，第一权重系数调整单元用这对第二像素中具有较小的第一权重系 数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系 数。第三权重系数计算单元将由第一权重系数调整单元计算出的像素的第一权重系数与关 于像素的位置的第二权重系数求积，来计算像素的第三权重系数。校正处理单元使用由第 三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正第一像素的 像素电平。根据本发明的第二实施例，提供了一种图像处理设备，其包括根据第一实施例的 滤波器电路和控制滤波器电路的处理操作的控制单元。根据本发明的第三实施例，提供了一种成像设备，其包括对物体光进行光电转换 以生成图像信号的成像单元以及根据第一实施例的滤波器电路。根据本发明的第四实施例，提供了一种图像处理方法和按下述方式执行处理的计 算机程序。首先，计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的 第一权重系数。随后，在布置在跨第一像素的对称位置上的一对第二像素的第一权重系数 彼此不同时，将这对第二像素的第一权重系数调整为相同的值。在调整第一权重系数时，用 这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的 第一权重系数的第二像素的第一权重系数。随后，将像素的第一权重系数与关于像素的位 置的第二权重系数求积，来计算像素的第三权重系数。通过使用像素的第三权重系数和像 素的像素电平来校正第一像素的像素电平。如上所述，在本发明的实施例中，布置在跨第一像素的对称位置上的一对第二像素的第一权重系数被调整为相同的值。因此，在滤波器电路中，可以在穿过第一像素的所有 方向上分布与第一像素对称的第二像素的第一权重系数，并且使第一权重系数线性化(线 性相位校正)。在本发明的实施例中，用布置在跨第一像素的对称位置上的这对第二像素中具有 较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二 像素的第一权重系数。因此，可以在保存图像的边缘的同时只平滑噪声。如上所述，在本发明的实施例中，不仅可以在保存图像的边缘的同时只平滑噪声， 还可以使第一权重系数线性化(线性相位校正)。因此，根据本发明的实施例可以提供具有 更高性能的边缘保存平滑型滤波器电路。


图1是根据本发明实施例的成像设备的示意性框图；图2是根据本实施例的线性相位边缘保存平滑滤波器的示意性框图；图3是根据本实施例的线性相位边缘保存平滑滤波器的更详细框图；图4是在滤波器框中穿过关注像素的轴方向的示图；图5是用于说明根据本实施例的图像处理方法的过程的流程图；图6A是在权重系数调整之前，在空间方向上的权重系数的分布示例的示图；图6B是在权重系数调整之前，在电平方向上的权重系数的分布示例的示图；图7A是在权重系数调整之后，在空间方向上的权重系数的分布示例的示图；图7B是在权重系数调整之后，在电平方向上的权重系数的分布示例的示图；图8A是在图4的H轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的 曲线图；图8B是在图4的V轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的 曲线图；图8C是在图4的U轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的 曲线图；图9A是在图4的H轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的 曲线图；图9B是在图4的V轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的 曲线图；图9C是在图4的U轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的 曲线图；以及图IOA到IOC是用于说明过去的双边滤波器的处理原理的示图。
具体实施例方式根据本发明实施例的滤波器电路、包括该滤波器电路的图像处理设备和图像处理 方法的具体示例被参考附图按如下顺序进行说明。本发明并不局限于以下说明的示例。1.成像设备的配置示例2.图像处理的过程
3.线性相位边缘保存平滑滤波器的频率特性<1.成像设备的配置示例>在本实施例中，诸如照相机之类的成像设备被说明，作为包括根据本实施例的滤 波器电路的图像处理设备的示例。但是，根据本实施例的滤波器电路不仅可以被应用到成 像设备，也可以被应用到具有图像处理功能的所有设备和系统(例如，显示器、打印机的显 示装置等等)以及包括视频处理应用的设备。当根据本实施例的滤波器电路被应用到成像 设备时，该滤波器电路不仅可以被应用到照相机本身，还可以被应用到具有照相功能(相 机模块)的信息处理设备(例如，便携式终端设备)。在具体说明根据本实施例的滤波器电路以及包括该滤波器电路的成像设备的配 置之前，首先对过去的双边滤波器或者双边滤波器的派生滤波器的问题进行说明。在过去 的双边滤波器中，像素中在电平方向上的权重系数(下文中称之为电平权重系数)的滤波 器特性由复数表示。权重系数的相位相对于空间频率不具有线性相位属性(线性)。因此， 具体讲，在图像边缘附近的区域中，在某些情况下，图像波形失真。该问题被更详细说明。在电平权重系数的相位是线性的的滤波器中，无论像素中 图像的空间频率是否经过滤波器处理，相位的延迟量都是固定的，并且出现群组延迟。在 此情况下，相位的延迟差异不会发生，并且在滤波处理之后，相邻像素之间图像波形不会失 真。但是，当如双边滤波器中那样电平权重系数相对于空间频率具有非线性相位(是非线 性的)时，在滤波器处理之后，相邻像素之间在相位上存在延迟差异。当出现延迟差异时， 由于延迟差异的延迟量根据图像的图样(pattern)而改变，因此图像波形失真。具体讲，在 运动图像中，即使一物体处于静止，由于延迟量根据噪声影响改变，因此物体图像的边缘的 位置也不会静止而总是波动。在本实施例中，对一种边缘保存平滑型滤波器电路以及包括该滤波器电路的成像 设备的配置示例进行了说明，该边缘保存平滑型滤波器电路可以在保持滤波器电路能够在 保存图像边缘的同时实现图像平滑的特性(过去的双边滤波器的特性)的同时解决上述问题。[成像设备的配置]图1示出根据本实施例的成像设备的示意性框图配置。成像设备100包括透镜1、 成像装置(成像单元)2、模数转换器3 (在下文中，称之为ADC)和图像处理单元4。透镜1、 成像装置2、ADC 3和图像处理单元4被从物体光15的入射一侧起按该顺序布置。成像设备100还包括显示处理单元5、显示单元6、控制单元7、存储单元8、操作输 入单元9、外部接口单元(在下文中，称之为外部I/F单元)10、记录和再现处理单元11和 记录介质12。成像设备100的各个单元经由信号线13被直接或间接电连接。透镜1捕获物体光并将物体光聚焦到成像装置2的成像表面(未示出)上。成像 装置2对由透镜1聚焦的物体光进行光电转换以生成图像信号。成像装置2将生成的图像 信号输出到ADC 3。作为成像装置2，例如，可以应用各种类型的图像传感器，例如，CCD(电 荷耦合器件)型和CMOS(互补金属氧化物半导体)型。包括一个成像装置2的成像设备100的配置示例如图1所示。但是，本发明并不 局限于此。当成像设备100例如是彼此独立地获取对应于三种颜色R(红色)、G(绿色)和 B(蓝色)的图像信号的3CCD照相机时，提供三个成像装置2。在此情况下，在包括三个成像装置2的成像装置组和透镜1之间布置将入射光分离成三种颜色R、G和B的颜色分离棱 镜。当成像设备100是ICXD照相机时，在透镜1和成像装置2之间布置滤色镜阵列。ADC 3将从成像装置2输出的模拟图像信号转换成数字图像信号，并将数字转换 后的图像信号输出到图像处理单元4。当CMOS图像传感器被用作成像装置2时，由于对图 像信号的模数转换处理也在成像装置2内部执行，因此不需要ADC 3。图像处理单元4对从ADC 3输出的图像信号应用各种类型的处理，并将处理后的 图像信号输出到显示处理单元5。图像处理单元4包括光学系统和传感器系统校正单元41、 降噪处理单元42、伽马校正单元43和高频增强处理单元44。光学系统和传感器系统校正单元41针对透镜1引起的图像信号的失真执行校正 处理(针对光学系统的校正处理)并针对成像装置2引起的失真执行校正处理(针对传感 器系统的校正处理)。在针对光学系统的校正处理中，光学系统和传感器系统校正单元41 例如执行失真校正、色差(aberration)校正、环境光量丢失校正和闪光校正。在针对传感 器系统的校正处理中，光学系统和传感器系统校正单元41例如执行用于像素的缺陷校正 和阴影(shading)校正。当CMOS图像传感器被用作成像装置2时，光学系统和传感器系统 校正单元41还执行垂直条纹(vertical streak)校正等，作为针对传感器系统的校正处 理。当CXD图像传感器被用作成像装置2时，光学系统和传感器系统校正单元41还执行污 点(smear)校正等，作为针对传感器系统的校正处理。降噪处理单元42对从光学系统和传感器系统校正单元41输出的图像信号应用噪 声去除处理，并将经噪声去除处理后的信号输出到伽马校正单元43。在本实施例中，在降噪 处理单元42中设置了电平权重系数相对于空间频率具有线性相位属性(线性)的边缘保 存平滑滤波器50 (在下文中，称之为线性相位边缘保存平滑滤波器)。在本实施例中，一种 配置示例被说明，作为线性相位边缘保存平滑滤波器(滤波器电路)50，在该配置示例中， 过去的双边滤波器被进一步改进以赋予电平权重系数线性相位属性。线性相位边缘保存平 滑滤波器50的配置随后进行详细说明。伽马校正单元43校正从降噪处理单元42输出的图像信号的伽马值，以与显示单 元6的伽马特性匹配。高频增强处理单元44执行用于增强与由经过伽马校正的图像信号 获得的图像的边缘部分(轮廓)相对应的高频分量的校正(轮廓增强校正)。在本实施例中，降噪处理单元42被布置在伽马校正单元43的前级的示例，即，降 噪处理单元42被布置在图像信号具有线性的区域中的示例被说明。但是，本发明并不局限 于此。降噪处理单元42可以布置在伽马校正单元43的后级。换言之，降噪处理单元42可 以布置在图像信号具有非线性的区域中。但是，即使在降噪处理单元42被布置在伽马校正 单元43的后级时，也希望降噪处理单元42的布置位置在高频增强处理单元44的前级。这 是因为即使降噪处理单元42在与图像的边缘部分相对应的图像信号的高频分量被高频增 强处理单元44增强之后对图像信号进行处理，也难以获得足够的降噪效果。显示处理单元5将经过图像处理单元4的各种处理的图像信号转换成具有在显示 单元6中可显示的形式的信号，并将转换后的信号输出到显示单元6。显示单元6可以包 括LCD (液晶显示)或有机EL (电致发光)面板。显示单元6将从显示处理单元5提供的 信号显示为显示屏上的图像。控制单元7包括CPU (中央处理单元)。控制单元7基于从操作输入单元9 (随后将说明)提供的操作信号等来对成像设备100的各个单元执行控制。存储单元8包括ROM(只 读存储器)和/或RAM(随机访问存储器)。图像处理所需的计算机程序和各种数据被存储 在ROM中。RAM被用作用于临时存储控制单元7的各种处理的中间结果的工作区。操作输入单元9包括诸如按钮、拨盘和开关之类的操作装置。操作输入单元9经 由操作装置从用户接收预定的操作输入，生成与操作输入的内容相对应的操作信号，并将 生成的操作信号输出到控制单元7。外部I/F单元10包括可以连接到外部设备的输入和输出端子(未示出)。外部 I/F单元10经由输入和输出端子来执行成像设备100和外部设备之间的数据输入和输出。记录和再现处理单元11被连接到随后将说明的记录介质12。记录和再现处理单 元11执行用于将从图像处理单元4输出的图像信号记录在记录介质12上的处理、用于读 出和再现记录在记录介质12中的图像数据的处理、以及用于将再现的再现信号输出到显 示处理单元5的处理。记录介质12可以包括HDD (硬盘驱动器)、半导体存储器或光盘。记录介质12例 如存储已经经过图像处理单元4的处理的图像信号和由外部的记录装置等记录的图像信号。[线性相位边缘保存平滑滤波器的配置]在图2和3中示出了线性相位边缘保存平滑滤波器(滤波器电路)50的示意性框 图配置。图3是比图2所示更详细地示出线性相位边缘保存平滑滤波器50的内部配置的 示图。在图2和3所示示例中，具有包括3X3个像素的滤波器框的线性相位边缘保存平滑 滤波器50被说明。滤波器框并不局限于3X3个像素，而是可以根据整个视频的大小、应用 等被适当地改变。在本实施例中，以3X3个像素为单位的输入图像信号(图像信号)60被输入到线 性相位边缘保存平滑滤波器50。线性相位边缘保存平滑滤波器50使用3X3个像素中的中 心像素(在下文中，称之为关注像素)61的像素电平和与关注像素61的外围邻近的八个像 素62(在下文中，称之为外围像素)的像素电平来对关注像素61的像素电平进行平滑。在以下说明中，在滤波器框中的像素的位置X和像素电平Y由图2中在从左到右 方向上的索引i ( = 0到2)和图2中在从下到上方向上的索引j ( = 0到2)来表示。例如， 关注像素(第一像素)61的位置和像素电平被分别表示为Xll和Y11。线性相位边缘保存平滑滤波器50包括权重系数处理单元51和加权像素加法单元 (校正处理单元)56。权重系数处理单元51和加权像素加法单元56被从输入图像信号60 的输入一侧起按该顺序布置。权重系数处理单元51分别计算3X3滤波器框中的像素的权重Wi j。如图3所示， 权重系数处理单元51主要包括电平权重系数计算单元(第一权重系数计算单元)52、电平 权重系数调整单元(第一权重系数调整单元)53、空间权重系数提供单元54和求积单元 (第三权重系数计算单元)55。电平权重系数计算单元52计算在3X3滤波器框中的像素的电平权重系数 Wlevelti, j](第一权重系数)。在本实施例中，电平权重系数计算单元52基于3X3滤波 器框中的像素(关注像素61或外围像素(第二像素)62)的像素电平Yij和关注像素61 的像素电平Yll之间的差值(Yij-Yll)来计算电平权重系数Wlevel [i，j]。具体讲，电平权重系数计算单元52根据如下公式5来计算像素的电平权重系数Wlevel [i，j]。公式5Wlevel [i, j] = Glevel (Yij-Yll)为了实现公式5的算术运算，如图3所示，电平权重系数计算单元52包括多个电 平权重系数计算电路52a。在本示例中，由于使用3X3滤波器框，因此在电平权重系数计算 单元52中设置了 9个电平权重系数计算电路52a。在图3中，为了简化说明，只有用于计算 在位置X20和位置X02上的外围像素62的电平权重系数Wlevel [2，0] ^P Wlevel
的 电平权重系数计算电路52a被示出。关注像素61的像素电平Yll和3X3滤波器框中的像素的像素电平Yij被分别输 入到电平权重系数计算电路52a的两个输入端子。电平权重系数计算电路52a基于输入到 其的关注像素61的像素电平Yll和像素的像素电平Yij来根据公式5计算电平权重系数 Wlevelti, j] 0电平权重系数计算电路52a将计算出的电平权重系数Wlevel [i，j]输出到 电平权重系数调整单元53。电平权重系数调整单元53调整电平权重系数Wlevel [i，j]，以使得由电平权重系 数计算单元52计算出的外围像素62的电平权重系数Wlevel [i，j]在穿过关注像素61的 所有轴方向上相对于关注像素61对称。由于诸如双边滤波器之类的边缘保存平滑滤波器 是FIR滤波器，因此可以通过将滤波器系数设置得在一维轴上相对于滤波器的中心对称来 使相位特性线性化。在电平权重系数调整单元53中电平权重系数Wlevel [i，j]被设置得相对于关注 像素61对称的轴方向如图4所示。在四个轴方向之中，两个方向是关注像素61的侧面相对 方向(相对侧面方向)，其余两个方向是关注像素61的对角方向。具体讲，相对侧面方向之 一是从位置XOl上的外围像素62到位置X21上的外围像素62的轴方向(图4中的H(水 平)轴方向)。另一相对侧面方向是从位置XlO上的外围像素62到位置X12上的外围像素 62的轴方向(图4中的V(垂直)轴方向)。对角方向之一是从位置XOO上的外围像素62 到位置X22上的外围像素62的轴方向(图4中的RU(右上)轴方向)。另一对角方向是从 位置X02上的外围像素62到位置X20上的外围像素62的轴方向(RD(右下)轴方向)。电平权重系数调整单元53调整外围像素62的电平权重系数Wlevel [i，j]，以使 得外围像素62的电平权重系数WleVel[i，j]在穿过关注像素61的四个轴方向上相对于关 注像素61对称。具体讲，在本实施例中，电平权重系数调整单元53根据以下公式6调整电 平权重系数Wlevel [i，j]。公式6Wlevel [i, j] = Wlevel [2_i，2_j] = α ij外围像素62的电平权重系数WleVel[i，j]通过根据公式6调整像素的电平权重 系数WleveUi，j]而被设置得相对于关注像素61对称。此外，在本实施例中，电平权重系 数α ij被调整为Wlevel [i，j]和Wlevel [2_i，2_j]中的较小值。换言之，电平权重系数 α ij通过以下公式7来计算。公式7α ij = min(fflevel[i, j], Wlevel [2-i, 2-j])电平权重系数α ij由于下述原因被调整为Wlevel [i，j]和Wlevel [2_i，2_j]中的较小值。通常，由于噪声具有高频分量，因此截止频率(cutoff frequency)从滤波器进行 噪声去除的角度看被设计为截去高频分量。截止频率指的是当滤波器截去某一频带时其增 益在通带(pass band)中的最大增益为_6dB的频率。当截止频率很低时，像素电平的平滑 被加强。当截止频率很高时，在图像中遗留有较高频的信号分量。因此，假设物体图像的边缘被包括在3X3个像素的滤波器中。在此情况下，与边 缘相对应的频率分量被包括在穿过关注像素61的所有方向之中跨边缘的轴方向上的空间 频率特性的高频区域中。因此，希望在跨边缘的轴方向上将滤波器的截止频率设置得高到 一定程度，以保留与边缘相对应的频率分量。另一方面，与边缘相对应的频率分量没有包括 在穿过关注像素61的所有方向之中沿边缘的方向上的空间频率特性中。因此，希望尽可能 地降低截止频率以进一步加强像素电平的平滑。在本实施例中，可以通过将电平权重系数α ij设置为满足公式7来根据边缘方向 改变在轴方向上的截止频率并满足与边缘相对应的轴方向和截止频率之间的两个条件。换 言之，通过根据公式7将电平权重系数α ij设置为在穿过关注像素61的所有方向上对称， 可以在保持电平权重系数的相位的线性的同时实现边缘保存平滑。这在随后将说明的线性 相位边缘保存平滑滤波器的频率特性中将更具体地说明。空间权重系数提供单元54输出3X3滤波器框中的像素的空间权重系数 Wspace [i，j](第二权重系数)。空间权重系数Wspace [i，j]是基于3 X 3滤波器框中的像素 (关注像素61或外围像素62)的位置Xij与关注像素61的位置Xll之间的差值(Xij-Xll) 来计算的。具体讲，像素的空间权重系数WspaCe[i，j]由以下公式8计算。公式8Wspace [i, j] = Gspace(Xij-Xll)空间权重系数WspaCe[i，j]在穿过关注像素61的所有轴方向上对称并具有固定 值。因此，空间权重系数WspaCe[i，j]在3X3滤波器框中的像素中的分布可以预先作为表 存储在空间权重系数提供单元54中。在每次输入3X3个像素的输入图像信号60时，空间 权重系数提供单元54可以根据公式8计算空间权重系数Wspace [i，j]。求积单元55将从电平权重系数调整单元53输出的像素的电平权重系数α ij与 从空间权重系数提供单元54输出的空间权重系数WspaCe[i，j]求积以计算3X3滤波器框 中的像素的权重Wi j。具体讲，求积单元55执行以下公式9的算术运算以计算权重Wi j (第 三权重系数)。公式9Wij = Wspace[i, j] X α ij为了实现公式9的算术运算，如图3所示，求积单元55包括多个求积器55a。在本 示例中，由于使用3X3滤波器框，因此在求积单元55中设置9个求积器55a。在图3中，为 了简化说明，只有用于计算在位置X20和位置X02上的外围像素62的权重W20和W02的求 积器55a被示出。求积单元55将由求积器55a计算的权重Wij输出到随后将描述的加权 像素加法单元56中的求积器57和平均处理单元58。加权像素加法单元56使用从权重系数处理单元51输出的3X3滤波器框中的像 素的权重Wi j对像素的电平值Yi j进行加权，并将加权后的像素的电平值相加并取平均。加权像素加法单元56将以这种方式计算出的电平值设置为在对关注像素61进行平滑处理之 后的电平值Yll'。具体讲，加权像素加法单元56执行以下公式10的算术运算。公式10 为了实现公式10的算术运算，如图3所示，加权像素加法单元56包括多个求积器 57和平均处理单元58。在本示例中，使用3X3滤波器框，因此在加权像素加法单元56中 设置9个求积器57。每个求积器57计算公式10中的分子10_\￥0_”的值。在图3中，为了简化说明， 只有分别用于对位置X20和位置X02上的外围像素62应用“W20XY20”和“W02XY02”的 算术运算的求积器57被示出。求积器57将计算出的“WijXYij”的值输出到平均处理单 元58。平均处理单元58使用从权重系数处理单元51输出的像素的权重Wi j和从求积器 57输出的“WijXYij”的值来执行公式10的算术运算。<2.图像处理的过程〉下面将参考图5来说明本实施例中线性相位边缘保存平滑滤波器50中的图像处 理的过程。图5是用于说明该图像处理过程的流程图。首先，线性相位边缘保存平滑滤波器50获取围绕关注像素61的3 X 3个像素的输 入图像信号60 (步骤Si)。像素的电平值Yij被输入到权重系数处理单元51和加权像素加 法单元56。随后，在权重系数处理单元51中的电平权重系数计算单元52基于公式5计算 3X3个像素中的像素的电平权重系数Wlevel [i，j](步骤S2)。在图6A和6B中，在步骤S2中获得的3 X 3个像素中的像素的权重系数Wlevel [i， j]的分布的示例被示出。图6A是空间权重系数WspaCe[i，j]的分布示例的示图。图6B是 电平权重系数Wlevel [i，j]的分布示例的示图。在图6A和6B中，沿3 X 3个像素中的RD 轴方向(参见图4)出现物体的边缘65的示例被示出。在步骤S2的处理结束时，权重系数Wlevel[i，j]的分布与在过去的双边滤波器中 的处理所获得的分布相同。因此，空间权重系数WspaCe[i，j]的分布(图6A)在所有轴方 向中相对于关注像素61对称。但是，电平权重系数Wlevel [i，j]的分布(图6B)取决于轴 方向相对于关注像素61是不对称的并且具有非线性相位属性(非线性)。随后，电平权重系数调整单元53调整电平权重系数Wlevel [i，j]，以使得3X3个 像素中的像素的电平权重系数Wlevel[i，j]在所有轴方向上都相对于关注像素61对称 (步骤S3 线性相位校正处理)。电平权重系数调整单元53根据公式7调整电平权重系数 Wlevel [i，j]。电平权重系数调整单元53将通过线性相位校正处理计算的像素的电平权重 系数α ij输出到求积单元55。在图7A和7B中，在步骤S3中获得的3X 3个像素中的像素的电平权重系数 fflevel[i, j]的分布示例被示出。图7A是空间权重系数WspaCe[i，j]的分布示例的示图。 图7B是电平权重系数Wlevel [i，j]的分布示例的示图。图7A和7B所示的分布是通过将 步骤S3中针对电平权重系数的调整处理应用到图6A和6B所示的电平权重系数Wlevel [i， j]分布示例而获得的示例。
在图7B所示示例中，在H轴方向上，在位置X21上的外围像素62的电平权重系数 α 21被从1改变到0. 5，以被调整到在位置XOl上的外围像素62的电平权重系数α 01 (= 0. 5)。在V轴方向上，在位置Χ12上的外围像素62的电平权重系数α 12被从1改变到0.3， 以被调整到在位置Xio上的外围像素62的电平权重系数α10( = 0.3)。在RU轴方向上， 在位置Χ22上的外围像素62的电平权重系数α 22被从1改变到0. 1，以被调整到在位置 XOO上的外围像素62的电平权重系数α 00( = 0. 1)。在步骤S3中，如上所述，电平权重系数调整单元53将电平权重系数Wlevel [i，j] 调整为在3X3个像素中在所有轴方向上相对于关注像素61对称。空间权重系数WspaCe[i， j]分布在3X3个像素中的所有轴方向上都是相对于关注像素61对称的且是固定的。随后，求积单元55从空间权重系数提供单元54读出像素的空间权重系数 Wspace [i, j]。求积单元55将输入到求积单元55的空间权重系数Wspace [i，j]的值与经 电平权重系数调整后的像素的电平权重系数α ij的值求积，以计算权重Wij (步骤S4)。求 积单元55将计算出的像素的权重Wij输出到加权像素加法单元56。随后，加权像素加法单元56使用从输入图像信号60直接获得的像素的电平值 Yij和从求积单元55输入的像素的权重Wij来根据公式10计算关注像素61的电平值 Yll'(步骤S5)。具体讲，加权像素加法单元56利用求积器57将从输入图像信号60直接 获得的像素的电平值Yi j和从求积单元55输入的像素的权重Wi j求积，利用平均处理单元 58将求积的值相加，并利用权重Wij对相加的值取平均。加权像素加法单元56将经过平滑处理的关注像素61的电平值Yll'输出到布置 在后级的预定电路(步骤S6)。在本实施例的线性相位边缘保存平滑滤波器50中，关注像 素61的电平值Yll'按上述方式被平滑。<3.线性相位边缘保存平滑滤波器的频率特性〉下面将参考图8A到8C和图9A到9C来说明本实施例中的线性相位边缘保存平滑 滤波器50的电平权重系数的滤波器特性的相位分量和幅度分量(增益)的频率特性。如 上所述，电平权重系数Wlevel [i，j] ( = α ij)的滤波器特性由复数表示。因此，在对电平 权重系数WleveUi，j]的滤波器特性求值时，相位分量和幅度分量两者都需要求值。在以 下说明中，当图7B所示的电平权重系数被用于3X3个像素中的像素时获得的滤波器特性 被说明。首先，在本实施例中的线性相位边缘保存平滑滤波器的电平权重系数的滤波器特 性中的相位分量的频率特性被说明。电平权重系数的滤波器特性中的相位的频率特性如图 8A到8C所示。图8A是在H轴方向上的电平权重系数的滤波器特性的相位的频率特性的 曲线图。图8B是在V轴方向上的电平权重系数的滤波器特性的相位的频率特性的曲线图。 图8C是在RU轴方向上的电平权重系数的滤波器特性的相位的频率特性的曲线图。为了比 较，在图8A到8C中，在线性相位校正处理被应用到电平权重系数时所获得的电平权重系数 的滤波器特性的相位的频率特性(比较示例在过去的双边滤波器中的图像处理)也被示 出。作为比较示例的双边滤波器中的3 X 3个像素中的像素的电平权重系数的分布，使用图 6B所示的分布。在图8A到8C中，横坐标表示空间频率，纵坐标表示电平权重系数的滤波器特性中 的相位。在图8A到8C中用实线指示的频率特性是本实施例的特性。由虚线指示的频率特性是比较示例的特性。在比较示例的双边滤波器中，如图6B所示，电平权重系数的分布在H轴方向、V轴 方向和RU轴方向上是相对于关注像素61不对称的。因此，如图8A到8C中的虚线特性所 指示的，电平权重系数的滤波器特性的相位相对于空间频率波动(是非线性的)。另一方面，在本实施例中的线性相位边缘保存平滑滤波器50中，如图7B所示，电 平权重系数的分布在所有轴方向上都是相对于关注像素61对称的。因此，如图8A到8C中 的实线特性所指示的，电平权重系数的滤波器特性的相位相对于空间频率是固定的。虽然图中没有示出，但是在本实施例以及比较示例中，在沿边缘65的RD轴方向 上，外围像素62的电平权重系数都是相对于关注像素61对称的。因此，在两种情况下，电 平权重系数的相位的滤波器特性的频率特性都是相对于空间频率固定的。从以上描述可以看出，通过将外围像素62的电平权重系数的分布设置为在穿过 关注像素61的所有轴方向上都相对于关注像素61对称而使得相位特性被线性化。因此， 在本实施例中，滤波器处理之后不会在相邻像素之间发生相位上的延迟差异。在滤波器处 理后的图像波形不会失真。下面将说明本实施例中的线性相位边缘保存平滑滤波器的电平权重系数的滤波 器特性中的幅度分量(增益)的频率特性。在图9A到9C中，电平权重系数的滤波器特性 中的幅度的频率特性被示出。图9A是在H轴方向上电平权重系数的滤波器特性中的幅度 的频率特性的曲线图。图9B是在V轴方向上电平权重系数的滤波器特性中的幅度的频率 特性的曲线图。图9C是在RU轴方向上电平权重系数的滤波器特性中的幅度的频率特性的 曲线图。在图9A到9C中，横坐标表示空间频率，纵坐标表示电平权重系数的滤波器特性中 的幅度。在图9A到9C中，在比较示例中的电平权重系数的滤波器特性中的幅度的频率特 性也被示出。在图9A到9C中用实线指示的频率特性是本实施例的特性。用虚线指示的频 率特性是比较示例的特性。在沿边缘65的RD轴方向上，本实施例和比较示例中的电平权 重系数的滤波器特性中的幅度的频率特性是相同的。因此，该频率特性的说明被省略。如在图9A到9C所示的电平权重系数的滤波器特性中的幅度的频率特性所显而易 见，可以看出，在本实施例中，按外围像素62的电平权重系数α ij的小度(smallness)的 顺序，即，按RU轴方向、V轴方向和H轴方向的顺序，截止频率较高。这表明在空间频率特 性的高频区域中剩余的与边缘65相对应的频率分量按RU轴方向、V轴方向和H轴方向的 顺序增大。因此，在本实施例中，可以减小截止频率并增大在沿着边缘65的轴方向上的平 滑，并且增大在跨边缘65的轴方向上的截止频率并保留与边缘65相对应的频率分量。这从图7B所示的外围像素62的电平权重系数α ij的分布中也是显而易见的。 在图7B所示的外围像素62的电平权重系数α ij的分布中，电平权重系数α ij按RU轴方 向、V轴方向和H轴方向的顺序减小。因此，平滑度也按该顺序减小。这表明边缘65附近 的像素之间的电平差异按RU轴方向、V轴方向和H轴方向的顺序增大(边缘变陡峭)，并且 表明在空间频率特性的高频区域中剩余的与边缘65相对应的频率分量增大。当在本实施例中的电平权重系数的滤波器特性中的幅度的频率特性被与比较示 例中的情况相比较时，具体讲，在RU轴方向上的特性中(参见图9C)，在本实施例中，在高频 区域中权重幅度的下降变得非常平缓。因此，在本实施例中，在包括了大量与边缘65相对应的频率分量的轴方向(例如RU轴方向)上，可以包括数量大得多的该频率分量。因此， 可以进一步提高对边缘65的保存。从本实施例中的线性相位边缘保存平滑滤波器50的频率特性可见，可以在保持 过去的边缘保存平滑滤波器的特性的同时对电平权重系数的相位赋予线性。因此，在本实 施例中的线性相位边缘保存平滑滤波器50中，可以抑制图像的失真并实现与过去的边缘 保存平滑滤波器相同的效果。在本实施例中的线性相位边缘保存平滑滤波器50中，除了上 述效果之外，还可以获得下面将说明的效果。过去，存在一种静态滤波器，其权重系数具有线性相位属性(其权重系数总是固 定的)。在这种滤波器中，一般而言，滤波器系数被设置得相对于作为中心点的关注像素呈 放射状对称。另一方面，在本实施例中，外围像素62的电平权重系数被根据外围像素62的 输入像素电平自适应地调整，以便相对于穿过关注像素61的所有轴方向都对称。因此，在 本实施例中，与具有线性相位属性的静态滤波器相比，可以进一步提高对边缘的保存。此外，在本实施例中的线性相位边缘保存平滑滤波器50中，可以减小相位线性化 过程中包含的资源影响(硬件成本)。因此，电路的可能性很高。在本实施例中，已经说明了滤波器框包括3X3个像素的示例。但是，本发明并不 局限于此。例如，即使在使用具有大于3X3个像素的滤波器框时，也可以基于与上述原理 相同的原理来应用本发明。在诸如双边滤波器之类的边缘保存平滑滤波器中，在沿着边缘 的轴方向上的平滑程度被最大化。当滤波器框更大时，可以获得这种效果的滤波器框的轴 方向增多，并因此可以使滤波器框尽可能的大。在本实施例中，已经说明了本发明被应用到过去的双边滤波器的示例。但是，本发 明并不局限于此。例如，诸如ε滤波器、NL(非局部)均值滤波器和三边滤波器之类的双 边滤波器的派生滤波器也具有非线性相位属性。因此本发明也可以被应用到这些滤波器并 且可实现相同的效果。在本实施例中，图像处理设备(成像设备)被配置为专用设备的示例被说明。但 是，本发明并不局限于此。例如，本实施例中的处理可以通过将用于执行本实施例中的图像 处理的软件(计算机程序)安装到连接有所需的外围设备以执行各种数据处理的个人计算 机上来执行。在此情况下，用于执行本实施例中的处理的计算机程序除了通过诸如光盘和 半导体存储器之类的介质被分发之外，还可以经过传输手段(例如因特网)来下载。本申请包含与2009年5月29日递交到日本专利局的日本在先专利申请JP 2009-131290中所公开的内容相关的主题，该在先申请的全部内容通过引用被结合于此。本领域技术人员应该理解，取决于设计需求和其他因素，可以在所附权利要求或 其等同物的范围之内进行各种修改、组合、子组合和变更。
权利要求
一种滤波器电路，包括第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；第三权重系数计算单元，其将由所述第一权重系数调整单元计算出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
2.如权利要求1所述的滤波器电路，其中由所述第一权重系数计算单元计算出的像素的第一权重系数由以像素的像素电平与 所述第一像素的像素电平之间的差值为变量的高斯函数来表示，并且所述像素的第二权重系数由以像素到所述第一像素的距离为变量的高斯函数来表示。
3.一种图像处理设备，包括滤波器电路，其包括第一权重系数计算单元，其计算关于第一像素和围绕该第一像素 布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨 所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素 中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第 二像素的第一权重系数；第三权重系数计算单元，其将由所述第一权重系数调整单元计算 出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重 系数；以及校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重 系数和像素的像素电平来校正所述第一像素的像素电平；以及控制单元，其控制所述滤波器电路的处理操作。
4.一种成像设备，包括成像单元，其对物体光进行光电转换以生成图像信号；以及滤波器电路，其包括第一权重系数计算单元，其计算关于第一像素和围绕该第一像素 布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨 所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素 中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第 二像素的第一权重系数；第三权重系数计算单元，其将由所述第一权重系数调整单元计算 出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重 系数；以及校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重 系数和像素的像素电平来校正所述第一像素的像素电平。
5.一种图像处理方法，包括以下步骤计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时， 用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；将像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权 重系数；以及使用像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
6. 一种安装在计算机上的计算机程序，其致使计算机执行以下处理 用于计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权 重系数的处理；用于在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不 同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较 大第一权重系数的第二像素的第一权重系数的处理；用于将像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第 三权重系数的处理；以及用于使用像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平的 处理。
全文摘要
本发明提供了滤波器电路、图像处理设备、成像设备和图像处理方法。该滤波器电路包括第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系数；第三权重系数计算单元，其将第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及校正处理单元，其使用第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
文档编号H04N5/225GK101902562SQ201010189088
公开日2010年12月1日 申请日期2010年5月24日 优先权日2009年5月29日
发明者川岛学 申请人:索尼公司