专利名称：利用加权像素差异去噪cfa图像的制作方法
技术领域：
本发明涉及利用偏微分方程技术从色彩滤波阵列图像中产生降低噪声的色彩滤波阵列图像。
背景技术：
单传感器的数字照相机通常采用色彩滤波阵列(CFA)从光敏感像素的单个二维阵列捕捉全色彩信息。CFA包括滤光器由每个像素正检测的光的色彩滤波阵列。因此，每个像素仅从一个色彩接收光，或者在全色或“透明”滤光器的情形下，从所有色彩接收光。为了从CFA图像再现全色彩图像，必须在每个像素位置产生三色值。这通过从相邻像素值插入丢失色彩值来实现。插入处理常常称为CFA插入或去马赛克。 在CFA插入之前，图像数据以稀疏数据集表示法存在，即每个像素仅有一个色彩值。当每个像素有三个或更多色彩值需要处理时，对在这种表示法而不是CFA插入后的图像数据清理噪声或去噪是计算有利的。在现有技术中发现去噪CFA图像的很多方法。若干用于去噪全色彩图像已知方法通过适当调整也可以应用于CFA图像。一个这样的方法是各向异性扩散，偏微分方程(PDE)去噪类型，其首先由Peixma等人在IEEE学报模式分析与机器智能1990年第12卷第629-639页发表的论文“Scale-space and edgedetection using anisotropic diffusion”中描述。Perona等人仅讨论全分辨率灰度(亮度)图像但没有意识到全色彩或CFA图像的去噪。Tschumperle等人在IEEE信号处理杂志2002年9月第5期第16-25页发表的论文 “Diffusion PDEs on vector-valued images” 扩展了 Perona 等人的方法,其包括全色彩图像的去噪，但是没有提及CFA图像。许多方法仅仅分别处理CFA图像内的每个色彩，导致独立的灰度(亮度)去噪操作。发现的例子有 Acharya 等人的题为 “Edge-detection based noise removal algorithm”的美国专利6229578,Gindele等人的题为“Noise cleaning and interpolating sparselypopulated color digital image using a variable noise cleaning kernel，，的美国专利 6625325,Bosco 等人的题为“Noise filter for Bayer pattern image data”的美国专利 7369165, Keshet 等人的题为 “Edge-sensitive denoising and color interpolationof digital images，，的美国专利 7418130 以及 Tsuruokam 的题为“ Imagecapturing systemand computer readable recording medium for recording image processing program，，的美国专利申请2009/0219417。所有这些方法都不能直接降低CFA图像的色度噪声。其他方法处理CFA图像中的亮度和色度噪声两者全部。存在于相同位置的不同通道的结合也称为通道。色度通道，明示或暗示地是红减号绿(R-G)和蓝减号绿(B-G)，或红减号亮度(R-Y)，以及蓝减号亮度(B-Y)。这些方法的例子在Adams Jr.等的题为“Noisecleaning sparsely populated color digital images，，的美国专利申请 2006/0152596中给出，以及 Matsushita 等的题为 “Imaging device, image processing device, imageprocessing method, program for image processing method, and recording mediumhaving program for image processing method recorded thereon，，的美国专利申请2009/0052797中给出。这些方法的问题是虽然色度值，例如R-G易于计算，他们提出不缺乏亮度信息，例如边界和文本细节。这样，反过来，降低了去噪色度信息而没有降级图像亮度信息的能力。Miyano 等人的题为“Automatic white balance adjusting device. ”的美国专利5644358描述了更好的亮度-色度转换。这个转换提供改善的亮度和色度信息隔离而且仍然易于计算。因此，存在去噪CFA图像中的売度和色度彳目息而不需要明不或暗不去马赛克操作方法的需要。
发明内容
根据本发明，其提供一种用于降低由数字图像传感器捕捉的图像中噪声的方法，其中数字图像传感器包括用于至少三个不同通道的光敏感像素的二维阵列，像素被安排为矩形最小重复单元，方法包括利用处理器通过噪声降低处理为第一通道的每个像素确定噪声降低像素值，噪声降低处理包括a)为所述第一通道中央像素周围的多个方向计算本地边界响应加权值组；b)计算所述中央像素的像素值和所述多个方向中第一通道的附近像素的像素值之间的第一像素差异；c)通过结合所述第一像素差异和所述本地边界响应加权值组，计算第一加权像素
差异;d)计算所述中央像素附近的至少一个不同通道像素的像素值和所述多个方向的至少一个不同通道的附近像素的像素值之间的第二像素差异；e)通过结合所述第二像素差异和所述本地边界响应加权值组，计算第二加权像素差异；以及f)通过结合所述第一加权像素差异和所述第二加权像素差异与所述中央像素的像素值，计算所述中央像素的噪声降低像素值。本发明的优势是，在去噪处理之前或作为去噪处理的一部分，不需要完成去马赛克，就降低了 CFA图像的亮度噪声和色度噪声。本发明的进一步优势是，通过在每个像素位置仅去噪单个通道，从而去噪CFA图像需要的计算工作量降低，而不是通常的多个通道。本发明的额外优势是，利用单个处理而不是两个独立处理降低CFA图像中的亮度
噪声和色度噪声。通过下列关于优选实施例和附属权利要求的细节描述，以及通过参考随附的绘图，本发明的这些和其他方面、目标、特性以及优势会更加清晰，易于理解和明白。
图I示出用于实施本发明典型数字照相机的框图；图2示出本发明优选实施例的框图；图3示出本发明优选实施例的去噪单个色彩块详细视图的框图；图4示出本发明优选实施例的去噪CFA亮度块详细视图的框图；、
图5示出本发明优选实施例的去噪CFA色度块详细视图的框图；图6示出从粗糙CFA图像中像素的2x2块；图7示出用于去噪CFA图像的像素邻域；图8示出本发明可选实施例的框图；图9示出本发明第三实施例的框图；以及图10示出利用图9实施例第一和第二像素差异块去噪详细视图的框图。
具体实施方式
在下列描述中，在其通常由软件程序实施的情况下，描述本发明的优选实施例。那些本领域的技术人员应该充分认识到，这样软件的等价物也可以构造在硬件中。因为图像处理算法和系统是已知的，本描述会特别指向根据本发明的系统和方法的算法和系统形成部分。可以从在本领域是已知的系统、算法、组件和元件中选择的没有在本文具体示出或描述，这样算法和系统的其它方面，以及用于生产的硬件或软件和除此以外处理图像信号的包含在其中。如在下列材料中示出和描述的、根据本发明的给定系统，对本发明的实施是有用的、在本文建议或描述的未具体示出的软件是本领域的常规和普通技能。更进一步地，正如本文所使用的，用于完成本发明方法的计算机程序可以存储在计算机可读存储介质中，其可以包括，例如磁存储介质，例如磁盘(硬盘驱动器或软盘)或磁带；光存储介质，例如光盘，光带，机器可读条码；固体电子存储器件，例如随机存取存储器(RAM)，或只读存储器(ROM);或用于存储计算机程序的任意其他器件或介质。因为采用图像器件和用于信号捕捉及纠正，以及用于曝光控制的相应线路的数字照相机是已知的，本描述会特别指向根据本发明的方法和装置的元件形成部分，或更直接配合根据本发明的方法和装置的元件形成部分。本文未具体示出或描述的从本领域已知的技术中选择。待描述实施例的某些方面以软件提供。如在下列材料中示出和描述的、根据本发明的给定系统，对本发明的实施是有用的、在本文建议或描述的未具体示出的软件是本领域的常规和普通技能。现转向图1，其示出采用本发明的图像捕捉器件框图。在这个例子中，图像捕捉器件示出为数字照相机。不过，虽然现在解释的是数字照相机，本发明显然也适用于其他类型的图像捕捉器件。在公开的照相机中，来自主体景象(subject scene)的光10输入到成像阶段11，在这里光由透镜12聚焦形成在固态色彩滤波阵列图像传感器20中的图像。固态色彩滤波阵列图像传感器20将入射光转换为用于每个像素(pixel)的电信号。优选实施例的固态色彩滤波阵列图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS)类型。(APS器件通常称为CMOS传感器，这是因为用互补金属氧化物半导体处理构造他们的性能)具有二维阵列像素的其他类型图像传感器也可以用于提供他们采用本发明图案的图像。用于本发明的固态色彩滤波阵列图像传感器20包括二维阵列色彩像素，其在稍后描述图I后的规范中变得更为清晰。由改变光圈和中性密度(ND)滤光器块13的光瞳块14调节到达固态色彩滤波阵列图像传感器20的光量，中性密度(ND)滤光器块13包括插在光程中的一个或更多ND滤波器。也调节总体光量的是快门18开启的时间。与场景中可用光对应的曝光控制器40由亮度传感器块16测量，并且其控制所有这些三个调节功能。特定照相机配置的描述对本领域技术人员来说是熟悉的，而且许多修改和存在的额外特性是显而易见的。例如，可以增加自动对焦系统，或者透镜是可拆卸和互换的。应当理解本发明可以应用于任何类型的数字照相机，其中类似功能由可选组件提供。例如，数字照相机可以是相对简单的傻瓜数字照相机，其中快门18可以是相对简单的可动叶片快门，或者其类似物，替代更为复杂的对焦平面安排。本发明还可以实践利用包括在非照相机设备，例如移动电话和汽车中的成像组件。从色彩滤波阵列图像传感器20的模拟信号由模拟信号处理器22处理并且应用于模拟-数字(A/D)转换器24。时序发 生器26产生各种时钟信号以选择行数和像素并同步模拟信号处理器22和A/D转换器24的操作。图像传感器阶段28包括色彩滤波阵列图像传感器20，模拟信号处理器22，A/D转换器24，以及时序发生器26。图像传感器阶段28的组件可以是独立构成的集成电路，或者他们可以构造成像通常由CMOS图像传感器完成的单个电路。来自A/D转换器24的数字像素值的造成流存储在与数字信号处理器(DSP) 36相关联的数字信号处理器(DSP)存储器32中。DSP36是本实施例中除了系统控制器50和曝光控制器40之外的三个处理器或控制器中的一个。虽然在多个控制器和处理器中的这个照相机功能控制分区是典型的，在没有影响照相机功能操作和本发明应用的情况下，这些控制器或处理器可以结合成不同方式。这些控制器或处理器可以包括一个或更多数字信号处理器器件，微控制器，可编程逻辑器件，或其他数字逻辑电路。虽然已经描述了这些控制器或处理器的结合，应当清楚的是一个控制器或处理器可以指定完成所有需要的功能。所有这些变化可以完成系统功能并且落在本发明的范围内，以及术语“处理阶段”用于需要包括在一个阶段内的所有这些功能，例如，如图I中的处理阶段38。在示出的实施例中，根据永久存储在程序存储器54，DSP36处理在DSP存储器32中的数字图像数据，并且拷贝到DSP存储器32用于图像捕捉阶段的执行。DSP36执行对用于从事下述图像处理是必要的软件。DSP存储器32可以是随机存取存储器中的任意一个，例如SDRAM。包括用于地址和数据信号通道路径的总线30连接DSP36到其相应的DSP存储器32，A/D转换器24和其他相应组件。系统控制器50基于存储在程序存储器54，可以包括快闪EEPROM或其他非易失性存储器中的软件程序控制照相机的总体操作。这个存储器还可以用于存储图像传感器校验数据，用户设置选择和照相机关闭时必须保存的其他数据。系统控制器50通过指导曝光控制器40操作透镜12，ND滤光器块13，光瞳块14，以及之前描述的快门18，控制图像捕捉顺序，指导时序发生器26操作色彩滤波阵列图像传感器20和相应的元件，以及指导DSP3处理捕捉的图像数据。在捕捉和处理图像后，存储在DSP存储器32中的最终图像文件通过主机接口 57被转移到主计算机中，存储在可移动存储器卡64或其他存储器件中，并且在图像显示器88中为用户显示。系统控制器总线52包括用于地址、数据和控制信号的通道路径，并且连接系统控制器50到DSP36，程序存储器54，系统存储器56，主机接口 57，存储器卡接口 60和其他相关组件。主机接口 57提供用于显示、存储、处理或打印图像数据转移的、到个人计算机或其他主计算机的高速连接。这个接口可以是IEEE1394或USB2. O串行接口或任意其他合适的数字接口。存储器卡64是典型的插在存储卡插槽中的微型快擦写闪存卡(CF)，并且通过存储器卡接口 60连接到系统控制器50。可以应用包括但不限于PC-卡，多媒体卡(MMC)，或安全数字(SD)卡的其他类型存储。处理的图像被拷贝到在系统存储器56中的显示缓冲器中，并且通过视频编码器80连续读出以产生视频信号。这个信号从照相机直接输出用于外部监视器的显示，或由显示控制器82处理并在图像显示器88中展示。这个显示器通常是有源矩阵液晶显示器(IXD)，虽然也可以使用其他类型的显示器。用户接口 68由在曝光控制器40上执行的软件程序和系统控制器50的组合控制，用户接口 68包括取景显示器70，曝光显示器72，状态显示器76，图像显示器88，以及用户输入74的所有或任意组合。用户输入74通常包括按钮，摇臂开关，游戏杆，旋转拨号盘或触摸屏的某些组合。曝光控制器40操作光测量，曝光模式，自动对焦和其他曝光功能。系统控制器50管理在一个或更多显示器，例如在图像显示器88上展示的图形用户界面(⑶I)。GUI通常包括用于做出不同选项选择和检查捕捉图像检验模式的菜单。曝光控制器40接受用户输入的选择曝光模式，透镜光圈，曝光时间(快门速度)，以及曝光指数或ISO速度等级，并且指导用于随后捕捉的相应透镜12和快门18。当手工设置ISO速度等级、光圈和快门速度时，亮度传感器块16用于测量场景的亮度并且为用户提供曝光测光功能作为参考。在这样的情况下，当用户改变一个或更多设置时，测光表指示计在取景器70上展示，告诉用户什么程度图像会曝光过度或曝光不足。在自动曝光模式，用户改变一个设置并且曝光控制器40自动改变另一个设置以保持正确的曝光，例如对于给定的ISO速度等级，当用户减少透镜光圈时，曝光控制器40自动增加曝光时间以保持相同的总体曝光。ISO速度等级是数字照相机的重要属性。曝光时间，透镜光圈，镜片透光，现场照明水平和光谱分布，以及场景反射确定数字照相机的曝光水平。当数字照相机的图像利用不足曝光获得时，通常可以通过增加电子或数字增益保持适当的色调再现，但是由此产生的图像常常包含不可接受数量的噪声。当曝光增加时，增益减少，而且由此可以减少曝光噪声到可接受的水平。若增加过度的曝光，由此产生的在图像亮度区域的信号会超出图像传感器或照相机信号处理的最大信号水平能力这会促使修剪图像亮度以形成均匀的亮度区域，或在图像周围区域“bloom”。因此，指导用户设置恰当曝光是重要的。ISO速度等级倾向于作为这样的指南。为了易于摄影师理解，数字照相机的ISO速度等级应当正好涉及摄影胶片照相机的ISO速度等级。例如，若数字照相机具有IS0200的ISO速度等级，接着相同曝光时间和光圈应当适合IS0200等级的胶片/处理系统。ISO速度等级是为了符合胶片ISO速度等级。不过，电子和基于胶片的成像系统之间的差异排除了确切的等效。数字照相机可以包括可变增益，而且可以在已经捕捉图像数据后，提供数字处理，使得在照相机曝光范围内色调再现的实现成为可能。因此，数字照相机具有速度等级范围是可能的。这个范围定义为ISO速度纬度。为预防混淆，单个值指定为固有ISO速度等级，而ISO速度纬度的上下限指示速度范围，这就是说，包括有效速度等级的范围不同于固有的ISO速度等级。考虑到这点，固有ISO速度是从在数字照相机焦平面的曝光计算的数值以产生具体的照相机输出信号特征。对正常场景的给定照相机系统来说，固有速度通常是产生最大图像质量的曝光指数值，其中曝光指数是和提供给图像传感器的曝光成反比的数值。前述的数字照相机对于本领域的技术人员来说是熟悉的。可能的而且选择用于减少照相机成本、增加照相机特征或改善照相机性能的本实施例的许多变化是显而易见的。下列描述会详细公开根据本发明的、用于捕捉图像的、这个照相机的操作。虽然这个描述是参考了数字照相机，应当理解本发明适应于具有包括用于多个色彩通路像素的图像传感器的图像捕捉设备。在图I中示出的色彩滤波阵列图像传感器20通常包括提供在每个像素将入射光转换为测量的电信号的一种方式的、在硅衬底上构造的二维阵列光敏感像素。由于色彩滤波阵列图像传感器20被曝光，在电子结构件内生成和捕捉每个像素的自由电子。为每个时间阶段捕捉这些自由电子，接着测量捕捉的电子数，或在可以测量光水平的每个像素处测量生成自由电子的速率。在前一种情况下，累积的电荷移出像素阵列到电荷电业测量电路，例如电荷耦合器件(CCD)中，或者可以包括电荷电压测量电路元件的、靠近每个像素的区域中，例如有源像素传感器(APS或CMOS传感器)。无论何时做出参考在下列描述中的图像传感器中时，应当理解其代表图I中的色彩滤波阵列图像传感器20。应当进一步理解所有例子和图像传感器结构的等价物以及本规 范中公开的本发明像素图案是用于色彩滤波阵列图像传感器20的。在图像传感器的上下文中，像素(“图像元素”的缩写)是指分离的感光区域以及与感光区域相关联的电荷转移或电荷测量线路。在数字色彩图像的上下文中，术语像素通常是指具有相关色彩值的、图像中的特定位置。图2示出本发明优选实施例高层次视图的流程图。由图像传感器20 (图I)产生粗糙的色彩滤波阵列(CFA)图像100。由去噪块102通过处理粗糙CFA图像100产生去噪的(噪声降低的)CFA图像104。图3示出根据本发明优选实施例的去噪块102 (图2)的信息描述。去噪单个色彩块106从粗糙CFA图像100产生第一去噪CFA图像。下一步，通过应用对第一去噪CFA图像108的进一步处理，去噪CFA色度块110产生第二去噪CFA图像112。第二去噪CFA图像成为去噪CFA图像104。图4示出去噪单个色彩块106 (图3)的详细描述。计算像素差异块114从粗糙CFA图像100产生像素差异116。计算机本地边界响应加权值块118从像素差异116产生本地边界响应加权值120。计算加权像素差异块122从本地边界响应加权值120产生加权像素差异124。最后,计算第一去噪像素值块126从加权像素差异124广生第一去噪CFA图像 108。在图4中的计算像素差异块114以下列方式计算。图7示出从粗糙CFA图像100的像素域。在下列讨论中，假设像素值6￡被去噪。四个像素差异116 ( δΝ，δ5, δΕ, δ )由计算像素差异块114计算，如在下列方程式中示出δ n=G2-Ge (I)δ S=Ge-Ge (2)δ e=Gg-Ge (3)Sw=Gc-Ge (4)像素差异δ Ν, δ s, δ Ε, δ w,是正去噪像素值(Ge)和相同色彩在上(N= “north”)，下(S= “south”)，右(E= “east”)，左(W= “west”)方向(G2, GK, Gg, Gc)的四个最近像素值之间的差异。一旦计算出像素差异，由计算本地边界响应加权值块118计算本地边界响应加权值。该值由下列方程式计算。
权利要求
1.一种用于降低由数字图像传感器捕捉的图像中噪声的方法，其中所述数字图像传感器包括用于至少三个不同通道的光敏感像素的二维阵列，所述像素被安排为矩形最小重复单元，所述方法包括利用处理器通过噪声降低处理为第一通道的每个像素确定噪声降低像素值，所述噪声降低处理包括 a)为所述第一通道中央像素周围的多个方向计算本地边界响应加权值组； b)计算所述中央像素的像素值和所述多个方向中第一通道的附近像素的像素值之间的第一像素差异； c)通过结合所述第一像素差异和所述本地边界响应加权值组，计算第一加权像素差异； d)计算所述中央像素附近的至少一个不同通道像素的像素值和所述多个方向的至少一个不同通道的附近像素的像素值之间的第二像素差异； e)通过结合所述第二像素差异和所述本地边界响应加权值组，计算第二加权像素差异；以及 f)通过结合所述第一加权像素差异和所述第二加权像素差异与所述中央像素的像素值，计算所述中央像素的噪声降低像素值。
2.根据权利要求I所述的方法，其中所述噪声降低处理被执行多次。
3.根据权利要求I所述的方法，其中所述本地边界响应加权值组仅利用所述第一通道的像素值计算。
4.根据权利要求I所述的方法，其中所述本地边界响应加权值组利用至少两个通道的像素值被计算。
5.根据权利要求I所述的方法，其中所述本地边界响应加权值组利用下述方程式计算
6.根据权利要求I所述的方法，其中所述第一加权像素差异计算如下W= δ · c 其中W是所述第一加权像素差异，C是所述本地边界响应加权值，以及δ是所述第一像素差异。
6.根据权利要求I所述的方法，其中所述第二加权像素差异计算如下 U=D · c 其中U是所述第二加权像素差异，C是所述本地边界响应加权值，以及D是所述第二像素差异。
7.根据权利要求I所述的方法，其中所述噪声降低像素值计算如下V =X+ λ Σ i [Wi+ (Wi-Ui)] 其中X’是所述噪声降低像素值，X是所述中央像素值，λ是所述速率控制常数，Wi是在第ith方向的所述第一加权像素差异，Ui是在第ith方向的所述第二加权像素差异，以及总和是在多个方向i上执行。
8.根据权利要求I所述的方法，其中所述中央像素附近的所述至少一个不同通道的像素是所述多个方向中靠近所述中央像素的像素。
9.根据权利要求I所述的方法，其中所述中央像素附近的所述至少一个不同通道的像素包括至少两个不同通道的像素。
10.根据权利要求I所述的方法，其中所述多个方向包括与所述中央像素相关的上、下、左和右方向。
11.根据权利要求I所述的方法，其中所述至少三个不同通道包括红色、绿色和蓝色通道。
12.根据权利要求I所述的方法，其中所述至少三个不同通道包括至少一个全色通道。
全文摘要
本发明涉及一种用于降低利用数字图像传感器捕捉的图像内噪点的方法，该数字图像传感器具有被安排成矩形最小重复单元的像素，该方法包括通过结合中央像素的像素值和多个方向内第一通道的附近像素的像素值之间的第一像素差异与对应的本地边界响应加权值，计算第一加权像素差异；通过结合多个方向内至少一个不同通道的像素的像素值之间的第二像素差异与对应的本地边界响应加权值，计算第二加权像素差异；以及通过结合第一和第二加权像素差异与中央像素的像素值，为中央像素计算噪点降低的像素值。
文档编号H04N5/357GK102742280SQ201180007672
公开日2012年10月17日 申请日期2011年1月26日 优先权日2010年1月29日
发明者E·O·莫拉莱斯, J·E·亚当斯, M·库马尔 申请人:伊斯曼柯达公司