专利名称：采用全色像素的边缘绘图的制作方法
技术领域：
本发明涉及通过使用边缘图(edge map )来根据全色图像与彩色图像形成增强的彩色图像。
背景技术：
摄像机与数字静物相机 一 般采用具有滤色器的单个图像传感器来记录场景。此方法是从稀疏分布的单个通道图像开始，其中通过滤色器阵列图案(pattern)来对色彩信息进行编码。随后相邻像素值的内插允许重新构造完整的三通道全彩图像。此全彩图像进而可以被清除噪声、锐化或经色彩校正来改善或增强该图像的外观。可以通过计算该图像的边缘图以便将该图像分类成边缘区域与平坦区域，来大大促进此图像增强。此允许使用针对边缘区域与针对平坦区域执行不同计算的算法。 一普通的方法是直接检测或合成亮度色彩通道，例如"绿色"，而接着由亮度图像产生边缘图。美国专利第6,614,474号(Malkin等人)说明了计算亮度通道及接着根据一组定向边缘检测核(kernel)来产生边缘信息。此方法的问题在于仅有色度变化而无亮度变化的边缘存在检测不到的风险。为解决此问题，美国专利第5,420,971号(Westerink等人)教导计算YUV亮度与色度图像，根据所有三个通道(Y、 U及V)来计算边缘信息以及接着将其组合为L2范数来检测亮度与色度边缘两者。此方法的问题是计算所得的亮度与色度图像的噪声是由原始彩色数据(例如RGB)的噪声来定义。该原始彩色数据中的此噪声水平是由个别色彩通道的光语频率响应的相对狭窄(narrowness)及其他因素来确定。当所捕获的场景的光照良好(例如，晴朗景像)时，则该光谱频率响应的狭窄一般并非问题。当该场景的光照不佳(例如，室内)或曝光时间为减少运动模糊而必定较短(例如，在体育比赛中)时，则该个别色彩通道的光i普频率响应的相对狭窄可能产生有噪声的图像。
在低光照成像情况下，有利的是，在该滤色器阵列中有一或多个像素未经滤波(unfiltered),即，其光谱灵敏度为白色或全色。这些全色像素具有捕获系统的最高光灵敏度能力。采用全色像素表示该捕获系统中在光灵敏度与色彩空间分辨率之间的折衷。为此目的，已说
明许多四色滤色器阵列系统。美国专利第6,529,239号(Dyck等人)教导了布置为在该传感器的表面上棋盘状的2x2块的绿色-青色-黄色-白色图案。美国专利第6,757,012号(Hubina等人)揭示了红色-绿色-蓝色-白 色图案与黄色-青色-品红色-白 色图案二者。 在两个情况下，该色彩皆是布置于在该成像器的表面上棋盘状的2x2块中。此类系统的难点在于该滤色器阵列中仅四分之一的像素具有最高的光灵敏度，从而限制捕获装置的总体低的光性能。
为处理在该滤色器阵列中有更多具有最高光灵敏度的像素的需要，美国专利申请公开第2003/0210332号(Frame)说明其中大多数像素未经滤波的像素阵列。将相对较少的像素专用于捕获来自该场景的色彩信息，从而产生具有较低色彩空间分辨率能力的系统。此外，Frame教导了使用对该图像中的高频率色彩空间细节不作响应或不予保护的简单的线性内插技术。
发明内容
本发明的目的是根据具有全色与彩色像素的数字图像来产生增强的数字彩色图像。
此目的是通过提供场景的增强的全彩图像的方法来实现，该方法包含
(a) 使用通过具有彩色与全色像素二者的二维传感器阵列捕获的场景的所捕获图像；
(b) 响应于该全色像素而形成边缘(c) 响应于所捕获的该彩色像素而形成该全彩图像；以及
(d) 使用该边缘图来增强该全彩图像。
本发明的特征是可以在低光照条件下通过具有全色与彩色像素的传感器来捕获图像，而通过处理来产生由该全色及彩色像素产生的增强的数字彩色图像。
本发明利用具有全色与彩色像素的适当组合的滤色器阵列，以便允许上述方法提供改善的低光照灵敏度与改善的色彩空间分辨率保真性两者。上述方法保存和增强全色及色彩空间细节并且产生增强的全彩图像。
图r是包括用以实施本发明的数字照相机的计算机系统的透视图2是本发明的优选实施例的框图3是更详细显示图2中的框202的框图4是在图3中的框242执行低频率滤波期间所使用的像素邻域；图5是更详细显示图2中的框202的替代实施例的框图；图6是在图5中的框256中执行非最大值抑制(nonmaximumsuppression )期间所使用的像素邻域；图7是本发明的替代实施例的框图；图8是本发明的替代实施例的框图；图9是本发明的替代实施例的框图；图IO是本发明的替代实施例的框图；以及图11是本发明的替代实施例的框图。
具体实施例方式
在下面的说明中，将以通常被实施为软件程序的方式来描述本发明的优选实施例。本领域技术人员容易认识到这样的软件的等同物也可以以硬件构造。因为图像操纵算法和系统是公知的，所以本说明将特别针对形成根据本发明的系统和方法的 一 部分的算法和系统或更直接地与根据本发明的系统和方法相合作的算法和系统。此处没有具体示出或描述的这样的算法和系统的其他方面和用于产生并以其他方式处理所涉及的图像信号的硬件或软件可以从本领域中公知的这样的系统、算法、组件和元件中进行选择。给定下面的素材中根据本发明描述的系统，此处没有具体示出、建议或描述的用于实施本发明的软件是常规的软件并且被本领域普通技术人员所知道。
更进一步地，如此处所使用的，计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质可包括例如诸如磁盘(诸如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器UAM)或只读存储器(ROM)之类的固态电子存储设备；或用于存储计算机程序的任何其他物理设备或介质。
在描述本发明之前，指出本发明优选地用在任何公知的计算机系统(例如个人计算机)上有助于理解。因此，此处将不会详细地讨论计算机系统。指出图像或者直接地输入到计算机系统(例如通过数字照相机)或者在输入到计算机系统之前被数字化(例如通过扫描诸如
卣化银薄膜之类的底片(original))也是有益的。
参考图1,图示了用于实施本发明的计算机系统110。尽管为了图示优选的实施例的目的而示出了计算机系统110,但本发明不限于所示出的计算机系统110，而是可以在诸如在家庭计算机、信息站(kiosk)、零售或批发冲洗照片服务中找到的任何电子处理系统或者用于处理数字图像的任何其他系统上使用。计算机系统110包括基于微处理器的单元112，其用于接收并处理软件程序并用于执行其他处理功能。显示器114电连接到基于微处理器的单元112,以用于例如通过图形用户接口来显示与软件相关联的用户相关的信息。键盘116也连接到基于微处理器的单元112,以允许用户输入信息到软件。作为使用键盘116来输入的替换，鼠标118可以用来移动显示器114上的选择器120，并且用来选择该选择器120所覆盖的项，如本领域所公知的。
通常包括软件程序的光盘只读存储器(CD-ROM) 124被插入到基于微处理器的单元，以提供将软件程序和其他信息输入到基于微处理器的单元112的方法。此外，软盘126也可以包括软件程序，并且被插入到基于微处理器的单元112以输入软件程序。光盘只读存储器
(CD-ROM) 124或软盘126可以可替换地插入到外部定位的盘驱动单元122中，所述盘驱动单元122连接到基于微处理器的单元112。更进一步地，如本领域所公知的，基于孩i处理器的单元112可以被编程以用于在内部存储软件程序。基于微处理器的单元ll2还可以具有到外部网络(例如局域网或因特网)的网络连接127 (例如电话线)。打印机128也可以被连接到基于微处理器的单元ll2，以用于打印来
自计算机系统110的输出的硬拷贝。
图像也可以经由个人计算机卡(PC卡)130而显示在显示器114上，例如，所述个人计算机卡如之前公知(基于个人计算机存储器卡国际联合会的规范)的PCMCIA卡，其包含包括在PC卡130中的电子地数字化的图像。PC卡130最终被插入到基于微处理器的单元112,以允许在显示器114上的图像的视觉显示。可替换地，PC卡130可以被插入在连接到基于微处理器的单元112的外部定位的PC卡读取器132中。图像也可以经由光盘124、软盘126或网络连接127而被输入。存储在PC卡130、软盘126或光盘124的、或者经由网络连接127输入的任何图像可以从各种源(例如数字照相机(未示出)或扫描仪(未示出)获得。图像也可以经由连接到基于微处理器的单元112的照相机扩展(docking)端口 136直接从数字照相机134输入，或者经由到基于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140直接从数字照相机134输入。
根据本发明，算法可以被存储迄今为止所提到的任何存储设备并且应用于图像，从而锐化该图像。
图2是本发明的优选实施例的高级图。数字照相机134 (图1)负责创建原始的数字红色-绿色-蓝色-全色(RGBP， red-green-blue-panchromatic )滤色器阵列 (CFA)图像200，其也被称为数字RGBP CFA图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。边缘图产生框202从该RGBP CFA图像200产生边缘图204。RGB CFA图像内插框206从该RGBP CFA图像200产生全彩图像208。全彩图像增强框212从该全彩图像208及该边缘图204产生增强的全彩图像210。
图2中，可以采取本领域技术人员所熟悉的任何适当方式来实施该RGB CFA图像内插框206。关于示例，可参见美国专利申请第2007/0024934号(Adams等人)。包括在该参考文献中的示例使用仅仅所捕获的彩色像素来产生全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全彩图像。
图3是针对优选实施例的边缘图产生框202 (图2)的详细框图。低频率滤波框242从该RGBP CFA图像200 (图2 )产生低频率滤波图像244。高频率滤波框246从该低频率滤波图像244产生高频率图像248。最后，阈值处理(thresholding)框250从该高频率图像248产生该边缘图204 (图2)。
图3中通过将低频率巻积核与该RGBP CFA图像200 (图2 )巻积 (convolve )以便在每个像素位置处针对每个色彩通道产生像素值来实 现框242的低频率滤波。作为一示例，对图4所示的典型的RGBP CFA 图像的部分加以考虑。可以使用以下低频率巻积核来产生全分辨率的 全色通道
<formula>formula see original document page 8</formula>
本领域技术人员已熟知如何产生其他适当的低频率巻积核。在执行此 巻积时，假定仅使用现有的全色像素值。很明确，对于计算针对像素 B50 (图4)的全色像素值，该计算是加权平均值(weighted average ):
<formula>formula see original document page 8</formula>
在现有的全色像素值(例如，P49)的情况下，计算低频率滤波的版本
<formula>formula see original document page 8</formula>
由于图4中的有色像素比该全色像素分布得更稀疏，因此使用更大的 低频率巻积核来产生全分辨率色彩通道
<formula>formula see original document page 8</formula>
本领域技术人员已熟知如何产生其他适当的低频率巻积核。在执行此 巻积时，假定仅使用现有的彩色像素值。很明确，对于计算针对像素B50 (图4)的红色像素值，该计算是<formula>formula see original document page 9</formula>当计算B50的低频率滤波版本时，该计算是
<formula>formula see original document page 9</formula>
以类似方式计算针对该RGBPCFA图像200 (图2)中的每个像素的其 余低频率滤波的彩色像素值。
参考图3，该高频率滤波框248 —般是通过以下两个方法之一来执 行直接巻积或作为反锐化掩模(unsharp masking )的部分。对于直接 巻积，通过高频率核来巻积该低频率滤波图像244的全色通道而结果 的绝对值是该高频率图像248。适当的高频率核的示例是<formula>formula see original document page 9</formula>本领域技术人员已熟知如何产生其他适当的低频率核。在反锐化掩模 的情况下，通过低频率核来巻积该低频率滤波的图像244的全色通道 并且从该低频率滤波的图像244的全色通道减去所得低频率图像。此 减法的绝对值是该高频率图像248。适当的低频率核的示例是<formula>formula see original document page 9</formula>
本领域技术人员已熟知如何产生其他适当的低频率核。通过不仅 对该全色通道进行操作而且还对所有该彩色通道进行操作并接着将该 结果一起相加，则可以扩充刚才所提出的示例<formula>formula see original document page 9</formula>
在此情况下，该高频率图像248包括针对全色(Hp)、红色(HR)、 绿色(HG)及蓝色(HB)通道的高频率图像(HALL)之和，其分别通 过该高频率滤波框246而产生。图3中，阈值处理框250从该高频率图像248产生该边缘图204 (图2)。框250中的阈值处理一般是通过对照给定的阈值来测试该高 频率图像248中的每个像素值来执行。如果该高频率图像248中的像 素值等于或大于该给定阈值，则该边缘图中的对应像素值被标记为边 缘像素并设定为指示存在边缘的值(例如， 一)。如果该高频率图像 248中的像素值小于该给定阈值，则该边缘图中的对应像素值被标记为 平坦像素并设定为指示不存在边缘的值(例如，零)。还可使用多个 阈值。作为示例，在通过使用相对较大的第一阈值来产生第一边缘图 后，通过使用较小的第二阈值从该第一边缘图和该高频率图像248产 生第二边缘图。在此情况下，在该第一边缘图中标记为边缘像素的每 个像素位置在该第二边缘图中在对应位置处自动标记为边缘像素。在 该第 一边缘图中的像素位置被标记为平坦像素而相邻像素位置中的至 少一位置被标记为边缘像素的情况下，将对应的高频率图像248像素 值与第二阈值相比较。如果该高频率图像248中的像素值等于或大于 该第二阈值，则该第二边缘图中的对应像素值被标记为边缘像素。如 果该高频率图像248中的像素值小于该第二阈值，则该第二边缘图中 的对应像素值被标记为平坦像素。本领域技术人员会明白，可通过使 用额外阈值来继续此过程。
图5是针对替代实施例的边缘图产生框202 (图2)的详细框图。 低频率滤波框242从该RGBP CFA图像200 (图2 )产生低频率滤波的 图像244。高频率滤波框252从该低频率滤波图像244产生高频率图像 254。非最大值抑制框256从该高频率率图像254产生边缘细化 (edge-thinned)高频率图像258。最后，阈值处理框250从边缘细化 高频率图像258产生该边缘图204 (图2)。
图5中，该低频率滤波框242是如图3所述。该高频率滤波框252 从该低频率滤波图像244的全色通道产生高频率图像25 4 。该高频率图 像254具有三个通道。第一通道包含边缘大小(magnitude)值，其是 通过与高频率滤波框246 (图3)所执行的计算相同的计算而产生的结 果。第二通道包含水平梯度值，其是通过对采用水平梯度核的巻积取 绝对值而产生。此核的示例是
(-l 0 1)。
第三通道包含垂直梯度值，其是通过对采用垂直梯度核的巻积取绝对值而产生。此核的示例是
<formula>formula see original document page 11</formula>
框256中的非最大值抑制一般是通过针对每个边缘大小像素位置 将该水平梯度值与该垂直梯度值相比较来执行。如果该水平梯度值大 于或等于该垂直梯度值，则该非最大值抑制的方向是水平。如果该垂 直梯度值大于该水平值，则该非最大值抑制的方向是垂直。图6是在
对边缘大小值E3进行操作时边缘大小值的示例性像素邻域。如果非最 大值抑制的方向是水平，则如果E3大于或等于E2及E4两者，则令其 保持不变。否则，将E3设定为零。如果非最大值抑制的方向是垂直， 则如果E3大于或等于E,及Es两者，则令其保持不变。否则将E3设定 为零。图5中，该阈值处理框250是与先前根据图3所说明的操作相 同的操作。
本领域技术人员会明白，可以采取任何数目的方式来增强该边缘 图204 (图2)，例如，通过使用形态处理来减少噪声效应或依据该边 缘图204 (图2)的随后使用来改变该边缘图204内的特征的厚度。
参考图2，现在提出针对该全彩图像增强框212的若干示例。 一个 这样的全彩图像增强是噪声减少。对该全彩图像208中的每个像素(随 后称为中心像素)，检查该边缘图204中的对应值来弄清其被标记为 边缘像素还是平坦像素。如果该中心像素是边缘像素，则可跳过对该 像素值的噪声减少以便保留边缘细节。如果该中心像素是平坦像素， 则将在该中心像素的给定半径(距离)内的所有其他平坦像素一起平 均以产生噪声减少的中'"、像素值。
全彩图像增强的另 一 示例是锐化(边缘增强)。可以从根据该RGBP CFA图像200而产生的参考全色通道或从该全彩图像208产生锐化通 道，如2007年1月9日提交的美国专利申请第11/621,139号所教导的。 接下来，对于该全彩图像208中的每个像素(随后称为中心像素)， 检查该边缘图204中的对应值来弄清其被标记为边缘像素还是平坦像 素。如果该中心像素是边缘像素，则将整个对应的锐化通道值与该中 心像素值相加以使得该边缘细节锐化。如果该中心像素是平坦像素， 则将该对应的锐化通道值的部分或不将任何该值与该中心像素值相
ii加，以减少对该全彩图像中的噪声的不合需要的放大。
全彩图像增强的另 一 示例是色彩校正。色彩校正 一般是通过将该
全彩图像208的色彩通道值乘以3 x 3矩阵以便产生增强的全彩图像210 来执行。此计算采取以下形式
W、 、"乂
a), al2 a13Y W、
a2l a22 fl23
a，， a
Vw31 w32 "33乂V"乂
5
其中(R，G，B)表示该全彩图像208色彩通道值，而(R，,G，，B，)表示 增强的全彩图像210。对于该全彩图像208中的每个像素，检查该边缘 图204中的对应值来弄清其被标记为边缘像素还是平坦像素。如果该 像素是边缘像素，则将完全的对应色彩校正施加于该全彩图像208像 素值。如果该像素是平坦像素，则将一部分色彩校正或不将任何色彩 校正施加于该全彩图像208像素值以减小噪声及图像处理赝像的可见 性。
图7是本发明的替代实施例的高级图。该数字照相机134 (图1) 负责产生原始的数字红色-绿色-蓝色-全色(RGBP )滤色器阵列(CFA ) 图像200,此也称为数字RGBP CFA图像或RGBP CFA图像。应注意， 此刻，可以使用其他色彩通道组合(例如青色-品红色-黄色-全色)来 替代以下说明中的红色-绿色-蓝色-全色。关键项是包括全色通道。此 图像被视为稀疏取样的图像，因为该图像中的每个像素仅包含红色、 绿色、蓝色或全色数据的一像素值。边缘图产生框202从该RGBP CFA 图像200产生边缘图204。 RGB CFA图像内插框260从该RGBP CFA 图像200及该边缘图像204产生全彩图像208。全彩图像增强框212从 该全彩图像208及该边缘图204产生增强的全彩图像210。
图7中，可以采取本领域技术人员所已知的任何适当方式来执行 该RGB CFA图像内插框260。作为示例，可以首先从该RGBP CFA图 像200产生参考全色通道，如2007年1月9日提交的美国专利申请第 11/621,139号中所教导。此参考全色通道针对该RGBP CFA图像200 中的每个像素提供全色值。现在参考图4，假定每个像素位置具有相关 联的全色值Pw与边缘图值EN，其中N是该像素的索引(index)。为 计算针对Bw的估计，从标注该边缘图值E6开始。接下来，在八个罗盘方向(N、 NE、 E、 SE、 S、 SW、 W及NW)的每个方向上从像素 Pw向外连续进行至给定的最大半径，沿途检查对应的边缘图值。 一旦 遇到不同于E61的边缘图值或已到达最大半径，则在该给定的罗盘方向 上停止处理。在B61的计算中使用在停止情况之前遇到的所有BN值。 在最大半径为5且如下的高斯(Gaussian)加权的情况下，如果所有遇 到的边缘图值都与E"相同，则采取以下方式计算Bw:
<formula>formula see original document page 13</formula>
如果对应的罗盘方向中的一或多个方向较早结束(terminate)，则会减 小此计算。在所有罗盘方向是在到达任何B像素之前结束的情况下， 则针对手头的像素抛弃较早的EN结束策略而在该计算中包括所有已遇 到的B像素。此方法被用于计算针对该RGBPCFA图像200中的所有 像素的R、 G及B像素值。作为此示例的推论，可以省略该全色像素 的使用而仅使用B像素值来产生 5 = 3920& + 560& + 560万94 + 3920^。 61 —3920 + 560 + 560 + 3920
图7中的其他框的细节与该优选实施例(即图2等)中相同。 图8是本发明的替代实施例的高级图。该数字照相机134 (图1 ) 负责产生原始的数字红色-绿色-蓝色-全色(RGBP )滤色器阵列(CFA ) 图像200,此也称为数字RGBPCFA图像或RGBPCFA图像。应注意，此刻可以使用其他色彩通道组合(例如青色-品红色-黄色-全色)来替 代以下说明中的红色-绿色-蓝色-全色。关键项是包括全色通道。此图 像被视为稀疏取样的图像，因为该图像中的每个像素仅包含红色、绿色、蓝色或全色数据中的一像素值。边缘图产生框202从该RGBP CFA 图像200产生边缘图204。 RGB CFA图像增强框266从该RGBP CFA 图像200及该边缘图204产生增强的RGB CFA 268。 RGB CFA图像内 插框206从该增强的RGB CFA图像268产生增强的全彩图像270。图8中，可以采取本领域技术人员所已知的任何适当方式来执行 该RGB CFA图像增强框266。作为示例，该RGB CFA图Y象增强框266 可执行噪声减少以产生噪声减少的RGB CFA图像作为增强的RGB CFA图像268。对于该RGBP CFA图像200中的每个像素(随后称为 中心像素)，检查该边缘图204中的对应值来弄清其被标记为边缘像 素还是平坦像素。如果该中心像素是边缘像素，则可跳过对该像素值 的噪声减少以便保留边缘细节。如果该中心像素是平坦像素，则将在 该中心像素的给定半径(距离)内的所有其他平坦像素一起平均以产 生噪声减少的中心像素值。图8中的其他框的细节与该优选实施例(即图2等)中相同。 图9是本发明的替代实施例的高级图。该数字照相机134 (图1) 负责产生原始的数字红色-绿色-蓝色-全色(RGBP)滤色器阵列(CFA) 图像200,此也称为数字RGBP CFA图像或RGBP CFA图像。应注意， 此刻可以使用其他色彩通道组合(例如青色-品红色-黄色-全色)来替 代以下说明中的红色-绿色-蓝色-全色。关键项是包括全色通道。此图 像被视为稀疏取样的图像，因为该图像中的每个像素仅包含红色、绿 色、蓝色或全色数据中的一像素值。边缘图产生框202从该RGBP CFA 图像200产生边缘图204。 RGB CFA图像增强框266从该RGBP CFA 图像200及该边缘图204产生增强的RGB CFA图像268。RGB CFA图 像内插框272从增强的RGB CFA图像268及该边缘图204产生增强的 全彩图像274。图9中，该边缘图产生框202与图2所述的相同。该RGB CFA图 像增强框266与图8所述的相同。该RGB CFA图4象内插框272与如图 7所述的RGB CFA图像内插框260相同。图IO是本发明的替代实施例的高级图。该数字照相机134(图1)负责产生原始的数字红色-绿色-蓝色-全色(RGBP)滤色器阵列(CFA) 图像200，此也称为数字RGBPCFA图像或RGBPCFA图像。应注意， 此刻可以使用其他色彩通道组合(例如青色-品红色-黄色-全色)来替 代以下说明中的红色-绿色-蓝色-全色。关键项是包括全色通道。此图 像被视为稀疏取样的图像，因为该图像中的每个像素仅包含红色、绿 色、蓝色或全色数据中的一像素值。边缘图产生框202从该RGBP CFA 图像200产生边缘图204。 RGB CFA图像增强框266从该RGBP CFA 图像200及该边缘图204产生增强的RGB CFA图像268。 RGB CFA图 像内插框206从该增强的RGB CFA图像268产生第 一增强的全彩图像 276。该全彩图像增强框212从第 一增强的全彩图像276及该边缘图204 产生第二增强的全彩图像278。图IO中，该边缘图产生框202与图2所述的相同。该RGB CFA 图像增强框266与图8所述的相同。该RGB CFA图像内插框206与图 2所述的相同。该全彩图像增强框212与图2所述的相同。图11是本发明的的替代实施例的高级图。该数字照相机134 (图 1)负责产生原始的数字红色-绿色-蓝色-全色(RGBP)滤色器阵列 (CFA )图像200,此也称为数字RGBP CFA图像或RGBP CFA图像。 应注意，此刻可以使用其他色彩通道组合(例如青色-品红色-黄色-全 色)来替代以下说明中的红色-绿色-蓝色-全色。关键项是包括全色通 道。此图像被视为稀疏取样的图像，因为该图像中的每个像素仅包含 红色、绿色、蓝色或全色数据中的一像素值。边缘图产生框202从该 RGBP CFA图像200产生边缘图204。 RGB CFA图像增强框266从该 RGBP CFA图像200及该边缘图204产生增强的RGB CFA图像268。 RGB CFA图像内插框272从该增强的RGB CFA图像268及边缘图204 产生第 一增强的全彩图像280。该全彩图像增强框212从该第 一增强的 全彩图像282及该边缘图204产生第二增强的全彩图像280。图ll中，该边缘图产生框202与图2所述的相同。该RGB CFA 图像增强框266与图8所述的相同。该RGB CFA图像内插框272与图 9所述的相同。该全彩图像增强框212与图2所述的相同。在本发明的优选实施例中公开的基于边缘图的算法可以在各种 用户背景和环境中使用。示例性的背景和环境包括但不限于批发数 字冲洗照片服务(其包括示例性处理步骤或阶段，例如形成胶片(filmin)、数字处理、打印)；零售数字冲洗照片服务(形成胶片、数字 处理、打印)；家庭打印(家庭扫描的胶片或数字图像、数字处理、 打印)；桌面软件(将算法应用于数字打印物以使它们更好或甚至仅 改变它们的软件)；数字实现(数字图像输入从介质或通过web, 数字处理，数字图像输出以介质上的数字形式、通过web的数字形 式、或打印在硬拷贝打印物上)；信息站(数字或扫描的输入、数字 处理、数字或扫描的输出)；移动设备(例如，可以被用作处理单元、 显示单元或给出处理指示的单元的PDA或蜂窝电话)以及作为经由万 维网而提供的业务。在每种情况下，基于边缘图的算法可以单独或可以成为更大系统 解决方案的组件。此外，与算法的接口 (例如扫描或输入、数字处理、 显示给用户(如果需要的话)、用户请求或处理指令的输入(如果需 要的话)、输出)，每个都可以在相同或不同的设备和物理位置上， 并且设备和位置之间的通信可以经由公共或专用网络连接或基于介 质的通信。在与本发明的前述揭示内容一致的情况下，该算法本身可 以是完全自动的，可具有用户输入(完全或部分手动)，可使得用户 或操作者检视来接受/拒绝结果，或可获得元数据(可由用户提供、由 测量装置(例如，在相机中)提供或由算法确定的元数据)的协助。 此外，算法可以与各种各样的工作流用户接口方案接口连接。根据本发明的此处公开的基于边缘图的算法可以具有使用各种 数据4企测和缩小技术(例如面部检测、眼睛4企测、皮肤4企测、闪光枱r 测)的内部组件。16主要元件符号说明110 112 114 116 118 120 122 124126127128 130 132 134 136 138 140 200 202 204 206 208 210 212 242 244 246 248 250 252 254计算机系统基于微处理器的单元显示器键盘鼠标显示器上的选择器 盘驱动单元光盘只读存储器(CD-ROM) 软盘网络连接 打印机个人计算机卡(PC卡)PC读取器数字照相机照相机扩展端口电缆连接无线连接RGBP CFA图像边缘图产生边缘图RGB CFA图像内插全彩图像 增强的全彩图像全彩图像增强低频率滤波低频率滤波的图像高频率滤波高频率图像阈值处理高频率滤波高频率图像256非最大值抑制258边缘细化的高频率图像260RGB CFA图像内插266RGB CFA图像增强268增强的RGB CFA图像270增强的全彩图像272RGB CFA图l象内插274增强的全彩图像276第一增强的全彩图像278第二增强的全彩图像280第一增强的全彩图像282第二增强的全彩图像
权利要求
1.一种提供场景的增强的全彩图像的方法，其包含a.使用通过具有彩色像素与全色像素二者的二维传感器阵列捕获的该场景的所捕获图像；b.响应于该全色像素而形成边缘图；c.响应于所捕获的该彩色像素而形成该全彩图像；以及d.使用该边缘图来增强该全彩图像。
2. 如权利要求1所述的方法，其中部分c包括使用所捕获的该彩 色像素与所捕获的该全色像素二者来形成该全彩图像。
3. 如权利要求1所述的方法，其中部分b包括使用所捕获的该彩 色像素与所捕获的该全色像素二者来形成该边缘图。
4. 如权利要求2所述的方法，进一步使用该边缘图来形成该全彩 图像。
5. 如权利要求1所述的方法，其中该边缘图被用于提供噪声清除。
6. 如权利要求l所述的方法，其中该边缘图被用于提供锐化。
7. 如权利要求l所述的方法，其中该边缘图提供色彩校正。
8. 如权利要求1所述的方法，进一步包括在形成该全彩图像之前 修改所捕获的该彩色像素或全色像素或两者。
9. 如权利要求1所述的方法，其中在形成该全彩图像之前修改所 捕获的该彩色像素包括对所捕获的有色像素进行噪声清除。
全文摘要
一种增强场景的全彩图像的方法，其包括通过使用具有彩色与全色像素二者的二维传感器阵列来捕获该场景的图像；响应于该全色像素而形成边缘图；响应于所捕获的该彩色像素而形成该全彩图像；以及使用该边缘图来增强该全彩图像。
文档编号G06T5/00GK101675454SQ200880011100
公开日2010年3月17日 申请日期2008年3月25日 优先权日2007年3月30日
发明者J·E·小亚当斯, J·F·小汉米尔顿, M·欧布莱恩 申请人:伊斯曼柯达公司