专利名称：使用全色像素的边缘映射的制作方法
技术领域：
本发明涉及使用边缘图来根据全色图像和彩色图像形成增强的 彩色图像。
背景技术：
摄像机和数字静物照相机通常使用具有滤色器阵列的单个图像
传感器来记录场景。该方法以稀疏构成的单通道(single-channel) 图像开始，在该单通道图像中通过滤色器阵列模式来编码色彩信息。 相邻像素值的随后插值允许完全三通道全彩(full-color)图像的重 构。该全彩图像可以再被噪声清除、锐化或色彩校正以改善或增强图 像的外观。通过计算图像的边缘图以将该图像分类成边缘区和平坦 区，来大大地促进图像增强。这允许使用对边缘区并且对平坦区执行 不同计算的算法。 一种普遍的方法是或者直接检测或者合成亮度色彩 通道(例如"绿色")，并且然后根据亮度图像生成边缘图。美国专 利No. 6,614,474 (Malkin等人)描述了计算亮度通道并且然后根据 一组定向边缘检测核(kernel)来生成边缘信息。该方法的问题是仅 在色度上发生变化而没有在亮度上发生变化的边缘有检测不出的风 险。为了解决这一担忧，美国专利No.5，420，971 (Westerink等人) 教导计算YUV亮度色度图像、根据所有三个通道(Y、 U和V)计算边 缘信息，以及然后将它们组合成L'范数以检测亮度边缘和色度边缘二 者。该方法的问题是通过原始色彩数据(例如RGB )的噪度(noisiness) 来定义所计算的亮度色度图像的噪度。此外，通过单个色彩通道的光 语频率响应的相对狭窄(narrowness)来确定在该原始色彩数椐中的 该噪声等级。当捕获的场景光照很好(例如阳光明媚的景色)时，光 镨频率响应的狭窄通常不是问题。当场景光照不好(例如室内)或曝 光时间必须很短来减少运动模糊(例如在体育事件)时，单个色彩通 道的光镨频率响应的相对狭窄可以产生有噪声的图像。
在低光成像的情况下，具有未被滤波的滤色器阵列中的 一个或多 个像素(即光语灵敏度中的白色或全色)是有益的。这些全色像素具有捕获系统的最高的光灵敏度能力。使用全色像素表示在捕获系统中 在光灵敏度和色彩空间分辨率之间的折衷。为此，已描述了许多四色
滤色器阵列系统。美国专利No. 6, 529,239 ( Dyck等人)教导了绿色-青色-黄色-白色模式，其被布置成在传感器表面上的棋盘格状的
(tessellated )的2 x 2块。美国专利No. 6， 757， 012 (Hubina等人) 公开了红色-绿色-蓝色-白色模式和黄色-青色-品红-白色模式二者。 在这两种情况下，色彩被布置成在成像器的表面上的棋盘格状的的2
x2块。这样的系统的难点是在滤色器阵列中仅四分之一的像素具有 最高的光灵敏度，因此限制了捕获设备的整体的低光性能。
为了解决滤色器阵列中对具有最高光灵敏度的更多像素的需要， 美国专利申请公布No. 2003/0210332 (Frame)描述了具有多数未被滤 波的像素的像素阵列。相对较少的像素被专用于从场景捕获色彩信 息，以产生具有低色彩空间分辨率能力的系统。此外，Frame教导使 用简单的线性插值技术，其不响应于图像中的高频色彩空间细节或者 保护图像中的高频色彩空间细节。
发明内容
本发明的目的是根椐具有全色和彩色像素的数字图像产生增强 的数字彩色图像。
这一目的通过提供场景的增强全彩图像的方法而实现，该方法包
括
(a )使用由具有彩色像素和全色像素二者的二维传感器阵列捕 获的场景的所捕获的图像；
(b) 响应于所捕获的彩色像素来形成全彩图像；
(c) 响应于所捕获的全色像素来形成参考全色图像；
(d) 响应于所述参考全色图像来形成边缘图；以及
(e) 使用所述边缘图来增强全彩图像。
本发明的特征是利用具有全色像素和彩色像素的传感器来在低 光条件下捕获图像，以及处理产生了根椐全色像素和彩色像素而产生 的增强数字彩色图像。
本发明使用具有全色像素和彩色像素的适当组成的滤色器阵列， 以便允许上述方法提供改进的低光灵敏度和改进的色彩空间分辨率保真度。上述方法保持并增强全色和彩色空间细节并且产生增强的全 彩图像。
图1是包括用于实施本发明的数字照相机的计算机系统的透视
图2是本发明的优选实施例的框图； 图3是更详细地示出图2中的框210的框图； 图4是详细地示出图2中的框210的可替换实施例的框图； 图5是在执行图4的框228中的非最大值抑制(nonmaximum suppression)期间所使用的像素邻域；以及 图6是本发明的可替换实施例的框图。
具体实施例方式
在下面的说明中，将以通常被实施为软件程序的方式来描述本发 明的优选实施例。本领域技术人员容易认识到这样的软件的等同物也 可以以硬件构造。因为图像操纵算法和系统是公知的，所以本说明将
特别针对形成根据本发明的系统和方法的 一 部分的算法和系统或更 直接地与根椐本发明的系统和方法相合作的算法和系统。此处没有具 体示出或描述的这样的算法和系统的其他方面和用于产生并以其他 方式处理所涉及的图像信号的硬件或软件可以从本领域中公知的这 样的系统、算法、组件和元件中进行选择。给定下面的素材中根据本 发明描述的系统，此处没有具体示出、建议或描述的用于实施本发明 的软件是常规的软件并且被本领域普通技术人员所知道。
更进一步地，如此处所使用的，计算机程序可以存储在计算机可 读存储介质中，该计算机可读存储介质可包括例如诸如磁盘(诸如 硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机 器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只 读存储器(ROM)之类的固态电子存储设备；或用于存储计算机程序 的任何其他物理设备或介质。
在描述本发明之前，指出本发明优选地用在任何公知的计算机系 统(例如个人计算机)上有助于理解。因此，此处将不会详细地讨论计算机系统。指出图像或者直接地输入到计算机系统(例如通过数字 照相机)或者在输入到计算机系统之前被数字化(例如通过扫描诸如
卣化银薄膜之类的底片(original))也是有益的。
参考图1，图示了用于实施本发明的计算机系统110。尽管为了 图示优选的实施例的目的而示出了计算机系统110,但本发明不限于 所示出的计算机系统110，而是可以在诸如家庭计算机、信息站 (kiosk)、零售或批发沖洗照片服务之类的任何电子处理系统或者 用于处理数字图像的任何其他系统上使用。计算机系统110包括基于 微处理器的单元112,其用于接收并处理软件程序并用于执行其他处 理功能。显示器114电连接到基于微处理器的单元112，以用于例如 通过图形用户接口来显示与软件相关联的用户相关的信息。键盘116 也连接到基于微处理器的单元112,以允许用户输入信息到软件。作 为使用键盘116来输入的替换，鼠标118可以用来移动显示器114上 的选择器120,并且用来选择该选择器120所覆盖的项，如本领域所 公知的。
通常包括软件程序的光盘只读存储器(CD-ROM) 124被插入到基 于微处理器的单元，以提供将软件程序和其他信息输入到基于微处理 器的单元112的方法。此外，软盘126也可以包括软件程序，并且被 插入到基于微处理器的单元112以输入软件程序。光盘只读存储器 (CD-ROM) 124或软盘126可以可替换地插入到外部定位的盘驱动单 元122中，所述盘驱动单元122连接到基于微处理器的单元112。更 进一步地，如本领域所公知的，基于微处理器的单元112可以被编程 以用于在内部存储软件程序。基于微处理器的单元112还可以具有到 外部网络(例如局域网或因特网)的网络连接127 (例如电话线)。 打印机128也可以被连接到基于微处理器的单元112，以用于打印来 自计算机系统110的输出的硬拷贝。
图像也可以经由个人计算机卡(PC卡)130而显示在显示器114 上，例如，所述个人计算机卡如之前公知(基于个人计算机存储器卡 国际联合会的规范)的PCMCIA卡，其包含包括在PC卡130中的电子 地数字化的图像。PC卡130最终被插入到基于微处理器的单元112, 以允许在显示器114上的图像的视觉显示。可替换地，PC卡130可以 被插入在连接到基于微处理器的单元112的外部定位的PC卡读取器132中。图像也可以经由光盘124、软盘126或网络连接127而被输 入。存储在PC卡130、软盘126或光盘124的、或者经由网络连接 127输入的任何图像可以从各种源(例如数字照相机(未示出)或扫 描仪(未示出)获得。图像也可以经由连接到基于微处理器的单元112 的照相机扩展(docking)端口 136直接从数字照相才几134输入，或 者经由到基于微处理器的单元112的电缆连接138或经由到基于微处 理器的单元112的无线连接140直接从数字照相机134输入。
根据本发明，算法可以被存储迄今为止所提到的任何存储设备并 且应用于图像，从而锐化该图像。
图2是本发明的优选实施例的高级图。数字照相机134 (图1) 负责创建原始的数字红色-绿色-蓝色-全色(RGBP， red-green-blue-panchromatic )滤色器阵列 (CFA )图像200，其也被称为数字RGBP CFA 图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通 道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝 色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像， 因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数椐的一个 像素值。全色图像插值块202根椐RGBP CFA图像200产生参考全色 图像204。边缘图生成块210根据参考全色图像204产生边缘图216。 根据RGBP CFA图像200, RGBP CFA图像插值块206随后产生全彩图 像208。全彩图像增强块214根据全彩图像208和边缘图216产生增 强的全彩图像212。
在图2中，全色图像插值块202和RGB CFA图像插值块206可以 以本领域技术人员公知的任何适当的方式执行。可以在美国专利公开 No. 2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅 所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所 捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生 全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全 彩图像。
图3是优选实施例的边缘图生成块210 (图2)的详细框图。高 通滤波块218根据参考全色图像204 (图2)产生高频图像220。高通 滤波通常由下列两个方法中的 一个执行直接巻积或作为反锐化掩模 (unsharp masking )的一部分。对于直接巻积，将参考全色图像204(图2)与高通核(high-pass kernel)进行巻积，并且结果的绝对 值是高频图像220。适当的高通核的示例是 '-l -l -、
<formula>formula see original document page 8</formula>
本领域的技术人员知道怎样创建其他适当的高通核。对于反锐化 掩模的情况，参考全色图像204 (图2)与低通核进行巻积，且从参 考全色图像204 (图2)减去所得到的低频图像。该减法的绝对值是 高频图像220。适当的低通核的示例是<formula>formula see original document page 8</formula>
本领域的技术人员知道怎样创建其他适当的低通核。继续描述图
3，阈值块222根据高频图像220来产生边缘图216 (图2)。通常通 过对照给定的阈值来测试在高频图像220中的每个像素值来执行块 222中的阈值处理(thresholding)。如果在高频图像220中的像素 值等于或大于给定的阈值，则在边缘图中对应的像素值被标记为边缘 像素，并且设置为指示边缘的存在的值(例如1)。如果在高频图像 220中的像素值小于给定的阈值，则在边缘图中的对应的像素值被标 记为平坦像素，并且设置为指示边缘不存在的值(例如0)。还可以 使用多个阈值。例如，在利用相对大的第一阈值产生第一边缘图之后， 利用较小的第二阈值根据第一边缘图和高频图像220来产生第二边缘 图。在这种情况下，在第一边缘图中的被标记为边缘像素的每个像素 位置被自动地标记为在第二边缘图的对应位置处的边缘像素。在第一 边缘图中的像素位置被标记为平坦像素并且至少一个相邻的像素位 置被标记为边缘像素的情况下，将对应的高频图像220像素值与第二 阈值进行比较。如果在高频图像220中的像素值等于或大于第二阈值， 则在第二边缘图中的对应像素值被标记为边缘像素。如果在高频图像 220中的像素值小于第二阈值，则在第二边缘图中的对应的像素值被 标记为平坦像素。本领域技术人员清楚可以使用附加的阈值来继续该 过程。
图4是可替换实施例的边缘图生成块210 (图2)的详细框图。高通滤波块224根据参考全色图像204 (图2)来产生高频图像226。 高频图像226具有三个通道。第一通道包含边缘幅度(magnitude) 值，其是通过与高通滤波块218 (图3)执行的计算相同的计算所产 生的结果。第二通道包含通过对用水平梯度核的巻积取绝对值(by taking the absolute value of a convolution with a horizontal gradient kernel)而产生的水平梯度值。这样的核的示例是
(-i o 0。
第三通道包含通过对用垂直梯度核的巻积取绝对值而产生的垂 直梯度值。这样的核的示例是 '-l、
<formula>formula see original document page 9</formula>
接着，非最大值抑制块228根据高频图像226产生边缘变薄的高 频图像230。通常将每个边缘幅度像素位置的水平梯度值和垂直梯度 值进行比较来执行块228中的非最大值抑制。如果水平梯度值大于或 等于垂直梯度值，则非最大值抑制的方向是水平的。如果垂直梯度值 大于水平值，则非最大值抑制的方向是垂直的。图5是边缘幅度值的 示例像素邻域，其中正对边缘幅度值E3进行操作。如果非最大值抑制 的方向是水平的，则如果E3大于或等于E2和E4，则留着不改变。否则，
将E3设置为零。如果非最大值抑制的方向是垂直的，则如果E3大于或
等于E,和Es二者，则留着不改变。否则，将Ej殳置为零。在图4中， 阈值处理块222的操作与先前对图3的描述的操作相同。
本领域技术人员将明白，边缘图216 (图2)可以以任何数量的 方式来增强(例如通过使用形态处理)，来根据其随后的使用降低噪 声的影响或改变在边缘图216 (图2)中的特征的厚度。
返回到图2，现在给出了全彩图像增强块214的一些示例。 一个 这样的全彩图像增强是噪声降低。对于全彩图像2 08中的每个像素(随 后被称为中心像素)，检查边缘图216中的对应值来看其是否被标记 为边缘像素或平坦像素。如果该中心像素是边缘像素，则该像素值的 噪声降低可以被跳过以保存边缘细节。如果中心像素是平坦像素，则 在中心像素的给定距离中的所有其他平坦像素一起被平均以产生噪 声降低的中心像素值。全彩图像增强的另一个示例是锐化(边缘增强)。如在2007年1 月9日提交的美国专利申请No. 11/621, 139中教导的，锐化通道可以 由全彩图像208或由参考全色图像204产生。接着，对于全彩图像208 中的每个像素(随后被称为中心像素)，检查边缘图216中的对应值 来看其是否被标记为边缘像素或平坦像素。如果该中心像素是边缘像 素，则所有的对应锐化通道值被添加到中心像素值以锐化边缘细节。 如果中心像素是平坦像素，则或者对应锐化通道值的一部分或没有对 应的锐化通道值被添加到中心像素以降低全彩图像中不希望的噪声 放大。
全彩图像增强的另一个示例是色彩校正。色彩校正通常通过将全 彩图像208的色彩通道值乘以3x3矩阵来执行以产生增强的全彩图 像212。该计算可以是下面的形式
<formula>formula see original document page 10</formula>
其中(R，G,B)指全彩图像208色彩通道值，而(R，，G，，B，)指增 强的全彩图像212。对于全彩图像208中的每个像素，检查边缘图216 中的对应值来看其是否被标记为边缘像素或平坦像素。如果像素是边 缘像素，则将全部对应的色彩校正应用于全彩图像208像素值。如果 像素是平坦像素，则或者部分色彩校正或者没有色彩校正被应用于全 彩图像2 08像素值以降低噪声和图像处理赝像的可见性。
图6是本发明的可替换实施例的高级图。在图1中示出的数字照 相机134负责创建原始的数字红色-绿色-蓝色-全色(RGBP)滤色器 阵列(CFA)图像200，其也被称为数字RGBP CFA图像或RGBP CFA图 像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是 包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每 个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。全色图像 插值块202根据RGBP CFA图像200产生参考全色图像204。边缘图生 成块210根据参考全色图像204产生边缘图216。根据RGBPCFA图像 200和参考全色图像204， RGB CFA图像插值块232随后产生全彩图像 234。全彩图像增强块214根椐全彩图像234和边缘图216产生增强的全彩图像236。
在图6中，全色图像插值块202和RGB CFA图像插值块232可以 以本领域技术人员公知的任何适当的方式执行。可以在美国专利申请 No. 2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅 所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所 捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生 全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全 彩图像。图6的其他块的细节与在图中示出的优选实施例中的相同。
在本发明的优选实施例中公开的基于边缘图的算法可以在各种 用户背景和环境中使用。示例性的背景和环境包括但不限于批发数 字沖洗照片服务(其包括示例性处理步骤或阶段，例如形成胶片(film in)、数字处理、打印)；零售数字沖洗照片服务(形成胶片、数字 处理、打印)；家庭打印(家庭扫描的胶片或数字图像、数字处理、 打印)；桌面软件(将算法应用于数字打印物以使它们更好或甚至仅 改变它们的软件)；数字实现(数字图像输入从介质或通过web, 数字处理，数字图像输出以介质上的数字形式、通过web的数字形 式、或打印在硬拷贝打印物上)；信息站(数字或扫描的输入、数字 处理、数字或扫描的输出)；移动设备(例如，可以被用作处理单元、 显示单元或给出处理指示的单元的PDA或蜂窝电话)以及作为经由万 维网而提供的业务。
在每种情况下，基于边缘图的算法可以单独或可以成为更大系统 解决方案的组件。此外，与算法的接口 (例如扫描或输入、数字处理、 显示给用户(如果需要的话)、用户请求或处理指令的输入(如果需 要的话)、输出)，每个都可以在相同或不同的设备和物理位置上， 并且设备和位置之间的通信可以经由公共或专用网络连接或基于介 质的通信。与本发明之前的公开相一致，算法本身可以是全自动化的。 然而，用户输入可以被使用或操作员可以查看以接受/拒绝结果。也 可以使用由(例如在照相机中的)测量设备提供的元数据。此外，算 法可以与各种各样的工作流用户接口方案接口连接。
根据本发明的此处公开的基于边缘图的算法可以具有使用各种 数据检测和缩小技术(例如面部检测、眼睛检测、皮肤检测、闪光检 测)的内部组件。部件列表
110计算机系统
112基于微处理器的单元
114显示器
118鼠标
120显示器上的选择器 122盘驱动单元 124光盘只读存储器 126软盘 127网络连接 128打印扭i
130个人计算机卡(PC卡)
132PC卡读取器
134数字照相机
136照相机扩展端口
138电缆连接
140无线连接
200歸P CFA图像
202全色图像插值
204参考全色图像
206 RGB CFA图像插值
208全彩图像
210边缘图生成
212增强的全彩图像
214全彩图像增强
216边缘图
218高通滤波
220高频图像
222阈值处理
224高通滤波
226高频图像228非最大值抑制
230边缘变薄的高频图像
232 RGB CFA图像插值
234全彩图像
236增强的全彩图像
权利要求
1、一种用于提供场景的增强的全彩图像的方法，该方法包括a.使用由具有彩色像素和全色像素二者的二维传感器阵列捕获的场景的所捕获的图像；b.响应于所捕获的彩色像素来形成全彩图像；c.响应于所捕获的全色像素来形成参考全色图像；d.响应于所述参考全色图像来形成边缘图；以及e.使用所述边缘图来增强全彩图像。
2、 根据权利要求1所述的方法，其中组成部分b包括使用所捕 获的彩色像素和所捕获的全色像素二者来形成全彩图像。
3、 根椐权利要求1所述的方法，其中组成部分c包括使用所捕 获的彩色像素和所捕获的全色像素二者来形成参考全色图像。
4、 根据权利要求2所述的方法，还使用参考全色图像来形成全 彩图像。
5、 根据权利要求1所述的方法，其中所述边缘图被用来提供噪 声清除。
6、 根据权利要求1所述的方法，其中所述边缘图被用来提供锐化。
7、 根据权利要求1所述的方法，其中所述边缘图被用来提供色 彩校正。
全文摘要
一种用于增强场景的全彩图像的方法包括使用由具有彩色像素和全色像素二者的二维传感器阵列来捕获场景的图像；响应于所捕获的彩色像素来形成全彩图像；响应于所捕获的全色像素来形成参考全色图像；响应于所述参考全色图像来形成边缘图；以及使用所述边缘图来增强全彩图像。
文档编号G06T5/00GK101652798SQ200880011120
公开日2010年2月17日 申请日期2008年3月26日 优先权日2007年3月30日
发明者J·E·小亚当斯, J·F·小哈米尔顿, M·奥布赖恩 申请人:伊斯曼柯达公司