专利名称：提高图像锐度的图像处理的制作方法
技术领域：
本发明涉及对具有模糊的图像进行的处理，用于提高其锐度。
技术背景
锐化是一种标准的图像处理技术，通常被应用于在视觉上改进图像。锐化的效果 通常给用户以极深的印象，因为它似乎带来了之前未曾有的图像细节。锐化实际上是强调 图像的边缘并且使其更易于被眼睛分辨出。在图像中并未创造新的细节。
锐化图像的第一步是使用很多现有技术方法之一来模糊该图像，所述现有技术方 法例如像素均化、与高斯掩膜(Gaussian mask)或任何其他低通滤波卷积。接下来，处理原 始图像和经模糊的版本，从而如果一像素比模糊化版本亮的话，进一步亮化该像素；如果一 像素比经模糊的版本暗的话，暗化该像素。结果是增加了各像素与其相邻像素之间的对比 度。该处理通常被称为反锐化掩模处理(UM)，并且可以由下式来表示
fs(x, y) = f(x,y)+b(f(x,y)-fLP(x, y)) (1)
在(1)中，f(x，y)是原始图像，fLP(x，y)是其低通滤波的版本，而fs(x，y)是锐化 结果。提升因子b确定将图像差异放大多少。
式(1)还可以通过将差€0^，7)-41)0^，7)替换为一般高通滤波器fHP(x，y)来一般 化为
fs(x, y) = f (χ, y) +bfHP(χ, y) (2)
大多数现有技术图像锐化方法要么使用形式(1)要么使用形式O)。这些方法的 区别在于选择提升因子b和应用低通或高通滤波的方式。
美国专利5363209描述了 UM方法的一种变体，包括以下步骤1)将图像转换为亮 度-色度格式，其中至少一个信号代表总体图像强度；幻确定图像中的最大局部对比度；该 局部对比度是在3X 3像素领域中确定的；3)确定一 3X 3的图像滤波器，其将最大局部对 比度增加到预定目标值，并将所有其他对比度增加至与其成比例的量，以及4)将所确定的 滤波器函数应用于图像以增加锐度。因此，在该方法中，“(χ，y)是3X3的图像均值而b 是取决于像素位置和图像梯度的函数:b = b(x, y，fx (χ, y)，fy(x, y))。
Chiandussi 禾口 Ramponi 在标题为"Nonl inear Unsharp masking for theenhancement of Document Images" (Proceedings of the Eighth EuropeanSignal Processing Conference, EUSIPC0—96)的论文所描述的方法中，维持了 UM方法的结构，但 是用高斯-拉普拉斯(Laplacian-of-GaussiamLoG)带通滤波器替代高通滤波器。馈送到 LoG滤波器的信号被二次算子处理，这在均勻背景区域中使噪声显著平滑。该算法的总体结 构与二次齐次滤波器对应。该论文显示了二次滤波器能够以有限的噪声放大实现图像中的 边缘改进。
在过去的二十年间已经开发了很多图像锐化和去模糊的方法。最强大的方法在卷 积核形状和大小未知时进行盲的解卷积。这样的算法通常用于离线处理，此时需要改进的 图像已经被捕获并储存在存储器或硬盘中。在离线模式下，对处理速度和存储量的要求并5不高。
已知的图像锐化和去模糊方法存在很多问题。
例如，第一个问题是现代图像传感器要求实时执行图像改进算法。传感器的小型 化和低价格大大限制图像处理器，却保持对结果质量的高要求。
第二问题在于捕获非平坦物体导致该物体图像中变化的模糊；模糊量取决于传感 器当前位置离该物体的距离。模糊量影响锐化图像所需的锐化滤波器的大小(即孔径)。
现有技术的方法通过多次执行锐化算法、每次使用不同大小的滤波器孔径并随后 融合所得图像来处理该问题。然而，从存储器消耗和计算速度的角度看，这是效率低下的。
此外，现有技术并不关注于优化，而且不适于直接嵌入式实现和/或非常低成本 的实现。发明内容
根据本发明，提供了用于处理输入图像数据以锐化图像数据的装置和方法。输入 图像数据被转换为积分图像数据，并且向所述积分图像数据应用滤波器以生成箱式滤波图 像数据。
这种积分图像数据和箱式滤波的组合在执行图像锐化所需的计算时间方面提供 了显著的优点。
优选地，使用大小根据图像的不同部分中的模糊量而针对所述不同部分改变的滤 波器来处理积分图像数据。以这种方式，滤波器大小可以匹配每个不同部分中的模糊量。此 外，在该情况下使用积分图像数据和箱式滤波提供了另外的优点，因为所需的处理操作的 数量是不变的，而与使用的滤波器大小无关。
本发明还提供了计算机程序产品，例如携带计算机程序指令的储存介质或信号， 所述计算机程序指令用于对可编程处理装置进行编程，以可操作来执行上文阐述的方法， 或者被配置为上文所阐述的装置。
本发明的实施方式提供了多种进一步的优点。尤其是
——实施方式降低了初等运算的复杂度。更具体地，一种实施方式仅使用固定点 格式的整数运算并且以比特移位来替代所有除法。
——实施方式减少在图像锐化期间用于储存中间结果的储存量。对所提出的算法 来说单个用于储存少量图像行的缓存器已足够。还有，当输出的图像储存在被处理的输入 图像的存储器中时，在没有额外的计算成本的情况下进行就地处理是可能的。
本发明的实施方式可以进行快速的图像锐化，并且适用于在嵌入到线性图像传感 器的低成本CPU中的实时实现。
现在将参照附图仅以示例的方式描述本发明的实施方式，在附图中
图1示意性示出了本发明一种实施方式的组件连同概念性的功能处理单元，当被 计算机程序指令编程时处理装置组件可以被视为配置成这样的概念性功能处理单元；
图2示出了图1所示处理装置所进行的用来锐化输入图像数据的操作；以及
图3示出了在处理的各个阶段数据如何被存储在图1的装置内的说明性表示。
具体实施方式
下面将描述一种实施方式，其中在图像扫描仪中进行处理来锐化该图像扫描仪中 行传感器所产生的图像数据。然而，应意识到，所述处理可以在其他类型的装置中进行，并 且可以对来自其他类型的传感器(例如全像传感器)的图像数据进行所述处理。
如下面将描述的，本实施方式使用取决于局部估计模糊量的可变锐化滤波器孔 径。该可变孔径是任何像素(x，y)处可获得的函数r(x，y) e [l..rmax]。
结果，在各像素位置处，基于该图像中该像素位置局部的模糊量来选择滤波器孔 径。以这种方式，随着图像中模糊量在像素位置间改变，滤波器孔径大小适当地改变。这避 免了上面提及的现有技术的以下缺点要多次处理整个图像，每次使用具有不同大小的孔 径的滤波器，并随后融合结果。
另外，该实施方式只要传感器捕捉到新的图像行就逐渐地产生结果。因此，该实施 方式需要相对少的图像处理缓存器，即使在滤波器具有可变孔径的情况下也是如此。这是 与通常在整个图像上进行工作而需要很大的中间存储器来用于图像处理的现有技术方法 的另一不同之处。
此外，该实施方式向积分图像数据(integral image data)应用滤波器以生成箱 式滤波(box-filtered)数据，而不是直接向强度数据(intensitydata)应用锐化滤波器。 结果，执行滤波操作所需的处理操作的数量保持不变，而无论用来生成箱式滤波数据的滤 波器孔径是多大。
在描述该实施方式的装置和由其执行的实际处理操作之前，将首先描述该实施方 式中采用的处理算法。
在本实施方式的图像扫描器中，输入图像是由R、G和B三个通道构成的彩色图像。 为了减小三个通道所需的计算负荷，本实施方式使用颜色空间变换来处理根据颜色通道得 到的强度通道。然后，在已经对强度通道执行了图像锐化后，使用三个原始颜色通道、锐化 之前所得到的强度通道以及锐化后的已处理强度通道来重构三个颜色通道。
有许多常规的颜色至强度转换可以用于从RGB通道得到待处理的强度通道。本实 施方式使用等式(3)给出的简化表达式，因为这仅需要两个加法
f(x, y) = R(χ, y)+G(x, y) +B (χ, y) (3)
用箱式滤波器fBP来替代基本方法(1)中包括的低通滤波器，该箱式滤波器是矩形 区域2r+lX2r+l中的像素之和。使用熟知的积分图像表达、独立于区域大小r来计算箱式 滤波器。通过递归的2X2滤波(即，使用四个像素参照)来如下计算积分图像I(x，y)
I (x, y) = f (χ, y) +1 (χ-1, y) +1 (χ, y-1) -I (χ-1, y-1) (4)
在本实施方式中，根据正在处理的像素的领域像素中的模糊量来确定可变孔径大 小r = r (x，y)，其中所述模糊量由图像扫描器提供。使用积分图像和用于任一 r的仅四个 存储器参照来计算具有可变孔径的箱式滤波器fBP如下
fBF (χ, y, r) = I (x+r, y+r) -I (x_r_l, y+r) -I (x+r, y_r_l) +1 (x_r_l, y-r-1) (5)
其中为了清楚，用r替代了 r(x，y)。
箱式滤波器(5)的结果用来获得“增益因子” g(x，y)，其确定颜色分量的乘积变 化
g(x，y) = k+Lr [f (χ, y) ] fBF (χ, y, r) (6)
其中k是取决于(1)中的提升因子的预先计算的数值常量，LJ...]是针对每个可 能的值r(x，y) e [l..rfflJ和各强度值而预先计算的查找表。该查找表所需的存储量通常 很小，这是因为等式(3)中强度值的范围是
，采用输入颜色通道的字节范围。
等式(6)给出的增益因子用来修改输入颜色，以根据下面的等式(7)来获得输出 颜色，其是该算法的最终结果
(；(1，7)=8“，7)(0^7)，其中0 = 1 、6或8 (7)
基于已处理的强度进行颜色重构的一种最简单的方法是乘积方法，其中假设颜色 分量与强度成比例。本实施方式使用颜色重构的乘积方法，通过等式(8)和(9)给出
权利要求
1.一种用物理计算设备处理图像数据以生成锐化后的图像数据的方法，所述方法包括 所述物理计算设备执行以下处理根据下式处理图像数据以生成积分图像数据I (X，y) = f(x, y)+I (χ-l，y) +1 (χ, y-1) -I (χ-l，y-1)其中，I是所述积分图像数据的值，χ、y是像素坐标，f是强度值；向所述积分图像数据应用滤波器以生成箱式滤波图像数据；根据所述箱式滤波图像数据来计算增益因子；以及根据计算出的增益因子对所述图像数据进行调制以生成锐化后的图像数据。
2.根据权利要求1所述的方法，其中，向所述积分图像数据应用滤波器的所述处理包 括针对所述图像数据内多个像素位置中的各像素位置进行以下操作所述物理计算设备根据针对所述像素位置的图像模糊测量来选择要应用的滤波器的 大小；以及所述物理计算设备向所述积分图像数据应用所选择的大小的滤波器，以生成箱式滤波 图像数据。
3.根据权利要求1或权利要求2所述的方法，其中所述锐化后的图像数据是由所述物理计算设备通过根据下式调制所述图像数据来生 成的fs U, y) = g(x，y)f (χ，y)其中，x、y是像素坐标，fs是所述锐化后的图像数据的强度值，g是所述增益因子，并且 f是所述图像数据的强度值。
4.根据任一前述权利要求的方法，其中，计算增益因子的所述处理包括针对所述图像 数据内的多个像素位置中的各像素位置进行以下操作所述物理计算设备根据针对所述像素位置而应用于所述积分图像数据的滤波器的大 小和所述图像数据在所述像素位置的强度二者，来从查找表读取储存值；以及所述物理计算设备计算作为从所述查找表读取的值和针对所述像素位置生成的箱式 滤波图像数据的函数的所述增益因子。
5.根据任一前述权利要求的方法，其中所述积分图像数据是由所述物理计算设备在存储器中针对所述图像的多个行上的像 素而累积的，其中，所述行的数目取决于要应用的滤波器的大小；以及应用所述滤波器、计算所述增益因子和调制所述图像数据的处理是在针对所述图像 的另外的行上的像素的积分图像数据被储存在所述存储器之前、由所述物理计算设备执行 的，并且针对在接下来储存的行上的像素重复应用所述滤波器、计算所述增益因子和调制 所述图像数据的处理。
6.根据任一前述权利要求的方法，其中，要锐化的图像数据由所述物理计算设备储存 在存储器中，并且当所述锐化后的图像数据被生成时用所述锐化后的图像数据覆写在所述 存储器中的要锐化的图像数据。
7.根据任一前述权利要求所述的方法，其中所述滤波器由所述物理计算设备应用于所述积分图像数据，以根据下式生成箱式滤波 图像数据fBF(x, y, r) =I (x+r, y+r) _I (x_r_l, y+r) _I (x+r, y-r-1) +1 (x_r_l, y-r-1) 其中，r是用于所述像素的滤波器大小，fBF是所述箱式滤波器图像数据的值。
8.根据任一前述权利要求所述的方法，其中 要锐化的图像数据包括在多个通道中的颜色数据； 所述颜色数据被所述物理计算设备处理来生成强度数据；所生成的强度数据被所述物理计算设备处理来生成所述积分图像数据；以及 所述多个通道中的所述颜色数据被所述物理计算设备根据计算出的增益因子调制，以 生成所述锐化后的图像数据。
9.一种用于处理图像数据以生成锐化后的图像数据的装置，所述装置包括 积分图像数据计算器，用于根据下式处理图像数据以生成积分图像数据I (X，y) = f(x,y)+I (χ-l，y) +1 (χ, y-1) -I (χ-l，y-1) 其中，I是所述积分图像数据的值，χ、y是像素坐标，f是强度值； 图像数据滤波器，用于向所述积分图像数据应用滤波器以生成箱式滤波图像数据； 增益因子计算器，用于根据所述箱式滤波图像数据来计算增益因子；以及 图像数据调制器，用于根据计算出的增益因子对所述图像数据进行调制以生成锐化后 的图像数据。
10.根据权利要求9所述的装置，其中，所述图像数据滤波器被设置为通过以下处理来 对所述图像数据内多个像素位置中的各像素位置应用所述滤波器根据针对所述像素位置的图像模糊测量来选择要应用的滤波器的大小；以及 向所述积分图像数据应用所选择的大小的滤波器，以生成箱式滤波图像数据。
11.根据权利要求9或权利要求10所述的装置，其中所述图像数据调制器被设置来根据下式调制所述图像数据来生成锐化后的图像数据fs U, y) = g(x，y)f (χ，y)其中，x、y是像素坐标，fs是所述锐化后的图像数据的强度值，g是所述增益因子，并且 f是所述图像数据的强度值。
12.根据权利要求9到11中任一权利要求所述的装置，其中，所述增益因子计算器被设 置来通过以下操作针对所述图像数据内的多个像素位置中的各像素位置计算相应的增益 因子根据针对所述像素位置而应用于所述积分图像数据的滤波器的大小和所述图像数据 在所述像素位置的强度二者，来从查找表读取储存值；以及计算作为从所述查找表读取的值和针对所述像素位置生成的箱式滤波数据的函数的 所述增益因子。
13.根据权利要求9到12中任一权利要求所述的装置，其中，所述装置被设置来在存储器中针对所述图像的多个行上的像素而累积所述积分图像数据，其中，所述行 数与要应用的滤波器的大小相关；以及在将针对所述图像的另外的行上的像素的积分图像数据储存在所述存储器之前，应用 所述滤波器、计算所述增益因子和调制所述图像数据，并且针对在接下来储存的行上的像 素重复应用所述滤波器、计算所述增益因子和调制所述图像数据。
14.根据权利要求9到13中任一权利要求所述的装置，其中，所述装置被设置来将要锐 化的图像数据储存在存储器中，并且当所述锐化后的图像数据被生成时用所述锐化后的图 像数据覆写在所述存储器中储存的图像数据。
15.根据权利要求9到14中任一权利要求所述的装置，其中所述图像数据滤波器被设置来向所述积分图像数据应用所述滤波器，以根据下式生成 箱式滤波图像数据fBF(x, y，r) =I (x+r，y+r) -I (x_r_l，y+r) -I (x+r，y-r-1) +1 (x_r_l，y-r~l) 其中，r是用于所述像素的滤波器大小，fBF是所述箱式滤波器图像数据的值。
16.根据权利要求9到15中任一权利要求所述的装置，其中 要锐化的图像数据包括在多个通道中的颜色数据；所述装置还包括强度计算器，所述强度计算器用于处理多个通道中的颜色图像数据， 以根据所述颜色图像数据生成强度数据；所述积分图像数据计算器用于处理所述强度数据来生成所述积分图像数据；以及 所述图像数据调制器用于根据计算出的增益因子来对所述多个通道中的所述颜色数 据进行调制，以生成所述锐化后的图像数据。
17.一种携带计算机可读指令的计算机可读储存介质，如果计算机执行所述指令，则使 得所述计算机执行在权利要求1到8的至少一个中阐述的方法。
全文摘要
通过以下操作来锐化模糊的图像数据将三个通道的RGB数据转换成单个通道的强度数据；处理所述强度数据以生成积分图像数据；向所述积分图像数据应用大小可变的滤波器以生成箱式滤波器数据；根据所述箱式滤波器数据、所述强度数据以及用于所述像素位置的滤波器大小为每个像素位置计算增益因子；以及将每个像素的原始RGB数据与用于该像素的增益因子相乘，以生成锐化后的RGB数据。根据局部模糊量的估计来在每个像素位置处选择滤波器大小。以这种方式，随着模糊量的改变，滤波器大小适当地改变。通过处理积分图像数据以生成箱式滤波数据，图像锐化需要数量不变的处理操作，而与使用的滤波器大小无关。
文档编号G06T5/00GK102037491SQ200980118056
公开日2011年4月27日 申请日期2009年5月19日 优先权日2008年5月19日
发明者亚历山大·西比里亚科夫, 米罗斯瓦夫·博贝尔 申请人:三菱电机株式会社