图像增强方法和设备的制作方法

专利名称：图像增强方法和设备的制作方法
技术领域：
本发明总体上涉及基于输入图像计算输出图像，其中输入图像可以是
例如静止图像或^L频序列的 一部分。
背景技术：
可以用多种多样的图像增强技术来改善由静止图像和视频序列二者 的观看者察觉到的图像质量。
一类重要的增强技术是由对比度增强功能构成的。在US 5,717,789中 公开了实现对比度增强功能的被称为Burt-pyramid算法的一种算法的实 例。这一算法能够实现从组分子频谱图像合成出原始的高分辨率图像，而 不会因为重叠的缘故而引入虛假的空间频率。根据Burt-pyramid算法，按 照分离组分图像的层次，将原始图像分为多个子图像。每个子图像可以是 由原始图像的不同空间频率范围构成的拉普拉斯图像加上残余高斯图像。
图像增强通常导致改变相应频率范围内的像素值。可以将原始图像G。 增强为增强图象G。，
Go'-goD。+g, D, +g2D2+.. .+gn_, D"+Gn， (1)
其中g^1, g是像素增强系数，并且D。是在原始图像的相应频谱频率范 围内的子图像或导出的子图像。可以将D。理解为从"原生"子图像G。导出 的一组子图像。在本公开文本中，可以将D。和Gn二者都理解为子图像，其 中D。是通过下采样从G。导出的。增强除了最低频率范围之外的所有频率范 围内的像素值，能够增强对比度很小的平滑图像区域内的锐度和对比度。
然而，不考虑图像内容而改变像素值可能会造成过调(overshoot)， 将具有边缘的区域中的像素值增强到高于期望值，以及需要削峰或其它措 施来防止图像失真，失真通常会导致图像质量变差。

发明内容
本发明的目的是提供一种用于增强输入图像对比度的解决方案，该解 决方案减轻了上述问题并且防止或限制了过调量以及由此的削峰量。实现的。
本发明提出在多尺度法中使用来自输入图像的像素值来改变输入图 像中的像素。在根据本发明的方法中，将输入图像分成多个子图像，每个 子图像对应于输入图像的 一个频带。虽然典型地将会处理所有的子图像， 但是本发明并不局限于此。
通过定量(quantify)可用于增强输入图像中的像素的像素值的余量 来计算像素上限储备(headroom)信号。虽然像素上限储备信号可以单独 基于输入图像，但是下面将会介绍包括使用其它信息的其它变体。
使用像素上限储备信号来为所要改变的多个子图像的各个子图像内 的像素计算像素增强系数。典型地，将会针对各子图像中的每个像素来计 算这些像素增强系数。像素增强系数是以这样一种方式计算的在所要改 变的各子图像间分摊像素上限储备信号所定量的余量。之后，通过使用相 应的像素增强系数来增强子图像中的像素值，使像素增强系数用于改变所 要改变的各子图像。随后使用改变过的子图像来生成输出图像。
通过使用多尺度法并且在像素增强系数计算中通过利用像素上限储 备信号在子图像间分摊可用像素上限储备来明确地考虑可用于输入图像 中的像素的像素上限储备，可以增强各子图像以及输出图像，而没有或仅 有有限数量过调，从而不需要或者仅需要有限数量的削峰。因此本发明提 供了精确的削峰控制。
通过使用多尺度法进行增强，可以使用可用上限储备来增强特定子图 像内的特征。可以通过为单独的子图像分配较大比例的上限储备来优待这 些子图像，从而能够实现在维持同样的控制水平的同时允许在受到优待的 子图像内使用较大的像素增强系数。
在优选实施例中，子图像是按顺序改变的并且为所要改变的每个子图 像计算像素上限储备信号。而且，为正在改变的各子图像计算的像素上限 储备信号考虑了此前已改变的子图像所消耗的像素上限储备(余量)。结 果，在生成已改变的子图像时所消耗的余量将不可再用于改变其它子图 像。按照这种方式，可以通过子图像上的像素上限储备的分配以及子图像 处理的优先排序来分配像素上限储备。同时，保持了防止或限制过调量的 能力。此外，在增强此前已改变的子图像时没有消耗的上限储备可以用于 增强其它子图像。在另 一种优选实施例中，子图像处理的顺序是通过将所计算的像素上 限储备信号与各子图像中的像素值相关联而确定的。按照这种方式，确定 了各子图像中增强的潜力，以便决定子图像处理的顺序。基于像素上限储 备信号，可以选择各种各样的处理顺序，比如首先增强具有最大增强潜力
的子图像的贪心(greedy )增强算法。可选择地，可以想象出更为巧妙的 增强算法，其首先增强可能仅仅进行较小增强的子图像，从而保证了增强 的进行并且与贪心增强算法相比，导致了对子图像更为均衡的增强。
在另一个实施例中，子图像处理的顺序是固定的，从包括输入图像的 最高频率范围中的信息的子图像到包括输入图像的最低频率范围内的信 息的子图像。结果，高频带受到优待，这导致增强图像的锐化。
在又一个实施例中，计算两个像素上限储备信号， 一个像素上限储备 信号将输入图像的各像素的像素值的余量定量为最大像素值，以及另一个 像素上限储备信号将输入图像的各像素的像素值的余量定量为最小像素 值。随后，当子图像像素的像素值为正值时，像素增强系数基于像素上限 储备信号，以及当子图像像素的像素值为负值时，像素增强系数基于另一 个像素上限储备信号。这一特定特征允许在非常黑暗的区域内增强明亮细 节(比如高亮)，或者按照另外一种可选方案，增强非常明亮的区域内的 黑暗细节。
当没有预防措施改变个别子图像中的像素值时，所谓的暈环人工假象 可能会在高对比度对象边缘周围以伪发光的形式或以伪阴影的形式出现。
在优选实施例中，通过计算定量围绕着各像素的区域中的最小像素上 限储备的像素上限储备信号，像素上限储备信号考虑了各像素周围区域中 像素上限储备的空间分布。结果，可以使用该像素上限储备信号来确定不 会造成区域内削峰的区域最大线性增益。结果，区域内的增强将会更加连 续。
在再一个优选实施例中，通过对要改变的每个各子图像使用不同的过 滤器来过滤像素上限储备信号，以便计算像素增强系数，其包括与子图像 的频率范围相同的频率范围内的频率分量。与前面的考虑了子图像像素的 区域内的像素上限储备的实施例相组合，可以获得频谱非常平滑的像素增 强系数。这样降低了在子图像内引入暈环的可能性。
在另一个实施例中，对于所有子图像，像素增强系数以单个最大像素 增强系数值为上限。当可以使用充足的带宽时，将通过使用该最大像素增强系数来增强所有已改变的子图像，从而导致类似于全局线性直方图拉伸 的增强。结果，防止了由于过度增强已具有足够对比度的区域而造成的"发 光，，的人工假象。
在另 一种实施例中，像素增强系数基于没有进行削峰的子图像中的像 素的最大线性增益，由范围在O到l的缩放系数a来进行衰减。结果，仅有 a份额的可用上限储备将用于当前子图像，并且(1-a )份额的可用上限 储备可用于增强剩余的子图像。这样"发光"的人工假象也得到了衰减。
在优选实施例中，当像素周围的预定区域内子图像像素的最大像素值 和最小像素值之间的差低于阈值时，将用于子图像像素的像素增强系数设 定为衰减像素的像素值。在这种情况下，可以降低由例如DCT量化而造成 的噪声。
在另一种优选实施例中，本方法用于增强彩色图像。为了增强彩色图 像，使用彩色图像的亮度分量作为输入图像并且将其分为子图像。在处理 之后，输出图像是彩色图像的增强的亮度分量。随后，使用由增强亮度分 量与亮度分量的比值所确定的缩放系数，通过缩放彩色图像的RGB分量来 形成增强的彩色图像。使用这种特殊方法，提供了充分保留原始彩色图像 的色饱和度的可能。
此外，本发明还涉及一种有形地收录在记录载体中的计算机程序产 品，该计算机程序产品包括指令，在执行这些指令时，处理器能够进行权 利要求1到12所述方法中的任何一个的步骤。
另外，本发明还涉及一种图像信号，该图像信号包括形成输入图像的 像素值和一组像素增强系数，该组像素增强系数能够实现按照权利要求1 到12所述方法中的任何一种方法的输入图像处理。


将参照附图进一步阐述和介绍本发明的这些和其它方面，其中
图1是改变像素值的方法的流程图2是改变彩色图像中的像素值的优选方法的流程图3是说明激进均匀直方图拉伸(aggressive uniform histogram stretching)的示意图4是说明在缺乏用于激进均匀直方图拉伸的足够的上限储备的情况 下的增强的示意图；以及图5是根据本发明的设备在可能的应用之内的框图。
在所有这些附图中，相同的附图标记指示相同的元件或者执行同样功 能的元件。
具体实施例方式
图l是根据本发明的方法的流程图。它描绘的是用于增强由像素值表
示的亮度输入图像100的程序流程。在步骤105中，将输入图像100分成多 个子图像。多个子图像中的每个子图像包括来自于输入图像100的对应频 带的信息。典型地，将会对每个子图像进行处理，以便生成已改变的子图 像。随后将这些已改变的子图像组合起来，以便在步骤35中生成增强亮 度图像145。
生成已改变的子图像需要三个步骤 -计算像素上限储备信号的步骤110; _计算像素增强系数的步骤U5; 以及 -基于像素增强系数改变各子图像的步骤120。
本发明涉及计算像素上限储备信号的步骤l 10。像素上限储备信号定 量可用于图像中像素的像素值增强的余量。可用余量是以这样一种方式在 子图像间进行分摊当在各子图像中的像素在它们各自的像素上限储备的 部分内被改变时，已改变的子图像的组合像素值将不会发生过调。结果， 不需要进行削峰或饱和来防止输出图像中的图像失真。按照另外一种可选 方案，可以允许进行少量的削峰来改善所感觉到的增强。在第一种变型方 案中，为图像计算单个像素上限储备信号并且随后在不同的子图像之间分 布可用的上限储备，例如，通过分配整个像素上限储备的预定部分来增强 各子图像。这种工作模式的缺点是，损失了在增强某一子图像中没有消耗 掉的上限储备。
在第二个变型方案中，这种变形方案在按顺序处理子图像时特别有 效，在处理每个要改变的子图像之前计算像素上限储备信号，并且各个像 素上限储备信号说明了之前已改变的子图像中所消耗的像素上限储备。结 果，在增强一个或多个子图像中没有消耗掉的上限储备可以用于增强其它 后续的子图像。
在第三个变型方案中，在处理之前计算出来的像素上限储备信号随后 被用作确定增强各个子图像的潜力的基础。结果，可以使用像素上限储备信号以依赖于图像的方式来确定子图像改变的优选顺序。虽然第三个变型 方案的计算繁重得多，但是它能够实现各子图像增强的优先排序。
图l中所示的实施例使用了前面介绍的第二种变型方案，其中在考虑 了改变先前的子图像所消耗的上限储备情况下，为所要改变的每个子图像 计算像素上限储备信号。
这种变型方案中的像素上限储备信号定量可用于增强每个相应子图 像中像素的像素值的余量。如图l中所示的图像中像素值的改变是一个迭 代处理。在每次迭代期间，确定剩余的像素上限储备。以这样一种方式在
所有子图像间迭代地分摊原始图像中可用的像素上限储备在由各子图像 的像素上限储备信号所表示的余量内改变各子图像中的像素。为了在不同 的子图像间分摊像素上限储备，需要根据可用像素上限储备来计算用于增 强子图像中的像素的像素增强系数。结果，输出图像中相应像素的像素值 的增强将不会引起过调。
为了这个目的，本发明必须要防止或者限制过调量，从而降低削峰的 必要性或者使削峰的必要性最小化。在改变第一子图像时所消耗的像素上 限储备的量将会影响用于增强其它子图像的可用的上限储备量。应当注意 的是，图1中的流程图仅仅表示单一的实现方式并且可以设想有各种不同 的备选方式。
下一个步骤115包括计算像素增强系数，对于子图像内的像素，像素 增强系数的计算基于为该子图像计算出来的像素上限储备信号。在该实施 例中，像素增强系数取决于为该图像计算出来的像素上限储备信号以及先 前在其它子图像的增强中使用的像素上限储备。虽然在该实施例中要增强 所有的像素，但是在不偏离本发明的范围的情况下也可以使用遮罩(mask) 并且仅仅增强子图像的某些区域或片段。
在该实施例中，使用像素上限储备信号来为子图像的像素确定不会导 致削峰的最大线性增益。基于这一信息，可以为子图像的某一像素计算像 素增强系数。像素增强系数可以是通过使用该像素的像素上限储备信号以 及子图像的对应像素值来计算。如果可以接受特定量的过调，则可以选择 比基于像素上限储备信号所允许的像素增强系数更高的像素增强系数。对 于本领域的技术人员而言，显然将需要其它的手段，比如(软)削峰，以
便限制可视的图像失真。
第三个步骤120包括通过使用计算出来的像素增强系数来改变多个子图像中的子图像。在实践中，这涉及子图像中各像素的像素增强系数的使 用，以及通过使用相应的像素增强系数来乘以各像素值来得到各像素的像 素值的增强。
一旦生成了已改变的子图像，在步骤125中可以重复进行改变子图像 的处理，直到在步骤125中处理和/或改变了所有的子图像。最后，通过合 并这些已改变的子图像来生成输出图像145。在一个实施例中，这可以通 过对所有已改变的子图像进行相加而完成。
虽然图1中的流程图描绘的是在子图像改变循环之外生成输出图像， 但是也可以将生成步骤135并入到子图像改变循环中。在这种情况下，每 次循环迭代都会得到中间输出图像，在该中间输出图像中合并了至此为止 已改变的所有子图像。可以使用中间输出图像来帮助为随后的子图像建立 像素上限储备信号，因为中间输出图像已经考虑了所有此前已改变的子图 像。
当迭代地处理各子图像并且在每次迭代中计算像素上限储备信号时， 子图像处理的顺序是至关重要的。改变子图像期间所消耗的像素上限储备 将不能再用于其它子图像的改变。因此排列子图像处理的优先次序是很重 要的。
在第一种变型方案中，优先次序与图像无关。子图像是按照从高频子 图像到低频子图像的顺序进行处理的。结果，最大上限储备量可用于增强 高频子图像，并且剩余上限储备可用于低频子图像。结果，高频子图像的 转变可能增强得更甚，从而造成锐化效应。
在图1中所示的实施例的另 一种变型方案中，像素上限储备信号是在 开始进行子图像的改变之前计算的。而且，随后使用各像素上限储备信号 来排列子图像处理的优先次序。第 一种策略应该是优待能够实现最大增强 的子图像，得出一种贪心子图像优先排序策略。按照另外一种可选方案， 可以设想一种更加巧妙的子图像优先排序策略，比如在允许较强增强的子 图像的处理之前，选择允许最小增强的子图像并且实现这些增强。按照这 种方式，使用可用像素上限储备来增强贪心算法中不能增强的区域。因此， 这种更加巧妙的办法通常会导致对子图像更加均匀的增强。
图2是改变彩色图像200中像素值的优选方法的流程图。虽然这一实施 例中的原始彩色图像具有YUV格式，但是本发明并不局限于此。使用YUV输 入的优点在于，它已经包括了独立的亮度分量。然而，虽然可以在保持该彩色图像的色度信息(U/V)不变的情况下，使用图l中给出的办法来增强
彩色YUV图像的亮度(Y)分量，但是这种办法可能会导致在明亮区域中发 生不希望有的色饱和度损失，并且可能会引起黑暗区域中发生不希望有的 色饱和度的增加。
为了保持彩色图像的色饱和度不变，最好通过基于图像中的亮度信息 确定缩放系数以及相应地缩放图像的各RGB分量来增强彩色图像。结果， 基本上保持了色饱和度。
图2显示了改变彩色图像2 0 0中的像素值的优选方法。阴影区域215包 括前述算法的核心。从彩色图像200开始，在步骤205中将亮度分量230分 离出来并且用作输入图像230来在步骤135中生成输出图像145,该输出图 像145是增强亮度图像。倘若彩色图像235不是RGB表示，则在步骤220中将 彩色图像200转换为RGB表示。随后在步骤220中，使用基于增强亮度图像 (输出图像145)的各像素值与原始亮度图像(以及输入图像230 )的各像 素值的比值的缩放系数，在每个像素的基础上对RGB分量进行缩放。在缩 放了 R G B分量之后，输出所获得的增强的彩色图像2 2 5 。
本发明的另一个优选实施例的目的在于提供对比度增强并且同时防 止削峰，以及减少可能由增强具有高对比度边缘的区域而造成的"发光" 的人工假象。为此，倘若可利用的上限储备充足的话，该实施例就着手于 对所有的频带都增强相同的量。结果，当一个区域具有充足的上限储备时， 这将会导致均值不变的全局线性直方图拉伸，这是一个不会造成"发光" 人工假象的操作。
在没有充足上限储备的区域中，该实施例提出从最细尺度(最高空间 频率)到最粗尺度(最低空间频率)针对所有空间尺度进行迭代处理，最 粗尺度表示图像的平均亮度(DC分量)，因此优待高频子图像。不需要将 所有的子图像都包括在处理操作中，以及在一种变型方案中，以不变的形 式保留DC分量。而且，下文将会更加详细地介绍，像素增强系数是以这样 一种方式生成的像素增强系数的变化在子图像中表现出平滑性态，从而 有效地减少了子图像内的"发光"的人工假象。
首先，在步骤105中将公式中由V表示的输入图像100分成n个子图像B1。
在这一特定实施例中，各个子图像是使用尺度i所对应的空间低通过滤器 尸w经过连续的低通过滤来获得的。其中0表示空间巻积。在低通过滤以后，随后通过减去视频的低通过 滤版本而提取出频带B'。
在该特定实施例中，子图像的处理顺序被预定为从高到低，并且首先 为最高频率的子图像计算第一像素上限储备信号。在该特定实施例中，将
为每个子图像计算两个像素上限储备信号和&。。为了建立这两个像素
上限储备信号，首先要计算两个中间信号//:,和//二。，见公式(4)和(5)。 //:p(x，y)表示在图像中的位置(x，y)处的像素朝向最大像素值P,的上限 储备，//;。0c,力表示在位置(x， y )处的像素朝向最小像素值P^的上限储备。 各个上限储备信号用于为当前子图像的正像素值和负像素值计算不同的 像素增强系数。因此，该实施例能够强调非常明亮区域内的黑暗细节，并 且强调非常黑暗区域内的明亮细节。如果使用的是单个总像素上限储备信 号，这是不可能的，因为缺少一侧的上限储备。
为了计算像素上限储备信号，本实施例使用中间信号r;，其表示对
比度增强达到尺度i的中间结果。K ;包括先前已改变的子图像以及仍然 未改变的子图像，并且可以将其看作处理i个子图像之后的中间输出图像。 将V;初始化为原始图像V。
随后，计算像素上限储备信号/^和^。。在该特定实施例中，像素上 限储备信号是考虑了各个像素(x,y)周围的空间区域S的区域像素上限储 备信号。为了生成用于像素(x,y)的/^和化。，为区域S建立/Z,:p(x,y) 的区域最小值和/Z二。 (x，y)的区域最大值。随后，对像素上限储备信号进行 过滤，以确保基于各个像素上限储备过滤器的像素增强系数落在各子图像 中的像素值的频率范围之内。
< (x, 7)《 (磨(《(6)
化。(^)《@(廳(《(")) (7) 对于最佳结果，孔径S应当等于或大于F」的过滤孔径。在该特定实施
= K' —K'
13例中，用于将图像分成子图像的空间低通过滤器还用于形成像素上限储备 信号。
随后使用计算出来的像素上限储备信号来为子图像内的各个像素计 算像素增强系数gi(x,y)。在该实施例中，像素增强系数是根据子图像中的 各个像素的像素值通过使用A:p或/^。计算出来的。
g'(x,+ C丄/尸(0,oc(/^。"J)/ g隨)fo"W) < 0 (8)
g'(x,+ CX/尸(0,ocfe如)/s'b)), g」for5'(xj)20 (9)
从公式(8)和(9)可以看出，像素增强系数受到对所有频带都相同 的最大总像素增益g,的约束。倘若可以使用充足的上限储备，则对于所有 子图像中的所有像素来说增益都是g,,这样会导致均值不变的全局直方图 拉伸。然而，如果上限储备不足，则像素增强系数将会基于^。 (P， I), (p, 1) 或者/^(p, 1)/B、p, 1),它们可以在区域中定量出不会导致削峰的最大线 性增益。
用户定义的具有介于0和1之间的值的参数"能够实现可用像素上限储 备在不同的子图像间的分布。仅仅可用上限储备的《份额将用于要改变的 每个子图像中的增强。通过使用像素上限储备的部分分配，在所有子图像 间逐步分配上限储备。在该特定实施例中，可以使用最大线性增益的a份 额来增强B1，可以使用a (卜a)份额来增强B2 (即如果a份额用于增强B1)。 如果分配给B'的上限储备没有被全部使用，则B'增强之后剩余的最大线性 增益的a份额将用于增强B2 。
上述机制限制了子图像内的像素增强系数。此外，通过使用区域像素 上限储备信号(其被额外地过滤以匹配子图像频带)，像素增强系数在频
域内表现出了平滑状态。而这些防止了可能表现为高对比度边缘周围的伪 光发射和伪阴影的暈环人造假象的产生。虽然这并不会减少输入图像中已 经存在的晕环人造假象，但是却可以降低？I入额外暈环人造假象的可能性。
一旦计算出了像素增强系数，就可以对子图像进行改变，得出已改变 的子图像A。
》'=g'& (10) 当已改变的子图像可用时，可以计算处理后续子图像时所使用的增强
图像vi,或者按照另外一种可选方案，已经处理过所有子图像来获得增强的亮度图像。
<formula>formula see original document page 15</formula>
虽然可以使用上述用于处理YUV彩色图像的亮度分量并且将U和V分量 保持的实施例，但是这可能会导致在明亮区域中发生不希望的降饱和 (de-saturation),以及在黑暗区域中发生过饱和。为了保持饱和度， 最好使用增强的亮度分量与原始亮度分量的比值，以便沿着恒定饱和的方 向缩放图像，例如，通过将YUV表示法转换为RGB表示法并且缩放各个RGB分量。
<formula>formula see original document page 15</formula>
由于上述实施例优待包括高频分量的子图像，因此还可能锐化噪声。 这些噪声可能部分是由DCT量化而引入的。DCT量化人工假象经常会导致子 图像的区域内的最小像素值和最大像素值之间的小差值。
为了防止增强这些人工假象，可以检测这些量化噪声的出现并且随后 废弃像素增强系数的计算。为了检测DCT量化噪声，可以确定像素周围的 区域S内的最小和最大像素值并且确定最小值和最大值之间的绝对差是否 低于阈值。如果该值低于阈值，则将像素增强系数设置为低于l的值，以 便衰减该效应；并且如果该值高于阔值，则基于可用的像素上限储备信号 来替换该像素增强系数。
对于本领域技术人员而言可以明了，作为使用单个阈值的替换，可以
实施使用多个阈值的更加渐进的方案，或者按照另外一种可选方案，使用 最小值和最大值的差值来实现从增强到衰减的更加渐进的过渡。
图3是说明激进均匀直方图拉伸的示意图。第一条曲线405表示在激进 均匀直方图拉伸之前的线上像素的亮度值，并且第二条曲线410表示在激 进均匀直方图拉伸之后的线上像素的亮度值。如果像素增强系数以最大值 为上界并且有充足的可用上限储备的话，图3中的增强类似于本发明的增 强。
图4是说明在缺乏用于激进均匀直方图拉伸的足够的上限储备的情况 下理论性增强的示意图。第一条曲线505表示理论性增强之前的亮度值， 第二条曲线510表示理论性增强之后的亮度值。图4说明了由于在曲线505的右上部分缺乏上限储备，从而没有足够的上限储备用于进行均值不变的 全局直方图拉伸。第二条曲线510说明的是，尽管缺乏上限储备，但在没 有该图右上部中的过调和/或削峰的情况下，也可以增强高频正弦曲线。 它还说明了，通过应用局部增强，比如通过使用多尺度增强，左下部的正
弦曲线可以得到比右上部的正弦曲线更大的增强。最后，第二条曲线510
还表明如何首先使用像素上限储备来增强高频分量，从而增强有益于低频 分量的正弦幅度。
上述的实施例的目的在于，通过按照高频到低频的顺序来处理子图
像；通过为各个子图像分配一部分(剩余)上限储备；以及通过独立地确定 向上的和向下的像素增强系数，可以实现与图4中给出的结果类似的结果。
虽然可以将输入图像分成相等尺寸的频带的子图像，但是本发明并不 局限于此。显然，改变频带尺寸将会影响频率范围内可用上限储备的比值， 并且因此可能需要用于增强的可用余量的份额在不同的子图像间的自适 应。而且，分离出图像的DC分量，将此作为单独的子图像来对待并且根据 情况强行将DC分量的像素增强系数设置为1也在本发明的范围之内。
如前面所提到的，处理子图像的顺序还会影响用于各子图像的增强的 余量。当要增强第一个子图像时，所有像素上限储备依然是可用的，并且 可以使用可用于增强第 一 个子图像的整个像素上限储备份额。通过降低分 配给第 一个子图像的上限储备份额，可以使该算法的"贪心"本性得到緩 和。
如上所述，可以使用本发明来改变静止图像和/或视频序列二者内的 像素值。可以将其具体实现在独立的图像增强装置中，或者将其集成在其 它视频处理装置中。这些装置包括那些被设置成用于处理视频的装置，并 且不局限于用于表现的装置，但是还可以包括用于采集、存储和/或分配 图像和视频序列的装置。
本发明可以很容易地集成在多种多样的装置中，比如显示器、视频显 示器、数字静态相机、视频摄像机、视频录像机、硬盘记录器、电视机、 用于个人计算机的视频卡、LCD显示器、等离子显示器、电泳显示器、移 动电话、个人数字助理(PDA)、手持视频呈现装置或手持游戏机。
图5显示了根据本发明的用于改变图像内的像素值的设备600。数据库 605为设备600提供包括表示图像亮度的像素值的输入图像100。
设备600包括分离装置610,其被配置成将图像分为多个子图像，多个子图像中的每个子图像包括来自于输入图像10Q的各频带的信息。
此外，设备600还包括第一计算装置620,其被配置成计算像素上限储 备信号，该像素上限储备信号定量可用于增强输入图像100中的像素的像 素值的余量，该像素上限储备信号至少部分基于输入图像。
另外，设备600还包括第二计算装置630,其被配置成根据像素上限 储备信号为要改变的各子图像内的像素计算像素增强系数，从而在要改变 的各子图像间分摊由像素上限储备信号定量的余量；以及改变装置640， 其被配置成通过使用像素增强系数和来自各子图像的相应的像素值来改 变所要改变的各子图像。此外，设备600还包括生成装置650,其被配置成 通过使用已改变的子图像来生成输出图像145。将输出图像145同时发送给 另一个数据库665和用于显示输出图像145的显示装置695。
可选地，根据本发明设备600可以为图像信号685提供一个输入端，其 中该图像信号包括形成图像的像素值以及一组能够实现图像增强的像素 增强系数，并且像素增强系数是使用根据本发明的方法而生成的。使用该 信号，随后设备6OO可以通过直接使用像素增强系数来增强该信号中包含 的图像。这些像素增强系数可以通过使用例如公式(Ua)、 ( 12b)和(12c) 来获得。
图5中的图像信号685是通过网络660接收的并且是由执行根据本发明 的方法的个人计算机67 0生成的。个人计算机6 7 O执行该方法所需的指令可
以是由诸如光盘、固态存储卡或其它可选用的包含所述信息的机器可读存 储装置之类的记录载体675提供给个人计算机670的。
对于本领域技术人员而言，显然根据本发明的改变像素值的方法可以 在诸如专用集成电路(ASIC)之类的专用硬件平台上实现，或者在个人计 算机(PC)中的通用微处理器上实现。事实上，该方法可以部分在专用硬
2当注意,；前面i到的实施:是说明本发明而;是对本发明加以限
制，并且本领域技术人员将能够设计出很多可供选用的实施例，而不会超 出由所附权利要求定义的本发明的范围。
在权利要求中，位于圆括号之间的任何附图标记都不应看作是对权利 要求的限定。动词"包括"及其变换形式的使用并不排除除了权利要求中 所列出的那些元件或步骤之外还存在其它的元件或步骤的可能。在元件前 面使用的冠词"一，，并不排除存在多个这种元件的可能性。本发明可以借助包括多个分立的元件的硬件来实现，并且可以借助适 当程控的计算机来实现。在列举出多个装置的装置权利要求中，这些装置 中的若干个可以是由同一硬件项来具体实现的。在相互不同的从属权利要 求中叙述特定方法的事实并不表明使用这些手段的组合没有有益效果。
权利要求
1. 一种基于输入图像(100)计算输出图像(145)的方法，该方法包括以下步骤将输入图像(100)分为(105)多个子图像，多个子图像中的每个子图像包括来自于输入图像(100)的相应频带的信息；计算(110)像素上限储备信号，该像素上限储备信号定量可用于增强输入图像(100)中的像素的像素值的余量，该像素上限储备信号至少部分基于输入图像(100)；根据像素上限储备信号为要改变的各子图像内的像素计算(115)像素增强系数，从而使由像素上限储备信号定量的余量在要改变的各子图像间分摊；通过使用像素增强系数以及来自各子图像的相应的像素值来改变(120)所要改变的各子图像；以及通过使用已改变的子图像来生成(135)输出图像(145)。
2. 根据权利要求l所述的方法，其中计算像素上限储备信号以便允许 具有预定削峰量的输入图像(100)的增强。
3. 根据权利要求l所述的方法，其中要改变的子图像是按顺序进行改 变的，并且其中在考虑了多个子图像的先前已改变的子图像所消耗的余量 的情况下，为要改变的每个子图像计算像素上限"f诸备信号。
4. 根据权利要求l所述的方法，其中子图像处理的顺序是通过计算像 素上限储备信号并且将所述信号与各子图像相关联而建立的，从而建立各 子图像中增强的潜力，以便决定子图像的处理顺序。
5. 根据权利要求1所述的方法，其中通过开始于包括输入图像(100) 的最高频率范围内的信息的子图像到包括输入图像UOO)的最低频率范 围内的信息的子图像来对多个子图像进行处理。
6. 根据权利要求1所述的方法，其中像素上限储备信号将输入图像(100)的各像素的像素值的余量定量 为最大值；通过将输入图像(100)的各像素的像素值的余量定量为最小值来计算另一个像素上限储备信号；以及如果子图像的像素的像素值为正值则像素增强系数基于像素上限储 备信号，如果子图像的像素的像素值为负值则像素增强系数基于另一个像素上限储备信号。
7.根据权利要求l所述的方法，其中像素上限储备信号通过计算定量 围绕着各像素的区域中的最小像素上限储备的像素上限储备信号来考虑 各像素附近的像素上限储备的空间分布。
8. 根据权利要求1所述的方法，其中使用不同的过滤器来过滤要改变 的各子图像的像素上限储备信号，以便计算包括与各子图像的频率范围相 同的频率范围内的频率分量的像素增强系数。
9. 根据权利要求1所述的方法，其中对于所有子图像，像素增强系数受到单个最大像素增强系数值的限制。
10. 根据权利要求1所述的方法，其中像素增强系数基于没有进行削峰 的子图像中的像素的最大线性增益而由范围在0到1内的缩放系数《进行衰减。
11. 根据权利要求1 0所述的方法，其中当像素周围的预定区域内的子 图像的像素的最大像素值和最小像素值之间的差值低于阈值时，将像素增 强系数设置用以衰减像素。
12. 根据权利要求l所述的方法，其中输入图像(230 )由彩色图像(200 ) 的亮度分量构成，以及输出图像(145)表示彩色图像(200 )的增强亮度 分量，并且其中使用增强亮度分量与原始亮度分量的比值来缩放彩色图像(200 )的RGB分量。
13. —种基于输入图像(100)计算输出图像(145)的设备(600 )， 该设备(600 )包括分离装置(610)，其被配置成将图像分为多个子图像，多个子图像 中的每个子图像包括来自于输入图像(100)的相应频带的信息；第一计算装置(620 ),其被配置成计算像素上限储备信号，该像素 上限储备信号定量可用于增强输入图像U00)中像素的像素值的余量， 该像素上限储备信号至少部分基于输入图像(100);第二计算装置(630 ),其被配置成根据像素上限储备信号为要改变 的各子图像内的像素计算像素增强系数，从而使由像素上限储备信号定量 的余量在要改变的各子图像间分摊；改变装置(640 ),其被配置成通过使用像素增强系数以及来自各子图像的相应的像素值来改变所要改变的各子图像；以及生成装置(650 ),其被配置成通过使用已改变的子图像来生成输出图像(145)。
14. 一种有形地收录在记录载体(675 )中的计算机程序产品，该计算 机程序产品包括指令，在执行这些指令时，使处理器执行权利要求1到12 的方法中的任何一 个的步骤。
15. —种图像信号(685 )，包括 形成图像(100)的像素值；以及一组能够实现图像(100)的增强的像素增强系数，这些像素增强系 数是使用权利要求1到12的方法中的任何一种方法生成的。
全文摘要
本发明涉及基于输入图像(100)计算输出图像(145)的设备和方法。该方法包括步骤将输入图像(100)分为(105)多个子图像，每个子图像包括来自于输入图像(100)的各频带的信息；计算(110)像素上限储备信号，该像素上限储备信号定量可用于增强输入图像(100)中像素的像素值的余量；根据像素上限储备信号为要改变的子图像内的像素计算(115)像素增强系数，从而使由像素上限储备信号定量的余量在要改变的各子图像间分摊；通过使用像素增强系数以及来自各子图像的相应的像素值来改变(120)各子图像；以及通过使用已改变的子图像来生成(135)输出图像(145)。本发明还涉及一种图像信号，该图像信号包括形成图像(100)的像素值以及一组能够实现图像增强的像素增强系数。
文档编号H04N1/409GK101512597SQ200780032536
公开日2009年8月19日 申请日期2007年8月27日 优先权日2006年8月28日
发明者J·A·P·特根博什, R·T·J·穆伊斯 申请人:皇家飞利浦电子股份有限公司