专利名称：用于视频图像的检测和增强的方法及系统的制作方法
技术领域：
本文描述的实施例一般来说涉及视频处理电路及方法；且更具体来说涉及用于测量和增强视频图像的质量的电路及方法。
背景技术：
随着来自众多源的视频内容以各种分辨率格式和压缩方法日益扩散，内容的图像质量将有很大的差别。图像质量问题中的一些质量问题可包含过低或过高的对比度、过低或过高的亮度、软或低带宽图像、变化量的随机噪声以及导致“蚊式”和“块”噪声的图像压缩方案。现有的视频和图像处理技术可用来调整图像亮度和对比度，锐化和增强图像细节， 且降低时间噪声和压缩假影。然而，用户需要根据每一输入源，例如根据高分辨率蓝光播放器、低分辨率便携式媒体播放器，或根据广播电视中原生和上转换内容的变化来调整这些技术的参数。因特网内容的分辨率和压缩的变化可能更多。在这种情况下，一些用户可能不会完全理解这些技术而无法有效使用它们或者可能没有动机使用它们，或响应速度可能不够快而无法不断做出调整。因此，需要能够适应内容并为了最佳视频质量而执行必要补偿的视频图像处理器。
发明内容
本发明提供用于自适应图像增强的方法及系统。根据本发明的一些实施例的方法包含测量源视频中的帧中的像素区域的图像质量，基于图像质量测量来执行图像分类，以及通过基于帧的图像分类应用操作来增强源视频图像中的像素区域的图像质量。本发明还提供用于自适应图像增强的方法，所述方法包含以下步骤将源视频图像中的帧划分为P个像素区域，其中P为大于I的数且与输出显示器中的像素的总数一样大；且对于P个像素区域中的每一者来说，所述方法可进一步包含以下步骤测量源视频图像的帧中的像素区域的图像质量；为像素区域的选定部分指派图像质量级；以及根据源视频图像的帧中的像素区域中的每一者的图像分类而增强所述每一者。根据本发明的一些实施例的用于自适应图像增强的系统包含用以测量源视频图像中的帧的区域的图像质量的电路；用以基于图像质量测量来执行区域的图像分类的电路；以及用以通过基于帧的图像分类应用操作来增强源视频图像中的区域的图像质量的电路。在下文中将参考附图对本发明的这些和其它实施例进行进一步描述。
像分类。
图I显示根据本发明的一些实施例的系统的框图。
图2显示根据本发明的一些实施例的根据使用谱直方图的细节的图像分类。
图3显示根据本发明的一些实施例的根据使用谱直方图的带宽的图像分类。
图4显示根据本发明的一些实施例的根据使用光度直方图的对比度和亮度的图
图5a显示关于16 9内容具有16 9纵横比的标清输入视频图像。
图5b说明关于4 3 ‘邮筒’内容具有16 9纵横比的标清输入视频图像。
图5c说明关于4 3内容具有4 3纵横比的标清输入视频图像。
图5d说明关于16 9 ‘信箱’内容具有4 3纵横比的标清输入视频图像。
图6显示根据本发明的一些实施例的使用局部直方图和局部分类的系统的框图。 在这些图式中，具有相同参考元件符号的元件具有相同或类似的功能。
具体实施例方式例如高清(HD)电视等视频内容可能含有原生分辨率(HD中为1920 X 1080像素) 或其它分辨率(例如标清(SD)，其具有720X480像素，上采样到HD分辨率)的图像。虽然所述上采样图像可能具有高的像素分辨率，但它们的实际谱可具有其原始范围而不是上采样分辨率的范围。根据本发明的一些实施例，对图像的谱直方图的分析可确定图像的固有分辨率。根据本发明的一些实施例，谱测量可通过带通滤波器的使用或通过离散余弦变换 (DCT)来执行且可以一维或二维来执行。此外，根据本发明的一些实施例，一些视频应用程序可通过对整个帧上的图像质量的调整的差分法获益。举例来说，帧、区域或对象的不同部分可能要求不同类型的增强。 帧的所述块或部分还可包含例如天空的一部分、草地的一段或水的一部分等图像对象。虽然一个区域可能包含具有含噪声背景(例如天空的一部分)的低细节段，但另一区域可包含呈现漫射边缘的高细节部分，例如森林中的草地、植物或树木。包含所述区域的帧可通过针对每一子帧的不同增强方法获益，从而产生在整个帧上具有高质量的图像。此方法可更有效地使用高端视频系统的计算能力。因此，可在实时操作的本发明的一些实施例中获得较有效的视频增强方法及系统，而不影响观察者对视频流的感知。本发明的一些实施例可提供用于将源视频图像中的帧划分为P个像素区域的方法，其中P为大于I的数目且与输出显示器中的像素的总数一样大；且对于P个像素区域中的每一者来说，所述方法可进一步包含以下步骤测量源视频图像的帧中的像素区域的图像质量；为像素区域的选定部分指派图像质量级；以及根据源视频图像的帧中的像素区域的图像分类，增强所述像素区域中的每一者。图I显示根据本发明的一些实施例的自适应图像增强系统(AIE) IOOt5AIE系统100 包含测量功能，例如谱滤波器101、谱直方图102、盒检测器104以及光度直方图105。系统 100还包含例如图像分类功能103等分类功能。系统100进一步包含图像处理功能，例如降噪器110、信号跃迁改进功能111、自适应缩放器112、细节增强功能113以及对比度增强功能114。如图I所示的系统100可包含所示图像处理功能中的一者或一者以上。本发明的其它实施例可能并不限于图I中所示的图像处理功能。而且，在一些实施例中，图像处理功能的顺序可能并不如图I中所示，处理顺序随着应用或用户偏好的变化而变化。在系统100的一些实施例中，在源输入帧时间期间执行测量功能。可在下一帧时间之前对这些测量进行分析，且可在下一帧显示时间期间向源帧应用图像增强。因此，根据本发明的一些实施例，可在同一源帧中执行测量、分析及增强。由于其它处理或系统功能， 一些实施例在测量、分析以及图像增强方面可能会有额外的延迟。视频源数据可为RGB或YCrCb (YUV)的格式。本发明的一些实施例以YCrCb格式执行测量和处理，且从假设RGB源在由AIE系统100处理前被转换开始。虽然本发明的一些实施例可利用RGB数据执行测量、分析和增强，但一些实施例也可使用YCrCb格式。YCrCb格式为密切代表人类视觉系统的视频源的有色格式，因此本发明的一些实施例可使用YCrCb 格式。本发明的一些实施例也可使用HSI格式(H-色调、S-饱和度、I-强度)的数据。根据本发明的一些实施例，YCrCb格式或HSI格式可称为‘色彩空间’。对于并行测量处理来说，当前的输入帧数据由谱测量101、盒检测器104以及光度直方图105同时接收(参见图 I)。谱测量级101执行对源视频图像的谱分解。根据本发明的一些实施例，可针对 YCrCb格式的Y、Cr和Cb信号中的每一者分别完成谱分解。在本发明的一些实施例中，可通过信号(Y、Ci^PCb)的傅里叶变换(FT)或快速傅里叶变换(FFT)提供此谱分解。此外，根据本发明的一些实施例，信号(Y、Ci^PCb)的FT可为二维傅里叶变换(2D-FT或2D-FFT)。 在下文中，根据谱测量级101的一些实施例，对‘频率’、‘频带’或‘谱测量’的任何参考都将涉及源视频图像输入的空间傅里叶频率或空间傅里叶变换(除非另有规定)。图像频谱可分为用于测量的多个选择带。本发明的一些实施例使用频率解调与低通滤波的组合以选择用于测量的谱带。一些实施例使用带通滤波器或离散余弦变换(DCT) 来执行谱滤波功能。在谱测量101的一些实施例中，可利用一个(I)或一个以上带通滤波器执行谱分解。为降低实施成本，较小数量(例如I)的带通滤波器可经由选定数量(例如4)的谱带中的每一者在图像的不同区域上以及在大量帧上按顺序操作。因此，全帧统计数据可经积累以提供稳定且可靠的结果。本发明的一些实施例包含仅沿水平方向执行的谱测量101和谱直方图102，从而降低实施成本。本发明的一些实施例可既沿水平方向又沿垂直方向执行谱测量101和谱直方图102，因而为测量的更多的可靠性和一致性提供额外的精度。沿垂直方向的额外测量可检测水平定向且对水平滤波器来说表现为低带宽对象的对象，因而提供更稳健的实施。垂直谱测量可与水平谱测量结合或独立于其使用，从而启用垂直特定图像增强。谱测量101划分为可经实证或特别选择的若干关注频带，从而检测内容的质量且使质量与增强的频带相关。举例来说，当接收到1080p HD信号时，1080p HD信号可具有原生分辨率1920X1080，或根据例如压缩光盘数字视频(V⑶)、国家电视系统委员会(NTSC， 针对模拟电视系统)、数字视频光盘(DVD)或720p (垂直分辨率为720像素的HDTV)等各种源按比例增大。如果1080p HD的原生带宽为‘Fs’，那么上述按比例增大的内容(VCD、NTSC、DVD 和HDTV)的带宽将分别限于O. 188XFs、0. 25XFs、0. 38XFs以及O. 67XFs。在此实例中， 可针对带通设置4个滤波器以评估内容质量从· 188 X Fs到O. 25 X Fs的B1、从O. 25 X FsIlJ O. 38XFs 的民、从 0.38XFS 到 0.67XFS 的 B3 以及从.67XFs 至Ij I. OOXFs 的 B4。根据本发明的一些实施例，结合作为模拟视频格式的经上转换NTSC信号或录像机信号(VCR)， 谱测量级101可进一步包含谱滤波器，所述谱滤波器利用3. 58MHz的传输频率(NTSC格式) 执行对模拟色载波的检测。接着，为谱测量级101配备抑制电路，其在需要时被‘接通’以消除色彩假影。本发明的一些实施例包含级101，级101执行对色度信道Cr和Cb的谱测量，以及执行额外或独立的处理。Cr和Cb带宽通常为Y信号的O. 5XFs，除非源为图形视频(在这种情况下，Cr和Cb带宽与Y信号相同)，或除非源为NTSC或VCR(在这种情况下，带宽约束于I. 5MHz以下)。在此视频内容的情况下，Cr和Cb分量可经滤波以减少带外噪声和假影。 在此实施例中，Cr和Cb分量可包含在带上强度相等的连续谱带。如果检测到全带宽色度， 那么这些滤波器可被‘断开’以维持全带宽且不会使得Cr和Cb分量软化。如果视频色度分量(Cr和Cb)已受到带宽限制，那么这可能指示Y与Cr/Cb信道之间的时序失配。为校正此失配，本发明的一些实施例包含启用信号跃迁增强的延迟补偿电路，从而使Cr和Cb边缘跃迁与Y边缘跃迁匹配。因此，Cr和Cb信道中的相位延迟可得到补偿。一个实施例可实施级101中的N个谱带滤波器，用于覆盖关注的N个谱带。本发明的较低成本的实施例可使用数量减少的滤波器(M个)以测量N个谱带，进一步将图像划分为若干子帧且在N/M个帧上积累测量。在此较低成本的实施例中，按顺序改变滤波器参数，且在每一子帧中针对M个带积累测量直方图直到在许多帧上获得针对每一带的全帧覆盖。示范性实施例可使用两(2)个滤波器以覆盖四(4)个谱带，这样图像能够分段成两个子帧。第一滤波器可覆盖第一子帧中的带I和2且第二滤波器可覆盖第二子帧中的带3和
4。在来自视频流的下一帧中，第二滤波器可覆盖第一子帧上的带3和4且第一滤波器可覆盖第二子帧上的带I和2。谱直方图102从谱测量级101接收输出且在许多帧上在M个子帧中针对N个谱带积累直方图数据。在一些实施例中，对于4个谱带和4个子帧的实施方案来说，在对设定数量(例如四(4)个)的帧进行处理后，针对整个图像上所有四个谱带的直方图可为可用的。 在上述示范性情况的一些实施例中，在给定数量的帧得到完全更新后读出直方图。在其它实施例中，每个帧均读出直方图，其中部分更新包含来自先前给定数量的帧的数据的积累。 在一些实施例中，每一带的垂直区域可进一步在水平段上划分以获得较大粒度，从而提供更详细的分析。帧划分为子帧会在谱直方图102中提供更多的粒状结果，这样可观测到局部变化。根据测得的谱直方图102，谱振幅、分布及范围可用以依据例如低、中或高对比度； 低、中或高亮度，低、中或高带宽以及低、中或高细节级别等类型对图像进行分类。这些分类可用以控制视频处理的选定类型和级别以增强图像，且在图像分类级103中执行。本发明的一些实施例应用全局级别的图像分类级103，图像分类级103包含待处理视频图像的全帧。此外，根据一些实施例，图像分类103可应用在区域中且还可处于像素级别。根据本发明的一些实施例，可从全帧中选择像素区域作为包含在全帧内的任何子帧， 其中子帧可为从帧内的单个像素到全帧的任何尺寸。区域或像素级别分类可生成2D分类映射，2D分类映射界定高细节、低细节、高或低对比度、高或低亮度、尖锐边缘或平坦区域的区域或像素。此图像映射可由其它处理功能使用以控制并改变显示操作。
图像分类级103对用于特定区域内的每一带、区域和部分的直方图数据进行评估以确定内容的质量。在一些实施例中，图像分类级103可由微处理器上的软件实施，以获得实施方案的灵活性。本发明的一些实施例可通过利用单独的直方图对局部区域上的测量进行分区(参见下文的图6)来使用局部图像分类级607。局部测量提供对图像内容变化的较大适应性，且可用以执行局部图像增强。在本发明的一些实施例中，通过每一谱带的绝对功率以及级101处所测得的谱带之间的相对功率来对图像的质量和分辨率进行分类。噪声上的带功率由实证建立的阈值确定。举例来说，阈值可为绝对功率电平与滤波器噪声功率或量化引起的带功率的比率。第二示范性阈值可为带功率与来自所有带的总功率的相对比率，与图像亮度和对比度无关。由于计算出的功率与分辨率相关，因此还根据输入分辨率来调适这些阈值，从而提供与分辨率不相关的阈值。图I中的盒检测级104可经实施以将原始源内容的纵横比和分辨率调整为显示纵横比和分辨率。为显示原始纵横比的源，可将图像放置在‘信箱’或‘邮筒’中，其中将未作用的显示区设定为平色。SD视频可具有4 3或16 9的纵横比。另外，具有4 3纵横比的SD视频内可能含有具有16 9纵横比或2 35纵横比图像的‘信箱’。具有16 : 9 纵横比的SD或HD视频可进一步含有具有4 3纵横比图像的‘邮筒’。因此，当SD视频经上转换到HD时，作用中的图像区可小于显示区，且未作用的区可设定为平色或黑色。在广播视频中，内容以‘信箱’、‘邮筒’以及‘邮筒’内的‘信箱’的变化格式的序列不断改变。在这种情况下，作用中的图像区可按比例缩放且根据用户偏好扩大图像，因而使显示的图像最大化，或填满显示区，或减少平边界。盒检测级104经实施以对图像的顶部边界、底部边界、左边界以及右边界进行评估且测量其尺寸。通过对图像周围的黑色或平色的行和列的数量的检测来确定尺寸以使得检测到的边界没有运动。可通过经滤波的邻近像素差的决策阈值确定黑色或平色区，以避免来自噪声的误差。根据本发明的一些实施例的用于盒检测的另一方法是色彩键控的使用，其中指定键值之间的色彩被认为是相同的，从而形成平色区。顶部边界和底部边界以及左边界和右边界的检测和尺寸可与可能的上采样格式相关且用以进行所要的按比例缩放调整。盒检测信息可被传递到其它测量和处理功能以遮蔽其对作用中区域的操作。可能影响盒检测决策的潜在情况包含黑暗和空白场景。为防止这种情况，为本发明的一些实施例配备转接决策，其包含对作用中图像区域中的空白和黑暗场景的检测以减少错误检测。图I中还显示降噪级110。级110经实施以根据级103中获得的图像分类结果进行操作。降噪级别可经调整以使得其强度对于高分辨率内容来说较小从而使细节损耗最小化，且对于低分辨率内容来说较高以使得噪声衰减对于整个图像来说更为主动。此举适用于随机时间噪声或压缩假影，例如“蚊式”或“块”噪声。降噪级Iio可在由盒检测器104检测的区域内选通，且在检测到的边界中提供较高的降噪级别。图I进一步描绘信号跃迁改进级(STI) 111。级111增强可能被降级的信号边缘的跃迁。在本发明的一些实施例中，此降级可能是视频信号的传输频率中带宽限制的结果。 这些限制通常发生于例如NTSC和逐行倒相(PAL)编码等模拟视频平台中。根据一些实施例，低分辨率内容也可能是甚至数字视频格式(例如高缩放图像)的信号边缘的跃迁的降级的原因。在本发明的一些实施例中，STI级111支持所有三个分量(如Y、Cb和Cr中)上的三(3)个谱带的增强。这些带可与预期源内容以及与谱测量级101中设定的谱带相关联，或可设定为例如O. 12XFs、0. 25XFs以及O. 50XFs等预定值。针对图像增强使用不同频带可减少成像假影的重现。由于低带宽信号中高频端的增强，可能会出现一些假影，这会增加噪声分量。由于高带信号中低频端的增强，可能会出现其它假影，这可能会在梯度上引入伪轮廓。根据本发明的一些实施例，基于接收到的图像分类，STI级111可以自适应方式独立地调整对光度和色度分量的增强。在包含具有模拟内容(例如NTSC、VCR或PAL)的视频数据的本发明的一些实施例中，由级103提供的Cr和Cb分类可设定为低。因此，STI级 111中的低带将被启用。在本发明的一些实施例中，由级103提供的Y分类可设定为‘中’， 因此STI的中带被启用。在本发明的一些实施例中，可通过盒检测器104中检测到的预选区域来选通STI 111增强。在本发明的一些实施例中，可在设定为O. 12XFs、0. 25XFs以及O. 50XFs的三个谱带中处理不同的输入视频帧，用于光度分量Y的改进。在一些实施例中，可在设定为
O.12XFs、0. 25XFs以及O. 50XFs的三个谱带中处理不同的输入视频帧，用于例如Cb或 Cr等色度分量的一者的改进。图2显示根据本发明的一些实施例的来自输入视频流的数据如何由谱测量级 101、102和103处理以提供图像分类输出。具体来说，图2显示具有图像的细节级别不断增加的帧201、202和203的输入视频流。请注意，根据图2中描绘的实施例，级101使用覆盖越来越高的频带的四个谱带B2, B3和B4来执行测量。将级101的结果输入到级102以提供分别对应于帧201、202和203的直方图211、212和213。图2表明，与较少细节的帧 202和201相比，帧203产生在高频带B3和B4中具有大量分量的直方图213。此外，包含具有三个垂直条纹的设计的帧201导致在高频带B4中具有较少数目分量且在较低频带B2和 B1中具有成比例地较多数目分量的直方图211。帧202包含与帧201相比具有较多细节但与帧203相比具有较少细节的设计。直方图212通过显示不同频带B1-B4中更为均匀的分布来反映这一事实。根据本发明的一些实施例，来自分类级103的结果可为用于帧201的输出221中的‘低’细节、用于帧202的输出222中的‘中’细节以及用于帧203的输出223 中的‘高’细节。请注意，输出221、222和223在由图2中所描绘的三个输入视频流提供的下一帧中可不同。图3说明本发明的实施例，其中来自谱直方图级102的输出由图像分类级103使用以根据带宽低、中和高来提供对输入帧的全局分类。显示三个不同的输入视频流，其中帧301、302和303描绘类似图案但在图案的边缘周围具有不同的‘锐度’。通过使用用于带 Bi、B2、BdP B4的滤波器，级101测量每一帧的谱内容且将结果输入到直方图级102。级102 提供分别对应于帧301、302和303的直方图311、312和313。与帧302和301相比，帧303 的边缘较为锐利，这导致直方图313相对于直方图312和311具有频率分量的更均匀的分布，包含较高频带B3和B4。直方图312显示相对于低频分量B1和B2,高频分量B3和B4中减小的振幅。直方图312是帧302的结果，与帧301相比，帧302具有较不锐利的特征。直方图311显示最高频带B4中几乎为零的振幅、频带B3中的低振幅以及低频带B1和B2处的较高振幅。因此，直方图311对应于帧301，显示帧303的圆边缘而不是锐利边缘。因此，图3 所描绘实施例中图像分类级103的结果为用于帧303的‘高’带宽输出323、用于帧302的 ‘中’带宽输出322以及用于帧301的‘低’带宽输出321。请注意，输出323、322和321在来自图3所描绘的输入视频流的下一帧中可不同。根据本发明的一些实施例，返回参看图1，光度直方图级105提供可用以对图像分类级103中的分类阈值进行评估的结果。光度直方图级105创建针对帧的预选区域内的每一像素接收的Y信号的直方图。在一些实施例中，预选区域可包含整个帧。用以告知图像处理功能的分类输出包含(但不限于)低、中或高对比度以及低、中或高亮度。图4显示根据本发明的一些实施例的其中三个不同的输入视频帧由光度直方图 105和图像分类级103处理以确定低、中和高光度级别的实例。在本发明的一些实施例中， 双峰直方图可指示高对比度级别的存在。宽正态分布或连续分布可指示平均亮度和高对比度，且中心分布可指示对比度较低的平均亮度。此外，根据本发明的一些实施例，直方图中所有区间的总和可为帧中的绝对亮度的指示，且区间振幅的分布可指示图像的对比度范围。亮度的其它度量可使用强度的某一阈值。因此，可将高于阈值的区间的总和与低于阈值的区间的总和相比较以提供亮度的度量。图4显示其中输入视频帧401、402和403由光度直方图105和图像分类级103处理以确定‘低’ 421、‘中’ 422或‘高’ 423光度对比度和亮度的实例。不同的输入视频流提供帧401、402和403。因此，级105使用帧401、402和403中的光度分量来产生直方图411、 412和413。如上所述，直方图413显示帧403中所包含的高亮度、高对比度图像的特征，即宽光度分布以及偏重于高强度端。因此，级103对帧403指派‘高’对比度和亮度输出423。 帧402和401中的图像逐渐失去对比度和亮度。太阳在帧402中被云层部分覆盖且在帧 401中完全消失。由树木投射的阴影在帧402中逐渐变小且在帧401中消失。因此分别根据帧402和401产生直方图412和411。直方图412和411显示渐进的分布变窄以及朝向较低强度级别的移动。因此，级103分别对帧402和401指派‘中’和‘低’的对比度以及亮度输出422和421。如同上文图2和3的情况，输出423、422和421可针对由输入视频流提供的下一帧而改变。根据图4中所示的本发明的实施例，直方图411、412和413可具有近似相同的积分计数数目。即，呈现较宽谱的直方图(例如直方图413)在条中的每一者中可具有较低的尺寸，而呈现较窄峰的直方图(例如直方图412)在峰的中心处的一些条可具有较高的尺寸。根据本发明的实施例(例如图4中所描绘)，直方图中的每一者中的条的积分总和表示在图像中的帧内或帧的区域内所考虑的像素的总数。返回参看图1，自适应缩放器112执行将输入图像按比例缩放到输出图像所要分辨率的功能。自适应缩放器112可接收由盒检测级104检测到的图像格式信息，且将源图像上的位置和按比例缩放因数调整为以自适应方式填充的选定输出格式。图5a至5d显示根据本发明的一些实施例的源图像格式、正常按比例缩放输出格式以及如盒检测级104和自适应缩放器112处理的自适应按比例缩放输出格式的若干实例。自适应缩放器级112使用来自图像分类级103的输入来调整滤波器响应。举例来说， 缩放器112关于低质量源减少带宽以使得噪声和假影减少。而且，缩放器112可增加用于高质量源的带宽，用于最佳且平坦的带通再现。图5a说明关于16 9内容具有16 9纵横比的SD输入视频图像500。根据正常按比例缩放的格式，帧501显示一个圆的恢复。帧500看来似乎经水平挤压以指示SD视频可利用用于16 : 9和4 : 3形状图像两者的非正方形像素纵横比而被编码为720X480 像素帧。帧502显示在缩放器112中使用以自适应方式填充的输出格式的结果。
图5b说明关于4 3 ‘邮筒’内容具有16 9纵横比的SD输入视频图像510。 帧511表明，当使用正常按比例缩放格式时显示的区域可保持为空。帧512表明，在‘邮筒’ 内容的情况下，盒检测级104和自适应缩放器级112中的程序用以扩大图像以水平填充显示区域。同时，裁剪掉覆盖显示的垂直部分，如帧512中所示。图5c说明关于4 3内容具有4 3纵横比的SD输入视频图像520。与输出帧 522相比较，输出帧521的描述与先前描述的图5b类似。图5d说明关于16 9‘信箱’内容具有4 3纵横比的SD输入视频图像530。帧 531表明，当使用正常按比例缩放格式来处理输入帧530时，显示的区域可保持为未使用。 帧532显示使用盒检测104和自适应缩放器112来调整输入帧530的结果。水平和垂直方向两者均经延伸以填充屏幕，且裁剪掉空白分区。图5a至5d说明在经由盒检测级104和自适应缩放器级112处理后被图像完全占据的视频显示器。因此，可根据如图5a至5d中所描绘的本发明的一些实施例获得观察区和分辨率的增加。在图I的系统100中，细节增强级113意在用于帧中的精细细节的提取和增强。 在低质量源的情况下，级113可避免噪声和假影的增强。在本发明的一些实施例中，基于由级113从级103接收到的分类结果，细节增强级113可以自适应方式将图像增强调整为低 (针对‘低’质量源)；高(针对‘中’质量源)；以及中(针对‘高’质量源)。随着对质量级别的不断变化的调整，获得更一致的视觉质量、外观以及锐度。此外，对质量级别的这一反向调整方案避免了低质量信号中噪声假影的放大且防止使高质量信号的锐度过冲。在本发明的一些实施例中，细节增强功能113可由盒检测器104中检测到的区域选通以避免增强检测到的边界中的噪声或假影。在本发明的一些实施例中，细节增强级113可具有多个或不断变化的增强谱带，可根据谱直方图102和图像分类103来调整所述增强谱带。图I中所示的对比度增强级114基于源光度直方图105执行自适应对比度增强。 在本发明的一些实施例中，对比度增强级114根据图像分类结果提供额外的对比度调整。 低质量内容往往具有低对比度和平外观。对比度增强的量在识别出‘低’质量内容时可增加，或在识别出‘中’或‘高’质量内容时可为正常的。在一些实施例中，对比度增强级114 可在由盒检测器104检测到的区域内选通，从而避免检测到的边界的增强。此外，如果光度直方图105显示低光度分布，那么可通过重新映射光度级别以加宽谱来使所述分布均衡。 均衡可使得改进帧的正得到增强的部分中的对比度和细节。举例来说，在根据本发明的一些实施例的均衡程序中，位于直方图的中光度区域中的光度峰可朝向较暗的光度区域以及较亮的光度区域均等地延伸。这将导致扩大的对比度，其中亮度在中光度峰表示的像素区域中相同。对于位于直方图的较亮光度区域中的光度峰来说，均衡可导致峰的亮度减少而对比度扩大。此外，对于位于直方图的较暗光度区域中的光度峰来说，均衡可导致亮化且扩大峰表示的像素区域中的对比度。图6说明根据本发明的一些实施例的另一系统600。在系统600中，可通过利用针对每一区的单独直方图对在局部区域上的测量进行分区来增强图像分类。图6所描绘的实施例包含局部和全局直方图级602、局部和全局分类级603、局部和全局光度直方图605。 级602、603和605中获得的局部测量提供了对局部内容的较大敏感度且可用以执行局部图像增强。在本发明的一些实施例中，局部分类级603可经延伸以支持逐个像素的内容自适应性处理。可使用谱测量级101获得局部和全局直方图级602。级603可根据对块103的描述(参见图I)执行全局图像分类。而且，级603可通过子帧或区域测量来执行局部图像分类以支持局部直方图602。在本发明的一些实施例中,局部直方图602可经修改以提供局部和全局直方图的顺序输出从而支持级603处的全局和局部图像分类两者。用以在级602处获得直方图的谱带可与基本实施例或经修改的谱带相同，或可包含额外谱带以启用额外功能性。对于图6中所描绘的实施例来说，针对全局图像分类实施并行谱带滤波，且可针对局部图像分类添加新的谱带。如上所述，本发明的一些实施例可包含作为逐个像素分类的局部图像分类。根据本发明的一些实施例，局部和全局分类级603中的局部分类可对从级602输出的局部直方图进行分析和滤波以生成映射，所述映射对用于每一源像素的内容类型进行分类。根据级603处理的数据用于增强级中的任一者或所有级中。分类映射可由自适应缩放器612根据输入和输出图像格式按比例放大或缩小。在本发明的一些实施例中，图像分类级603对选定像素区域内的光度和谱直方图数据进行评估以确定图像质量。进一步来说，级603可由先前在微处理器上编程且存储在存储器中的软件实施。在级603处添加局部分类的情况下，可获得图像增强的较高自适应级别。举例来说，可区域地或基于每像素级别执行图像增强。可通过谱带选择和局部直方图结果来确定区域分类，例如‘平’、‘具有细节’以及‘边缘区’。当前视频帧上的局部分类可与对先前视频帧执行的局部分类相关。因此，可通过使用自相关或互相关技术来启用对图像中的运动或时间噪声的识别。上文所述本发明的实施例仅仅是示范性的。所属领域的技术人员可从具体揭示的那些实施例中识别出各种替代实施例。那些替代实施例也既定在本发明的范围内。因此， 本发明仅仅受所附权利要求书限制。
权利要求
1.一种用于自适应图像增强的方法，其包括测量源视频中的帧中的像素区域的图像质量；基于所述图像质量测量来执行对所述像素区域的图像分类；以及通过基于所述帧的所述图像分类应用操作来增强所述源视频图像中的所述像素区域的所述图像质量。
2.根据权利要求I所述的方法，其中增强所述源视频图像中的帧的所述图像质量包括选自由执行降噪步骤、执行信号跃迁改进步骤、执行自适应缩放步骤、执行细节增强步骤以及执行对比度增强步骤组成的群组中的步骤。
3.根据权利要求I所述的方法，其中所述像素区域与所述帧共存。
4.根据权利要求I所述的方法，其中所述像素区域选自全帧作为包含在所述全帧内的任一子帧，其中子帧可为从所述帧内的单个像素到所述全帧的任一大小。
5.根据权利要求4所述的方法，其中测量源视频图像中的帧的所述图像质量包括 执行源视频图像中的所述像素区域到一个或一个以上带的谱分解；测量并评估所述像素区域的所述谱带的直方图；为所述像素区域指派图像质量级；以及调整选自由降噪步骤、信号跃迁改进步骤、自适应缩放步骤、细节增强步骤以及对比度增强步骤组成的群组中的一个或一个以上图像增强步骤的参数。
6.根据权利要求5所述的方法，其中执行所述像素区域的谱分解进一步包括利用M数目个谱带滤波器进行滤波以覆盖N个谱带，其中N为等于或大于I的数，且M 等于或小于I ;将所述帧分段成M数目个子帧以供由所述M数目个滤波器进行滤波；将所述M数目个滤波器的所述参数和测量直方图改变为一组谱带以对下一图像帧进行滤波直到所有N个谱带均已经测量；在所述子帧上按顺序移位所述滤波器谱带直到每一带均已经由图像帧中的所有子帧进行了排序；以及积累用于多个帧的每一谱带的所述直方图。
7.根据权利要求5所述的方法，其中测量并评估所述谱带的所述直方图包括使用带测量阈值功率，且所述带测量阈值功率选自由绝对功率电平与滤波器噪声功率之比和所述绝对功率电平与来自所述谱带直方图的量化引起的带功率之比组成的群组。
8.根据权利要求5所述的方法，其中指派图像质量级包括使用分类阈值。
9.根据权利要求8所述的方法，其中所述分类阈值为一个或一个以上谱带中的绝对谱带功率。
10.根据权利要求8所述的方法，其中所述分类阈值为一个或一个以上谱带的相对谱带功率与经加权功率之比，且其中所述分类阈值独立于亮度和对比度。
11.根据权利要求5所述的方法，其中执行源视频图像中的所述帧的谱分解进一步包括YCrCb色彩空间中的Y、Cr和Cb图像分量中的一者或一者以上的分解。
12.根据权利要求5所述的方法，其中执行像素区域中的谱分解包括HSI色彩空间中的 H、S和I图像分量中的一个或一个以上分量的分解。
13.根据权利要求I所述的方法，其中测量源视频中的帧中的像素区域的所述图像质量包括:收集所述像素区域的YCrCb色彩空间中的Y分量或HSI色彩空间中的所述I分量的光度直方图；为所述像素区域指派亮度级和对比度级；以及基于所述光度直方图调整图像色彩分量的增益和偏移。
14.根据权利要求I所述的方法，其中测量源视频中的帧的所述图像质量包括收集所述源视频图像中的所述像素区域的HSI色彩空间中的所述I分量的光度直方图；为所述像素区域指派亮度级和对比度级；以及根据所述亮度级和所述对比度级调整图像色彩分量的增益和偏移。
15.根据权利要求I所述的方法，其中测量源视频图像中的帧的所述图像质量进一步包括测量所述源视频图像中的所述帧的未作用边界；指派所述源视频图像中的所述帧的未作用区域用于交替的图像增强。
16.根据权利要求15所述的方法，进一步其中所述交替图像增强步骤包括选自由降噪步骤、信号跃迁改进步骤、细节增强步骤以及自适应缩放步骤组成的群组中的步骤。
17.根据权利要求I所述的方法，其中增强像素区域中的所述图像质量包括执行具有降噪级别的降噪步骤，其中所述降噪级别具有针对高分辨率内容的减小强度，且具有针对低分辨率内容的增加强度。
18.根据权利要求15所述的方法，其中增强所述像素区域的所述图像质量包括具有降噪级别的降噪步骤；进一步其中所述降噪级别在所述未作用区域中增加且另外自适应于图像分类。
19.根据权利要求15所述的方法，其中增强所述像素区域的所述图像质量包括信号跃迁改进步骤以及细节增强步骤，借此所述增强在所述未作用区域中减少且另外自适应于图像分类。
20.根据权利要求15所述的方法，其中增强所述像素区域的所述图像质量包括自适应缩放步骤，从而缩放器带宽在所述未作用区域中减少以降低噪声且缩放因数经调整以使用于作用中图像的显示区域优化。
21.根据权利要求15所述的方法，进一步其中增强所述帧的所述图像质量包括对比度增强步骤，借此在所述未作用区域中停用所述光度测量以及亮度和对比度增强。
22.根据权利要求I所述的方法，其中在执行先前存储的软件的微处理器上实施执行所述帧的图像分类。
23.根据权利要求5所述的方法，其中为所述像素区域指派图像质量级提供对低对比度和局部内容的较大敏感度，从而启用局部图像增强。
24.根据权利要求5所述的方法，进一步其中为所述像素区域指派图像质量级包括指派选自由以下各项组成的群组的图像质量平像素区域、具有细节的像素区域，以及边缘区像素区域。
25.根据权利要求5所述的方法，进一步其中为所述像素区域指派图像质量级包括指派选自由以下各项组成的群组的图像质量级每个色彩分量的宽带宽、中带宽以及低带宽。
26.根据权利要求5所述的方法，进一步其中为所述像素区域的选定部分指派图像质量级包括从由以下各项组成的群组中选择图像质量级高细节、中细节，以及低细节。
27.根据权利要求5所述的方法，进一步其中为所述像素区域指派图像质量级包括从由以下各项组成的群组选择图像质量级高细节、中细节，以及低细节。
28.一种用于自适应图像增强的方法，其包括将源视频图像中的帧划分为P个像素区域，其中P为大于I的数且与输出显示器中的像素的总数一样大；且对于所述P个像素区域中的每一者来说，所述方法进一步包括测量源视频图像的所述帧中的所述像素区域的图像质量；为所述像素区域的选定部分指派图像质量级；以及根据源视频图像的帧中的所述像素区域中的每一者的图像分类来增强所述每一者。
29.根据权利要求28所述的方法，其中测量所述源视频图像中的像素区域的所述图像质量级包括使所述源视频图像中的像素区域受到边界限制；使用盒检测器级来评估所述选定像素区域的所述边界；执行对所述选定像素区域的谱分解；以及评估所述选定像素区域中的光度分量的直方图；基于所述谱分解和所述光度直方图来测量所述选定像素区域的所述图像质量。
30.一种用于自适应图像增强的系统，其包括用以测量源视频图像中的帧的区域的图像质量的电路；用以基于所述图像质量测量来执行对所述区域的图像分类的电路；以及用以通过基于所述帧的所述图像分类应用操作来增强所述源视频图像中的所述区域的所述图像质量的电路。
31.根据权利要求30所述的系统，其中所述用以测量源视频图像中的帧的区域的所述图像质量的电路包括用以评估所述源视频图像中的所述区域的边界的盒检测电路；用以执行对所述源视频图像中的所述区域的谱测量的电路；用以评估源视频图像中的所述区域的光度直方图的电路；用以基于所述谱测量和所述光度直方图来测量源视频图像中的所述区域的所述图像质量的电路；以及用于为源视频图像中的所述区域的选定部分指派图像分类的电路。
32.根据权利要求30所述的系统，其进一步包括用以根据所述图像分类对源视频图像中的所述区域执行降噪的电路；用以根据所述图像分类对所述降噪区域的信号执行跃迁改进的电路；用以根据所述图像分类以及由所述盒检测电路评估的所述盒边界对所述信号跃迁改进区域执行自适应缩放的电路；用以根据所述图像分类对所述自适应缩放区域执行细节增强的电路；以及用以对所述细节增强区域执行对比度增强的电路。
全文摘要
本发明提供用于自适应图像增强的方法及系统，所述方法及系统用于测量帧中的像素区域的图像质量、基于所述图像质量测量执行图像分类，以及通过根据所述区域的图像分类应用操作来增强图像质量。本发明还提供如上所述包含以下步骤的方法将帧划分为P个像素区域；以及对于所述像素区域中的每一者，测量所述图像质量；指派图像质量级；以及增强所述图像。本发明还提供用于自适应图像增强的系统，所述系统包含用以测量源视频图像中的帧中的像素区域的图像质量的电路；用以基于所述图像质量测量来执行所述区域的图像分类的电路；以及用以通过基于所述帧的所述图像分类应用操作来增强所述源视频图像中的所述区域的所述图像质量的电路。
文档编号G06K9/00GK102612697SQ201080037504
公开日2012年7月25日 申请日期2010年7月21日 优先权日2009年7月21日
发明者弗拉迪米尔·拉基内, 格雷格·史密斯, 路易·李 申请人:高通股份有限公司