一种改善源图像数据上的图像质量的方法

专利名称：一种改善源图像数据上的图像质量的方法
本申请是2004年10月20日提出的、申请号为200480030903.9、名称为“进行图像重构和子像素着色来为多模显示器实现缩放的系统及方法”的发明申请的分案申请。
背景技术：
在权利共有的美国专利申请中(1)2001年7月25日提交的美国专利申请序号09/916,232(“‘232申请”)，其标题为“ARRANGEMENT OF COLORPIXELS FOR FULL COLOR IMAGING DEVICES WITH SIMPLIFIEDADDRESSING”；(2)2002年10月22日提交的美国专利申请序号10/278,353(“‘353申请”)，其标题为“IMPROVEMENTS TO COLOR FLAT PANELDISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXELRENDERING WITH INCREASED MODULATION TRANSFER FUNCTIONRESPONSE”；(3)2002年10月22日提交的美国专利申请序号10/278,352(“‘352申请”)，其标题为“IMPROVEMENTS TO COLOR FLAT PANELDISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXELRENDERING WITH SPLIT BLUE SUB-PIXELS”；(4)2002年9月13日提交的美国专利申请序号10/243,094(“‘094申请”)，其标题为“IMPROVED FOURCOLOR ARRANGEMENTS AND EMITTERS FOR SUB-PIXELRENDERING”；(5)2002年10月22日提交的美国专利申请序号10/278,328(“‘328申请”)，其标题为“IMPROVEMENTS TO COLOR FLAT PANELDISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS WITH REDUCEDBLUE LUMINANCE WELL VISIBILITY”；(6)2002年10月22日提交的美国专利申请序号10/278,393(“‘393申请”)，其标题为“COLOR DISPLAYHAVING HORIZONTAL SUB-PIXEL ARRANGEMENTS AND LAYOUTS”；(7)2003年1月16日提交的美国专利申请序号01/347,001(“‘001申请”)，其标题为“IMPROVED SUB-PIXEL ARRANGEMENTS FOR STRIPEDDISPLAYS AND METHODS AND SYSTEMS FOR SUB-PIXEL RENDERINGSAME”，公开了用于改进图像显示装置的成本/性能曲线的新型子像素排列，在此作为参考引述其整体。
对于在水平方向上具有偶数个子像素的特定子像素重复组，公开了用以实现正确的点反转模式的下列系统和技术，在此作为参考引述其整体(1)美国专利申请序号10/456,839，其标题为“IMAGE DEGRADATIONCORRECTION IN NOVEL LIQUID CRYSTAL DISPLAYS”；(2)美国专利申请序号10/455,925，其标题为“DISPLAY PANEL HAVING CROSSOVERCONNECTIONS EFFECTING DOT INVERSION”；(3)美国专利申请序号10/455,931，其标题为“SYSTEMA ND METHOD OF PERFORMING DOTINVERSION WITH STANDARD DRIVERS AND BACKPLANE ON NOVELDISPLAYPANEL LAYOUTS”；(4)美国专利申请序号10/455,927，其标题为“SYSTEM AND METHOD FOR COMPENSATING FOR VISUAL EFFECTSUPON PANELS HAVING FIXED PATTERN NOISE WITH REDUCEDQUANTIZATION EEROR”；(5)美国专利申请序号10/456,806，其标题为“DOTINVERSION ON NOVEL DISPLAY PANEL LAYOUTS WITH EXTRADRIVERS”；(6)美国专利申请序号10/456,838，其标题为“LIQUID CRYSTALDISPLAY BACKPLANE LAYOUTS AND ADDRESSING FORNON-STANDARD SUBPIXEL ARRANGEMENTS”；以及(7)与本公开同时提交的美国专利申请序号{代理人案号08831.0056.01}，其标题为“IMAGEDEGRADATION CORRECTION IN NOVEL LIQUID CRYSTAL DISPLAYSWITH SPLIT BLUE SUBPIXELS”。
当结合在这些申请和下列权利共有的美国专利申请中进一步公开的子像素着色(SPR)系统和方法，这些改进特别显著(1)2002年1月16日提交的美国专利申请序号10/051,612(“‘612申请”)，其标题为“CONVERSION OFRGB PIXEL FORMAT DATA TO PENTILE MATRIX SUB-PIXEDL DATAFORMAT”；(2)2002年5月17日提交的美国专利申请序号10/150,355(“‘355申请”)，其标题为“METHODS AND SYSTEMS FOR SUB-PIXELRENDERING WITH GAMMA ADJUSTMENT”；(3)2002年8月8日提交的美国专利申请序号10/215,843(“‘843申请”)，其标题为“METHODS ANDSYSTEMS FOR SUB-PIXEL RENDERING WITH ADAPTIVE FILTERING”；(4)2003年3月4日提交的美国专利申请序号10/379,767，其标题为“SYSTEMS AND METHODS FOR TEMPORAL SUB-PIXEL RENDERINGOF IMAGE DATA”；(5)2003年3月4日提交的美国专利申请序号10/379,765，其标题为“SYSTEMS AND METHODS FOR MOTION ADAPTIVEFILTERING”；(6)2003年3月4日提交的美国专利申请序号10/379,766，其标题为“SUB-PIXEL RENDERING SYSTEM AND METHOD FORIMPROVED DISPLAY VIEWING ANGLES”；(7)2003年4月7日提交的美国专利申请序号10/409,413，其标题为“IMAGE DATA SET WITHEMBEDDED PRESUBPIXEL RENDERED IMAGE”，因此其在此作为参考引述其整体。
在下列共有的和同时待决的美国专利申请中公开了色域转换和色域对映的改进(1)2003年10月21日提交的美国专利申请序号{代理人案号08831.0057}，其标题为“HUE ANGLE CALCULATION SYSTEM ANDMETHODS”；(2)2003年10月21日提交美国专利申请序号{代理人案号08831.0058}，其标题为“METHOD AND APPARATUS FOR CONVERTINGFROM SOURCE COLOR SPACE TO RGBW TARGET COLOR SPACE”；(3)2003年10月21日提交的美国专利申请序号{代理人案号08831.0059}，其标题为“METHOD AND APPARATUS FOR CONVERTING FROM A SOURCECOLOR SPACE TO A TARGET COLOR SPACE”；以及(4)2003年10月21日提交的美国专利申请序号{代理人案号08831.0060}，其标题为“GMAUTCONVERSION SYSTEM AND METHODS”，因此其全部在此作为参考文献整体引述。在本说明书中提到的所有专利申请全部在此作为参考文献整体引述。



在本说明书中包含并且构成此说明书一部分的附图阐明了本发明的典型实施和实施例，并且结合说明用于解释本发明的原理。
图1表示要进行插值的信号的四个输入采样点。
图2A表示采样点阵列和要进行插值的点的阵列。
图2B描绘了进行作为滤波处理的三次插值所需要的滤波器。
图3表示其采样区域对齐的输入和输出像素。
图4描绘了其中心对齐的输入和输出像素。
图5描绘了输入和输出像素排列的一实施例。
图6描绘了以任意的采样率采样的正弦波形信号。
图7描绘了在每个采样点之间具有内插点的图6的信号。
图8描绘了由仅采用原始采样点的全部像素重构的图6的信号，表现出严重的摩尔失真(moirédistortion)。
图9描绘了由采用图6的原始采样和图7的内插点的子像素着色来重构的图6的信号，表现出显著减少的摩尔失真。
图10描绘了以任意采样率采样并且由仅采用原始采样点的全部像素重构的图像信号，表现出严重的摩尔失真。
图11描绘了在每个采样点之间有内插点的图10的图像信号，其由采用图10的原始采样和内插点的子像素着色来重构，表现出显著减少的摩尔失真。
图12表示将插值与子像素着色色彩校正相结合的一组多相滤波器。
图13描绘了具有替代子像素重复单元布局的平板显示器。
图14表示实现区域重新采样子像素着色的多相滤波器的表。

具体实施例方式 现在将对在附图中所示例说明的那些具体实施方案和实施例作详细的参考。在可能的地方，将在所有附图中采用相同的参考号码来称谓相同或类似的部件。
图6所示的是完全在Nyquist频限下采样的正弦波形信号。应注意，采样了64的一些峰值62，但是在其它点，采样66在肩形区域上进行。由于这是有限带宽的图像，可采用理想光学图像重构低通滤波器以准确地重构原始正弦波形；此理想滤波器在肩部区域采样之间将重构亮或暗的峰值。在数学上，可以使用人们熟知的正弦函数构造理想滤波器。正弦函数同时具有正和负项。尽管这样的滤波器可以在数学的理想世界中实现，但是在电子显示器的真实世界中没有像“理想”光学重构滤波器这样的事物——因为在光学中，没有像“负的光”这样的事物。因此，用于显示器的真实世界的重构滤波器的缺乏意味着没有重构峰值，导致称为摩尔的图像失真。图8表示由方形的全部像素82(在图像的一维切分上的，而亮度、灰度显示在第二维度上)重构80的采样的正弦波形60。应注意的是，在波峰肩部区域进行的采样值66重构为宽的、平的区域。该图像失真情况是在平板电视和其它视觉显示器产品中通常发现的。希望减少或消除此摩尔，并且不增加系统的不当费用或复杂性。也可能希望避免引入不想要的伪像，例如色彩误差或图像对比度的损失。
对于观察者摩尔可以显现出与混叠相同的有害效果，产生虚假信号，但是两者是相当不同的。当要采样的信号具有在Nyquist频限处或高于Nyquist频限的频率分量时发生混叠，其导致“折叠”，产生Nyquist频限以下的虚假信号。一旦采样，很难从真实信号中区别混叠信号。对于摩尔不是如此；摩尔可以通过使用适当的重构滤波器从采样的信号中识别和过滤掉。由于混叠信号可能不能够在采样之后识别和过滤掉，一定要注意在采样之前去除在Nyquist频限处或高于Nyquist频限的信号。这产生了“频带限制图像”。
摩尔失真对于正好在Nyquist频限下的真实信号发生得最强烈。当信号频率增加，接近Nyquist频限，作为信号振幅的一部分的摩尔振幅增加，并且波长也增加。结果是看上去类似于振幅调制(AM)信号的信号，载波频率是Nyquist频限并且摩尔空间频率是Nyquist频限和采样的信号之差。相反地，当原始信号频率减小到Nyquist频限以下时，产生的摩尔信号振幅和波长减少，直到摩尔空间频率等于信号频率，在此点，摩尔失真振幅调制消失。在这点以下，可能再出现一些摩尔振幅调制，但是振幅将会很小。摩尔失真振幅调制首次消失的点定义为摩尔频限。它是在Nyquist频限的一半的地方，或重构点频率的四分之一处。
如果给定图像的采样数量增加，对于频带限制处的每个信号周期超过四个采样，图像将仅需要用作为真实世界非理想光学重构滤波器的光学模糊滤波器稍微地过滤。事实上，如果显示器的重构频率足够高，人类眼睛的光学特性会充当这种真实世界光学重构滤波器。当缺乏这种过采样原始图像时，采用任何适当算法的插值可能找到额外的采样点。图7显示了在每个原始值66之间有内插值76的图6的相同的原始的采样的正弦波信号60。在原始采样点66错过峰值的地方，内插值76可以延伸到峰值。这减少了摩尔失真。
使用子像素着色，增加了可能独立编址以重构图像的点的数量，而没有增加在显示器中物理像素的数量。这增加了摩尔频限的空间频率，如图9所示。例如，当绿色子像素正在重构肩部区域上的原始采样点66时，红色子像素正在重构在峰值附近的内插点，反之亦然。另外的光学‘真实世界’重构滤波器现在能够重构频带限制图像，并且不需要“负的光”，只需要加上稍微的模糊以修整子像素的锐利边缘。
图10显示了正在被采样120和无子像素着色地重构110的频带限制图像100的代表。应该注意，产生的图像110是“块状的”和层状的。在图11中，通过使用具有在原始采样点120之间的内插点1120的子像素着色来重构1100相同的图像100。在这里，应该注意到改善的图像逼真度和减少的实际像素(pixelation)伪像。
在原始采样点之间产生内插点的过程可以想象为图像缩放的一种形式。在本发明的一些实例中，因为对于每个原始点都有一内插点，缩放比可以想象为“一到二”或者2X缩放。可以实现其它缩放比，并且预期在本发明的范围之内。
在图像上传统的插值(例如线性的、双线性的、三次的、双三次的、正弦的、窗口化正弦的或类似的)通常认为是包括在周围像素上的浮点运算的计算上代价大的操作。这在为适合特定的显示器而缩放图像数据的情况中特别如此(例如放大采样、缩小采样或重新采样图像)。因此，大多数的专业人员专注于寻找构造硬件来实现复杂的多项式方程的方法。
在此说明的本发明的几个实施例举例说明了以比传统需求少的多的计算上复杂的算法和电路，实现作为加权平均的插值方案的系统和方法。另外，一旦确定插值加权平均系数和矩阵，本发明接着描述用其它图像处理步骤(例如子像素着色或类似方法)有利地处理内插数据的方法和系统。
使用重复单元对称性的插值/数据复制 下面的论述意图是例证本发明的技术；而不是限制本发明的范围。此论述描述一种显示器系统，其需要输入具有第一分辨率(如VGA)的图像，并且或内插、或复制、或以另外的方式(例如通过区域重新采样)重构垂直和水平轴上的图像数据，接着子像素着色数据——使得产生的图像是处于到这个程度的有效的较高的第二分辨率，即该较高的分辨率提供额外的重构点，显示在具有比具有所述第二分辨率的传统显示器更少子像素的显示器上。然而，本发明的范围足够宽广地包括使用重复单元对称性处理插值，以及与例如SPR的其它图像处理方法一起有效地使用这些插值法的其它系统和方法。
在‘612’申请中讨论了用来缩放和子像素着色图像数据的重复单元对称性的概念。在此申请中，从要在具有新型子像素布局的显示器上进行缩放和着色的第一格式(例如传统的RGB数据)，区域重新采样输入图像数据的处理方法，利用这样的事实，因为跨过目标显示器上存在重复单元对称性，所以仅需要几个区域重新采样滤波器。
如同下面进一步论述的，相似的概念适用于数据的内插，以至于只需要使用少数的滤波器核来实现需要的插值——不需要代价高的浮点运算或硬件。
对于带有以任何特定的缩放比例的缩放的区域重新采样算法，在输入和输出像素之间有少量的关系重复跨过和沿着图像向下。期望为这个“重复单元”计算区域重新采样系数并适当地重新使用它们。用插值可以大体上做相同的事情。只举一个例子——三次插值——在重复单元的每个位置中，可以“离线”计算三次方程(即作为系统设计过程的一部分)，转换成加权系数，并储存在表中。
通常地，加权值从作为浮点实现的、并且传统上难以在硬件中实现的三次方程式来计算(例如调和函数blending function)。但是重复单元的思想允许我们改为预先计算少量的滤波器核。这些滤波器核或系数表可以储存在硬件中(例如ROM或闪存或类似物)而且用于在图像上进行实时三次插值。在一个典型的系统中，插值硬件可能实现为4x 4滤波器核或者任何这种大小合适的矩阵——具有与储存的滤波器核匹配的矩阵系数。这在技术领域中作为“多相滤波”所公知。
对于使用三次插值的这个实例，从任何的标准的三次方程开始是可能的(例如Catmul-Rom三次方程或类似者)。因为其会在已知像素之间内插入新的值并将在可能的时候产生原始图像值，所以可能希望选择通过所有控制点的三次方程。尽管使用以输入点作为“建议(suggestion)”的其它形式三次样条函数(spline)是可能的(为了本发明的目的)，但是它们可能不会非常接近原始值地通过。在下列的矩阵公式中给出用于一维的三次曲线的Catmull-Rom公式 公式(1) [T3，T2，T，1]矩阵对应于三次公式——a*T3+b*T2+c*T+d*1。[P1，P2，P3，P4]矩阵是一列控制点，而在中部的4x4矩阵是基础矩阵。这个4x4矩阵对应于Catmul-Rom矩阵而且具有这样的属性，即如果运算所有的矩阵点积，产生的公式将会具有暗含的a、b、c和d系数的正确值。执行上面的公式(1)的计算的结果得到 公式(2) 公式(2)可以重写来合并控制点周围的项如下 公式(3) 公式(3)类似于四个控制点的加权和(平均值)。对于任何给定值T，在其相加之前，它将会以不同的量加权每个控制点。当T范围在0和1之间时，结果从P2移到P3。举例来说，如果T是0结果只是P2，如果T是1结果是P3。对于所有在0和1之间的T值，结果可能不必要是在P2和P3之间，因为包括周围点P1和P4的三次处理可以使此值突然上升或者下降。图1是在一维情况下穿过单条扫描线三次公式可能产生的可能曲线拟合的实例。
从P1到P4的四个点是控制点，穿过图像的单条扫描线的亮度值。在曲线图上的Y方向是子像素的亮度(例如在不同的色彩平面中，如红色、绿色或蓝色)。T方向是沿着处于一行的像素。在P2和P3之间的过度弯曲说明了三次曲线如何可以在控制点的上面和下面插值。
在二维图像(使用上面三次的实例)中，一可能实施例是同时检查四行并且同时检查四个源像素(例如控制点)。因此，上述公式的表达可能要稍微地改变以使用不同的4组控制点，第一行的P11、P12、P13和P14，向下直到第四行的P41、P42、P43和P44。这如图2A所示。将X方向的T值(Tx)代入到这四个公式中，产生4个垂直的控制点。这些点将会以Y方向的T值(Ty)第五次代回到公式3中。结果是存在于由4个内部控制点P22、P23、P32和P33定义的四边形内某处的单一值。
希望把这些点转换成之后与采样点相乘的一组加权系数。为了完成这个转换，有可能符号地求解公式并对于每个采样点合并项以找出如何计算那些系数。把对于四个控制点行的公式代入到四个垂直控制点的位置，产生下列矩阵公式 公式4 其中CM是Catmul-Rom基础矩阵 公式5 符号地进行矩阵点积，然后对于每个控制点合并项产生16个不同的公式，每个对应每个控制点的每一系数。
公式6 这些公式可以接着在用于硬件之前转换成4x4滤波器核。这个转换包括对于给定的一对Tx、Ty值计算每一个上述公式和将16个结果代入样本值的4x4矩阵以用于缩放硬件。
应该了解在重复单元里的Tx和Ty值可以是处在0和1之间的数字，以对于位于四个中央控制点之间的输出像素产生系数。现在论述对于每个滤波器核产生这些参数T值的一个实施例。图2A表示具有覆盖其上的输出重新采样点的单个重复单元的输入采样点的网格200的一部分的实例。
在此例中，这个情况中输入像素到输出像素之比是2∶5，其是640像素宽的图像与1600像素宽的图像之比。这是计算机显示器系统可能要求缩放的通常比例。大的黑色点202表示输入像素的几何中心。它们以与在上面的三次公式中的输入控制点相同的方式来标注。小的灰色点204表示输出像素的几何中心。为了清楚，仅仅显示了输出像素的一个重复单元，但是在实际使用中一再地重复这个单元。每个重复单元对附近的输入采样点具有相同的关系。应该了解，对于其它的缩放比例将会找到其它的重复单元，并且一般的本论述很好地同样适用于其它的缩放比例。
此外，在此例中，重复单元与完全地落在输入采样点上的第一输出重新采样点对准。其它的排列是可能的，例如对准在4个输入点之间的空间的中部。改变重复单元的对准可能具有期望的效果，这将会在下面说明。然而，确切地对准在左上角产生一些方便的初始化值而且使实例更容易描述。
在重复单元的第一行中的第一输出像素确切地对准，因此，对于此位置的参数T值等于零。在其中输入与输出之比是2∶5的情况下，第一行中的第二输出像素是在P22和P32之间距离的2/5，而第三输出像素是在此距离的4/5。第四个输出像素是在此距离的6/5，这将它放置在越过P32的此距离的1/5。大于1的“溢值”意味着到了将三次输入参数朝右方推进一个输入列的时候。因此，可以重新进行输入像素的编号方案以放弃第一列而包括右侧的未标注的列。第一行中的最后一个输出像素是越过P32的此距离的3/5。对于重复单元的任何行或者任何列的过程实质上是相同的，在此情况下对于Tx或Ty产生在0和1之间但总是五分之几的分数的合理的数值。对于任何缩放系数的一般情况计算这些分数的分子的方法实质上与在描述带有缩放的区域重新采样的‘612申请中描述的方法相同。
当把这些分数的值代入公式6的公式，结果是一组4x4系数表——为缩放硬件使用的滤波器核。正如在带有缩放的区域重新采样中那样，可能期望对于在图2A中的25个不同的重新采样点(灰色点)有25个滤波器核。然而，很多这些滤波器核是在不同的轴上的彼此的镜像。因此，只要硬件以适当的次序交换它们或者读取它们，计算减少的数量就可以满足要求——在此情况下是6个。对于此例，6个这样的可能滤波器核如图2B所示 滤波器系数可以像这里一样乘以256(或者依系统而定的某一其它值)以使这些值在硬件上易于实现。M的下标表示在重复单元中滤波器核的位置，其中0，0表示左上边，0，1表示在重复单元中它下面的那一个，等等。检验这些核来了解加权平均如何工作是有趣的。标注M0，0的那个是输出像素直接地落在输入像素的上面的情形，所以在核中的P22系数是唯一的加权值并且它是256——其是最大的值，从而逻辑地等价于与1.0相乘。沿着滤波器核的列向下扫描，加权值变小并且P23的加权值变大。沿滤波器核的表对角线地向下扫描，注意到当为计算更接近P33的值建立核的时候，P33的加权值变得更大。
改变重复单元对准 在上面实例中，排放重复单元以使它的左上角完全落在输入像素上，仅是布置重复单元的一个方法。虽然这可能产生一些方便的初始值，但是这可能不总是排放重复单元的期望的方法。另一实施例通过不是对准采样点，而是对准重新采样区域的边缘而产生。图3表示输入和输出像素的单个行300。
图3表示1∶3缩放比例，其中黑色点302是位于它们代表的采样区域304的中心的输入像素，而灰色点306是在其重新采样区域308内的重新采样点。如果使用1∶3缩放比例，用于图2A中的重复单元的排放看起来会像图4一样。
如同在图4中可以看到的，输出采样点延伸出代表的采样区域的边缘。有可能做出关于这种情形的假设，并且在这样情况下可以满足的一项假设是，在输入图像外的边缘是黑色的。使用这项黑色假定和图4的排放，左边的边缘将会终止在输入像素值上，但是右手侧边缘将会褪为黑色。即使在图3的采样区域排放中，第一和最后重新采样点仍然延伸越过第一和最后输入采样点。使用三次插值，这可导致边缘稍微地向黑色褪色。那种情况可以通过使用关于输入图像外的区域的不同的假定来改变。举例来说，它可能是对于输入图像之外的采样重复最近的输入值。可以采用最后两个输入点的线性插值；或者可以使用三次插值来产生图像之外的丢失的值。
应该注意到图4所示的采样点排放的左边边缘是良好的——即它为第一输出点选择输入点中的一个。可能也希望在右手边缘上这样做。应该进一步地注意到，如果输出阵列只有13个像素宽，将期望图4。但是因为输出大小常常是给定的，替代地改变缩放系数来使得第15个像素落在那个位置可能满足要求。图5表示如何有可能使重新采样点以第一和最后像素完全与第一和最后输入采样点对准来放置 第一输出像素的位置已经移开大约一位，并且缩放系数已经从5∶15(1∶3)改变到大约5∶17。第一输出像素相对于第一输入像素的位置可以通过把余项初始化为不同的值，来在软件和/或硬件中改变。可能通过可以预先离线完成的对表进行的重构，以及改变确定何时切换到下一个输入像素的常数，来改变缩放系数。这些应该是对硬件的微小变化，然而，滤波器表可能变得或者较大，或者较小。为了计算缩放系数，可以使用公式7 公式7 这产生5∶17.5的缩放系数，其接近图5所示的。在一实施例中，可能希望保持数字为整数——在此情况中为了使这个合理化，可能使用10∶35的比例，其可简化为2∶7。
在缩放XGA到UXGA(或1024像素到1600像素)的情况下，这个情形根据图3的采样区域排放假定有16∶25的可能缩放比例。这可以使用625个滤波器核的表以在硬件上实现(以及稍微较少的对称性)。然而，由上面的公式7，根据图5的新采样点排放假定的缩放比例只有5∶8。这需要少很多的核的表——只有64个滤波器核，在此情况下硬件门需求中几乎10倍的减少。对于XGA和UXGA的垂直尺寸(其分别是768和1200)，此公式产生相同比例5∶8。
此“采样点排放”可能是系统设计者应该在构造的每个系统中尝试的重要的假定。如果它产生比原始的“采样区域排放”更好的缩放系数，那么可以节省在硬件中的门。如果最初的假定产生更好的缩放系数，那么可以尝试其它的设计以适合边缘上的“衰退到黑色”的情况。事实上，那些可能的实施例之一是使像素衰退到黑色而仍然达到可接受的结果。
2X缩放模式 现在，将描述在输入图像数据上进行2X缩放的方法和系统。对于可以把例如VGA数据显示到HD格式的多模式显示器设备，例如电视或监视器，这种缩放模式是有用的——如同在上述的相关专利申请中所进一步论述的。这样的显示器——包括在几个作为参考文献引述的权利共有的申请中论述的多个新型子像素布局中的一个——可以显示几个数字电视分辨率，也以改进的图像重构滤波器显示通常的电视分辨率。在这种显示器的一个实施例中，三次插值、子像素着色和串色锐化的组合可以在通常的电视模式中产生可接受的图像，很大地避免了摩尔。特别地，对于2X缩放的特别情形的三次插值包括简单的数字，因此代价更少的处理。
在2X缩放中，每隔一个的重构点值落在输入像素采样点上，并且在那些重构点可以不需要计算。在中间的值落在T＝1/2处，而且把这代入到上述的公式3，得出下面的公式 公式8 当简化具有T＝1/2的矩阵公式时，它变成周围4个像素值的简单加权平均。这等价于具有如下值的4X1滤波器核 [-1/169/169/16-1/16]。
应注意所有的这些数字的分母如何是方便的二的幂，使此除法成为右移和加法的简单组合。即使9/16的乘法是简单的，其可以通过左移原始值两次来完成，一次一位，另一次四位，接着是两个移位的值的相加。滤波器核中的这组系数可以在非常简单的硬编码数字逻辑中实现以提供很低成本的卷积引擎。
如同讨论的那样将标准的640X480电视信号显示到面板上——即包括640X3X960个物理子像素的面板；但是用子像素着色具有更好的图像质量——可以利用插值，后面接着串色锐化的子像素着色，以有效地缩放图像到1280X 960逻辑像素。由于插值作为对于亮度信号的低通重构滤波器，而锐化子像素着色滤波器用于除去可能引起色彩混叠的任何空间频率，从而保持色彩平衡和图像对比度，因此这以减少的摩尔和混叠伪像重构了图像。这个组合算法解决了现有技术中注意到的顾虑，即在子像素着色缩放中的锐化与色彩误差的关系。
其它中的一个可能的插值法可能是Catmul-Rom的算法(例如窗口化正弦函数)。然而，为了说明的目的，下列的论述适于Catmul-Rom算法。为了简化计算，可以这样设定边界条件，使得输入图像与较亮的子像素中的一个是同相的——例如在这种情况，如图2所示的子像素重复组的上部右手角绿色。可能做出的另外一项假定是，红色的和绿色，三种颜色中较亮的二种颜色，是在真正的正方形网格上。依照这些假定，对于轴可分离的滤波器的一组可能的插值系数可以是(如同上面论述的) -1/16，9/16，9/16，-1/16 也如上面还提到的，这些数字可以使用比特移位乘与累加容易地实现。为使用这个轴可分离的插值滤波器，当它扫描一行数据时，第二2X较宽行的数据可以馈入并储存在线缓存器中。一半的信息可以是所有的三种色彩的原始的数据，与所有的三种色彩内插的数据间隔交错。然后当填入三行加上二列时，数据可以用来使用和上面相同的滤波器，但是在垂直的方向操作，内插和储存失去的行数据。后面以一行来跟随的(在新的扩展的行计数中)可以是按照上面插值的结果的串色锐化子像素着色算法。因为所有那些系数是简单的二进制的移位乘与累加，系统保持简单而快速。主要的成本是行缓存器，三个而不是二个。在下面显示的是串色子像素着色滤波器。它是区域重新采样滤波器的组合，在这种情况下的“钻石滤波器”和串色“DOG小波”(“高斯差分”)。
-.06250-.0625 0 .1250 -.0625-.125-.06250.25 0 + .125 .5 .125 ＝ .125 .75 .125 -.06250- .0625 0 .1250 -.0625-.125-.0625 DOG小波+区域重新采样＝串色锐化核 上述第一滤波器，DOG小波通过采样与第二个区域重新采样滤波器不同的色彩，进行串色锐化(如在上面引述的申请所揭示的)。然而实现重构滤波器的另一个实施例将使用作为上述三个滤波处理的卷积的滤波器来直接地采样数据。如前所述，对于诸如照片和视频的频带限制图像的重构，有时希望使用双三次插值。然而，当子像素着色直接地使用双三次插值时，存在着可能产生色彩误差的可能性。对于此特别的子像素结构，使用区域重新采样滤波器卷积双三次插值将会实质上调整和/或校正该误差。由于这个卷积可能引起图像的一些额外的模糊或者对比度的损失，通过使用DOG小波可以加入一些锐化以补偿任何这种可能的模糊。使用合适地设计的插值滤波器、子像素着色区域重新采样滤波器和锐化滤波器，可以在任何子像素布局上使用下列的技术。为了说明的目的，我们已经选择特定的实例，但是应了解此技术将会在任何子像素布局和“缩放”系数上有效。
然而，依照上述的参考专利建立的显示器系统常常以不可分离的滤波器为基础。因此可能希望构造二维滤波器以实现现有系统中的三次插值。因此，为了对于图13的五和六子像素重复单元布局1320、1312、1322和1323的棋盘图案生成新型色彩校正双三次子像素着色多相滤波器，一实施例可以执行下面的 首先，如上面揭示的那样生成双三次滤波器核阵列。从而产生类似于图2B的核的一组多相核。对于每个滤波器核，以上面所述的钻石滤波器和串色DOG小波的系数将每个核与3X3邻域卷积。然后将对应于相同输入采样的来自每个核的全部结果值相加。理论上，照这样用3X3锐化区域重新采样滤波器卷积4X4双三次滤波器，可能产生5X5滤波器核。然而，实际上，结果可能常常是较小的核。也有可能通过几个方法减少产生的卷积的滤波器核的大小。首先是将核的边缘处的很小的值设定到零，把它的值加到相邻对角线核的值以维持彩色平衡。其次要调整插值网格位置(相位)或者缩放，使得所有的或者大部份的5X5核收缩到4X4。
对于从上述提到的专利申请中引述的几个子像素布局，蓝色的子像素可能不会很大程度地增加面板的地址可设定性。再者，因为这是对于频带限制图像的图像重构，高空间频率的傅立叶能量将是低的。因此，为了在上述系统中的正确色彩成像，可能希望通过在与红色/绿色棋盘图案相同的点上获得的蓝色值，和蓝色子像素着色滤波器(例如用于图13中的六子像素重复单元1312的1X2箱式滤波器或者用于五子像素重复单元1322的2X2箱式滤波器，或者用于八子像素重复单元1326的1X3帐篷式滤波器)的卷积来确定蓝色子像素的值。
在此例中，几个插值滤波器用于与子像素着色色彩校正滤波器的卷积。一个是水平地成一直线，即与上述-1/16，9/16，9/16，-1/16相同的4X1滤波器，一个是垂直地成一直线，即前一个的转置矩阵(90°转动)，第三个用于在4个周围输入点之间中途的点。第三滤波器如下所示。在这个滤波器中的数字仍然合理地易于在特定目的的硬件中相乘，而没有完整乘法器单元的成本。
1-9-91 -9 8181-9 -9 8181-9 1-9-91 上述的数字要除以256。通过将前面所示的4X1第一滤波器与1X4第二滤波器中的相同系数卷积，产生了上述的4X4滤波器核。钻石滤波器、串色DOG小波和插值滤波器的卷积的结果在图12中显示。
产生更锐利图像的替代4X4滤波器，我们应该称之为“箱式-三次”滤波器，为 0-8-80 -8 8080-8 -8 8080-8 0-8-80 一对一图像重构 其中每个图13的重复单元1324和1325具有四个绿色、二个红色和二个蓝色子像素的八子像素重复单元布局1324和1325可以一对一地映射；一输入像素到一绿色子像素，并且通过在红色和蓝色子像素上内插中间重构点的值，仍然具有减少了的摩尔失真。
子像素重复单元布局1324之一具有与绿色子像素行成一行的红色和绿色子像素。对于传统色彩校正子像素着色，蓝色和红色子像素可以以非常简单的2X1箱式滤波器1/2，1/2过滤。这也可以看做并列在绿色子像素上的二个原始采样点之间的线性插值。为了更好地减少摩尔，箱式滤波器可以由上述的简单的4X1三次滤波器-1/16，9/16，9/16，-1/16代替。这可以减少水平方向的摩尔。
另一个八子像素重复单元布局1325将红色和蓝色子像素移置到两轴上的空隙位置。对于传统的色彩校正子像素着色，使用简单的2X2箱式滤波器可以在并列于绿色子像素上的四个原始采样点之间过滤红色和蓝色子像素，此滤波器为 1/41/4 1/41/4 这同样地可以看作在并列于绿色子像素的四个原始采样点之间的线性插值。为了更好地减少摩尔，箱式滤波器可以由上述的简单的4X4“箱式-三次”滤波器代替 这个插值将会在所有的轴上减少摩尔失真，同时仍然维持色彩平衡和图像对比度。替代地，如上所述，可以使用简单的轴可分离双三次插值算法，如4X4或分成两个操作。
检查具有非矩形子像素的六子像素重复单元1323，可以注意到，蓝色和白色的子像素一起占据在红色/绿色棋盘图案位置之间的间隙位置。从而，蓝色和白色可以同样地使用上述的简单的4X4“箱式-三次”滤波器或者轴可分离的滤波器。再检查五子像素重复单元排列1322，注意到也有占据红色/绿色子像素棋盘图案位置之间的间隙位置的蓝色子像素。从而，这个蓝色子像素可以同样地使用这里论述的滤波器。
具有与红色/绿色行在同一行中的一蓝色和一白色的六子像素重复单元布局1320可以通过在蓝色和白色子像素上使用2X3‘箱式-帐篷式’滤波器来进行色彩校正子像素着色 0.1250.125 0.25 0.25 0.1250.125 为减少摩尔失真，箱式-帐篷式滤波器可以由4X3“帐篷式-三次”滤波器代替 -1/649/649/64-1/64 -1/329/329/32-1/64 -1/649/649/64-1/64 RGBW系统上的图像重构 本系统的一实施例会显示广泛标准(例如852X480)的电视信号到具有带有如图13所示的六子像素重复单元1320的RGBW结构(例如852X3X960)的本系统上。这个系统可利用插值，其后接着亮度锐化子像素着色以有效地“缩放”图像到红色/绿色网格上的另一分辨率(例如1704X960)，并使用白色和可能的蓝色子像素，以红色/绿色点之间的中间重构点插值或者开始。由于最特别地使用红色、绿色和白色的到额外的重构点的插值起着低通重构滤波器的作用，这样以减少的摩尔和混叠伪像重构了图像。
RGBW面板需要输入数据的多基色映射。数据可以来自几个标准视频格式，但是最通常的会是RGB。应将此色彩数据转换到RGBW。在映射算法内，可以产生亮度信号。这个亮度信号可以由图像重构滤波器用于锐化色彩图像分量。因此，多基色映射算法可以输出RGBWL数据。
在数据上执行的一可能的插值可以是Catmul-Rom算法。与上面论述相似，为了简化计算，设定边界条件使得输入图像是与子像素之一同相位的，在此情况中我们将使用下面的白色子像素。当然，应了解为此也可以选择其它的子像素；然而由于白色是最明亮的，所以使用白色可能是有利的。以最明亮的子像素作为同相位点，可在得到的图像上产生最少的插值伪像。依照该假定，用于轴可分离滤波器来为红色/绿色棋盘图案网格内插原始值的插值系数的一实施例可能是 对于垂直的插值的-1/16，9/16，9/16，-1/16以及 对于水平的插值的-18/256，198/256，85/256，-9/256和它的镜像。
为使用这个轴可分离的插值滤波器，当系统扫描入一行数据时，第二的，垂直内插的数据的行馈入并储存在线缓存器中用于内插行，上面的两个最终行(例如后面)。对于具有白色和蓝色的正方形网格布局的显示器，因为上述假定限定白色(W)分量直接位于非插值的输入数据上，所以仅仅内插RGBL数据。在交错地(例如六角形地)排列的白色和蓝色布局显示器上，要内插全部的RGBWL数据。尽管可能希望在垂直插值后在不同相位行上进行水平的插值，只要数据进入，就可在同相位的行上进行水平的插值。替代地，可能首先进行水平插值，其可节省较复杂乘法的数量，继之以较简单的来实现垂直插值。
在已经内插RGBL或RGBWL数据后，蓝色和白色平面数据是完整的。如上面所示，红色和绿色数据可以是子像素着色的，使用如上面所示的外加亮度驱动“串色”锐化处理的钻石滤波器进行过色彩误差校正过滤的。替代地，红色和绿色子像素值上的锐化可由如前所述的串色DOG小波执行。
替代的图像重构算法可以用于RGBW六子像素重复单元布局1320，或以另一选择，图3的非矩形的六子像素重复单元1323来使用。对于子像素的这些布局，可能期望以类似于对于上述六子像素重复单元1312所描述的方式，将原始采样点定中心在左上边绿色子像素。如前，使用如同上面的方便的插值可以找到另一个绿色和二个红色的值。由于相位关系保持相同，以与上述相同的方式使用4X1和1X4轴可分离双三次滤波器的插值，也可找到白色和蓝色子像素的值。
RGBW上的9到8缩放模式 按照9到8的比例稍微地缩小图像是发生在某些显示器布局中的特殊的情况。现在将说明在红色/绿色子像素网格上实现九到八(9∶8)的“缩小”的一实施例。
初看起来，频带限制在Nyquist频限处的图像的缩小可能看起来会招致不能修复的混叠失真的引入，但是额外的亮白色子像素的存在消除了这种危险。通过想像一个人只查看严格频带限制图像的一半的采样点可以了解这一点；得到的图像将会表现出严重的混叠；等同于在频段范围下采样图像。但是根据完全的补偿，消除了混叠。因此，在如同图13的六子像素重复单元1320和1323的这种布局上显示图像的情况，附加的白色子像素意味着每个重复单元有五个相当明亮的子像素。从而，看来是对于红色/绿色网格的9∶8的“缩小”系数的东西，当包括作为附加的重构点的白色子像素时，可以替代地看作9∶12“放大”比例。白色子像素的加入和它作为重构点的使用使得更高分辨率的图像无混叠地且减少摩尔地显示出来。尽管蓝色子像素亮度有限，但它们确实有一些。如果把这些也计算到缩放比中，那么这比例可看作是九到十六(9∶16)，其接近于期望的最小量九到十八(9∶18)，将几乎除去任何的摩尔失真。
下面的表和其它指导是为缩放1920X1080 RGBW图像到包括上面引述的同属专利申请所揭示的特定子像素布局的显示器而设计的。这些布局可能在显示器上包括一定数量的物理子像素重复单元布局(例如852x480)；但是，由于特定的子像素着色算法，显示器可以以较高的分辨率(例如1704x960“逻辑”像素)着色图像。因为1920乘8/9是1706.6666个逻辑像素，可能期望在右边或左边的边缘上截去少量的数据。因为1080乘8/9是960，应该没有垂直的折衷。
红色和绿色子像素重新采样点可能认为，或假定为，在正方形网格上大体平均地分配，所以可以使用通常的“钻石”区域重新采样滤波器。在这种情况下使用区域重新采样，提供以一次方式运行插值和子像素着色色彩校正的3X3滤波器核的优点。因为这是在到红色/绿色网格上的“缩小”处理，将会有比采样点更多的重构点。前面揭示的(在‘612申请中)红色-绿色滤波器产生过程在这种情况下是足够的/有效的，而且产生下列的表用于对于当子像素着色它们时缩放到红色和绿色子像素网格。
对于下面的表1，下列的假定只是由于说明的理由而提出，并且没有限制本系统的范围。所有的滤波器系数是要除以256的数字。所需要的滤波器核最大的大小是3x3。对称性将滤波器的数量减少到十个滤波器——因此储存这些滤波器的存储器可以不需要超过90个字节。

表1 这10个滤波器核可能从左到右、由上到下或者在对角线上交换以产生滤波器的所有剩余部分。在需要完成这些的逻辑比简单地将全部64个滤波器存储在ROM中代价更大的情况下，图14对于此例列出了一个完整的滤波器核组。
当单步通过图14的上述表时，采用水平地用于每个输出像素的下一个滤波器，但是通过每9个输入地址跳越一个来以稍微更快的次序单步通过输入像素是可能的。应了解，可以预先计算并且储存步进率以在图像着色期间使用，或者可以在图像着色期间动态地计算步进率。例如，可以使用数字差分分析器(DDA)产生这样的数据。在下列的表3中，输入像素数字是对用于滤波器核的中央像素的索引。
表3 应注意在这个表中一个额外步骤显示在表3中——即在第二重复单元中的第一输出像素——其回转到接近零。在此列的输入像素数字显示为9，其在第二输入重复单元中以9为模将回转到零。垂直地使用相同的步进表来选择在输入中要跳越哪一行。
应了解红色/绿色棋盘图案值也可使用包括双三次或者正弦函数的许多其它插值法来计算，而且这认为是在本发明的范围内。
下面的表4表示用于蓝色缩放9∶8的滤波器核。因为蓝色子像素是非常稀疏的(在某些情况下，对于每个反复子像素组只有一个)，缩放比例在这种情况下实际上是9∶4，对于每4个输出蓝色子像素有九个输入像素。从而，尽管对称性在表中应该是明显的，只有16个没有对称性的滤波器。实际上这些滤波器中的一些计算为3x4滤波器核，但是在这些情况下放弃最小的行并且将它们重新规格化到总计256是可能的。下面是得到的用于蓝色的滤波器核的完整重复单元 表4 当输出像素有序地穿过一条线时，对于每4个输出蓝色有9个输入像素，因此，可能期望快速地单步通过输入像素。在表5中的输入像素索引数字再一次指示3x3滤波器所中心位于的地方。
表5 应了解在这个表中有一个额外的列——来表示当输出像素索引步进到下一重复单元的第一位置时，输入像素值增加3到10，其以9模再一次等于第一值。
对于某些子像素布局，蓝色子像素重新采样点可以不同于水平方向地垂直定向，因此垂直的步进表(表6)也可能不同于水平表 表6 再次地，在此表中包括一额外的列，以表示当步进进入下一重复单元时输入行增加二，将索引增到9，其以9为模再一次等于第一值。
如果以“传统的”区域重新采样的方法处理，白色子像素会几乎与蓝色子像素相同地过滤。如同对于上述蓝色可以看到的，这产生大的箱式滤波器，其会使白色信息模糊到无法接受的程度。在这种情况下，能够进行4x4三次插值以得到用于白色的值。因为红色和绿色子像素可在峰值或波谷的肩部区域上重构信号，内插的亮白色子像素将会重构峰值或波谷，内插白色具有减少摩尔失真的额外好处。
如上所述，特定的插值是可分离的——例如Catmul-Rom三次插值。因此，有可能当收到时在每行上执行一维水平三次插值，把这些值储存在线缓存器中，然后在4行之间执行一维垂直三次插值以产生白色的值。在一实施例中，水平三次插值可以采用4个乘法器，而且垂直的三次插值可以使用4个乘法器，其总数只有8。
在一实施例中，对于每9个输入像素，只有4个输出白色像素，给出9∶4的缩放比例。如同以区域重新采样的缩放，水平的三次插值将会对于穿过一重复单元的所有位置具有四个不同的4x1滤波器核。不像以区域重新采样的缩放，水平的三次插值在每行上是相同的，因此滤波器系数表仅仅是一行并且在每行白色像素上使用相同的滤波器。这些滤波器核设计为要除以256。
表7 通常地，步进表描述了滤波器核中心计划达到的地方，但是三次滤波器总是4横或4高的，没有中心。表8表示在步进表中第一系数假定对准的索引，而非表示中心。
表8 在索引为0的第一白色输出像素上，第一输入像素的索引将为-1，意味着滤波器将屏幕的左侧边缘“悬离”一个输入像素。表8以进入下一重复单元的一步显示额外的列，所以可以看到下一输入像素索引。应注意这个索引等于第一个索引以9为模。
在垂直的方向(如表9所示)，三次缩放滤波器可能定位在不同的相位偏移上，而且如表10所示的不同的滤波器核和步进表可以是足够的。
表9 表10
权利要求
1.一图像处理系统中，所述图像处理系统包括具有八子像素重复组的显示器，所述重复组进一步包括四个绿色子像素、二个红色子像素和二个蓝色子像素；改善源图像数据上的图像质量的方法，所述方法的步骤包括
把一源输入像素映射到一绿色子像素；
在红色和蓝色子像素上内插中间重构点。
2.根据权利要求1所述的方法，其中该方法进一步包括用箱式滤波器过滤红色和蓝色子像素。
3.根据权利要求2所述的方法，其中所述箱式滤波器包括[1/2，1/2]。
4.根据权利要求1所述的方法，其中该方法进一步包括用4×1滤波器过滤红色和蓝色子像素。
5.根据权利要求4所述的方法，其中所述4×1滤波器包括[-1/16，9/16，9/16，-1/16]。
6.根据权利要求1所述的方法，其中所述红色和蓝色子像素从所述绿色子像素移位。
7.根据权利要求6所述的方法，其中所述方法进一步包括用2×2箱式滤波器过滤红色和蓝色子像素。
8.根据权利要求7所述的方法，其中所述2×2箱式滤波器进一步包括
1/41/4
1/41/4。
9.根据权利要求6所述的方法，其中所述方法更进一步包括用4×4箱式-三次滤波器过滤红色和蓝色子像素。
全文摘要
本发明公开了一种改善源图像数据上的图像质量的方法。描述了一种图像处理系统，其接收具有第一分辨率的源图像数据并且将目标图像数据着色到具有第二子像素分辨率的显示器上，而且改善所述着色的目标图像数据中的图像质量。
文档编号G09G5/20GK101339728SQ20081012836
公开日2009年1月7日 申请日期2004年10月20日 优先权日2003年10月28日
发明者坎迪丝·海伦·勃朗·埃利奥特, 迈克尔·佛兰西丝·希京斯 申请人:三星电子株式会社