专利名称：基于方向性插值的图像升频的制作方法
技术领域：
本发明涉及基于方向性插值的图像升频。
背景技术：
数字视频通常被表示为图像或帧的序列，每个图像或帧包含像素的阵列。每个像素包含诸如强度和/或颜色信息等信息。在许多情况下，每个像素被表示为三色组，每一种颜色由8位颜色值定义。
帧内的像素信息可能缺失，比如当执行视频转换处理(比如在隔行电视场信号和逐行帧信号之间的转换)时可能导致的边界条件。在其他情况下，帧可能处于第一分辨率(如标准清晰度)，期望将其转换至第二分辨率(如高清晰度)。
像素插值的标准技术基于经典线性滤波器的应用。然而，这样的技术引入了各种视觉伪像，如图像中锐利边缘图案和细节纹理图案模糊、沿边缘轮廓的环晕、以及沿边缘轮廓参差不齐。当使用标准线性滤波技术来进行插值时，这样的伪像通常是不可避免的。因此，需要像素插值的改进技术，如适于局部图像图案的技术。
一种像素插值的改进技术通常被称为面向边缘的插值，面向边缘的插值旨在通过沿所选方向扩展图案来产生缺失像素的值，所选方向表现为存在于图像帧的周边像素中的边缘。
不幸地是，很难确定图像中边缘的存在以及图像中的这样的边缘的方向。对方向的错误估计可能导致插值后在图像中出现新的视觉伪像。因此，需要一种鲁棒的技术，用于估计图像中局部边缘图案的方向。此外，需要一种鲁棒的图像升频技术，其考虑道错误估计方向的可能，以避免任何视觉伪像。此外，需要一种计算复杂度低的图像升频技术，其在视觉质量方面的性能能够优于标准线性滤波技术。
发明内容
一种插值方法，包括(a)接收具有多个像素的输入图像；(b)利用第一技术，从多个离散的可能方向中，估计出接近于所述输入图像中第一像素的边缘方向；(c)利用第二技术，基于对接近于所述输入图像中所述第一像素的所述边缘方向的所述估计，来选择边缘方向；(d)基于所选择的边缘方向，插值出接近于所述第一像素的像素；(e)基于另一技术，插值出接近于所述第一像素的像素；(f)基于从步骤(d)和/或步骤(e)中选出的至少一个，确定针对输出图像的插值的像素，所述输出图像比所述输入图像具有更多像素。
考虑以下结合附图的本发明的详细描述，本发明的前述和其他目的、特征以及优势将更加易于理解。
图1是图像升频技术的框图。
图2示出了5×5窗和由该窗插值出的三个新像素。
图3示出了-45度边缘取向的插值技术。
图4示出了-26.6度边缘取向的插值技术。
图5示出了-18.4度边缘取向的插值技术。
图6示出了+18.4度边缘取向的插值技术。
图7示出了+26.6度边缘取向的插值技术。
图8示出了+45度边缘取向的插值技术。
图9示出了+63.4度边缘取向的插值技术。
图10示出了+71.6度边缘取向的插值技术。
图11示出了+108.4度边缘取向的插值技术。
图12示出了+116.6度边缘取向的插值技术。
图13示出了非方向性的边缘取向的插值技术。
具体实施例方式 参考图1，图像升频技术(第一技术)包括基于方向性的插值。该技术包括图像像素窗100，如5×5的像素组(总共25个像素)。优选地，对图像的每个像素应用图像升频技术，其中5×5的像素窗顺次地以图像的每个像素为中心，比如以光栅扫描方式。升频技术优选地基于彩色图像的亮度分量Y来估计5×5窗的中心像素的边缘取向，即使在窗中不存在边缘也是如此。例如，Y可以是利用CCIR709＝0.2126R+0.7152G+0.0722B的定义，从RGB计算的。图像像素窗100优选地以预定义方式在图像上到处移动，使得包含M×N个像素的输入图像产生2M×2N个像素的输出图像。应当注意，可选地可以使用较大或较小的像素窗。优选的窗是方形像素窗。还应当注意，可选地可以使用其他形状的窗，如矩形窗、或菱形窗、或八边形窗等。
使用5×5窗来确定中心像素处或其附近的边缘的取向(方向)。边缘的取向估计110可以使用任意合适的技术(第二技术)，如使用梯度技术。可以确定可靠性度量120，其对取向估计110确定了正确边缘的可能性进行估计。可以由取向细化130对取向估计110的输出进行细化。取向细化130可以使用与取向估计110不同的技术，以从来自取向估计110的最佳候选中进行选择。取向细化130降低了由于估计过程中的局部最小值而导致取向估计110出错的可能性。
取向细化130被用于产生方向系数140。方向系数140与方向性插值150一起使用，以在5×5窗中产生一个或更多个插值的像素的集合。在某些情况下，比如在5×5窗中不存在定义的边缘的情况下，方向性插值150不提供精确的结果。稍后描述了，升频技术可以提供回退插值160，回退插值160对边缘确定的基于程度不至如此。
利用可靠性度量120作为确定适当输出的基础，可以将回退插值160与1减可靠性度量(1-α)200相乘，再与方向性插值150和可靠性度量的乘积相加190。采用这种方式，输出是方向性插值150和回退插值160的组合。
参考图2，使用梯度的取向估计110可以估计中心像素240周围的三个新像素ul 210、ur 220和dl 230。其中，ul 210表示左上，ur 220表示右上，dl 230表示左下。编号的像素0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24是输入图像中的像素。所有其他像素都是插值的像素。所述技术可以将边缘取向量化为多个不同的方向，以确定边缘可能存在于何处(如果存在的话)。量化可以包括用于沿边缘取向而不是沿与边缘取向交叉的方向执行插值的系数(优选地，大多数系数为0)。
多个不同的方向可以包括例如10个不同的方向，定义为-45度、-26.6度、-18.4度、+18.4度、+26.6度、+45度、+63.4度、+71.6度、+108.4度和+116.6度。每个方向可以用从0到9的索引来进行索引，其中索引0的方向对应于-45度，索引1的方向对应于-26.6度，索引2的方向对应于-18.4度，索引3的方向对应于+18.4度，索引4的方向对应于+26.6度，索引5的方向对应于+45度，索引6的方向对应于+63.4度，索引7的方向对应于+71.6度，索引8的方向对应于+108.4度，索引9的方向对应于+116.6度。沿一个方向，形成两个平行四边形，使得三个新像素(ul 210、ur 220和dl 230)位于平行四边形内部或位于边界上。通过对位于平行四边形4个拐角点的像素取平均、或对位于5×5窗中的两点处的像素取平均，使用这些平行四边形来插值出新像素(ul 210、ur 220和dl 230)。可以类似地使用其他像素选择技术和计算技术。图3-12示出了针对从0至9索引的边缘方向中每一个方向的优选插值技术和计算。
图3优选地采用以下插值 pul＝(p06+p12)/2 pdl＝(p06+p11+p12+p17)/4 pur＝(p06+p07+p12+p13)/4 其中Pxx是位置xx处的像素 图4优选地采用以下插值 pul＝(p05+p06+p12+p13)/4 pdl＝(p11+p12)/2 pur＝(p06+p13)/2 图5优选地采用以下插值 pul＝(p05+p13)/2 pdl＝(p11+p12)/2 pur＝(p05+p06+p13+p14)/4 图6优选地采用以下插值 pul＝(p8+p10)/2 pdl＝(p11+p12)/2 pur＝(p8+p9+p10+p11)/4 图7优选地采用以下插值 pul＝(p7+p8+p10+p11)/4 pdl＝(p11+p12)/2 pur＝(p8+p11)/2 图8优选地采用以下插值 pul＝(p7+p11)/2 pdl＝(p7+p11+p12+p16)/4 pur＝(p7+p8+p11+p12)/4 图9优选地采用以下插值 Pul＝(P2+P7+P11+P16)/4 Pdl＝(P7+P16)/2 Pur＝(P7+P12)/2 图10优选地采用以下插值 pul＝(p2+p16)/2 pdl＝(p2+p7+p16+p21)/4 pur＝(p7+p12)/2 图11优选地采用以下插值 Pul＝(P1+P17)/2 Pdl＝(P1+P6+P17+P22)/4 Pur＝(P7+P12)/2 图12优选地采用以下插值 pul＝(p1+p6+p12+p17)/4 pdl＝(p6+p17)/2 pur＝(p12+p7)/2 图13优选地采用以下插值 pul＝(p06+p07+p11+p12)/4 pdl＝(p11+p12)/2 pur＝(p07+p12)/2 取向估计可以计算针对中心像素240，5x5窗中像素6、7、8、11、12、13、16、17、18处的图像梯度向量。这些像素是5x5窗内部的9个像素。每个梯度向量gradi包括沿x方向的空间图像导数gradi xi(水平)和沿y方向的空间图像导数gradi Yi(垂直)。换言之，gradi＝(gradXi，gradYi)T。梯度计算是利用空间导数算子对来执行的。第一算子计算沿x方向的导数，第二算子计算沿y方向的导数。例如，该技术可以利用众所周知的索贝尔算子 y-方向以及x-方向 类似地，可以使用其他算子、以及其他图像导数算子。
可以如下计算对初始取向方向θint的估计 取向方向θint往往假定9个像素表现出相同的边缘取向(例如，是相关的)。由于θ被量化为10个值，可以容易地利用穷尽搜索求解以上等式。换言之，以上等式的和仅需要针对10个定义的取向来估计10次。具有最低总和值的取向对应于取向的初始估计。
应当注意，上述等式基于对差异的绝对值进行求和。还可以采用其他准则，如平方差的和。然而，如上式中那样对绝对值求和能够容忍野值，因此是鲁棒的。
由梯度计算所估计的方向不总是精确的，因此通过取向细化130对估计进行细化。可以如下采用权重w(n)，定义每个方向n的绝对差的和diff(n)。
Diff0＝w
·{abs(p13-p7)+abs(p12-p6)+abs(p11-p5) +abs(p8-p2)+abs(p7-p1)+abs(p6-p0) +abs(p18-p12)+abs(p17-p11)+abs(p16-p10)} Diff1＝w[1]·{abs(p13-p6)+abs(p12-p5)+abs(p14-p7) +abs(p8-p1)+abs(p7-p0)+abs(p9-p2) +abs(p18-p11)+abs(p17-p10)+abs(p19-p12)} Diff2＝w[2]·{abs(p14-p6)+abs(p13-p5) +abs(p9-p3)+abs(p8-p0) +abs(p19-p13)+abs(p18-p10)} Diff3＝w[3]·{abs(p10-p8)+abs(p11-p9) +abs(p5-p3)+abs(p6-p4) +abs(p15-p13)+abs(p16-p14)} Diff4＝w[4]·{abs(p10-p7)+abs(p11-p8)+abs(p12-p9) +abs(p5-p2)+abs(p6-p3)+abs(p7-p4) +abs(p15-p12)+abs(p16-p13)+abs(p17-p14)} Diff5＝w[5]·{abs(p10-p6)+abs(p11-p7)+abs(p12-p8) +abs(p5-p1)+abs(p6-p2)+abs(p7-p3) +abs(p15-p11)+abs(p16-p12)+abs(p17-p13)} Diff6＝w[6]·{abs(p11-p2)+abs(p16-p7)+abs(p21-p12) +abs(p10-p1)+abs(p15-p6)+abs(p20-p11) +abs(p12-p3)+abs(p17-p8)+abs(p22-p13)} Diff7＝w[7]·{abs(p16-p2)+abs(p21-p7) +abs(p15-p1)+abs(p20-p6) +abs(p17-p3)+abs(p22-p8)} Diff8＝w[8]·{abs(p1-p17)+abs(p6-p22) +abs(p0-p16)+abs(p5-p21) +abs(p2-p18)+abs(p7-p23)} Diff9＝w[9]·{abs(p11-p22)+abs(p6-p17)+abs(p1-p12) +abs(p10-p21)+abs(p5-p16)+abs(p0-p11) +abs(p12-p23)+abs(p7-p18)+abs(p2-p13)} 上式中的权重w[n]服务于以下目的 a.同其他方向相比，对于某些方向，在绝对差的和中存在较少的项。所述权重可用于对此进行补偿。
b.为了侧重特定的方向并抑制其他方向，可以进一步优化权重。所述技术将以低权重侧重某些方向，并以高权重抑制其他方向。
从取向细化130，所述技术已经计算了初始方向估计的索引。所述技术进一步比较索引-1、索引和索引+1的绝对差的和，并挑选三者中的最小值，作为细化后的估计方向。换言之，所述技术计算Diff[索引-1]、Diff[索引]、和Diff[索引+1]的值，其中索引对应于初始方向估计的索引。如果Diff[索引-1]是三个值中的最小值，索引-1就确定了最终方向估计；如果Diff[索引]是三个值中的最小值，索引就确定了最终方向估计；否则，索引+1就确定了最终方向估计。
下表总结了所定义的取向角，它们的索引以及它们的优选权重值。
如果θint是初始插值方向(初始取向方向)，那么所述技术可以如下计算该方向估计的可靠性指示符(可靠性度量)120 可靠性度量α的值在0.0和1.0之间。应当注意，上式的分子包含用于计算初始方向估计的相同的和，而分母包含基于与估得的θint垂直的角度的相似的和。如果图像结构是局部高度方向性的(例如由于存在边缘的缘故)，分子倾向于远远小于分母，因此上式中的第二项往往是一个小值，接近0.0，从而α倾向于为1。如果图像结构不具有任何主导性的取向，分子和分母倾向于具有相同大小，因此α倾向于为0.0。例如，图像中的纹理区域中可能是这种情形。可以适当地改变对可靠性指示符的计算，以处理分母极其接近于0.0的情形。此外，可选地，可以基于平方差的和而不是绝对差的和来计算上式可靠性指示符。
如前面所解释的，将α的值用于插值技术，以计算插值的像素的最终值。
回退插值160可以使用任何适当的技术(另一技术)，如单一双线性或单一双立方，优选的是不涉及边缘确定的技术。参考图13，示出了针对ul 210、uf220和dl 230的插值技术。
所述技术还针对回退非方向性插值定义了一组系数。当估计边缘取向时，也计算0和1之间的标量α，来指示估计的可靠性。最后，基于α，将方向性插值和非方向性插值的结果合并在一起。利用可靠性度量α120将回退插值和方向性插值后的结果合并在一起。对于像素p，令pd表示方向性插值的结果，令pn表示非方向性回退插值的结果。这适用于插值出的新像素中的任何一个，即像素ul 210、ur 220和d1230。此时，最终的插值的像素值pf由pf＝α·pd+(1-α)·pn定义。
所述技术将所有计算限制于5x5窗内，并且不使用迭代。
基于非迭代的技术减少了缓冲，并且针对基于硬件的实现降低了必要的计算速度。所述技术在对输入图像的单次处理遍历中产生升频后的输出图像。在根据输入像素计算了插值的像素后，在输出图像中不执行其他计算。
前述说明中采用的术语和表述此处被用作说明性的术语而不是限制性的，并且在使用这些术语和表述时，并非意图排除所示和所描述的特征的等价物或其部分，应当认识到本发明的范围仅仅是由所附权利要求限定和限制的。
权利要求
1.一种插值方法，包括
(a)接收具有多个像素的输入图像；
(b)利用第一技术，从多个离散的可能方向中，估计出接近于所述输入图像中第一像素的边缘方向；
(c)利用第二技术，基于对接近于所述输入图像中所述第一像素的所述边缘方向的所述估计，来选择边缘方向；
(d)基于所选择的边缘方向，插值出接近于所述第一像素的像素；
(e)基于另一技术，插值出接近于所述第一像素的像素；
(f)基于从步骤(d)和/或步骤(e)中选出的至少一个，确定输出图像的插值像素，所述输出图像比所述输入图像具有更多像素。
2.根据权利要求1所述的方法，其中所述估计基于梯度。
3.根据权利要求1所述的方法，其中所述估计基于5×5窗。
4.根据权利要求1所述的方法，其中所述估计是对所述图像的所述多个像素中的大多数像素执行的。
5.根据权利要求1所述的方法，其中所述估计基于所述图像的亮度。
6.根据权利要求1所述的方法，还包括确定指示了所述边缘方向适当程度的可靠性度量。
7.根据权利要求6所述的方法，其中所述可靠性度量是加权的可靠性度量。
8.根据权利要求1所述的方法，其中所述选择基于3个方向。
9.根据权利要求1所述的方法，其中所述选择基于与所述估计的方向最接近的下一方向。
10.根据权利要求1所述的方法，其中所述插值不包括迭代。
11.根据权利要求1所述的方法，其中所述多个可能的方向是预定的。
12.根据权利要求11所述的方法，其中多个预定的方向包括-45度、-26.6度、-18.4度、18.4度、26.6度、45度、63.4度、71.6度、108.4度、116.6度，以上所有角度以180度为模。
13.根据权利要求1所述的方法，其中对所述边缘方向的所述估计基于与所述第一像素接近的多个像素。
14.根据权利要求1所述的方法，其中所述选择基于以所述第一像素为中心的5乘5窗中的像素。
15.根据权利要求1所述的方法，其中所述插值基于以所述第一像素为中心的5×5窗中的像素。
16.根据权利要求1所述的方法，其中所述估计、选择、插值和确定基于以所述第一像素为中心的5×5窗中的像素。
17.根据权利要求6所述的方法，其中对所述插值像素的所述确定基于所述可靠性度量。
18.根据权利要求17所述的方法，其中基于所选择的边缘方向的所述插值像素是利用所述可靠性度量而加权的。
19.根据权利要求17所述的方法，其中基于所述另一技术的所述插值像素是利用所述可靠性度量而加权的。
20.根据权利要求1所述的方法，其中基于所选择的边缘方向的所述插值像素基于输入图像中、要被插值的像素附近的、以及以与所选择的边缘方向相同的取向而穿过该像素的线附近的像素。
21.根据权利要求20所述的方法，其中基于所选择的边缘方向的所述插值像素基于输入图像中的2个像素或输入图像中的4个像素。
全文摘要
一种插值方法，包括接收具有多个像素的输入图像。利用第一技术，从多个离散的可能方向中，估计出接近于所述输入图像中第一像素的边缘方向。利用第二技术，基于对接近于所述输入图像中所述第一像素的所述边缘方向的所述估计，来选择边缘方向。基于(i)所选择的边缘方向和/或(ii)另一技术，插值出接近于所述第一像素的像素。基于(i)和(ii)，由具有比所述多个像素更多像素的像素确定输出图像。
文档编号H04N7/01GK101755286SQ200880025100
公开日2010年6月23日 申请日期2008年7月24日 优先权日2007年7月24日
发明者潘昊, 彼得鲁斯·J·L·范比克 申请人:夏普株式会社