专利名称：：基于下采样和插值同一性建立数学模型的处理图像的方法
技术领域：
：本发明涉及一种图像处理方法，具体涉及一种图像插值在下采样中应用的图像处理方法。
背景技术：
：尺度变换是图像处理中常用的一种技术手段。尺度变换包括尺度降低和尺度提升，分别由下采样(Down-sampling)和插值(Interpolation)来完成。图像下采样降低图像的分辨率，减少了处理的数据量，可以作为在条件受限的系统中实现某些应用的预处理，对于图像及视频低码率压縮也具有重要的意义。例如，H.26X帧内压縮流程与经典的静态图像压縮算法JPEG类似，这里以JPEG为对象进行说明。众所周知，在低比特率情况下，JPEG压縮会导致讨厌的方块效应。但是，同一幅图像通过现有下采样方法后经过JPEG压縮然后再插值，得到的图像比直接采用JPEG压縮到同样的比特率后的恢复图像的质量要好。下面直观的来解释一下这个现象。假定对给定图像采用8x8象素块进行编码，如果分配太少的比特(例如平均4比特每块)，仅DC系数被编码，解码后图像由常数象素块组成，这样的图像肯定会表现出很强的方块效应。如果图像进行2倍的下采样处理，那么编码的8x8象素块对应原来的16x16象素块，平均使用今22-16比特来编码系数，这样一些比特会被分配给高频DCT系数，并且象素块会表现出更多的细节。更进一步，在提升解码图像尺度的同时，还可以填加进一些增强的因素，而且插值也能进一步模糊方块效应。因此可以推知，低比特率情况下，应用尺度变换进行压縮可以带来较好的客观和主观的图像质量。2003年12月9日出版的A.Bruckstein,M.Elad,R.Kimmel.Down-ScalingforBetterTransformCompression.IEEETranscationsonImageProcessing文献，1132-1144页，针对JPEG压縮，建立了一个压縮前后经下采样和插值的理论模型，来分析经压缩-解压縮之后图像的重建误差的期望与总的码率、图像的统计特性以及下采样因子之间的函数关系。为尺度变换在低码率图像压縮中的应用提供了理论依据。虽然下采样具有重要的意义，但是长期以来，对于图像下采样的研究较少，不能满足各种应用的需求。通常采用邻域平均或象素分除的简单方法。与之相对地，人们对图像插值进行了大量的研究并取得了丰富的成果，提出了包括利用临近元素灰度值的连续性进行插值，如最近邻点插值，线性插值，双线性插值，多项式插值和样条插值等；以分形几何为基础的分形内插方法；在变换域(如小波域)实现的插值方法；基于边缘的插值方法等。而且，对下采样和插值研究通常是分开独立进行的，并没有相互借鉴。
发明内容本发明为了解决现有下采样后图像保持信息少的问题，提出了一种基于下采样和插值同一性建立数学模型的处理图像的方法。本发明的步骤如下步骤一输入待下采样图像尸w步骤二建立插值数学模型&《C7》，(1-1)其中i^的像素点等于Fo的像素点，它们的分辨率相同，t^和f/r为对低分辨率图像进行水平和垂直方向上零象素的插补的算子；G为插值处理的算子，即像素预测模型；步骤三选择插值方法，确定像素预测模型，即确定插值方法的算子C/，同时根据图像i^大小确定&和t^;步骤四建立下采样数学模型i^=ZMQrF眞，(1-2)Qr为下采样的算子，即像素预测模型；D^和rV为水平和垂直方向进行下采样的算子；步骤五建立插值和下采样统一象素预测模型，由插值的算子CV和下采样的算子G的同一性得到CF,同时得到Z&和ZV,步骤六通过所得到的i^-A^(Qr尸o)iV，对图像Fo进行下采样处理；步骤七得到下采样图像。本发明首先通过建立尺度变换的数学模型，将下采样与插值均看作是对邻域未知象素的预测，建立了统一的象素预测模型，将插值方法应用于图像下采样。现有下采样处理前的图像和插值方法处理后的图像的像素相同，而下采样处理后的图像和插值方法处理前的图像的像素也相同。根据建立尺度变换的数学模型，尺度变换包括尺度降低和尺度提升两种情况，分别由下采样和插值来完成。尺度变换可以通过下面的数学模型来进行描述给定一幅图像F0，象素点数为Wl/x^V，当下采样因子为r时，得到的低分辨率图像为R，象素点数为7l^7V;经插值后恢复到原始分辨率的图像为i^，象素点数仍为M/x^V。其数学模型可以描述为C7》由于插值后图像分辨率与下采样前相同，故/^=[//,Z)K=t//;若水平方向与垂直方向下采样因子同为r且M=iV时，A/=D/、"/、AP产t/F%=/M(/M为M阶单位阵，rw和rv、c^和c/r互为对方的广义逆矩阵)；若以上条件都满足，&=1)/-(7/=^=&模型可以简化为、0000000001000000000100000000010下采样中的Cf与插值中的CV均是在分辨率为Wl/xwv的图像上进行的，且均不改变分辨率，因此下采样和插值之间具有同一性。将下采样与插值均看作是对邻域未知象素的预测，建立统一象素预测模型。见附图1和图2，以严2为例对下采样与插值的过程进行了说明。其中实心方块表示处理前的原象素，空心三角表示滤波/插值处理之后的象素，图1中实心三角表示经分除后剩余低分辨率图像的象素，图2中原象素是否被更新取决于恢复图像网格与下采样前图像网格的对应关系，操作中并无本质区别。假设二维光学图像x，不同分辨率图像r，通过对x进行尺度变换来获得对F的预测f。首先对r进行仿射变换，将不同分辨率的r的坐标网格映射到与X—致的坐标网格上；然后对y逐点进行预测。若表示按照光栅扫描的假定M-iV-4，f2，那么S-顺序图像象素的坐标，在Z中采用iV个与r(")邻近的点{%("々)}，^:="7,...,^-7的象素值去预测r(")的象素值，则统一象素预测模型表示为其中，ivo)表示x中y(")所对应的邻域，FO表示预测函数。若采用线性预测(即预测值由有限个原图像象素的线性组合来表示)，则统一象素预测模型表示为G与C,的操作分别需要进行^TxrAT和(,-l)xMxAT点的预测(C,不对原低分辨象素点进行更新，反之则预测点数与cv相同)。实际中下采样操作不对分除象素进行处理，只需进行^fxiV点的预测。则下采样和插值可以使用同样的预测模型，如果预测函数既可以在下采样中使用，也可以在插值中使用，那就可以说明下采样和插值确实具有同一性。下采样过程中不同分辨率象素的对应关系，如附图3所示，虚线框内的4个高低分辨率正好是预测低分辨率象素的最好邻域。本发明通过下采样和插值具有同一性，将图像尺度变换中的下采样与插值过程统一地建立成对邻域未知象素预测的模型，下采样可以使用插值方面的大量成熟技术。实验结果验证了该统一性的思想，并表明与常用的下釆样方法相比，在具有保持特征、保护边缘、维持平滑等特性的基础上，能够使下采样后的图像保持更多的信息，从而为下采样在不同应用中的实现提供了更多可选择的方法。采用512x512的国际公认的测试图像Lena图像作为原图像，分别基于以下5种插值方法进行下采样象素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC)进行下采样。(这里仍然沿用PD、Ave、GD、IMT和EDILC代表这几种下采样方法)。采用图像的标准差和信息熵来比较各种方法，对于总象素数为iV的8比特灰度图像X,计算公式如下<formula>formulaseeoriginaldocumentpage6</formula>￡0^=-|>,logj,其中A表示灰度级/出现的概率表'l'Lena图像下采样结果的比较<table>tableseeoriginaldocumentpage7</column></row><table>评价结果如表1所示，第一行表示的是原始Lena图像的标准差和信息熵。可以看到，PD下采样后，标准差和信息熵与原图几乎完全一致，这是由于这时实际上是在评价原图像的一个子集。而同样与原图信息熵较接近的是EDILC方法，但是可以看到其标准差甚至超过了原图像，说明该方法是由于象素的波动客观上超过了原图像而带来了类似视觉增强的效果。Ave下采样后，邻域平均使得象素波动变小，体现在主观上是图像变得平滑、对比度降低；体现在客观上是标准差和信息熵降低。本章研究的GD和IMT方法下采样后，相比Ave的结果保持了象素灰度上的波动，信息损失较小，视觉上边缘较清晰。如图4图9所示。结果表明与常用的下采样方法相比，在具有保持特征、保护边缘、维持平滑等特性的基础上，能够使下采样后的图像保持更多的信息，从而为下采样在不同应用中的实现提供了更多可选择的方法。本发明可以应用于图像及视频的低码率压縮，不仅减少了压縮算法的计算量，加快处理速度减少延时，还使恢复图像质量有明显的提高。图1是下采样过程中像素对应关系示意图；图2是插值过程中像素对应关系示意图；图3是下采样过程中不同分辨率象素的对应关系示意图；图4是原图像的效果图；图5是基于象素复制插值方法(PD)进行下采样的效果图；图6是基于双线性插值方法(Ave)进行下采样图像的效果图；图7是基于几何对偶性的边缘保持图像插值方法(GD)进行下采样图像的效果图；图8是基于图像网格三角剖分的图像插值方法(IMT)进行下采样的效果图；图9是基于局域协方差的方法(EDILC)进行下采样的效果图；图IO是本发明的流程图。具体实施例方式具体实施方式一结合图1说明本实施方式，本实施方式的步骤如下步骤一输入待下采样图像Fo;步骤二建立插值数学模型&=4)，(l隱l)其中i^的像素点等于Fo的像素点，它们的分辨率相同，[&和tV为对低分辨率图像进行水平和垂直方向上零象素的插补的算子；C,为插值处理的算子，即像素预测模型；步骤三选择插值方法，确定像素预测模型，即确定插值方法的算子C,，同时根据图像Fo大小确定C/h和t/w步骤四建立下采样数学模型八,C尸F。)ZV,(1-2)C^为下采样的算子，即像素预测模型；Z&和ZV为水平和垂直方向进行下采样的算子；步骤五建立插值和下采样统一象素预测模型，由插值的算子C,和下采样的算子O同一性得到Cp同时得到Dh和ZV;步骤六通过所得到的i^-D^CfFo)Z)k，对图像Fo进行下采样处理；步骤七得到下采样图像。具体实施方式二本实施方式与具体实施方式一不同点在于步骤三中所选择插值方法有象素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC);确定其中的像素预测模型<formula>formulaseeoriginaldocumentpage8</formula>(1-3)其中，M0表示x中y(")所对应的邻域，F(.)表示预测函数。若采用线性预测(即预测值由有限个原图像象素的线性组合来表示)，则预测模型表示为<formula>formulaseeoriginaldocumentpage9</formula>(l－4)基于线性预测模型的像素复制插lf方法预测模型为基于线性预测模型的双线性插值方法预测模型为<formula>formulaseeoriginaldocumentpage9</formula>；<formula>formulaseeoriginaldocumentpage9</formula>其中的"^均为双线型插值参数；基于线性预测模型的几何对偶性的边缘保持图像插值方法预测模型为<formula>formulaseeoriginaldocumentpage9</formula>对于<formula>formulaseeoriginaldocumentpage9</formula>的求取利用低分辨线性预测模型和高分辨线性预测模型之间的几何对偶特性。其它步骤与具体实施方式一相同。权利要求1、基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于它的步骤如下步骤一输入待下采样图像FO；步骤二建立插值数学模型FH＝CI(UHFLUV)，(1-1)其中FH的像素点等于FO的像素点，它们的分辨率相同，UH和UV为对低分辨率图像进行水平和垂直方向上零象素的插补的算子；CI为插值处理的算子，即像素预测模型；步骤三选择插值方法，确定像素预测模型，即确定插值方法的算子CI，同时根据图像FO大小确定UH和UV；步骤四建立下采样数学模型FL＝DH(CFFO)DV，(1-2)CF为下采样的算子，即像素预测模型；DH和DV为水平和垂直方向进行下采样的算子；步骤五建立插值和下采样统一象素预测模型，由插值的算子CI和下采样的算子CF同一性得到CF，同时得到DH和DV；步骤六通过所得到的FL＝DH(CFFO)DV，对图像FO进行下采样处理；步骤七得到下采样图像。2、根据权利要求1所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于步骤三中所选择插值方法有象素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC)。3、根据权利要求1所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于步骤三中的象素预测模型表示为f<formula>formulaseeoriginaldocumentpage2</formula>其中，ivo表示jr中r(")所对应的邻域，F(.)表示预测函数。4、根据权利要求3所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于预测函数F(o采用线性预测。全文摘要基于下采样和插值同一性建立数学模型的处理图像的方法，它涉及图像处理方法，它解决了现有下采样后图像保持信息少的问题。本发明的步骤为首先输入待下采样图像F<sub>O</sub>；其次建立插值数学模型F<sub>H</sub>＝C<sub>I</sub>(U<sub>H</sub>F<sub>L</sub>U<sub>V</sub>)，之后选择插值方法，确定预测模型，确定插值方法的算子C<sub>I</sub>，同时根据图像F<sub>O</sub>大小确定U<sub>H</sub>和U<sub>V</sub>；接下来建立下采样数学模型F<sub>L</sub>＝D<sub>H</sub>(C<sub>F</sub>F<sub>O</sub>)D<sub>V</sub>；建立插值和下采样统一象素预测模型，由插值的算子C<sub>I</sub>和下采样的算子C<sub>F</sub>同一性得到C<sub>F</sub>，同时得到D<sub>H</sub>和D<sub>V</sub>；最终通过所得到的F<sub>L</sub>＝D<sub>H</sub>(C<sub>F</sub>F<sub>O</sub>)D<sub>V</sub>，对图像F<sub>O</sub>进行下采样处理；得到下采样图像。本发明可以应用于图像及视频的低码率压缩，不仅减少了压缩算法的计算量，加快处理速度减少延时，还使恢复图像质量有明显的提高。文档编号H04N5/14GK101188669SQ20071014486公开日2008年5月28日申请日期2007年12月19日优先权日2007年12月19日发明者晔张,张钧萍,谷延峰,浩陈申请人:哈尔滨工业大学