专利名称：图像嵌入的制作方法
技术领域：
本发明涉及图像嵌入。
在多种视频及多媒体应用中，必须增加图像的尺寸以保持输出图像的质量。通常用于这一目的的线性运算器不适于生成高质量的嵌入图像，因为，这些运算器会形成平滑的图像以及粗赝象。已研究了用于实现更清晰地再现细节的技术，但这些技术通常过于复杂并且需要显式地检测图像的细节并估算它们的方位(例如见[1])。
业已用输入/输出关系可表示为输入变量中的两个多项式之比的有理滤波器(RF)在噪音平整、对比度增强和按二的幂这样的倍数进行图像嵌入方面取得了令人满意的结果[3，4，5]。
在[5]中，提出了用于嵌入编码图像的DC分量的运算器，并且，据显示，就再现输出图像中的清晰细节而言，这种算法可克服线性算法在理论上的局限性；同时，这种嵌入器可避免可对对角线、圆等产生影响的粗赝像。将有理嵌入器设计成在两维范围内以不分离的方式进行操作，并且，可通过重复地将数据按比例增加一倍而改变图像的大小。
因此，本发明的目的是按大且任意倍数来嵌入图像以保持图像轮廓的清晰度。为此，正如在独立权利要求项中所限定的那样，本发明提供了一种图像嵌入方法和装置以及包括这种图像嵌入装置的视频显示设备或打印设备。从属权利要求项中限定了最佳实施例。
在最佳实施例中，可用基于非线性有理滤波(RF)的技术来达到所述方法的目标。为了按任意的倍数按比例进行调整，在有理滤波过程中最好考虑要嵌入的象素与周围象素之间的距离。
下述实施例体现并说明了本发明的上述和其它方面。
在附图中
图1说明了所嵌入的象素与原始象素之间的距离；图2A-2C说明了按倍数4的行嵌入点；图3说明了按倍数4的行和列嵌入点；图4说明了行和列限定的空间内的象素计算值；图5示出了概念框图；以及图6示出了两维运算器公式的实现形式。
我们的重点是研究作为缩放特征的RF算法的效率。这一特征在多种多媒体应用中是一个关键点。在所说的多媒体应用中，我们可列举例如用作印刷预处理的照片或视频编辑操作和分辨率增加操作。但是，在多种这些应用中，必须要处理高的按比例增加倍数，这些倍数不是二的幂。在本说明书中，说明了[5]中提出的嵌入器的一种扩展形式。这种扩展形式克服了该嵌入器的局限性，从而允许使用任何值。
线性嵌入法的理论上的局限性是由运算器为避免输出图像中的成像赝象而实施的低通滤波。这种操作限制输出图像中存在有高频分量，这些高频分量对应于空间域中的细节和清晰的边缘。
例如，通过将L-1等距零值样本插到两个连续的原始样本之间来实现按整数L倍的线性嵌入，然后进行低通滤波[2]。
所提出的算法可以重构高频分量，从而避免了因线性嵌入点的分离性而导致的对角线边缘的粗赝象。
所述算法有两个步骤第一个步骤是以一维的方式嵌入原始的行和列；第二个步骤是在所嵌入的行和列之间嵌入空白。
所述第一个步骤是按所需的倍数嵌入原始的行和列。这一步骤是用一维有理嵌入器来实现的，方程式(1)给出了这一步骤的公式。利用图1的方案在p2与p3之间计算出象素Sp。p2与p3之间的距离等于1，而Sp(δ)与p2之间的距离则小于或等于1并且大于或等于0。Sp(δ)=wp2(1-δ)p2+wp3δ·p3wp2(1-δ)+wp3δ]]>其中，wp2＝1+k((p2-p4)2+(p3-p4)2)并且，wp3＝1+k((p1-p3)2+(p1-p2)2)k是与算法的非线性有关的参数，图1中说明了距离δ。象素p1、p2、p3和p4是在同一行或列上排成直线的原始输入数据。成对的wp2和wp3表示一边缘传感器，它可清晰地重构亮度变换。
在图2中，我们可以看出如何用线性嵌入器(图2B)和一维有理嵌入器(图2C)来按4倍嵌入原始矢量(图2A)中的一维边缘。我们可以看出图2C的有理一维嵌入器是如何更清晰地重构边缘的；用有理嵌入器所进行的亮度变换确实要比图2B的线性嵌入器所进行的亮度变换短。可利用包含在可用数据中的子象素信息来获得这种结果。
上述算法的第二个步骤是在第一个步骤中计算出来的行与列之间嵌入象素(图3中的阴影方形区，在图3中，较大的圆表示原始象素，较小的圆表示在第一个步骤中嵌入的点)。用第一个步骤中嵌入并由圆来表示的点a、b、c、d、e、f、g和h来嵌入一般点z，该点位于内部方形区之内并将原点(由黑点来表示)当做顶点(见图4)。一旦定住了要加以计算的象素的位置，就限定了所说的点a、b、c、d、e、f、g和h，这些象素位于0、45、90和135度方向并属于所嵌入的行和列。z的计算取决于其“有理”权值和它距点a、b、…h的距离(da，db，…，dh)。必须对位于方形区之内的每个(L-1)2来进行这种计算。
依照以上说明，参照图4的z值是z=wac(adc+cda)+wbd(bdd+ddb)wac+wbd+weg+wfh+weg(edg+gde)+wfh(fdh+hdf)wac+wbd+weg+wfh]]>其中，dc＝1-da；dd＝1-db；de＝1-dg；df＝1-dh并且wac=11+k(a-c)2,wbd=11+k(b-d)2]]>和weg=11+k(e-g)2,wfh=11+k(f-h)2]]>距离da，db，dc，…，dh的作用是对第一步骤嵌入的点的贡献加权，以便考虑这些点距要计算的象素的距离。权值wab、wbd、weg和wfh能确定在原始和嵌入的象素所构成的方形区内是否存在有例如在0、45、90和135度中选定的占主导地位的方向。这些方向是最合理的，但也可沿以不同方向定向的线来计算所说的距离。实际上，如果从(a；c)、(b；d)、(e；g)和(f；h)中选出的一对象素具有相似的值，那么，相应的权值会较大，并且，这对象素所属的方向对计算象素z来说占主导地位。而且，就这对相关的象素之间的距离而言，存在有平均权值。
为了更清楚地说明上述算法，让我们考虑一下该算法的工作方式。从尺寸为N行乘M列并使用了比例因子SF的输入图像开始，可将用于执行算法处理的两个步骤表述为1、单维运算器(一维运算器)嵌入，利用这种嵌入可仅沿水平和垂直方向以能获得网格的方式将所嵌入的象素插进两个原始象素之间。在所说的网格中，所嵌入的线会使得它们自身在原始象素内相交叉；通过这种方式，我们可获得一中间图像，该图像的标称尺寸等于输出图像，但仅有N*M+N*M*(SF-1)+M*N(SF-1)个有效象素；将这些象素称为网格象素。
2、用两维运算器进行嵌入，这种嵌入用新象素填充网格所限定的方形区(这些方形区的尺寸是(SF+1)×(SF+1)个象素，并且，对每个方形区来说要计算的象素数是(SF-1)×(SF-1))。
可用图5的框图以图形的方式来表示上述两个步骤。将具有N行和M列的输入图像I1用于一维运算器51，以获得具有N*M+N*M*(SF-1)+M*N*(SF-1)个有效象素的中间图像I2即图3中所示的原始和嵌入图像。就中间图像I2而言，按比例因子SF来增加原始行和列的长度。尚未限定位于原始嵌入行和列中间的N*(SF-1)+M*(SF-1)的值。将中间图像I2用于两维运算器52以获得具有N*SF行和M*SF列的输出图像I3。
将专用硬件设计成执行所需的操作。行为受“k”参数的选定(据我们的研究，适当的值可选为0.1左右)影响的两维运算器对网格象素所限定的每个方形区进行处理。从上述方形区中的一个开始，所述运算器用属于该方形区边缘的“网格象素”和涉及在方形区(见图3)内位置的象素坐标来计算其中的各个象素的值。可用值在范围(1，SF)内的两个整数下标来表示上述相对象素坐标。可用图6的框图来说明两维运算器的处理过程。
图6示出了两维运算器公式的实现形式。将网格象素GP和相对象素坐标RPC用于网格象素选择器61。还将相对象素坐标RPC用于距离发生器62。将网格象素选择器61的输出和参数k用于权值发生器63。将距离发生器62和权值发生器63的输出用于倍数发生器64。将网格象素选择器61和倍数发生器64的输出用于倍数累加器65。将权值发生器63和倍数发生器64的输出用于除法器66，该除法器可生成输出象素OP，将出象素OP显示在显示器D或发送给打印设备P。
可将本发明的主要方面总结如下。提供了用于图像嵌入的非线性技术。线性技术会在输出处形成平滑的图像和粗赝象。我们的方法的目的是按大且任意的倍数嵌入图像，以便保持图像轮廓的清晰度。我们用基于非线性的有理滤波器(RF)的技术达到了上述目的。
所提出的算法源于参考文献[5]中所述的算法；该文献所述的算法可在用2的幂来表示比例因子时进行图像嵌入。这种嵌入器是重要的，因为，这种嵌入器可用“有理滤波器”(RF)的方法来形成所嵌入的图像，这些图像可保持细节的清晰度同时避免有赝象。所述算法的计算负担似乎并不比不基于RF的可比算法之一的计算负担重。
在本文所提出的方案中，最佳的是，两维嵌入比例因子不再需要是2的幂而可以是任何数(＞1)。基于RF的单维嵌入器可按任意的比例因子(任何实数＞1)进行工作。在使用这种运算器的第一步骤之后，可使用两维运算器。这种运算器也是基于RF的并且可按任意的嵌入比例因子进行工作；所提出的结构在本质上按能形成高清晰度的轮廓的方式对边缘的方位敏感，即使这些轮廓不是水平或垂直的。
本发明可用于缩放与从照相机或摄像机中获得的图像相似的自然图像。
因此，本发明的主要方面提供了一种图像嵌入方法，该方法包括下列步骤沿水平和垂直方向插入所嵌入的象素以获得一网格，在该网格中，所嵌入的线使它们自身在原始象素中相交叉；以及，在上述网格所形成的行与列之间嵌入象素以填充该网格限定的方形区。还提供了按上述方法操作的图像嵌入装置以及包括这种图像嵌入装置的用于提供嵌入图像的视频显示设备(打印设备)和用于显示(打印)嵌入图像的显示器(打印设备)。
应该注意，上述实施例说明了而不是限制了本发明，并且，本技术的专家在不脱离后附权利要求范围的情况下可设计出多种其它实施例。在权利要求中，不应将括号中的标号看作限制权利要求。“包括” 一词并不排除存在有除权利要求中所列举出来的要素或步骤以外的其它要素或步骤。可用包括若干不同部件的硬件并用可适当编程的计算机来实现本发明。在列举了多个装置的设备权利要求项中，可用一个或同一个硬件来实现这些装置中的几个装置。
参考文献[1]K.Jensen and D.Anastassiou，“Subpixel edge localizationand the interpolation of still image”，IEEE Trans.On ImageProcessing，vol.4，no.3，March 1995，pp.285-295[2]S.，K.，Mitra，“Digital Signal Processing，AComputer-Based Approach”，McGraw-Hill Companies，NewYork，1998.[3]G.Ramponi，“The Rational Filter for ImageSmoothing”，IEEE Singnal Processing Letters，vol.3no.3pp.63-65，March 1996[4]G.Ramponi and A.Polesel，“A rational Unsharp MaskingTechnique”，Journal od Electronic Imaging，vol.7 no.2，April1998，pp333-338.[5]G.Ramponi and S.Carrato.“Interpolation of the DCComponent of Coded Images Using a Rational Filter”，Proc.Fourth IEEE Intern，Conf.On Image Processing，ICIP-97，S.Barbara，CA，Oct.26-29，1997.
权利要求
1.一种图像嵌入方法，该方法包括下列步骤沿水平和垂直方向插入(51)所嵌入的象素以获得一网格(I2)，在该网格中，所嵌入的线使它们自身在原始象素中相交叉；以及在上述网格(I2)所形成的行与列之间嵌入(52)象素以填充该网格(I2)限定的方形区。
2.如权利要求1的方法，其特征在于，在所说的嵌入步骤(51)和/或嵌入步骤(52)中使用有理滤波。
3.如权利要求3的方法，其特征在于，在上述有理滤波中考虑要嵌入的象素与周围象素之间的距离。
4.一种图像嵌入装置，该装置包括用于沿水平和垂直方向插入(51)所嵌入的象素以获得一网格(I2)的装置(51)，在所述网格中，所嵌入的线使它们自身在原始象素中相交叉；以及用于在上述网格(I2)所形成的行与列之间嵌入(52)象素以填充该网格(I2)限定的方形区从而获得嵌入图像(I3)的装置(52)。
5.一种视频显示设备，该设备包括如权利要求4所限定的图像嵌入装置，它用于提供嵌入的图像(I3)；以及显示器(D)，它用于显示嵌入的图像(I3)。
6.一种打印设备，该设备包括如权利要求4所限定的图像嵌入装置，它用于提供嵌入的图像(I3)；以及打印装置(P)，用于打印嵌入的图像(I3)。
全文摘要
在图像嵌入方法中,沿水平和垂直方向插入(51)所嵌入的象素以获得一网格(Ⅰ2),在该网格中,所嵌入的线使它们自身在原始象素中相交叉。在第二个步骤中,在网格(Ⅰ2)所形成的行与列之间嵌入(52)象素以填充网格(Ⅰ2)限定的方形区,从而获得所嵌入的图像。
文档编号G06T3/40GK1266519SQ99800639
公开日2000年9月13日 申请日期1999年3月18日 优先权日1998年4月29日
发明者C·R·阿勒桑德雷蒂, P·卡赖, L·阿尔巴尼, V·罗彻利, G·拉姆波尼 申请人:皇家菲利浦电子有限公司