专利名称：用于通过直接对图象的数字变换进行操作而对图象进行重新调节尺寸和变焦距的方法和设备的制作方法
技术领域：
本发明涉及视频信号处理，且更具体地说是涉及用于重新调节图象尺寸并以利用图象的非空间表示的方式拉近(zoom into)和推远(zoom out)图象的方法和系统。
图象可利用诸如视频摄象机和计算机扫描装置的光电传感装置而输入数字系统。另外，可以采用各种计算机软件程序，诸如绘图和动画程序，在数字系统内产生图象。图象通常以数字阵列的形式在数字系统中得到表示和存储。
图象通常以显示装置表面上的两维空间表示的形式，被显示在适当的显示装置上，诸如被显示在电视机或计算机监测器的阴极射线管(CRT)上。一系列略微不同的图象可以以快速的暂态序列的方式得到显示，从而产生连续运动的感觉，例如在电视图象序列的情况下那样。
象素是在图象显示装置的表面上的比较小的局部固定区域。显示的图象经常由数以千计的象素组成，其中各个象素具有尺寸、形状、强度和颜色等属性。显示的图象中的对象用象素组表示。一般地，显示装置表面上的象素彼此足够地接近，从而保证当显示的图象被从充分远的距离观看时，对象被视为与真实世界中的类似物具有相同的形状、组构、边缘和阴影特性。
象素经常但不总是以由均匀的象素行和列组成的矩形阵列的形式被排列在显示器的表面上。图象的水平和纵向空间分辨率由沿着象素行的水平方向和沿着象素列的纵向方向的每单位距离平均象素数确定。空间分辨率确定了使人的视觉系统(HVS)观看到图象中的物体而不是单个的象素的最小图象观看距离。
显示的图象的空间分辨率可通过增大水平分辨率和纵向分辨率而得到增大。高分辨率的图象将提供比低分辨率图象更为自然的对原来真实世界的近似。图象的质量来自HVS对显示的图象中的线和边缘的感受。在低分辨率的图象中，线和边缘，由于显示的图象中的矩形象素造成的阶梯效应，而经常被感受成是凸凹不平的。
由于阶梯效应导致的凸凹不平的边缘和线的感受，在高分辨率图象中不那样显著，这是由于显示的图象中矩形象素的尺寸减小了。
显示的图象的有限分辨率是限制表现对象的保真度的一个主要因素。
一个数字图象是一组数，其中各个数对应于显示的图象的一个象素。例如，一个显示的图象可以由512乘640个象素组成，其中各个象素由一个范围的象素的亮度强度和颜色来表征。如果我们把各个象素的颜色分解成红(R)、蓝(B)和绿(G)基色，则显示的图象可被数值表示为R、B、G分量图象的结合。R、B、G分量图象每一个都是单色图象，其中各个象素只由代表象素的亮度强度的一个数字表征。一个由象素的矩形阵列组成的显示的图象因而可被表示为三个单色的分量图象，每一个分量图象都可以以数字形式被表示为相应的数的矩形阵列。我们把这样的数的矩形阵列称为数字图象，其中应该理解的是它可以表示一个显示的彩色图象的一个单色分量或这些单色分量的某些适当组合。
一种图象显示装置具有固定的观看区，它通常是一个矩形的观看屏幕。显示在该观看屏幕上的图象经常完全充满了该观看屏幕。重新调节图象的尺寸意味着以这样的方式把图象重新显示在观看屏幕上，即使得图象在HVS看被水平或纵向拉长或压缩了。重新调节尺寸之后的图象的水平尺寸与重新调节尺寸之前的图象水平尺寸的比值是水平缩放系数。类似地，纵向缩放系数是重新调节尺寸之后的图象纵向尺寸与重新调节尺寸之前的纵向尺寸的比值。大于一的缩放系数表示拉长，且小于一的缩放系数表示显示的图象的收缩。
显示的图象的纵横比是其宽度与其高度的比值。如果图象利用相等的水平和纵向缩放系数被重新调节尺寸，则重新调节尺寸的图象将具有与原来相同的纵横比。通过采用相等的水平和纵向缩放系数，物体增大或收缩而不改变它们的形状，且重新调节尺寸操作将被HVS感觉为使图象内的所有物体移向或远离观看者。
重新调节尺寸的图象可超过观看屏幕的尺寸。因此，重新调节尺寸的图象的某些部分可能处于观看屏幕之外而不可见。剪裁的图象是显示在观看屏幕上的图象部分。
变焦距是对一组数字化的图象或显示的图象重新调节尺寸，以在HVS中产生显示的图象内的物体正在随着时间而增大或收缩的效果。变焦距产生观看者与显示的图象中的物体之间的距离正在增大或减小的感觉。
平稳的变焦距是这样的变焦距，即显示的图象组的缩放系数足够慢地增大或减小，以在HVS中产生显示的图象中的物体在变焦距过程中随着时间而连续地增大或收缩的感觉。
如果缩放系数随着时间而增大，变焦距过程处于拉近模式，且如果缩放系数随着时间减小则变焦距过程处于推远模式。例如，在拉近模式的平稳变焦距可在相对于第一帧具有缩放系数1.0、1.1、1.2、…1.8、1.9和2.0的11个相继的帧中实现，从而产生2的最后缩放系数。
现有技术的数字图象重新调节尺寸和变焦距方法直接在表示显示的图象中的各个象素的数上进行操作。即，它们是在空域上进行操作的。
一种现有技术的图象重新调节尺寸方法是象素复制法，它采用了整数的缩放系数。该象素复制方法简单地把各个象素沿着水平和纵向方向复制某些整数倍。例如，对于缩放系数3，原始图象的各个象素被复制以形成重新调节尺寸的图象中的相应的3×3正方形的象素。象素复制法的一个主要的缺点，是象素化的凸凹不平阶梯效果与缩放系数成正比地增大。因此，象素复制引入了显著且经常是不可接受的重新调节尺寸之后的图象失真。象素复制法的另一个缺点，是它限于以整数的缩放系数放大图象。因此，它不能被用来减小图象，且它也不能被用来以非整数的缩放系数对图象重新调节尺寸，诸如以1.1、1.2的缩放系数等，而这在平稳的变焦距操作中是需要的。
另一种现有技术方法是象素副取样法，它被用来利用整数的倒数的缩放系数，诸如1/2、1/3、或1/4，来减小图象的尺寸。这种方法通过在相应的方向上在数字图象中的每Q个数或象素中只保留一个，而沿着水平或纵向方向实现了缩放系数1/Q，其中Q是一个整数。这种象素副取样法在显示的图象中产生了不利的失真。这样的失真造成了用此方法重新调节尺寸的显示的图象中的物体的边缘清晰度的损失且它是HVS能够注意到的，特别是对于大的Q值。
重新调节尺寸的图象的突变的强度空间变化，特别容易受到失真的影响，因而是HVS所能够感受到的。如果能够使象素之间的强度变化在象素复制之后或在象素副取样之前沿着所有方向都进行平滑的变化，这种失真可被减轻。现有技术包括了用于实现所需的空域平滑处理的各种方法。这些现有技术空域方法具有若干缺点，包括需要在未缩放的空域的数字图象中的各个象素上直接进行操作。其他形式的图象，诸如编码或压缩的形式-其中图象不是一个象素一个象素地进行空间表示，不能采用现有技术的空域平滑方法。
在象素复制的情况下，所需的平滑处理过的图象经常是借助两维空域低通滤波操作而获得的，该低通滤波操作有效地平滑掉了数字图象中的空间强度变化。两维空域低通滤波方法的复杂程度，取决于显示的图象中所能够容忍的失真的等级。简单的空域区域象素加权平均可被用于对图象的象素复制形式的强度变化进行平滑，从而减小凸凹不平的边缘效果。更为复杂的空域滤波方法对重新调节尺寸的数字图象的各个行和列中的各个数进行平滑。这可能要求在各个象素上执行成百的乘和加运算，这对于各个重新调节尺寸的图象会产生百万计的运算。例如，如果512×512的图象通过象素复制而被重新调节尺寸成4096×4096(缩放系数为8)，且在重新调节尺寸的图象上采用了每个象素需要100个乘法运算的平滑操作，则平滑每个重新调节尺寸图象所需的乘运算的总数是4096×4096×100。这产生了超过每图象1,600,000,000次的乘运算。如果该图象被剪裁成512×512的尺寸，则乘运算的最小数目减小至512×512×100，即超过每个剪裁图象25,000,000。因此，现有技术的象素复制空域失真减小方法涉及采用在一个象素一个象素基础上操作的大量的硬件和软件资源。
在象素副取样的情况下，在进行副取样以平滑掉强度变化之前对图象进行两维低通滤波操作。这种空域平滑方法具有使图象预失真以尽量减小象素副取样之后的重新调节尺寸的图象中形成失真效果的作用。这种平滑操作的效果是使图象中的很多物体模糊，从而使它们的尖锐的边缘在象素副取样之后不再显著。所需的空域滤波操作，如用在象素复制中的那样，在复杂性上是变化的。当简单加权平均被用于实现这种滤波时，经常需要采用每个象素成百次的乘和加运算。例如，为了借助采用要求重新调节尺寸的图象的每象素100次乘运算的平滑操作象素副取样，而把一个512×512图象重新调节成64×64图象(缩放系数为1/8)，则平滑每一个重新调节尺寸的图象所需的乘运算的总数是64×64×100。这产生了每个尺寸为64×64的重新调节尺寸的图象超过360,000次的乘运算。采用这种平滑操作的原始图象的预失真要求对原始数字图象进行512×512×100次的乘运算。这种方法，象象素复制方法一样，也要求在一个象素一个象素基础上进行操作的大量的硬件和软件资源。
有用于借助分数缩放系数，诸如22/73或101/100，在空域中对图象重新调节尺寸的方法。这种能力对于平滑变焦距和其他重新调节尺寸的效果是需要的。几乎所有现有技术方法都涉及上述象素复制和象素副取样方法的组合，以及适当的平滑操作。这些用于分数缩放系数的现有技术方法基本上是把象素复制和象素副取样结合在单一的系统中，该系统在数字信号处理文献中被称为多速率数字系统。这样的方法在空域中一个象素一个象素地对图象进行操作，且它们采用了复杂且要求大量的计算的数字滤波技术，以平滑掉凸凹不平的边缘和重新调节了尺寸的图象中的其他失真。
摇镜头(摇动)是一组数字图象或显示图象的剪裁，以在HVS中产生这样的感受，即显示的图象中的所有物体在显示的序列图象中的两个相邻图象之间都均匀地平移。
平滑摇动是这样的摇动，即使得相继显示的图象中的物体的位移足够地小，以在HVS中产生这样的感受，即显示的图象中的所有物体在显示的图象序列中都随着时间而连续地移动。
当显示的图象中的物体在变焦距或摇动过程中移动时，只要在该图象中物体的移动足够地慢，变焦距和摇动的感受都被HVS所保持。
图象压缩是这样的处理，即借助它数字图象被较少数目的信息位所表示。图象压缩使得图象能够被存储在较少的数字位的存储器中，因而减小了存储图象所需的计算机文档的大小。图象压缩还使数字图象的压缩形式能够以比未压缩图象更快的方式在通信信道上进行传送。
空域图象的压缩形式在显示之前必须得到解压缩。
多数的图象压缩方法采用了把图象的空域表示变换成相应的更适合压缩的图象变换域形式的数学技术。例如，变换域形式通常采用具有这样的数学性质的数据，即它与空域中的数据的相关性较小，这是随后的压缩所希望的一种性质。包括量化和编码在内的大量的压缩方法被用来对图象的变换域形式进行压缩。
解压缩过程试图恢复原来的变换域形式，在此情况下压缩-解压缩处理被称为是无损的。在实际中解压缩算法经常只恢复对原来的空域图象的一个近似，且该过程被称为是有损的。
图象的变换域形式不一定包含与空域象素对应的数据，因而可不受上述现有技术的重新调节尺寸和变焦距方法的操作以实现显示的图象的重新调节尺寸和变焦距。
已经发展了用于实现数字图象的压缩的国际标准。例如MPEG1和2压缩标准是数字图象序列最广泛采用的压缩标准，而JPEG通常被用于静止图象。
这些标准采用了分立余弦变换(DCT)以把空域图象转换成变换域，且反分立余弦变换(IDCT)被用来把变换域形式转换成相应的解压缩的空域图象。现有技术重新调节尺寸、变焦距或摇动已经用MPEG标准压缩的显示图象的方法对空域图象进行操作。
本发明提供通过修正用于把图象的变换域形式变换到图象的空域形式的变换域方法，而提供了重新调节尺寸空域图象的一种方法。通过修正该变换域方法，不需要对空域中形成图象进行进一步的一个象素一个象素的图象重新调节尺寸、变焦距或摇动操作。由于对空域中的图象重新调节尺寸而造成的不利效果，诸如凸凹不平的边缘、混淆或其他图象退化，在本发明中被减少了。
把图象从变换域变换到空域的标准变换方法，被修正了。采用该修正的变换方法，对变换域图象的变换产生了改变的空域图象。对变换操作的这些修正是由该修正的变换方法以这样的方式进行的，即在变换之后的改变的空域图象中实现所希望的重新调节尺寸或变焦距效果。
本发明的一个技术优点，是提供了一种通过把一种修正的变换方法应用于图象的变换域形式而对一个数字图象的空域表示的外貌进行修正的一种方法。通过修正大量的变换方法，诸如反分立余弦变换方法、反分立付里叶变换方法和反分立小波变换方法，可实现重新调节尺寸的空域图象。进一步地，本发明可被应用于诸如MPEG或JPEG的标准图象压缩技术中采用的块图象(即块)。
本发明的一个进一步的技术优点，是在进行了该修正的变换域方法之后，不需要对空域图象进行进一步的修正。这排除了对空域图象的大量的一个象素一个象素的修正以重新调节尺寸或变焦距的需要。
本发明的一个附加的技术优点，是提供了在不采用大量的硬件或软件资源的情况下对数字图象的修正。图象的空域表示的重新调节尺寸和变焦距修正要求大量和费时的一个象素一个象素的处理。在本发明中，该修正的变换方法产生的空域图象处于它们的重新调节尺寸或变焦距的形式，并能够在不需要进一步修正或处理的情况下得到显示。
以上非常概括地列出了本发明的特征和技术优点，以使得以下对本发明的详细描述变得更好理解。以下将描述本发明的其他特征和优点，这些特征和优点形成了本发明的权利要求书的主题。本领域的技术人员应该理解的是，所公布的概念和具体实施例很容易被用作修正和设计用于实现本发明的同样目的的其他结构的基础。本领域的技术人员还应该理解的是，这些等价的构造并未脱离所附权利要求书所设定的本发明的精神和范围。
为了对本发明及其优点有更为完整的理解，现在结合附图进行以下的描述。在附图中
图1A是从空域至一种变换域的图象变换的一种表示并在此被称为Φ-变换方法；图1B是从一种变换域至空域的变换的一个表示，并在此被称为Ψ-变换方法；图2显示了进行Φ-变换方法、Ψ-变换方法和修正的Ψ-变换方法的结果；图3显示了采用增广的变换域图象的修正Ψ-变换方法；图4A显示了对于显示窗口来说太大的重新调节尺寸的图象；图4B显示了剪裁过以适应显示窗口的图4A的重新调节尺寸的图象；图4C显示了剪裁过以适应显示窗口的某子部分的图4A的重新调节尺寸的图象；图5A显示了分成分立的块的重新调节尺寸的图象；图5B显示了相对于图5A的重新调节尺寸的图象的块而移动的显示窗口图6显示了采用本发明的方法扩大一个数字图象；图7显示了采用本发明的方法收缩一个数字图象；图8显示了具有观看者控制器的一种电视观看系统。
数字图象是一个数字阵列，其中阵列中的各个数字代表显示的图象中的一个相应的象素。数字图象及其显示形式都是空域图象并可用实值函数x(n1，n2)进行数学表示，其中n1和n2是非负的整数，它们指向数字图象阵列的第n1列和第n2行，如图1A所示。在显示的图象中，n1和n2指向相应的显示象素，对于尺寸为N1列乘N2行的矩形数字图象，0≤n1≤(N1-1)且0≤n2≤(N2-1)。空域在图1中被称为D10并包含数字图象14。我们说n1，n2∈D。本发明提供了一种方法，用于把数字图象x(n1，n2)重新调节尺寸，以通过修正一种变换域方法而产生一个重新调节尺寸的数字图象的一种重新调节尺寸的形式xr(n1，n2)。借助这种重新调节尺寸的方法，本发明进一步提供了用于对数字图象因而对显示的图象进行变焦距和摇动的方法。该方法可被用来实现重新调节尺寸、摇动和变焦距，而不用对空域图象直接进行操作。
如果变换域数据Φ[x(n1，n2)]与空域图象x(n1，n2)中的空间象素没有一一对应关系，则把空域数字图象x(n1，n2)变换成图象的变换域形式Φ[x(n1，n2)]的一组数学运算被称为一种Φ-变换方法。相反地，把图象的变换域形式变换成图象的空域形式的一组数学数学运算被称为Ψ变换方法。
Ψ变换方法可以被应用于图象的变换域形式Φ[x(n1，n2)]以获得空域图象Ψ[Φ[x(n1，n2)]]。
如果在应用了Ψ变换方法之后应用Φ变换方法达到了原来的空域数字图象x(n1，n2)，则Ψ变换方法是Φ变换方法的反变换，且我们说Ψ＝Φ-1。
对于空域图象有各种运算把它们从空域变换到变换域。一类重要的Φ变换方法给出了如下形式的变换域图象X(k1，k2)，其中k1和k2是所谓的变换域ΩD中的变换域变量。这样的变换可以用它们的基本函数b(k1，k2，n1，n2)写成X(k1,k2)=Σn1Σn2x(n1,n2)b(k1,k2,n1,n2),]]>其中k1k2∈ΩD且它在图1A中得到了概括，其中变换运算16被显示为给出了数字图象x(n1，n2)的变换域表示X(k1，k2)。在图1A中，X(k1，k2)18具有尺寸K1×K2且变换域ΩD12得到显示。
基函数b(k1，k2，n1，n2)独立于数字图象x(n1，n2)，但它依赖于选择的变换类型。例如，分立付里叶变换和分立余弦变换族具有不同而具体的基函数。另外，分立付里叶变换和反付里叶变换的基本函数是不同的。
变换域图象X(k1，k2)不是通常观看和显示的图象，因为变换域图象X(k1，k2)的值不对应于数字图象的显示形式中的象素。
存在有一组相应的Ψ变换方法，它对变换域图象进行运算以把它们从变换域变换到空域。一类重要的Ψ变换方法给出了x(n1，n2)＝Ψ[X(k1，k2)]形式的空域图象，其中n1和n2是所谓的空域D中的空域变量。这样的变换可以用它们的基本函数b(k1，k2，n1，n2)写成如下形式x(n1n2)=Σk1Σk2X(k1,k2)b(k1,k2,n1,n2),]]>其中n1，n2∈D如在图1B中概括的，Ψ变换方法Ψ[X(k1，k2)]20被显示为给出了数字图象x(n1，n2)14’的空域表示。
如果图1A和1B中的运算被依次应用且图象14和14’相同，则Ψ[X(k1，k2)]是Φ[x(n1，n2)]的反变换且因而Ψ＝Φ-1。
在现有技术中，通过采用对图1B中的数字图象14’的空域阵列中的每一个数进行运算的方法，对空域数字图象进行运算，而实现了一种重新调节尺寸的显示图象。如以上进一步描述的，这些现有技术方法的结果是需要非常大量的算法操作以避免所不希望的凸凹不平边缘和由于空域重新调节尺寸所需的下取样和上取样操作产生的其他的图象失真。
本发明的重新调节尺寸避免了对空域阵列x(n1，n2)14’中的每一个数进行空域操作的需要，并还避免了对相关的空域平滑操作的需要。本发明是对该Ψ变换方法进行修正，且因而被称为修正的Ψ变换方法。在把该修正的Ψ变换方法应用于变换域图象X(k1，k2)时，所需的重新调节尺寸的空域数字图象xr(n1，n2)得到产生并可得到显示。
图2显示了本发明的重新调节尺寸的方法的最佳实施例的操作。图象x(n1，n2)22代表了重新调节尺寸之前的空域数字图象。图象22、24和34可以是整个显示的图象或显示的图象的子图象区。如果该子图象区在空间上是矩形的，它是一个图象块或块。变换域图象X(k1，k2)24处于变换域ΩD中。未修正的Ψ变换方法可被用作一种反变换Ψ＝Φ-1以把变换域图象X(k1，k2)变换回到原来的空域数字图象22。
通过本发明的重新调节尺寸的最佳实施例，一种修正的Ψ变换方法36被应用于变换域图象X(k1，k2)24，以产生出重新调节尺寸的空域数字图象xr(n1，n2)34，其中修正的Ψ变换方法被写成ΨMOD[X(k1，k2)]且其中ΨMOD[X(k1，k2)] 36被显示在图2中。
修正的Ψ变换方法是在未修正Ψ变换方法Ψ[X(k1，k2)]的算法或数据上的任何修正运算组ΨMOD[X(k1，k2)]，它使图象xr(n1，n2)34成为数字图象x(n1，n2)22的一种预定的重新调节尺寸的形式这样的运算包括但不限于通过用附加的数据增广阵列而改变数据阵列X(k1，k2)24的大小，并还包括但不限于修正变换的参数，诸如其基函数。
根据选定的φ变换方法，变换域图象X(k1，k2)24的数据点可以是复数。
本发明的一个最佳实施例，是通过修正基函数b(k1，k2，n1，n2)以产生一组修正的基函数bMOD(k1，k2，n1，n2)且具体地从而使得bMOD(k1,k2,n1,n2)=b(k1s1,k2s2,n1,n2)]]>而修正该Ψ变换方法，其中bMOD(k1，k2，n1，n2)是修正的基函数且s1和s2是分别被称为水平和纵向缩放系数的实数。这些基函数作为修正的Ψ变换方法的一部分而得到修正。
例如，如果这些基函数具有以下形式b(k1,k2,n1,n2)=cos((2n1+1)k1π2N1)cos((2n2+1)k2π2N2)]]> 当值s1大于1时，上述基函数的缩放(scaling)造成重新调节尺寸的图象xr(n1，n2)34相对于x(n1，n2)22沿着水平方向被拉长。当s1的值小于1时，重新调节尺寸的图象xr(n1，n2)34相对于x(n1，n2)22沿着水平方向收缩。类似地，根据s2是大于还是小于1，s2实现了xr(n1，n2)34沿着纵向方向的拉长或收缩。
如果s1＝s2，则xr(n1，n2)34相对于x(n1，n2)22的拉长或收缩不改变重新调节尺寸的图象相对原来图象的纵横比，且不改变这些图象的显示形式中的物体的被感受到的形状。
对于当s1和s2大于1的情况，对与重新调节尺寸的图象有关的Ψ变换方法的一个进一步的修正，是通过产生附加的合成数据点而增大变换域图象X(k1，k2)24的尺寸，从而使使增广变换域图象X(k1，k2)24和重新调节尺寸的空域图象xr(n1，n2)34的总体尺寸得到预定。在图3中，Ψ变换方法的原有的数据点阵列C1130A，通过额外产生的合成数据点阵列C12 30B、C21 30C和C2230D，而得到增广，而这些阵列用于修正和增大变换域图象X(k1，k2)24的尺寸并产生修正的变换域图象XAUG(k1，k2)32。额外产生的合成数据阵列C12 30B、C21 30C和C22 30D中的合成数据可以借助对C11 30A中的数据点进行的运算或通过某些其他的手段而产生，或者它们可以被设定为零值。
矩形阵列C12 30B、C21 30C和C22 30D的尺寸可以被适当选择，从而使32的行数P1满足P1≥s1N1且32的列数P2满足P2≥s2N2例如，如果对于一个图象块N1＝N2＝8且所希望的缩放系数是s1＝s2＝1.5，则对于图象块xr(n1，n2)34的尺寸，我们选择P1. 2≥12。如果s1N1是一个整数，则图象32的列数P1可以被选择为等于s1N1，且如果s2N2是一个整数则图象32的行数P2可以被选择为等于s2N2。变换域图象32被称为增广的变换域图象且被表示为XAUG(k1，k2)。
为了获得重新调节尺寸的空域图象xr(n1，n2)34，变换域数据的增广变换域图象XAUG(k1，k2)32，利用采用修正的基函数bMOD(k1，k2，n1，n2)的修正Ψ变换，而得到变换。该修正Ψ变换可被表示为以下数学形式xr(n1,n2)=Σk1Σk2bMOD(k1,k2,n1,n2)XAUG(k1,k2)]]>
其中k1，k2∈ΩD，意味着对变换域变量k1，k2的求和是在变换域ΩD的适当选定的区域上进行的。通过采用上述的修正Ψ变换方法以获得重新调节尺寸的空域图象xr(n1，n2)34，避免了凸凹不平的边缘和其他不利的混淆效果，且不需要对空域图象xr(n1，n2)34进行大量的平滑操作以减小重新调节尺寸的图象中凸凹不平边缘和其他失真效应。
例如，尺寸N1＝N2＝128的空域图象x(n1，n2)14可用缩放系数s1＝s2＝2重新调节尺寸，以通过对变换域图象X(k1，k2)24进行运算而获得尺寸P1＝P2＝256的重新调节尺寸的图象xr(n1，n2)34。数据阵列C11 30A代表了X(k1，k2)24的阵列并具有用于未修正的反分立余弦变换的尺寸128×128。增广阵列C12 30B、C21 30C和C22 30D可以被选择为尺寸为128×128的零值阵列(以下用0表示)，从而使增广阵列XAUG(k1，k2)32由以下公式给出XAUG(k1,k2)=C11C12C21C22=X(k1,k2)000]]>它是256×256尺寸的。该修正Ψ变换方法，采用以下的修正的基函数，并以s1＝s2＝2，而被选择为在这种增广变换域图象XAUG(k1，k2)上进行的反分立余弦变换运算bMOD(k1,k2,n1,n2)=cos((2n1+1)(k1s1)π2N1)cos((2n2+1)(k2s2)π2N2)]]>从而使该修正Ψ变换方法是xr(n1,n2)=Σk1=0P1=255Σk2=0P2=255XAUG(k1,k2)cos((2n1+1)(k1s1)π2N1)cos((2n2+1)(k2s2)π2N2)]]>本发明的一个优点，是重新调节尺寸的图象xr(n1，n2)34中的物体不呈现象素复制的失真效应且物体的边缘在视觉上是平滑的。这是在不需要空域平滑滤波器的情况下实现的。
上述的例子可用小块图象实施。例如，原始图象x(n1，n2)可以是8×8的图象块，且对于s1＝s2＝2，重新调节尺寸的图象块可以具有尺寸16×16。总的重新调节尺寸和显示的图象可由很多如此重新调节尺寸的图象块组成。
图4A显示了当图象42被重新调节尺寸从而使重新调节尺寸的图象xr(n1，n2)44太大而不能适合显示窗口46使的情况。当图象将要被用在显示窗口46的一个所希望的子区域中时，会产生类似的问题。在某些情况下，重新调节尺寸的图象可适合于总体的显示区中但可能对所希望的子显示区来说太大。在图4A中，尺寸为N1×N2的原始图象x(n1，n2)42适合于尺寸W1×W2的显示窗口46中。显示窗口46可代表显示器的整个区域或该显示器的一个子区域。重新调节尺寸的图象xr(n1，n2)44是利用修正Ψ变换方法以如上所述的缩放系数s1和s2产生的图象42的放大形式。重新调节尺寸的图象44具有尺寸R1×R2，其中R1＝s1N1且R2＝s2N2。在此例中，重新调节尺寸的图象44大于显示窗口46，使放大的图象的部分处于显示窗口46之外。图4B显示了剪裁的图象xcr(n1，n2)48，它包括重新调节尺寸的图象44的一部分，从而使剪裁的图象48适合于显示窗口46中。剪裁的图象48的尺寸为CR1×CR2，其中CR1≈N1且CR2≈N2，从而使剪裁的图象48近似于原始图象42的尺寸。如图4C中所示，重新调节尺寸的图象44也可被剪裁从而使剪裁的图象50的尺寸CR1’和CR2’不等价于原始图象42的。在此情况下，剪裁的图象50可以具有任何适当的尺寸，以在显示器的一个子部分-诸如图8的显示窗口86-上进行观看，它显示了图象84的拉近形式84’。
在其中重新调节尺寸的图象大于显示窗口的情况下，不是对重新调节尺寸的图象进行剪裁，而是希望摇动(pan)重新调节尺寸的图象从而使整个重新调节尺寸的图象的依次部分在显示窗口中得到观看。
如图5A所示，重新调节尺寸的图象44可以由块52组成，而块52对应于重新调节尺寸的图象44的分立的空间区。块52具有尺寸B1×B2并可以具有各种尺寸，从单个的象素至多个象素行和列。
图5B显示了在重新调节尺寸的图象44上摇动的显示窗口46。显示窗口46覆盖了重新调节尺寸的图象44的块52的一部分。处于显示窗口46内的块52可以被用户观看。重新调节尺寸的图象44通过把块52依次移过显示窗口46而被摇动。对象素级的摇动，块52对应于重新调节尺寸的图象44的单个的象素。图象通过把一行或列的象素添加到显示窗口46的一个边缘54并从显示窗口46的相反的边缘56除去一行或列的象素而得到摇动。用dpan＝[dhorizdvert]象素/帧表示的一个移动矢量58，定义了重新调节尺寸的图象xr(n1，n2)44相对于显示窗口46的移动，其中dhoriz是沿着水平方向的块数且dvert是沿着纵向方向的象素数。
对于象素等级的摇动，dhoriz＝-1、0或+1且dvert＝-1、0或+1，从而使显示窗口每帧移动一行和列。重新调节尺寸的图象44也可以利用多个象素进行摇动。在多象素级的摇动中，多行和列的象素可在边缘处被加入和除去，从而使移动矢量的分量为dhoriz＝-mhoriz，0或+mhoriz且dvert＝-mvert、0或+mvert其中mhoriz和mvert代表多个列和行的象素。在块等级的摇动中，mhoriz＝M1即水平块尺寸，且mvert＝M2即纵向块尺寸。
摇动可以利用以上公布的修正Ψ变换方法而得到实现。通过识别处于或部分处于显示窗口内的变换域图象中的块组，修正Ψ变换方法被应用于这些块中的每一个以产生重新调节尺寸的图象44的该部分。随后识别第二组的块，它们对应于在该显示窗口移动了适当的移动矢量之后在下一个帧中重叠于显示窗口的那些块。该修正Ψ变换方法随后被应用于第二组的块，以产生重新调节尺寸的图象44的一个移动部分。
上述的剪裁和摇动功能将被理解为应用于已经利用大于、小于或等于一的缩放系数而被重新调节尺寸的图象。另外，重新调节尺寸、摇动和剪裁功能可被实时地应用于图象。例如，一个图象可经诸如视频摄象机的光-电子传感装置而被一种数字系统所接收，该图象随后可利用一种适当的MPEG标准而得到压缩。压缩的图象可随后利用一种修正Ψ变换方法而得到反变换以实现一种已经根据本发明而被重新调节尺寸、变焦距、摇动或剪裁的显示图象。
图6显示了本发明的用于这样一种情况的重新调节尺寸的方法，即在该情况下原始的空域图象x(n1，n2)600被放大了一个非整数的缩放系数。在此例中，该缩放系数是s1＝s2＝1.5。图6所示的重新调节尺寸也包括了一种重新调节尺寸操作的一个例子，它与一种剪裁操作相结合以产生最后的重新调节尺寸的图象xcr(n1，n2)602。原始图象600利用分立余弦变换Φ[x(n1，n2)]604而被变换到变换域，以产生变换域图象X(k1，k2)606。这种变换在数学上被表示为X(k1,k2)=Σn1=07Σn2=07x(n1,n2)cos((2n1+1)πk1(2)(8))cos((2n2+1)πk2(2)(8))]]>其中原始图象的尺寸在此例中对应于N1，2＝8。
变换域图象606随后用合成数据点DP 608增广，以产生增广的变换图象XAUG(k1，k2)610。增广的变换图象610具有尺寸P1×P2，其中P1，2≥s1，2N1，2。对于1.5的缩放系数和尺寸为8×8的原始空域，P1，2必须大于或等于(1.5)(8)＝12。在此例中，不是利用一个尺寸为12×12的增广变换图象，增广的变换图象610具有尺寸16×16。这满足了要求P1，2≥12且可得到选择，因为对此尺寸存在有快速变换。由于对于诸如系统采用的硬件或软件的因素的考虑，P1，2≥12的一个值可得到选择。
增广的变换图象610随后利用修正Ψ变换方法ΨMOD[XAUG(k1，k2)]612而得到变换。修正Ψ变换方法612是通过以缩放系数s1，2对未修正的Ψ变换方法Ψ[X(k1，k2)]的基函数b(k1，k2，n1，n2)进行缩放，而被导出的。这产生了修正的基函数bMOD(k1,k2,n1,n2)=b(k1s1,k2s2,n1,n2)]]>
把修正Ψ变换方法612直接应用于增广的变换域图象610，给出了空域中的重新调节尺寸的图象xr(n1，n2)614。对此例，采用修正的反分立余弦变换运算作为修正Ψ变换方法，增广图象610的反变换被数学表示为xr(n1,n2)=Σk1=015Σk2=015XAUG(k1,k2)cos((2n1+1)π(k1/1.5)(2)(8))cos((2n2+1)π(k2/1.5)(2)(8))]]>重新调节尺寸的图象614的尺寸为16×16并包括从大于尺寸12×12的增广图象610产生的复制边界616和618。一个12×12增广变换图象对应于缩放系数s1，2＝1.5。然而，通过选择较大尺寸的增广图象610，在修正Ψ变换方法之后产生了重新调节尺寸的图象的一个超过量。包含在边界616和618中的这种过量图象可被剪裁，以给出尺寸12×12的剪裁的重新调节尺寸的图象602，它对应于原始的8×8图象600的1.5缩放。
类似地，图7显示了用于其中原始空域图象x(n1，n2)700被减小一个非整数的缩放系数以产生最后的剪裁和重新调节尺寸的图象xcr(n1，n2)702的情况的本发明的重新调节尺寸的方法。在此例中，缩放系数是3/4。原始图象700利用变换运算Φ[x(n1，n2)]704被变换，以给出变换图象X(k1，k2)704。由于这种重新调节尺寸不是放大，变换图象706不用被增广。相反地，修正的Ψ变换方法ΨMOD[X(k1，k2)]708被直接应用于变换图象706，以给出重新调节尺寸的图象xr(n1，n2)710。
重新调节尺寸的图象710，由于修正的Ψ变换方法708的缩放，而包含在边界712和714中的过量的图象。通过对重新调节尺寸的图象710进行剪裁以除去过量的边界712和714，产生了经过剪裁和重新调节尺寸的图象xcr(n1，n2)702。图象702对应于原始图象700的3/4缩放。
图8显示了一个系统80，其中诸如电视机或个人计算机的一个观看装置81具有带有多个图象801、802和803的图像82。使用一个远程控制器83或其他装置(诸如计算机鼠标器)的一个用户(未显示)可选择一个具体的图象以进行进一步的变焦距。例如，图象82的部分84通过调节固线85而得到选择。这种选定的图象随后可被显示在屏幕上图象82的地方，或者可选地被显示在一个单独的窗口86中。显示在窗口86中的图象随后可被重新调节尺寸或拉近或推远。如上所述，观看者还可选择以一行一行、一列一列、一块一块或它们的组合的方式，摇动屏幕82(或屏幕86)的图象。
虽然已经详细描述了本发明及其优点，应该理解的是，在不脱离如所附权利要求书限定的本发明的精神和范围的前提下，可以进行各种改变、替换和变形。
权利要求
1.对数字图象的一种变换域表示进行修正的一种方法，包括以下步骤对与所述变换域相关的一种Ψ变换方法进行修正以产生一种修正的Ψ变换方法；以及把所述修正的Ψ变换方法应用于所述的变换域表示以产生所述数字图象的一种重新调节尺寸的形式。
2.根据权利要求1的方法，其中对所述Ψ变换方法的所述修正包括修正所述变换方法的基函数。
3.根据权利要求1的方法，其中所述重新调节尺寸的数字图象是所述数字图象的一种变焦距形式。
4.根据权利要求3的方法，其中多个所述的变焦距形式的数字图象被结合起来以产生所述数字图象的一种平滑变焦距的形式。
5.根据权利要求1的方法，其中所述重新调节尺寸的数字图象是所述数字图象的一种摇动形式。
6.根据权利要求1的方法，其中对所述Ψ变换方法的所述修正包括一种缩放系数。
7.根据权利要求1的方法，其中所述Ψ变换方法基于反分立余弦变换。
8.根据权利要求1的方法，其中所述Ψ变换方法基于反分立小波变换。
9.根据权利要求1的方法，其中对所述Ψ变换方法的所述修正包括产生多个合成数据点。
10.根据权利要求9的方法，其中所述合成数据点是零值的。
11.根据权利要求9的方法，其中对所述Ψ变换方法的所述修正包括用一种缩放系数修正所述变换方法的基函数；且瓦其中所述多个合成数据点与所述缩放系数成比例。
12.根据权利要求11的方法，其中所述Ψ变换方法是基于一种反分立余弦变换运算的。
13.根据权利要求11的方法，其中所述Ψ变换方法是基于一种反分立小波变换运算的。
14.根据权利要求1的方法，其中所述Ψ变换方法可被数学表示为x(n1,n2)=Σk1Σk2X(k1,k2)b(k1,k2,n1,n2)]]>其中b(k1，k2，n1，n2)是所述变换运算的基函数。
15.根据权利要求1的方法，其中所述变换域表示和所述Ψ变换方法符合于从以下的组中选出的一种标准MPEG；JPEG；以及MJPEG。
16.根据权利要求2的方法，其中所述变换域表示和所述基函数符合于从以下的组中选出的一种标准MPEG；JPEG；以及MJPEG。
17.根据权利要求1的方法，进一步包括以下步骤对所述重新调节尺寸的图象进行剪裁以除去过量的图象，其中所述过量的图象包括所述重新调节尺寸的图象的一部分。
18.根据权利要求17的方法，其中所述过量的图象包括所述重新调节尺寸的图象的一个复制部分。
19.根据权利要求1的方法，进一步包括以下步骤对所述重新调节尺寸的图象进行剪裁以产生具有专门的尺寸的一个剪裁图象，其中所述专门尺寸被适当选择以使所述剪裁的图象适合于一个显示器的一个指定的区域。
20.根据权利要求2的方法，进一步包括以下步骤对所述重新调节尺寸的图象进行剪裁以除去一个过量的图象，其中所述过量的图象包括所述重新调节尺寸的图象的一部分。
21.根据权利要求9的方法，其中所述Ψ变换方法包括一种反分立余弦变换。
22.根据权利要求9的方法，其中所述Ψ变换方法包括一种反分立小波变换。
23.根据权利要求9的方法，其中所述变换域表示和所述修正Ψ变换方法符合于从以下的组中选出的一种标准MPEG；JPEG；以及MJPEG。
24.根据权利要求9的方法，进一步包括以下步骤对所述重新调节尺寸的图象进行剪裁以除去一个过量的图象，其中所述过量的图象包括所述重新调节尺寸的图象的一部分。
25.根据权利要求9的方法，进一步包括以下步骤对所述重新调节尺寸的图象进行剪裁以产生具有专门的大小的一个剪裁的图象，其中所述专门尺寸被适当地选择以使所述剪裁的图象适合于一个指定的显示区域。
26.用于对一种视频显示器进行修正的一种系统，所述系统包括用于显示视频数据的装置；用于接受来自用户的与对所述显示的视频数据进行的所希望的修正有关的输入的装置；以及部分地受到所述接受装置的控制并用于修正一种Ψ变换方法以实现所述所希望的修正的装置。
27.根据权利要求26的系统，其中所述显示的视频数据借助一种缩放系数而得到修正。
28.根据权利要求26的系统，其中所述接受装置包括用于选择所述显示的视频数据的将要被修正的一个区域的装置。
29.根据权利要求26的系统，其中所述接受装置包括用于摇动所述显示的视频数据的一个选定区域的装置。
30.根据权利要求26的系统，其中所述接受装置包括用于选择所述显示装置的一个具体区域的装置，在该具体区域上显示所述修正的视频数据。
31.根据权利要求26的系统，其中所述接受装置包括用于选择所述显示的视频数据的将要被修正的一个区域的装置；以及用于选择所述显示装置上的一个位置的装置，该位置用于显示修正的视频数据。
32.用于显示多个图象的一种系统，包括用于显示一个图象的装置；用于选定所述显示图象的一个部分的装置；以及用于在所述显示装置上同时显示该图象和该选定部分的装置，其中所述选定部分利用一种修正的Ψ变换方法而得到修正。
33.根据权利要求32的系统，其中所述用于选择图象的一部分的装置包括一个电视远程控制器。
34.根据权利要求32的系统，其中用于选择该图象的一部分的所述装置包括一个计算机指向装置。
35.根据权利要求32的系统，其中所述修正的选定部分已经利用所述修正的Ψ变换方法而被重新调节尺寸。
36.根据权利要求32的系统，其中所述显示的选定部分已经利用所述修正的Ψ变换方法而被摇动。
37.根据权利要求32的系统，其中所述显示的选定部分已经利用所述修正的Ψ变换方法而被拉近。
38.根据权利要求34的系统，其中所述显示的选定部分已经利用所述修正的Ψ变换方法而被推远。
全文摘要
数字图象用与象素相应的数而在空域中得到表示,并可借助一种变换方法而被变换成一个变换域图象。其他的变换方法被用来把变换域图象变换回到原始的空域图象。在本发明中,这些其他的变换方法以这样的方式被修正,即修正的变换方法给出了作为原始空域图象的重新调节尺寸的形式的空域图象。公布了用于采用修正的变换方法以实施重新调节尺寸的图象的变焦距和摇动形式的方法。这些重新调节尺寸的图象不要求象素级的平滑滤波器和用于除去由于重新调节尺寸而产生的图象失真的其他方法。
文档编号G06T3/40GK1326574SQ9981334
公开日2001年12月12日 申请日期1999年9月15日 优先权日1998年9月16日
发明者伦纳德·T·布鲁顿, 托德·辛普森, 巴里·伊 申请人:普什娱乐公司