专利名称：数字图像像素填补法及用该法的数字图像编码与解码装置的制作方法
技术领域：
本发明涉及具有任意形状的数字图像的填补方法及使用该填补方法的数字图像的编码与解码装置。
背景技术：
为了高效率地存储或传输数字图像，有必要进行压缩编码。对数字图像进行压缩编码的方法除了JPEG与MPEG所代表的离散余弦变换(DCT)外，还有子带、小波、分形等波形编码方法。又，为了去除图像间的冗余信号，施行使用移动补偿的图像间预测，对差分信号进行波形编码。
近来，将构成图像的物体分别压缩编码进行传送，使得能够在提高压缩效率的同时，重放构成图像的物体单元。在重放的一方，将各物体解码，合成重放的物体，显示图像。其特征在于，以物体单元进行编码，通过将物体自由组合、合成，能够将活动图像简单地重新编辑。又，根据通信路径的拥挤情况和重放装置的性能、视听者的喜好，可以不重放比较不重要的物体，但也能够看到活动图像。
为了把具有任意形状的图像(物体)编码，或是使用对该形状合适的变换方法，例如采用形状自适应离散余弦变换，或是使用规定的方法填补图像的无效区域(是物体显示区域以外的区域，是指只由不具有显示物体用的图像数据的、所谓无效(有意でなぃ)取样值构成的区域)，实施已有的8×8的余弦变换的方法。另一方面，为了去除图像之间冗余的信号而对在过去重放的参考图像进行移动补偿得到的预测区域(例如由16×16像素构成的区域)中也在物体的边界包含无效取样值。一旦将这样的预测区域加以填补后，即与对象区域取差分，生成预测误差信号，进行变换编码。填补预测区域是为了抑制差分信号。
这样，在数字图像的编码、解码处理效率这一点上，无效像素的填补处理是重要的，同时其填补方法对解码图像质量、传输的数据量等也发生影响。
上述已有的技术中，借助于参照整个图像进行填补，在使预测区域不包含无效取样值之后，用移动补偿等方法取得预测区域。又，填补方法进行重复物体的边界上的有效(有意な)取样值、置换无效(有意でなぃ)取样值等处理。又，在某一取样点，在有来自水平及垂直两个方向上的重复的填补值时，对该两个方向的填补值取平均值。这种已有的方法由于对整个图像进行填补，因此特别是对于移动大的图像能够得到误差小的预测区域。
但是反之，存在的问题是，由于参照全部重放参考图像进行填补，必须把全部参考图像解码，才能够开始填补。又，在反复进行填补的情况下，存在运算量与图像尺寸成比例增加的问题。亦即一旦进行这样的填补，图像重放时处理量大，产生长时间的延迟，或有时候运算量变得非常大。
因此，为了进行不与图像尺寸成比例的运算，就有以区域单元填补重放的边界区域的方法。这个方法可以解决延迟与运算量的问题。但是，在另一方面，由于成了只是边界区域的填补，有效区域限于填补了的边界区域以内的区域，填补效果小。因此留下了对移动大的活动图像不能产生误差小的预测信号的问题。
另一方面，填补全部图像的方法只是增加数据量，因此有利之处少。亦即无效像素没有应该编码的像素值，如果与有效像素同时一起编码，则会降低编码效率。例如，在有效像素全部为黑色的情况下，如果无效像素为白色，则会降低编码效率，而如果无效像素是黑色的，则将提高编码效率。就是这样，无效像素的值虽然不影响重放图像的质量，但是却影响编码效率，因此对无效像素值加以考虑是重要的，但是以往的问题是完全不加以考虑。
发明内容
本发明的第1目的在于，提供能够以延迟时间和运算量小的处理对移动量大的图像生成误差小的预测信号的图像填补方法。
为了达到上述目的，本发明提供的数字图像填补方法是，在包含表示物体的图像信息的数字图像数据中，将所述图像分割为相邻的多个区域，将所述无效像素值附近的有效像素值进行函数变换，填补包含上述物体形状边界的区域的无效样品值。
又，特别是作为函数变换后填补的有效像素值，将作为函数是最简单的、即无效像素值相邻的有效像素值原封不动地反复置换，通过将这一方法与上述方法加以组合进行处理，以此可以进行更有效的填补。
还有，作为适量扩大填补区域的方法，扩大到作为包含物体形状边界的区域近旁的区域的、只由无效样品值构成的无效区域进行填补，同时对包含上述物体形状边界的区域的有效像素值进行函数变换后填补。以此可以进行更大的移动补偿等处理。
本发明的第2个目的在于，将上述数字图像填补方法应用于数字图像编码、解码方法及其装置，以此可以进行处理数据量少、图像质量良好的压缩图像处理。
为了达到上述目的，所构成的图像编码装置具备将由表示像素值的信号与表示每一像素的像素值是否有效的有效信号构成的图像信号作为输入信号，在包含表示该输入信号的物体的图像信息的数字图像数据中，从已经解码的图像信号生成相对于上述输入信号的预测图像信号的预测图像生成手段；将上述图像分割为多个相邻的区域，将上述无效像素值近旁的有效像素值进行函数变换，填补包含所述物体形状边界的区域的无效样品值并输出的像素值生成手段；从上述像素值生成手段的输出减去上述预测图像生成手段的输出的减法手段；将上述减法手段的输出进行编码的编码手段；将上述编码手段的输出进行解码的解码手段；将上述解码手段的输出与上述预测图像生成手段的输出相加的加法手段；以及将上述加法手段的输出暂时存储以便在上述预测图像生成手段使用的存储手段，将上述编码手段的输出作为图像编码装置的输出。
又，作为解码装置，具备将输入信号加以解码的解码手段；由已经解码的图像信号生成相对于所述输入信号的预测图像信号的预测图像生成手段；用规定的函数由该预测图像信号的有效像素值生成像素值，以用所述函数生成的像素值置换上述预测图像信号的无效像素的像素值加以输出的像素值生成手段；将上述解码手段的输出与上述像素值生成手段的输出相加的加法运算手段；以及具有暂时存储该加法运算手段的输出以便在上述预测图像生成手段使用的存储手段，该解码装置是将上述加法运算手段的输出作为图像解码输出的数字图像解码装置。
又，特别是借助于填补只由与物体形状边界相邻的无效样品值构成的无效区域，处理区域得以适度扩大，没有太大增加数据量就有效地提高了移动补偿等的处理精度。
更具体的本发明的数字图像填补方法具备第1填补处理和第2填补处理，在第1填补处理，沿着第1方向对由有效和无效样品值构成的任意形状的图像的样品值进行扫描、在第1方向上，以用规定的方法选择的有效样品值作为无效样品的值生成第1填补图像，在第2填补处理，沿着第2方向对由有效和无效样品值构成的第1填补图像的各样品进行扫描，在第2方向上，用以规定的方法选择的有效样品值或在第1填补处理填补的样品值作为第1填补图像的无效样品值。
本发明的第2种更具体的数字图像填补方法，将任意形状的数字图像分割为多个区域，以规定的顺序处理，以用规定的方法求得的填补值填补只由位于形状边界的边界区域相邻的无效样品值构成的无效区域。
特别是在对象区域不是无效区域的情况下，如果按规定的顺序与对象区域相邻的过去区域是无效区域，则用以规定的方法求得的填补值填补过去区域，在对象区域是无效区域的情况下，如果按规定的顺序与对象区域相邻的过去区域不是无效区域，则以用规定的方法求得的填补值填补对象区域。
又，使用本发明的数字图像填补方法的图像编码装置具备输入任意形状的数字图像数据的输人手段；将该数字图像分割为相邻的多个区域，按规定的顺序进行处理的手段；输入对象区域数据与预测区域数据，生成差分区域数据的第1加法器；输人该差分区域数据，以规定的方法压缩为压缩差分区域数据的编码器；输入该压缩差分区域数据，以规定的方法复元为扩展差分区域数据的解码器；输入该扩展差分区域数据，与预测区域相加，生成重放区域数据的第2加法器；输入该重放区域数据，以上述填补方法填补重放区域所包含的无效样品值的第1填补器；以及将填补无效样品值的重放区域数据作为预测区域数据存储的帧存储器。
又，以第2填补器取代第1填补器或与第1填补器一起，填补预测区域所包含的无效样品值。
又，使用本发明的数字图像填补方法的图像解码装置具备输人压缩编码数据的输人手段；对该压缩编码数据加以分析，输出压缩差分信号的数据解析器；将该压缩差分信号复原为扩展差分信号的解码器；将扩展差分信号与预测信号相加，生成重放信号输出的加法器；以及用上述方法填补重放信号中包含的无效样品值的第1填补器；将第1填补器填补的图像数据作为预测信号存储的帧存储器。
又，以第2填补器取代第1填补器或与第1填补器一起，填补预测区域所包含的无效样品值。
附图概述
图1是表示本发明实施例1的数字图像填补方法的模式图。
图2是表示本发明实施例1的数字图像填补方法的第1变形例的模式图。
图3是表示本发明实施例1的数字图像填补方法的第2变形例的模式图。
图4是表示本发明实施例1的数字图像填补方法的第3变形例的模式图。
图5是表示本发明实施例2的数字图像填补方法的模式图。
图6是表示本发明实施例3的数字图像填补方法的模式图。
图7是表示本发明实施例3的数字图像填补方法的一个变形例的模式图。
图8是表示本发明实施例4的数字图像填补方法的模式图。
图9是表示本发明实施例5的数字图像编码装置的方框图。
图10是表示本发明实施例6的数字图像编码装置的方框图。
图11是表示本发明实施例7的数字图像解码装置的方框图。
图12是表示本发明实施例8的数字图像编码装置的方框图。
图13是表示本发明实施例8的数字图像编码装置的方框图。
图14是表示本发明实施例7的数字图像解码装置的一变形例的方框图。
图15是表示本发明实施例9的数字图像解码装置的方框图。
图16是表示本发明实施例9的数字图像解码装置的一变形例的方框图。
图17是表示使用本发明实施例10的数字图像编码装置的填补方法的模式图。
图18是表示使用本发明实施例10的数字图像编码装置的填补方法的一变形例的模式图。
图19是表示本发明实施例11的数字图像填补方法的流程图。
图20是表示本发明实施例11的数字图像填补方法在所使用的区域的一个实施例的模式图，(A)填补值为水平方向上的有效像素值的平均值的例子，(B)填补值为水平方向上的有效像素值的反复填补的一个例子，(C)填补值为水平方向上的有效像素值的反复填补的另一个例子。
图21是表示本发明实施例12的数字图像的填补方法在所使用的区域的另一个实施例的模式图，(A)填补值为垂直方向上的有效像素值的平均值的例子，(B)填补值为垂直方向上的有效像素值的反复填补的一个例子，(C)填补值为垂直方向上的有效像素值的反复填补的另一个例子。
图22是表示本发明实施例13的数字图像填补方法的第1变形例的流程图。
图23是表示本发明实施例14的数字图像填补方法的第2变形例的流程图。
图24是表示以本发明实施例14的数字图像填补方法填补的图像的第1例的模式图。
图25是表示以本发明实施例14的数字图像填补方法填补的图像的第2例的模式图。
图26是表示以本发明实施例14的数字图像填补方法填补的图像的第3例的模式图。
图27是表示本发明实施例1 5的数字图像编码装置的方框图。
图28是表示本发明实施例15的数字图像编码装置的变形的方框图。
图29是表示本发明实施例16的数字图像解码装置的方框图，图30是表示本发明实施例17的数字图像编码装置的方框图。
图31是表示本发明实施例17的数字图像编码装置的变形的方框图。
图32是表示本发明实施例1 8的数字图像解码装置的方框图。
本发明的最佳实施方式下面使用具体实施例对本发明加以说明。
实施例1图1是表示本发明实施例1的数字图像填补方法的模式图。图像501是作为填补对象的图像。501的各格子表示像素，表示来自图像的样品。从像素502到507表示有效样品，其他样品表示无效状态。
在本实施例中，关于某一样品值是否有效，参照图像的形状信号。如果形状信号为0，就是无效，如形状信号为1，就是有效。
为了从图像501开始，生成箭头所示的图像508，如下面所示填补各无效样品。首先，对图像501的各行进行扫描。在该扫描处理中，一旦检测出有效样品，即以其值作为无效样品的值。例如，在对第1行进行扫描时，由于没有有效样品，就不进行填补处理。在对第2行进行扫描时，样品509、510、511为有效，而样品502是有效的，因此将样品502的值a作为相邻的无效样品511行的样品509、510、511的值填补。亦即以样品502的值依序反复填补无效样品511至510、509。同样，以样品503的值b反复填补样品512、513、514。第3行也同样填补，第4行由于没有有效样品，不进行任何填补。在这样填补的图像508中，第2行、第3行变成具有有效值的。
接着，以图像508为基础，填补余下的无效样品。如表示下一步骤的箭头方向的图像519所示，这一次进行列方向上的扫描，对于无效样品520与528，以在图像508的步骤中已经填补的各样品509与515填补。就这样，对于样品521到527、样品529到535也使用相同的方法填补。
通过如上所述的顺序进行填补，可以保持连续性，同时能够以简单的方法填补无效样品，因此能够保持图像质量，同时高效率地进行图像数据压缩处理等运算处理。
在本实施例中，进行了对水平与垂直的两个互相正交的方向的扫描填补，但是也可以进行倾斜方向的扫描。还可以首先对垂直方向进行扫描、填补，然後再对水平方向进行扫描、填补。又，在扫描方向上以离无效值最近的有效样品的值填补，但是只要是能够同样保持连续性，可以不受这一限制，图2是表示本发明实施例1的数字图像填补方法的第1变形例的模式图。在图像508中，对水平方向进行扫描时也可以以无效样品和有效样品的边界为中心进行镜像反射。例如，也可以以样品511和502作为反射镜的边界，样品502的值作为样品511的值，以样品503的值作为样品510的值。就这样，在表示图像501的箭头所示的步骤中，如图像508、519那样依序对图像501进行填补，填补所有无效样品。
图3是表示本发明实施例1的数字图像填补方法的第2变形例的模式图。这是无效样品处于有效样品之间的情况的填补方法。图中对在水平方向上扫描的情况进行说明，而扫描其他方向的情况也相同。样品612和613以样品602的值填补。也可以采用别的方法填补，像样品611和614那样以样品607的值填补。第1种方法是从左到右对样品进行扫描，将有效样品原封不动地延伸填补。第2种方法是从右到左扫描，将有效样品原封不动地延伸填补的情况。第3种方法是在扫描方向上以离无效样品最近的有效样品填补。样品615与618是这样进行填补的样品。最后，以处于无效样品的两侧的有效样品的平均填补。样品616和617就是这样填补的。
图4是表示本发明实施例1的数字图像填补方法的第3变形例的模式图。表示图像呈椭圆形的物体的、即有效样品集合于椭圆形上的情况，该图像基本上使用图1的方法填补。
图像701由有效样品的集合702构成。首先像图像703那样在水平方向上进行扫描、填补。接着，像图像704那样在垂直方向上进行扫描，用以有效样品或图像703进行填补的样品填补无效样品。另一方面，像图像705那样首先扫描垂直方向进行填补，然後扫描水平方向进行填补。将这样得到的两个填补图像704和706加以平均生成图像707。利用这样的填补方法，即使对于更加复杂的物体显示图像，也能够保持有效样品与填补的样品的连续性。因此能够保持图像质量并且高效率地进行运算处理。
实施例2图5是表示本发明实施例2的数字图像填补方法的模式图。
图像801由有效样品的集合802构成。首先在水平方向上对图像801进行扫描，以最近的有效样品值作为无效样品的值，生成生成图像803。同时在垂直方向上对图像801进行扫描，以最近的有效样品值作为无效样品的值，生成生成图像804。
将图像803与804平均，生成图像806。而将有效样品的集合802加以平均也得到相同值，因此对其不进行平均也可以。
对图像803与图像804两方的填补处理中重复填补的样品，将两填补值加以平均。在只有一方有填补值的情况下，以其为图像806的填补值。在图像803与图像804两方的填补处理中都没有填补值的样品保持为原来的无效样品。这样的无效样品，接着以离该样品最近的有效样品或填补的样品的值进行填补。在填补值有两个以上的候选值的情况下，以这些候选值的平均值填补。或者也可以以其中的一个填补。最后是像图像811那样，所有的样品都被填补。
本实施例的填补方法也和实施例1一样，是保持复杂形状的有效样品的集合与被填补的无效样品之间的连续性的另一发明的填补方法。
实施例3图6是表示本发明实施例3的数字图像填补方法的模式图。
图像901由有效样品的集合902构成。在本实施例中，决定包围有效样品的集合902的区域904，在该区域904中填补无效值。填补方法使用上面所述的方法。余下的区域905参照填补过的区域904以简单的填补方法填补，填补全部无效样品值(图像906)。
区域904最好是长方形的，但是也可以是其他形状的。区域904也可以是包含有效样品的集合902的最小的长方形或由最小的长方形扩展k个样品的长方形。k的值应该使长方形的尺寸满足规定的条件。例如决定k值使其成为16的倍数。
图7是表示本发明实施例3的数字图像填补方法的一个变形例的模式图。图像910由多个有效样品的集合911、912、913构成。分割为分别包含这些集合的区域915、916、917之后，在各区域中以上述方法填补。
采用本实施例的填补方法，通过预先规定处理范围，以进行高效率的运算处理。
实施例4图8是表示本发明实施例4的数字图像填补方法的模式图。
图像920在分割为M×N个样品构成的区域之后进行填补。最好是M=N=8或16，但是也可以取任意值，也可以分割成三角形等形状。区域921至929部分包含有效样品。参照这些样品的值以上述方法填补无效样品。
在填补不包含有效样品的区域930、931时，以规定的值填补(最好是128)，或参照最近的有效样品值填补。对区域930加以考虑。区域930在具有有效样品的区域中离区域929最近的。这通过求出区域左上方的取样的坐标点之间的距离就可以知道。求出区域929的有效取样值的平均值进行填补。
又，像区域931那样具有有效样品的最近的区域是区域922，也可以以该有效取样值的平均值填补，但是也可以原封不动地反复填补处于边界的取样934、935、936、937。
这样以规定的区域单位进行填补，使得能够更加有效地进行运算处理。
下面对本发明的数字图像填补方法适用于图像编码、解码装置的情况下的实施例加以说明。
实施例5图9是本发明实施例5的数字图像编码装置的方框图。在图9中，201是输入端子，202是第1加法器，203是编码器，204是离散余弦变换器(DCT)，205是量化器，206是输出端子，207是解码器，208是逆量化器，209是逆离散余弦变换器(IDCT)，210是第2加法器，211是可变长度编码器(VLC)，213是帧存储器，214是移动检测器，215是移动补偿器，240是第1填补器，241是第2填补器。
下面对具有如上所述结构的数字图像编码装置的动作加以说明。将具有任意形状的图像输人输入端子201。将输入的图像分割为多个相邻的区域。在本实施例中，分割为8×8或16×16的取样构成的区域，但是也可以是任意形状。经由线路225将作为编码对象的区域输入移动检测器214。同时将帧存储器213存储着的过去的重放图像(下称参照图像)输入移动检测器214，用区域匹配等方法求出对对象区域提供误差最小的预测信号的移动位移信息(下称移动矢量)并输出。
将该移动矢量传送到移动补偿器215，在那里将根据参照图像生成预测区域。移动矢量又经过线路228向VLC(211)输送，变换为可变长度代码。
对象区域送往第1填补器240，用上述实施例所示的方法填补，生成填补对象区域。预测区域送往第2填补器241，用上述方法填补，生成填补预测区域。将填补对象区域与填补预测区域送往第1加法器202取差分生成剩余区域。剩余区域在编码器203受到压缩。在本实施例中，利用DCT(204)及量化器205压缩。将被量化的数据送往VLC(211)变换为可变长度代码，与包含移动矢量的其他方面信息一起输出到输出端子206。
另一方面，将压缩过的数据送往解码器207进行扩展。在本实施例中，用逆量化器208进行逆量化，在IDCT(209)扩展为空间区域的数据。将经过线路227传送的填补预测区域数据与扩展的剩余区域数据相加，生成重放区域。将重放区域数据存储于帧存储器213。另外，为了表示取样值是否有效，参照预先将形状信号编码、解码的情况，这在图中未画出。
这样，通过填补对象区域和预测区域，可以抑制由于移动补偿引起的边缘部分的偏差而产生的大预测误差。
还有，也可以将填补器246配置于移动补偿器215前面(未图示)。又，在本实施例中使用了离散余弦变换，但是使用形状自适应离散余弦变换、子带和小波的情况也相同。
实施例6图10是本发明实施例6的数字图像编码装置的方框图。基本动作与实施例5相同。其不同点在于，在第1填补器240中，为了填补对象区域，使用用于填补预测区域的值。该值经过线243从第2填补器241传送到第1填补器240。这样，通过共用填补值可以使几乎所有的差分值为零，因此可以进一步抑制预测误差。
实施例7图11是本发明实施例7的数字图像解码装置的方框图。在图11中，301是输入端子，302是数据解析器，303是解码器，304是逆量化器，305是IDCT，306是加法器，307是输出端子，309是帧存储器，310是移动补偿器，330是填补器。
下面对具有上面所述的结构的数字图像解码装置的动作加以叙述。将压缩编码过的数据输入输入端子301，用数据解析器302对数据进行解析。经过线312将压缩过的剩余区域的数据输出到解码器303，经过线318将移动矢量输出到移动补偿器310。在解码器303将压缩剩余区域伸展，复原为伸展剩余区域。在本实施例中，用逆量化器304进行逆量化，用逆离散余弦变换IDCT(305)将频率区域信号变换为空间区域信号。经过线318将移动矢量输入移动补偿器310。在移动补偿器310，以移动矢量为依据生成用于访问帧存储器309的地址，从帧存储器309存储的图像生成预测区域。将生成的预测区域输送到填补器330，在那里以上述方法填补无效取样，生成填补预测区域。将填补预测区域和伸展的剩余区域输入加法器306相加生成重放区域。将重放区域输出到输出端子307，同时存储于帧存储器309。
在本实施例中，说明了对移动补偿过的预测区域进行填补，但是也可以一边进行移动补偿一边进行填补。这里所说的移动补偿包含叠加(overlap)移动补偿。还有，为了表示取样值是否有效，参照预先将形状信号解码的情况(未图示)。
图14是本发明实施例7的数字图像解码装置的一种变形的方框图。基本动作与图11相同。在这种情况下填补器332设置于移动补偿器310前面。
实施例8图12是本发明实施例8的数字图像编码装置的方框图。基本动作与图9相同。在这种情况下填补器212设置于帧存储器前面。来自加法器210的重放区域具有能够立即填补的优点。又在DCT(204)的前面设置填补器244。利用该填补器244进行填补，以使DCT系数变小。尤其对于差分区域，以零填补对象区域的无效区域。
图13是本发明实施例8的数字图像编码装置的一种变形的方框图。在图12的移动补偿器215后面增设填补器246。在进行移动补偿之后再填补预测信号，具有抑制预测误差的效果。
也可以将填补器246设置于移动补偿器215前面(未图示)。
实施例9图15是本发明实施例9的数字图像解码装置的方框图。这是与图12中的编码装置相对的解码装置。其基本动作与图14相同。在这种情况下，在帧存储器309前面设置填补器308。能够立即将重放的区域加以填补，存储于帧存储器。
图16是本发明实施例9的数字图像解码装置的一种变形的方框图。这是与图13中的编码装置相对的解码装置。基本上与图15相同。不同的是，在移动补偿器310的后面设置填补器330填补预测区域。
实施例10图17是本发明实施例10的数字图像编码装置、解码装置上使用的填补方法的模式图。这里以图11为例说明填补器330的动作。在图17中，对象图像(区域)940由有效样品的集合943和无效样品的集合944构成。斜线部分是有效区域。预测图像941是进行移动补偿得到的图像，由有效样品的集合945和无效样品的集合946构成。
在图11的解码装置中，将预测图像941填补后传送到加法器306。可以用填补器330将无效区域946全部填补，但是只填补对象图像的有效区域则运算量少。参照对象图像940的形状，决定预测图像的无效区域和对象图像的有效区域(图像942的区域947)，只填补该区域。
图18是本发明实施例10的数字图像编码装置、解码装置上使用的填补方法的一种变形的模式图。下面考虑作为填补对象的区域中有效样品一个也没有的情况。以图15的填补器308为例如加说明。以图18的区域962作为填补对象区域。在该区域由于没有有效样品值，所以不能够在区域内填补。
因此，在相邻的区域中寻找由至少一个有效样品值构成的区域，以其为参照进行填补。但是，在图15的填补器308中，由于区域962在区域964之前重放，因此不能参照区域964填补。所以，按照已重放过的区域966、965、961、963的顺序，寻找出包含有效样品的区域、并参照其进行填补。
另外，在移动补偿过的预测区域中不存在有效样品的情况下，也同样从与作为解码对象的区域相邻的重放区域中找出包含有效样品的区域参照填补。填补值的计算方法也可以使用平均值和反复填补。
如上所述可知，使用本发明的图像编码装置和图像解码装置，可以使对重放图像的图像质量没有影响的无效像素的像素值成为编码效率高的值进行编码，因此可以提高编码效率，其实用价值高。
实施例11图19是本发明实施例11的数字图像填补方法的流程图。将具有任意形状的图像输入、分割成多个相邻的区域，按预定的顺序对各区域进行扫描，逐个按图19的流程图的方法处理。在本实施例中，从图像左上角的区域开始，以与光栅扫描相同的顺序对区域进行扫描。区域的形状可以是三角形，也可以是长方形或正方形。在本实施例中，分割成由N×N个样品构成的正方形处理。N为8或16。下面将N×N个正方形称为区域。
首先，在步骤12，调查作为现在的处理对象的区域(现区域)是否完全在任意形状的图像、即物体之外。在完全处于物体之外的情况下，相应区域的样品值全部是无效的。在本实施例中，某一样品值是否有效看相应的图像的形状信号。形状信号为0就是无效的，形状信号为1就是有效的。
如果现区域不完全处于物体之外，即进入步骤14。在这里，调查与现区域相邻过去区域是否完全处于物体之外。这里所谓过去区域是在区域的扫描顺序中先处理的区域。如果相邻的过去区域完全处于物体之外，则在步骤16用规定的方法计算填补值，在步骤18置换掉相邻的过去区域的样品值、进行填补。
在步骤12，如果现区域完全处于物体之外，即进人步骤20。在这里调查相邻的去过的区域是否完全处于物体之外。如果不是，则在步骤22用规定的方法计算填补值，在步骤24置换掉现区域的样品值、进行填补。还有，在步骤18对邻接的过去区域进行过填补的情况下，在步骤20也可判断为不完全处于物之外。
反复进行该处理直到最后的区域(步骤26、28)实施例12图20、图21表示关于填补值的计算方法的模式图。图20是现区域与过去区域在水平方向上相邻的情况。在图20(A)中，区域132是现区域，区域130是过去区域。各格子表示图像的样品(像素)。取区域130为完全处于物体之外的区域，求现区域132所包含的有效样品值134、136、138、140、142、144的平均值，代入过去区域130的各格子以进行填补。在图20(B)中，重复现区域148的有效样品值150、152、154、156以填补过去区域146(假定为完全处于物体之外)的各格子。即分别以样品值150、152、154、156代入过去区域146的第1、2、3、4行的格子。又，在图20(c)中，现区域160完全处于物体之外，而过去区域158，不处于物体之外，在这种的情况下重复过去区域158的有效样品值162、164、166、168，填补现区域160的各格子。
图21表示现区域与过去区域在垂直方向邻接的情况。在图21(A)，区域172是现区域，区域170是过去区域。各格子表示图像的样品(像素)。把过去区域170设为完全处于物体之外，求现区域172中所含的有效样品174、176、178、180、182、184的平均值，代入过去区域170的各格子以进行填补。
在图21(B)中，重复现区域188的有效样品值190、192、194、196，以填补过去区域186(假定为完全处于物体之外)的各格子。亦即分别用有效样品值196、194、192、190代入过去区域186的第1、2、3、4列的格子。
又，在图21(C)中，现区域198完全处于物体之外，而过去区域199不处于物体之外，在这种情况下，重复过去区域199的有效样品值1100、1102、1104、1106，填被现区域198的各格子。还有，为了简化，对4×4的区域进行说明，而N×N(N为任意整数)的区域也相同。
实施例13图22是在图19的流程图中加入步骤13而成的。亦即，在现区域不完全处于物体之外的情况下，填补现区域中包含的物体外的区域。图20(A)是现区域132中包含物体外的区域的例子。样品134、136、138、140、142、144是位于物体内的有效样品，其他的样品(没有涂掉的格子)是处于物体外的无效样品。
为了填补这些无效样品，有的方法是用有效样品的平均值代入。在本实施例中，在水平、垂直方向上反复填补边界上的样品134、136、144。在有两个填补值的情况下，将两填补值加以平均。借助于在步骤13的现区域的填补，现区域的所有样品都被代入单一值，因此在步骤18的过去区域的填补，如图20(B)或图21(B)所示，可以重复填被处于现区域与过去区域的边界上的现区域的有效样品值。还可以用求平均值代人的方法取代重复填补。
实施例14图23表示在图22中，在步骤15、19、21限定于利用在水平方向上相邻的过去区域的处理的情况下的流程图。按照图23的处理填被的图像1108的例子示于图24。星形物体1110是有效物体，这以外的部分用无效样品构成。图像1108分割为7×7的区域。以与区域1112相同的模样涂掉的区域以图23的步骤13填补。以与区域1114同样的模样涂掉的区域以图23的步骤19或步骤24填补。
下面用图23与图24对本实施例的填补方法加以说明。首先考虑区域1112。在步骤12，由于现区域1112不完全处于物体之外，所以用步骤13填补。在步骤15，由于水平相邻的过去区域不完全处于物体之外，所以什么也不做。
接着对区域1114进行说明。在步骤12，现区域1114完全处于物体之外，因此进入步骤21。在这里，因为水平相邻的过去区域不完全处于物体之外，所以参照该过去区域在步骤24对现区域1114进行填补。
最好，对区域1116加以考虑。在步骤12现区域1116由于完全处于物体之外，因此进入步骤21。在这里，由于水平相邻的过去区域1115不完全处于物体之外，参照该区域1115在步骤24对现区域1116进行填补。
接着，考虑区域1117时，由于在步骤12现区域1117不完全处于物体之外，所以在步骤13填补，在步骤15中，由于水平相邻的过去区域1116完全处于物体之外，所以在步骤19填补。也就是说，区域1116被填补两次。在有多个填补值的情况下，把这些填补值加以平均。还有，在有多个填补值的情况下，也可以选择其中之一进行填补。这样做，可以使图像1108的物体在水平方向上扩展。填补。
又，使图23的步骤15、19与21的处理从水平变成垂直，则得到图25所示的在垂直方向上扩展、填补的图像。又，如果把水平与垂直加以组合进行处理，则如图26所示得到在水平、垂直方向上扩展填补的图像。这时在填充2次以上的情况下，把多个填补值的全部或一部分加以平均。还有，在有多个候补的填补值的情况下，也可以用处理顺序上最近的候补值填补。
下面对把本发明的数字图像填补方法使用于图像编码、解码装置的情况下的实施例加以说明。
实施例15图27表示本发明实施例15的数字图像编码装置，在图27中，201为输入端子，202表示第1加法器，203表示编码器，204表示离散余弦变换器(DCT)，205表示量化器，206表示输出端子，207表示解码器，208表示逆量化器，209表示逆离散余弦变换器(IDCT)，210表示第2加法器，211表示可变长度编码器(VLC)，212表示填补器，213表示帧存储器，214表示移动检测器，215表示移动补偿器。
下面对具有如上所述结构的数字图像编码装置的动作加以叙述。把具有任意形状的图像输入至输入端子201。将输入的图像分割成多个相邻的区域。在本实施例中，分割成8×8或16×16个样品构成的区域，但也可以是任意形状。
作为例子，可参考图24。将作为编码对象的区域经过线路225输入移动检测器214。同时把帧存储器213中存储着的过去的重放图像(下称参考图像)输入移动检测器214，用区域匹配(matchign)等方法求对于对象区域提供误差最小的预测信号的移动位移信息(下称移动矢量)加以输出。
将该移动矢量传送到移动补偿器21 5，在那里，从参考图像生成预测区域。移动矢量又经过线路228送往VLC(211)，变换为可变长度代码。把对象区域和预测区域送往第1加法器202取差分，生成剩余区域。用编码器203把剩余区域加以压缩。在本实施例中，利用DCT(204)及量化器205压缩。
被量化的数据送往VLC(211)变换为可变长度代码，与包含移动矢量的其他附属信息一起输出到输出端子206。
另一方面，把压缩的数据送到解码器207，进行扩展。在本实施例中用逆量化器208进行逆量化，在IDCT(209)扩展为空间区域的数据。在扩展的剩余区域上加上经线路227传送的预测区域、生成重放区域。把该重放区域输入填补器212，用实施例11说明的填补方法，置换重放区域的无效样品值进行填补。把填补过的重入区域存储于存储器213。还外，为了表示样品值是否有效，参照把形状信号预先进行编码、解码的信号，这在图中未表示出来。
帧存储器213存储的填被图像为例如图24、25、26所示的样子。将填补过的图像经线路224传送到移动检测器214和移动补偿器215。在本实施例中，把移动检测和移动补偿的范围限制在填补的区域内(图24、25、26中为涂掉的区域)。也就是说，不访问填补过的区域以外的样品。
图28是在图27的图像编码装置上连接记录器229的图像编码装置。把利用VLC(211)进行可变长度编码过的数据经记录器229记录在磁介质(磁带和磁盘)、光盘等记录媒体上。
这样利用填补与物体的边界区域相邻的区域，使移动检测、移动补偿的范围变宽，即使对移动大的图像也能得到剩余小的预测区域。又，本发明的填补方法由于对每一区域(block)进行，因此可以抑制延迟时间和运算量。
还有，在本实施例中使用离散余弦变换，但是使用形状自适应离散余弦变换、子带或小波变换的情况也相同。
实施例16图29表示本发明实施例16的数字图像解码装置，在图29中301为输入端子，302为数据解析器，303为解码器，304为逆量化器，305为IDCT，306为加法器，307为输出端子，308为填补器，309为帧存储器，310为移动补偿器。
下面对具有如上所述结构的数字图像解码装置的动作加以说明。把压缩编码的数据输入到输入端子301，用数字解析器302解析数据。把压缩过的剩余区域的数据经过线路312输出到解码器303，把移动矢量经过线路318输出到移动补偿器310。解码器303把压缩剩余区域扩展。复原为扩展剩余区域。在本实施例中，用逆量化器304进行逆量化，用逆离散余弦变换IDCT(305)把频率域信号变换成空间域信号。把移动矢量经过线路318输入移动补偿器310。
在移动补偿器310，以移动矢量为依据生成访问帧存储器309用的地址，根据帧存储器存储的图像生成预测区域。把生成的预测区域和扩展的剩余区域输入加法器306，进行加法运算，生成重放区域。把重放区域输出到输出端子307，同时输入填补器308，用实施例11说明的填补方法填补重放的图像，存储于帧存储器309中。
实施例17图30表示本发明实施例17的数字图像编码装置。基本结构与图27相同。使用补始化器230取代填补器212。在将图像写入帧存储器213之前，利用初始化器230以规定的初始化值对帧存储器213进行初始化。在初始化过的帧存储器213写入第2加法器210输出的重放区域。初始化值也可以使用固定的数值。又可以使用过去重放过的图像的有效样品值的平均值。
图31是在图30的图像编码装置上连接记录器229的装置。利用VCL(211)进行可变长度编码的数据经记录器229记录于磁介质(磁带和磁盘)、光盘等记录媒体上。
实施例18图32表示本发明实施例18的数字图像解码装置。基本结构与图29相同。使用初始化器320取代填补器308。在将图像写入帧存储器309之前，利用初始化器320用规定的补始化值对帧存储器309实施初始化。在初始化过的帧存储器309中写入从加法器306输出的重放区域。初始化值也可以使用固定的数值。又可以使用过去重放过的图像的有效样品值的平均值。
工业应用性本发明用简单的填补方法用移动补偿过的小区域或重放的小区域为单位进行填补，以此可以大幅度减少运算量。由于填补范围局限于小区域，因此可以比涉及整个画面进行填补缩短延迟时间。而且，不仅填补边界区域，也填补只由邻近边界区域的无效样品值构成的区域，由于以其进行移动检测、移动补偿，因此对于移动大的图像，可以得到差分小的预测信号。由于这些重要因素，带来了任意形状图像的预测编码解码能够高效率地进行的效果。
权利要求
1．一种数字图像填补方法，其特征在于，在包含表示物体的图像信息的数字图像数据中，将所述图像分割为相邻的多个区域，将所述无效像素值近旁的有效像素值进行函数变换，填补包含所述物体形状边界的区域的无效样品值。
2．根据权利要求1所述的数字图像填补方法，其特征在于，填补无效像素值的有效像素值经过函数变换填补的无效像素值与所述有效像素值相邻。
3．根据权利要求1所述的数字图像填补方法，其特征在于，将包含所述物体形状边界的区域的有效像素值进行函数变换，填补包含物体形状边界的区域的近旁的、只由无效样品值构成的无效区域。
4．一种图像编码装置，其特征在于，具有由表示每一像素的像素值是否有效的有效信号构成的图像信号为输入信号、并从已经解码的图像信号生成相对于所述输入信号的预测图像信号的预测图像生成手段、用以规定的函数从无效像素近旁的有效像素值生成的像素值填补在所述图像信号中无效像素并输出的像素值生成手段、从所述像素值生成手段的输出减去所述预测图像生成手段的输出的减法手段、将所述减法手段的输出进行编码的编码手段、将所述编码手段的输出进行解码的解码手段、将所述解码手段的输出与所述预测图像生成手段的输出相加的加法手段，以及暂时存储所述加法手段的输出以便在所述预测图像生成手段使用的存储手段，将所述编码器的输出作为图像编码装置的输出。
5．根据权利要求4所述的图像编码装置，其特征在于，像素值生成手段填补只由与物体形状的边界相邻的无效样品值构成的无效区域。
6．一种数字图像解码手段，其特征在于，具有将输入信号解码的解码手段、从已经解码的图像信号生成相对于所述输入信号的预测图像信号的预测图像生成手段、用以规定的函数从所述预测图像信号的有效像素值生成像素值，以所述像素值置换所述预测图像信号的无效像素的像素值并输出的像素值生成手段、将所述解码手段的输出与所述像素值生成手段的输出相加的加法手段，以及暂时存储所述加法手段的输出以便在所述预测图像生成手段使用的存储手段，将所述加法手段的输出作为图像解码输出。
7．根据权利要求6所述的数字图像解码装置，其特征在于，像素值生成手段填补只由与物体形状的边界相邻的无效样品值构成的无效区域。
8．一种图像填补方法，其特征在于，具有第1填补处理与第2填补处理，在所述1填补处理，沿着第1方向对有效和无效样品值构成的任意形状的图像的样品进行扫描，在所述第1方向，将以规定的方法选择的有效样品值作为无效样品的值生成第1填补图像，在所述第2填补处理，沿着第2方向对有效和无效样品值构成的所述第1填补图像的各样品进行扫描，在所述第2方向，用以所述规定的方法选择的有效样品值或所述第1填补处理填补的样品值，作为所述第1填补图像的无效样品的值。
9．一种图像填补方法，其特征在于，具有第1填补处理与第2填补处理，在所述第1填补处理，沿着第1方向对有效和无效样品值构成的任意形状的图像的样品进行扫描，在所述第1方向，以最近的位置上的有效样品值作为无效样品值生成第1填补图像，在所述第2填补处理，沿着第2方向对有效和无效样品值构成的所述第1填补图像的各样品进行扫描，在所述第2方向，用最近的位置上的有效样品值或在所述第1填补处理填补的样品值，作为所述第1填补图像的无效样品的值。
10．根据权利要求1或2所述的图像填补方法，其特征在于，第1方向与第2方向正交。
11．一种图像填补方法，其特征在于，具有第1填补处理、第2填补处理、第3填补处理和第4填补处理，在所述第1填补处理，沿着第1方向对有效和无效样品值构成的任意形状的图像的样品进行扫描，在所述第1方向，将以规定的方法选择的有效样品值作为无效样品的值生成第1填补图像，在所述第2填补处理，沿着第2方向对有效和无效样品值构成的所述第1填补图像的各样品进行扫描，在所述第2方向上，用以所述规定的方法选择的有效样品值或所述第1填补处理填补的样品值，作为所述第1填补图像的无效样品的值生成第2填补图像，在所述第3填补处理，沿着第3方向对所述任意形状的图像的样品进行扫描，在所述第3方向上，将用所述规定的方法选择的有效样品值作为无效样品的值生成第3填补图像，在所述第4填补处理，沿着第4方向对所述第3填补图像的各样品进行扫描，在所述第4方向上，用以所述规定的方法选择的有效样品值或所述第3填补处理填补的样品值，作为所述第3填补图像的无效样品的值生成第4填补图像，将所述第2填补图像与所述第4填补图像加以平均。
12．一种图像填补方法，其特征在于，具有第1填补处理、第2填补处理和第3填补处理，在所述第1填补处理，沿着第1方向对有效和无效样品值构成的任意形状的图像的样品进行扫描，在所述第1方向上，将以规定的方法选择的有效样品值作为无效样品的值生成第1填补图像，在所述第2填补处理，沿着第2方向对所述任意形状的图像的各样品进行扫描，在所述第2方向上，用以所述规定的方法选择的有效样品值作为无效样品的值生成第2填补图像，将所述第1填补图像与所述第2填补图像加以平均，生成第3填补图像，这时所述第1填补图像和所述第2填补图像两者具有填补值或有效值的情况下，将两者的值加以平均作为所述第3填补图像的样品值，在只有所述第1填补图像和所述第2填补图像中的任意一个具有有效填补值的情况下，以所述有效填补值作为所述第3填补图像的样品值，在所述第1填补图像和所述第2填补图像中的任意一个都不具有有效填补值的情况下，以所述第3填补图像的样品作为无效样品，在所述第3填补处理，对于所述第3填补图像的无效样品，将处于所述无效样品的周边的有效样品值加以平均，作为无效样品的值。
13．一种图像填补方法，其特征在于，将具有N个(N=1、2、3、4…)互相隔离的有效样品的集合的任意形状的图像分割成包围所述N个集合的N个区域，将对于第m个(m=1、2、…、N)区域用被包围的所述有效样品的集合的值以规定的方法生成的填补值作为无效样品的值。
14．一种图像填补方法，其特征在于，将任意形状的图像分割成多个区域，对至少包含一个无效样品的对象区域，以规定的方法从所述对象区域的有效样品生成填补值，作为所述对象区域的无效样品的值。
15．一种图像填补方法，其特征在于，将任意形状的图像分割成多个区域，对有效样品一个也不包含的对象区域，以规定的填补值填补所述对象区域。
16．一种数字图像编码装置，其特征在于，具备输入手段、第1填补器、预测图像生成器、第2填补器、第1加法器、编码器、解码器、第2加法器及帧存储器，向所述输入手段输入任意形状的图像，以所述第1填补器用第1种方法求出的填补值填补所述任意形状图像中包含的无效样品，生成填补输入图像，在所述预测生成器从所述帧存储器生成预测图像，以所述第2填补器用第2种方法求出的填补值填补所述预测图像中包含的无效样品，生成填补预测图像，将所述对象填补图像与所述填补预测图像输入第1加法器，生成差分图像，将所述差分图像输入所述编码器，以规定的方法压缩为压缩差分图像，将所述压缩差分图像输人所述解码器，以规定的方法复原为伸展差分图像，将所述伸展差分图像输入所述第2加法器，加上所述填补预测图像，生成重放区域，存储于所述帧存储器。
17．一种数字图像编码装置，其特征在于，具备输入手段、第1填补器、预测图像生成器、第2填补器、第1加法器、编码器、解码器、第2加法器及帧存储器，向所述输入手段输入任意形状的图像，以所述预测生成器从所述帧存储器生成预测图像，以所述第1填补器用规定的方法求出的填补值填补所述预测图像中包含的无效样品，生成填补预测图像，以所述第2填补器用规定的方法求出的填补值填补所述任意形状的图像中包含的无效样品，生成填补输入图像，将所述对象填补图像与所述填补预测图像输入第1加法器，生成差分图像，将所述差分图像输入所述编码器，以规定的方法压缩为压缩差分图像，将所述压缩差分图像输入所述解码器，以规定的方法复原为伸展差分图像，将所述伸展差分图像输入所述第2加法器，加上所述填补预测图像，生成重放区域，存储于所述帧存储器。
18．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、预测图像生成器、填补器及帧存储器，向所述输入手段输入压缩编码数据，以所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，在所述预测图像生成器从所述帧存储器取得预测信号，以所述填补器用规定的方法填补所述预测信号中包含的无效样品值，生成填补预测信号，用所述加法器将所述伸展差分信号和所述填补预测信号相加，生成重放信号输出，同时存储于所述帧存储器。
19．一种数字图像编码装置，其特征在于，具备输入手段、第1加法器、编码器、解码器、第2加法器、填补器及帧存储器，向所述输人手段输人任意形状的图像，将所述任意形状的图像和来自所述帧存储器的的预测图像输入所述第1加法器，生成差分图像，将所述差分图像输入所述编码器，以规定的方法压缩为压缩差分图像，将所述压缩差分图像输入所述解码器，以规定的方法复原为伸展差分图像，将所述伸展差分图像输入所述第2加法器，加上所述预测图像，生成重放图像，将所述重放图像输入所述填补器，以规定的方法填补所述重放图像中包含的无效样品值，存储于所述帧存储器。
20．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、填补器及帧存储器，向所述输人手段输入压缩编码数据，以所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，用所述加法器将所述伸展差分信号和从所述帧存储器得到的预测信号相加，生成重放信号输出，同时用所述填补器以规定的方法填补所述重放信号中包含的无效样品值，存储于所述帧存储器。
21．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、预测图像生成器、第1填补器、第2填补器、及帧存储器，向所述输人手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述预测图像生成器从所述帧存储器取得预测信号，所述第1填补器以第1种方法填补所述预测信号中包含的无效样品值，生成填补预测信号，所述加法器将所述伸展重放信号与所述填补预测信号相加，生成重放信号输出，同时用所述第2填补器以第2种方法填补所述重放信号中包含的无效样品值，存储于所述帧存储器。
22．一种数字图像填补方法，其特征在于，在数字图像解码中，输入具有第1图像内容的对象图像，生成具有第2图像内容的预测图像数据，在填补所述预测图像时，根据所述第1图像的内容改变所述预测图像的无效区域的填补范围。
23．根据权利要求22所述的数字图像填补方法，其特征在于，预测图像的无效区域的填补范围是第2图像的无效区域与第1图像的有效区域的重叠区域。
24．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、预测图像生成器、填补器及帧存储器，向所述输入手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述预测图像生成器从所述帧存储器取得预测信号，所述填补器以规定的方法填补所述预测信号中包含的无效样品值，生成填补预测信号，所述加法器将所述伸展差分信号与所述填补预测信号相加，生成重放信号输出，同时存储于所述帧存储器，所述数字图像解码装置的所述填补器将所述预测信号的填补范围限定于所述重放信号的有效样品的区域。
25．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、预测图像生成器、填补器及帧存储器，向所述输入手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述预测图像生成器从所述帧存储器取得预测信号，所述填补器以规定的方法填补所述预测信号中包含的无效样品值，生成填补预测信号，所述加法器将所述伸展差分信号与所述填补预测信号相加，生成重放信号输出，同时存储于所述帧存储器，所述数字图像解码装置在所述预测信号中包含的样品都是无效的情况下，以用与所述预测信号相邻的有效样品值以规定的方法求得的填补值填补。
26．一种数字图像解码装置，其特征在于，具备输入手段、数据解析器、解码器、加法器、填补器及帧存储器，向所述输入手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述加法器将所述伸展差分信号与从所述帧存储器取得的预测信号相加，生成重放信号输出，同时所述填补器以规定的方法填补所述重放信号中包含的无效样品值，存储于所述帧存储器，所述数字图像解码装置在所述重放信号中包含的样品都是无效的情况下，以用与所述重放信号相邻的有效样品值以规定的方法求得的填补值填补。
27．一种数字图像填补方法，其特征在于，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用规定的方法求得的填补值填补与位于形状的边界的边界区域相邻的只由无效样品值构成的无效区域。
28．一种数字图像填补方法，其特征在于，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用所述边界区域的有效样品值、用规定的函数求得的填补值填补与位于形状的边界的边界区域相邻的只由无效样品值构成的无效区域。
29．一种数字图像填补方法，其特征在于，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用第1函数求得的第1填补值填补与位于形状的边界的边界区域的无效样品值，以用所述填补过的边界区域的样品值、用第2函数求得的第2填补值填补与所述边界区域相邻的只由无效样品值构成的无效区域。
30．根据权利要求27～29中的任一项所述的数字图像填补方法，其特征在于，填补相对于边界区域在水平方向上相邻的只由无效样品值构成的无效区域。
31．根据权利要求27～29中的任一项所述的数字图像填补方法，其特征在于，填补相对于边界区域在垂直方向上相邻的只由无效样品值构成的无效区域。
32．根据权利要求27～29中的任一项所述的数字图像填补方法，其特征在于，在有多个填补值的情况下，将所述多个填补值平均作为填补值使用。
33．一种数字图像填补方法，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用规定的方法求得的填补值填补与位于形状的边界的边界区域相邻的只由无效样品值构成的无效区域，其特征在于，在对象区域不是无效区域的情况下，如果在所述规定的顺序与所述对象区域相邻的过去的区域是无效区域，则以用规定的方法求得的填补值填补所述过去的区域，在对象区域是无效区域的情况下，如果在所述规定的顺序与所述对象区域相邻的过去的区域不是无效区域，则以用规定的方法求得的填补值填补所述对象区域。
34．一种数字图像填补方法，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用规定的方法求得的填补值填补与位于形状的边界的边界区域相邻的只由无效样品值构成的无效区域，其特征在于，在对象区域不是无效区域的情况下，如果在所述规定的顺序与所述对象区域相邻的过去的区域是无效区域，则以用所述对象区域的有效样品值、用规定的函数求得的填补值填补所述过去的区域，在对象区域是无效区域的情况下，如果在所述规定的顺序与所述对象区域相邻的过去的区域不是无效区域，则以用所述过去的区域的有效样品值、用规定的函数求得的填补值填补所述对象区域。
35．一种数字图像填补方法，将任意形状的数字图像分割为多个区域，按照规定的顺序处理所述多个区域，以用规定的方法求得的填补值填补与位于形状的边界的边界区域相邻的只由无效样品值构成的无效区域，其特征在于，在对象区域不是无效区域的情况下，将所述对象区域中所包含的无效样品值以用第1种函数求得的填补值代人，在所述规定的顺序中，如果与所述对象区域相邻的过去的区域是无效区域，则以用所述填补过的对象区域的样品值、用第2种函数求得的填补值填补所述过去的区域，在对象区域是无效区域的情况下，如果在所述规定的顺序与所述对象区域相邻的过去的区域不是无效区域，则以用所述过去的区域的样品值、用所述第2函数求得的填补值填补所述对象区域。
36．根据权利要求33～35中的任一项所述的数字图像填补方法，其特征在于，填补相对于边界区域在水平方向上相邻的只由无效样品值构成的无效区域。
37．根据权利要求33～35中的任一项所述的数字图像填补方法，其特征在于，填补相对于边界区域在垂直方向上相邻的只由无效样品值构成的无效区域。
38．根据权利要求33～35中的任一项所述的数字图像填补方法，其特征在于，在有多个填补值的情况下，将所述多个填补值平均作为填补值使用。
39．一种数字图像编码装置，具备输入手段、第1加法器、编码器、解码器、第2加法器、填补器及帧存储器，向所述输入手段输人任意形状的数字图像，将所述数字图像分割为互相相邻的多个区域，以所述多个区域为对象区域以规定的顺序处理，将所述对象区域与所述帧存储器来的预测区域输入所述第1加法器，生成差分区域，将所述差分区域输入所述编码器，以规定的方法压缩为压缩差分区域，将所述压缩差分区域输入所述解码器，以规定的方法复原为伸展差分区域，将所述伸展差分区域输入所述第2加法器，加上所述预测区域，生成重放区域，将所述重放区域输入所述填补器，以规定的方法填补所述重放区域中包含的无效样品值，存储于所述帧存储器，其特征在于，所述填补器以权利要求27～29和权利要求33～35中的任一项所述的方法填补。
40．一种数字图像解码装置，具备输入手段、数据解析器、解码器、加法器、填补器及帧存储器，向所述输入手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述加法器将所述伸展差分信号与从所述帧存储器取得的预测信号相加，生成重放信号输出，同时所述填补器以规定的方法填补所述重放信号中包含的无效样品值，存储于所述帧存储器，其特征在于，所述填补器以权利要求27～29和权利要求33～35中的任一项所述的方法填补。
41．一种数字图像编码装置，其特征在于，具备输入手段、第1加法器、编码器、解码器、第2加法器及帧存储器，向所述输入手段输入任意形状的数字图像，将所述数字图像分割为互相相邻的多个区域，将所述多个区域作为对象区域按照规定的顺序处理，将所述对象区域和来自所述帧存储器的预测区域输入所述第1加法器，生成差分区域，将所述差分区域输入所述编码器，以规定的方法压缩为压缩差分区域，将所述压缩差分区域输入所述解码器，以规定的方法复原为伸展差分区域，将所述伸展差分区域输入所述第2加法器，加上所述预测区域，生成重放区域，以规定的初始化值将所述帧存储器初始化，将所述重放区域写在所述初始化了的帧存储器上存储。
42．根据权利要求41所述的数字图像编码装置，其特征在于，规定的初始化值是在编码顺序中过去图像的有效样品值的平均值。
43．一种数字图像解码装置，具备输入手段、数据解析器、解码器、加法器及帧存储器，向所述输人手段输入压缩编码数据，用所述数据解析器分析所述压缩编码数据，输出压缩差分信号，用所述解码器将所述压缩差分信号复原为伸展差分信号，所述加法器将所述伸展差分信号与从所述帧存储器取得的预测信号相加，生成重放信号输出，同时以规定的初始化值将所述帧存储器初始化，将所述重放信号写在所述初始化了的帧存储器上存储。
44．根据权利要求43所述的数字图像解码装置，其特征在于，规定的初始化值是在解码顺序中过去的图像中包含的有效样品值的平均值。
全文摘要
本发明提供用延迟时间与运算量少的处理对移动大的图像能够生成误差小的预测信号的图像填补方法及使用该方法的装置,提供的数字图像填补方法及使用该方法的图象编码、解码装置是在包含表示物体的图像信息的数字图像数据中,将图像分割为相邻的多个区域,对无效像素值近旁的有效像素值用函数进行变换,填补包含物体形状边界的区域的无效样品值。
文档编号G06T9/00GK1209934SQ97191907
公开日1999年3月3日 申请日期1997年1月21日 优先权日1996年1月29日
发明者奥野万纪, 文仲丞 申请人:松下电器产业株式会社