专利名称：对视频信号中的目标轮廓进行编码的方法及装置的制作方法
技术领域：
本发明涉及一种视频信号的编码方法及其装置，尤其是用于对视频信号中目标的轮廓进行编码的方法的装置。
在象可视电话、电话会议及高清晰度电视系统的数字视频系统中，由于视频帧信号包括一系列称为象素值的数字数据，因而需要大量的数字数据来定义每一个视频帧信号。然而，由于普通发送信道可用频带宽度有限，为了通过其发送大量数字数据，就需要通过采用各种数据压缩技术来压缩或降低该数据量，尤其是在象可视电话或电话会议系统这种低比特速率视频信号编码器的情况下更是如此。
用于对低比特速率编码系统的视频信号进行编码的技术之一是面向目标的分析-合成编码技术，其中把输入的视频图象分成几个目标并经不同的编码信道处理用于定义每一目标的运动、轮廓和象素数据的三套参数。
这种面向目标的编码方案的一个实例是所谓的MPEG(运动图象专家组)阶段(MPEG-4)，它旨在提供一个音频-视频编码标准，以便实现在例如低比特速率通信、交互式多媒体(例如游戏机、交互式电视等)及监测的应用中的根据内容的对话、改进的编码效率和/或普遍的可用性。(例如可见MPEG-4视频验证模式片本2、0，国际标准化组织，ISO/IECJTC1/SC29/WG11 N1260，1996年3月)根据MPEG-4，输入的视频图象的帧被分成多个视频目标平面(VOP’S)，它们是可由用户以比特数据流的形式所存取并操作(剪切、粘贴等)的实体，并可称之内一个目标。每个VOP的宽度和高度可以是绕每个目标的16个象素(一个宏模块的的尺寸)的最小倍数，以使得编码器以逐个VOP为基础(即以逐个目标为基础)处理输入的视频信号，该VOP包括由亮度(Y)和色度(U，V)成分构成的颜色信息以及由例如二进制掩码表示的形状信息。
在对目标的形状进行处理过程中，对于目标的形状的分析与合成来说，轮廓信息是重要的。表示这样的轮廓信息的传统的编码方案之一是一种链式编码技术。但是，在这种链式编码技术中，对于比特量的需求是相当过量的。
为了克服这一缺陷，已经提出了轮廓逼近技术，例如多边形逼近，B仿样曲线逼近，以及采用多边形逼近和离散正弦变换(DST)的轮廓编码技术，以便有效地对目标的轮廓编码。然而，由于对目标的轮廓的编码与暂态的冗余量无关，所以为进行在轮廓逼近技术中的轮廓编码，仍需要大的比特量。
与此相关，包括轮廓运动估计技术的轮廓编码方法已经被提出来改善上述的问题。这种编码方案的一个共有未决申请中，其中国专利申请号是_____。题为“利用轮廓运动估计技术对视频信号中的目标轮廓进行编码的方法”，其中利用多边逼近和DST对两个连续视频帧之间的一个目标的轮廓的差进行编码。
虽然用前述轮廓运动估计技术有可能去除一个目标的轮廓的一些暂态冗余量，减少所发送数据量，但仍然希望进一步降低发送数据的量。以便成功地实现具有例如64kb/s发送信道带宽的低比特速率编码系统的性能。
因此，本发明的首要目的是提供一种用于对视频信号中的目标的轮廓进行编码的改进的方法和装置，它能够进一步降低发送的数据量。
本发明的另一目的是提供一种改进的方法和装置，它能够降低对一个目标轮廓进行运动估计的计算负担或复杂性。
根据本发明，它提供了用于对以数字视频信号所表示的目标的轮廓进行编码的一种方法，该数字视频信号具有包括当前帧和先前帧的多个视频帧，该方法包括以下的步骤(a)，通过对所述每一个轮廓的象素位置进行平均，确定当前和先前轮廓的形心；(b)确定这些形心之间的位移；(c)通过把先前轮廓移动上述位移量来产生预测的当前轮廓；(d)根据预测的当前轮廓和当前轮廓产生一个重叠的轮廓；(e)根据重叠轮廓和当前轮廓形心，检测表示预测的当前轮廓和当前轮廓之间的形状差的偏移信息；以及(f)对该偏移信息进行编码。
以下述结合附图对本发明实施例的描述中，本发明的上述及其它目的及特征将变得显见，附图中，
图1是本发明视频信号编码器的框图；图2是图1所示的当前轮廓预测单元的详细框图；图3A和3B是描述偏移计算处理的示意图。
参考图1，其中示出本发明用于对一个目标轮廓进行编码的装置的框图，该目标是以具有包括先前帧和当前帧的多个视频帧的视频信号所表示的。
目标的当前轮廓图象数据，例如以当前帧的VOP(视频目标平面)的形式表示的数据，被送到当前形心计算单元100和匹配单元110，其中该当前轮廓图象数据包括轮廓象素的位置数据，该轮廓象素表示处在该目标轮廓处的象素。
根据本发明的优选实施例，当前形心计算单元100通过对当前轮廓的全部轮廓象素的坐标进行平均来确定当前轮轮廓的形心，并产生当前形心的位置数据。该当前形心位置数据被耦合到匹配单元110，并经线路L10送到当前轮廓预测单元130。
参考图2，它示出了包括先前形心计算块210和运动矢量检测块220的当前轮廓预测单元130详细框图，。与在当前形心计算单元100中一样。该先前形心计算块是根据经由线路L30从图1所示的帧存储器160提取并输入的先前轮廓图象数据计算先前形心位置数据，并把该先前形心位置数据输出到运动矢量检测块220，其中存储在帧存储器160中的该先前轮廓图象数据包括在先前帧中目标轮廓象素的位置数据。该运动矢量检测块220根据线路L10上的当前形心位置数据和从先前形心计算块210提供的先前形心位置数据来计算当前轮廓形心和先前轮廓形心之间的位移。计算出的位移作为运动矢量经线路L20送到匹配单元110和轮廓重建单元180且经线路L40送到熵编码器170。
再参考图1，匹配单元110将从帧存储器160提供的先前轮廓图象数据移动该运动矢量。并产生重叠的轮廓图象数据以将其提供到偏移检测单元120，其中该重叠的轮廓图象数据包括与当前形心位置数据完全一样的形心位置数据以及当前轮廓和一个预测的当前轮廓，即已被移位的先前轮廓的识别的轮廓象素的位置数据。数据本发明，该偏移检测单元120根据重叠轮廓图象数据检测当前轮廓和预测和当前轮廓之间的差异。
参考图3A和3B，它们是描述偏移检测过程的示意图。在图3A中，以简单的闭合凸形曲线为例，说明当前轮廓和预测的当前轮廓的偏移的检测过程，其中该偏移检测单元120首先从一预定基准段线开始，从形心T引一套数目为M的径向等弧角基础段线，两条相邻基础段线间的角度的值是2π/M弧度，其中M是大于1的整数；随后将每两个相邻基础段线例如第i和第(i+1)条基础段线间的角度再细分，在其中画出数目为N-1的径向等角次级段线，例如K1至K15，其中N是正整数。随后，偏移检测单元120检测总共M×N条段线与重叠轮廓的交叉点，例如在图3A例中所示，在预测当前轮廓OB1上的点A至P以及在当前轮廓OB2上的点A’到P’，一旦数目为M×N的段线的全部交叉点都被检测，该偏移检测单元120则从(例如)基准段线开始顺时针移动，计算在所有段线与当前轮廓的所有交叉点例如A’、B’、C’…P’处的误差，其中每个误差的计算是通过从形心T和每条段线与预测当前轮廓交叉点间的距离，(例如TA减去形心T和每条段线与当前轮廓交叉点间的距离(例如TA)而实现的。在利用如上所述的偏移检测过程计算在当前轮廓OB2上的所有交叉点处的误差之后，这些误差被分成一套阵列组，每个阵列包括如下例的N个误差D1＝〔d11，d12…，d1j，…，d1N〕D2＝〔d21，d22…，d2j，…，d2N〕DI＝〔dI1，dI2…，dIj，…，dIN〕DM＝〔dM1，dM2…，dMj，…，dMN〕其中DI表示第I个阵列；dI1表示第I条基础段线的一个误差；dIj表示第I和第(I+1)基础段线间的第j条次级段线的一个误差，I和j的范围分别是从1到M和从2到N；dMj表示在第M和第一条基础(即基准的)段线之间的第j条次级段线的误差。
在本发明的另一个优选实施例中，基础段线的数目M被适度地调节到重叠轮廓的尺寸。就是说，根据形心T和在预测当前轮廓OB1上的相交点之间的距离，首先计算针对一预定M的均值；并随后调节数目M，使得其相对合适的阈值使M随着均值的增加而增加。
参考图3B，其中示出在预测当前轮廓和当前轮廓不是简单的凸曲线形状，即重叠的轮廓和段线之间的交叉点大于2的情况下的偏移检测过程，偏移检测单元120首先以象图3A那样的方式引出M×N条段线，并检测每条段线与当前轮廓的交叉点的数目。如果任何一条段线与当前轮廓的交叉点数目大于1，该处理过程则先按下一步骤寻找基准的径向线。例如象图3B所示，如果在第i和第i+2条基础段线之间的某些段线具有多于一个的与当前轮廓的交点，就从形心T引出一系列的径向线；检测当前轮廓OB2和每条径向线之间的交叉点数，相邻径向线之间的角度是一个预定的小值。基准径向线被定义为与当前轮廓相切的径向线。例如，基准径向线R1和R2与当前轮廓OB2在P1和P2两点相切，点P1和P2是转折点，曲线轨迹在此反向。一旦确定了象R1和R2这样的基准径向线，就移动和该基准径向线最接近的基础段线以便与该基准径向线相重叠，从而提供重新排列的基础段线，例如，第i和第i+2条基础段线分别被移到R1和R2的位置。当不能得到最靠近基准径向线的基础段线时，就采用下一条最靠近的可用基础段线。在重新设置的基础段线之间重新设置N-1条次级段线，以使得由这些次级段线所细分的全部角度幅值都相等。并且检测每一重新设置的段线和重叠轮廓之间的交叉点。一旦在重新设置的M×N条段线上的全部交叉点都被检测，该偏移检测单元120就计算在每一段线与当前轮廓的全部交叉点处的误差。在段线与当前轮廓和预测当前轮廓分别相交于一点的情况下，每个误差的计算都以与图3A所描述的相似的方式进行。
然而，如果段线与当前轮廓或预测当前轮廓的交叉点多于一点，则在当前轮廓与段线的每一交叉点处的误差是由预测当前轮廓与段线的交叉点当中的与距心最接近的一个交叉点所确定。例如，重新安排的第i′基础段线与当前轮廓OB2有两个交叉点P0和P2，而与预测当前轮廓OB1有三个交叉点L0、L3和L4。此情形中，在P0和P2处的误差是根据L0而通过从距离TL0分别减去TP0和TP2而获得的，其中的点L0是在重新安排的第i′段线与预测当前轮廓OB1的交点中与形心T最接近一个点。同样，在P1和P3的误差是根据L1计算的，它比其余的交叉点L2和L5更接近于形心。在利用上述的偏差检测过程计算了所有的段线与当前轮廓OB2的全部交叉点的误差之后，这些误差从基准基础段线与当前轮廓交叉点开始沿当前轮廓以预定的例如顺时针方向按交叉点出现的顺序排列。以与图3A所用的相似的方式，排列的误差被分组成一套阵列。然而应当指出，对于每一对基础段线i’、(i+1)和(i+1)、(i+2)′生成例如对应于线P0P4、P5P2、P2P6等等的三个一组的阵列，由上述过程所确定的代表一套阵列的偏差信息被从偏移检测单元120发送到图象信号编码器140，并将转折点信息发送到熵编码器170和轮廓重建单元180，其中该转折点信息包括这些转折点例如P1和P2的位置信息，以及表示它们沿轮廓出现的顺序的信息。
利用例如一维DCT(离散余弦变换)和其它任何公知的量化技术，图象信号编码器140将每个包含在来自偏移计算单元120的偏差信息中的阵列变换成一套量化变换系数。这些套量化的变换系数再被发送到熵编码器170和图象信号解码器150。
在熵编码器170，来自图象信号编码器140的一套量化变换系数、在线路L40上的来自当前轮廓预测单元130的运动矢量以及来自偏移检测单元120的转折点信息通过利用例如已知的可变长度编码技术被一起编码，并发送到发射机(没示出)以进行发送。
同时，图象信号解码器150采用反向量化和逆DCT把来自图象信号编码器140的若干套量化变换系数转换回成重建的偏移信息，并把重建的偏移信息送到轮廓重建单元180，轮廓重建单元180通过把来自帧存储器160的先前轮廓移位运动矢量而产生出预测的当前轮廓，并根据预测的当前轮廓、来自图象信息解码器150的该重建的偏移信息和来自偏移检测单元120的转折点信(如果存在的话)，产生要被作为刷新的先前轮廓存储在帧存储器160中的重建的当前轮廓。
虽然仅根据特定的优选实施例对本发明作了描述，可如后面权利要求所述在不背离本发明的精神和范围的条件下作出修改和变动。
权利要求
1.用于对以数字视频信号表示的目标的轮廓进行编码的一种方法，该数字视频信号具有包括当前帧和先前帧的的多个视频帧，该方法包括以下步骤(a)通过对当前轮廓和先前轮廓中的每一轮廓的象素位置进行平均，确定当前和先前轮廓的形心，其中该当前的和先前的轮廓分别表示在当前和先前帧中的目标的轮廓；(b)检测这些形心之间的位移；(c)根据先前的和当前的轮廓和该位移产生重叠的轮廓；(d)根据重叠的轮廓和当前轮廓的形心检测表示先前和当前轮廓之间的形状差的偏移信息；以及(e)对该偏移信息进行编码。
2.如权利要求1的方法，其中所说的步骤(c)包括以下步骤，(c1)通过把先前轮廓移位该位移量而产生预测的当前轮廓；(c2)以当前轮廓的形心为基准将预测的当前轮廓和当前轮廓相重叠，从而产生重叠的轮廓。
3.如权利要求2的方法，其中所说的步骤(d)包括如下步骤(d11)从当前轮廓的形心引出多条径向段线；(d12)针对每一条段线检测当前轮廓的交叉点和预测当前轮廓的交叉点，所说的每一条段线分别与当前轮廓和预测当前轮廓相交在当前轮廓和预测当前轮廓的交叉点处；以及(d13)根据每一段线的交叉点之间的差，计算在当前轮廓交叉点处的误差，从而产生偏移信息。
4.如权利要求3的方法，其中的误差取决于当前轮廓的形心和在每一段线上的预测当前轮廓交叉点之间的距离，其中的预测当前轮廓的交叉点是根据每条段线的交叉点之间的距离决定的。
5.如权利要求4的方法，其中的误差是通过从当前轮廓的形心和预测当前轮廓交叉点之间的距离减去当前轮廓的形心和当前轮廓交叉点间的距离而被确定的。
6.如权利要求5的方法，其中所说的步骤(d)中进一步包括在步骤(d11)之前的如下步骤(d21)检测重叠轮廓的尺寸；以及(d22)根据该重叠轮廓的尺寸确定径向段线的数目。
7.如权利要求5的方法，其中所说的步骤(d)进一步包括在步骤(d13)之后的如下步骤把偏移信息分组成多个阵列，每个阵列具有一个预定的误差数。
8.如权利要求7的方法，其中的分组的偏移信息被以逐个阵列为基础而被编码。
9.如权利要求2的方法，其中所说的步骤(d)中包括如下的步骤(d31)从预置的基准段线开始，从当前轮廓的形心引出数目为M的基础径向段线，M是大于1的整数；(d32)检测在当前轮廓上的一个或多个转折点，一个转折点代表在当前轮廓上的这样一个点，一条连接当前轮廓的形心和该转折点的线与该当前轮廓相切于该转折点；(d33)在每两条相邻基础径向段线之间引出N-1条次级径向段线；N是正整数；(d34)标记每一条基础和次级径向段线与当前轮廓的一个或多个交叉点；(d35)寻找每一条基础和次级径向段线与预测当前轮廓的一个交点；并(d36)对于所说的每一条段线，沿当前轮廓以预定方向移动，根据在当前廓上的交叉点和在预测当前轮廓上的交叉点之间的差异计算在每一当前轮廓交叉点处的误差，从而产生该偏移信息。
10.如权利要求9的方法，其中每一条基础和次级径向段线与预测当前轮廓的交叉点是在所说的每一条段线与预测当前轮廓的诸多交叉点中的最接近当前轮廓形心的一个交叉点。
11.如权利要求10的方法，其中在所说的步骤(d)中，在步骤(d31)之前还包括以下步骤(d41)检测重叠轮廓的大小；并且，(d42)根据该重叠轮廓的大小确定数目M。
12.如权利要求10的方法，如果检测到转折点的话，在所说的步骤(d)中在步骤(d32)之后还包括以下步骤寻找最接近转折点的基础径向段线并把该基础径向段线移到该转折点；并且当该最接近的基础径向段线不能获得的时候，使用下一条最接近的可用的基础径向段线。
13.如权利要求12的方法，其中在所说的步骤(d)中，在步骤(d36)之后还包括以下步骤将偏移信息分组成多个阵列，每个阵列具有预定的误差数目。
14.如权利要求13的方法，其中的预定数目与数目N对应。
15.如权利要求14的方法，其中已分组的偏移信息以逐个阵列为基础而被编码。
16.用于对以数字视频信号表示的目标的轮廓进行编码的一种装置，该数字视频信号具有包括当前帧和先前帧的多个视频帧，该装置包括装置，通过对当前和先前轮廓中的每一轮廓上的象素位置进行平均确定当前和先前轮廓的形心，其中该当前和先前轮廓分别表示在当前和先前帧中的目标的轮廓；装置，用于检测这些形心之间的位移；装置，根据先前的和当前的轮廓和该位移产生重叠的轮廓；装置，根据重叠的轮廓和当前轮廓的形心检测表示先前和当前轮廓之间的形状差的偏移信息；和装置，对该偏移信息进行编码。
17.如权利要求16的装置，其中所说的重叠的轮廓的产生装置包括装置，通过把先前轮廓位移该位移量产生预测的当前轮廓；装置，以当前轮廓的形心为基准将预测的当前轮廓和当前轮廓相重叠，从而产生重叠的轮廓。
18.如权利要求17的装置，其中所说的偏移信息检测装置包括装置，从当前轮廓的形心引出多条径向段线；装置，针对每一条段线检测当前轮廓的交叉点和预测当前轮廓的交叉点，所说的每一条段线分别与当前轮廓和预测当前轮廓相交在该当前轮廓和预测当前轮廓的交叉点处；以及装置，根据每一段线的交叉点之间的差，计算在当前轮廓交叉点处的误差，从而产生偏移信息。
19.如权利要求18的装置，其中的误差取决于当前轮廓的形心和在每一段线上的预测当前轮廓交叉点之间的距离，其中的预测当前轮廓的交叉点是根据每个段线的交叉点之间的距离决定的。
20.如权利要求19的装置，其中的误差是通过从当前轮廓的形心和预测当前轮廓交叉点之间的距离减去当前轮廓的形心和当前轮廓交叉点间的距离而被决定的。
21.如权利要求20的装置，其中所说的偏移信息检测装置还包括装置，用于检测重叠轮廓的尺寸，以及装置，根据该重叠轮廓的尺寸确定径向段线的数目，
22.如权利要求20的装置，其中所说的偏移信息检测装置还包括用于把偏移信息分组成多个阵列的装置，每个阵列具有一个预定的误差数。
23.如权利要求22的装置，其中的已分组的偏移信息在逐个阵列的基础上被编码。
24.如权利要求17的装置，其中所说的偏移信息检测装置包括装置，从预置的基准段线开始，从当前轮廓的形心引出数目为M的基础径向段线，M是大于1的整数；用于检测在当前轮廓上的一个或多个转折点的装置，一个转折点代表在当前轮廓上的这样一个点，一条连接当前轮廓的形心和该转折点的线与该当前轮廓相切于该转折点；在每两条相邻基础径向段线之间引出N-1条次级径向段线的装置，其中N是正整数；用于标记每条基础和次级径向段线与当前轮廓的一个或多个交叉点的装置；寻找每一条基础和次级径向段线与预测当前轮廓的一个交叉点的装置；以及装置，针对所说的每一条段线，沿当前轮廓以预定方向移动，根据在当前轮廓上的交叉点和在预测当前轮廓的交叉点之间的差异计算在每一当前轮廓交叉点处的误差，以而产生出偏移信息。
25.如权利要求24的装置，其中每一条基础和次级径向段线与预测当前轮廓的交叉点是在所说的每一条段线与预测当前轮廓的诸多交叉点当中的最接近当前轮廓形心的一个交叉点。
26.如权利要求25的装置，其中所说的偏移信息检测装置还包括用于检测重叠轮廓的尺寸的装置；以及根据该重叠轮廓的尺寸确定数目M的装置。
27.如权利要求25的装置，如果检测到转折点的话，其中所说的偏移信息检测装置还包括用于寻找最接近转折点的基础径向线段并把该基础径向段线移到该转折点的装置，并且当该最接近的基础径向段线不能获得的时候，使用下一条最接近的可用的基础径向段线。
28.如权利要求27的装置，其中所说的偏移信息检测装置还包括装置，用于将偏移信息分组成多个阵列，每个阵列具有预定的误差数目。
29.如权利要求28的装置，其中的预定数目对应于数目N。
30.如权利要求29的装置，其中的已分组的偏移信息在逐个阵列的基础上被编码。
全文摘要
一种采用改进的轮廓运动估计技术对以数字视频信号表示的目标的轮廓编码的方法，该数字视频信号具有包括当前帧和先前帧的多个视频帧，首先通过对每一轮廓上的象素位置进行平均分别确定当前和先前轮廓的形心，并将其间的位移作为运动矢量输出，根据该运动矢量将先前轮廓移位，以产生预测的当前轮廓。根据预测的当前轮廓、当前轮廓和当前轮廓的形心检测表示预测的当前轮廓和当前轮廓之间差异的偏移信息，并对该信息编码。
文档编号H03M7/30GK1168057SQ96109638
公开日1997年12月17日 申请日期1996年9月2日 优先权日1996年6月12日
发明者金镇宪 申请人:大宇电子株式会社