专利名称：使用分级图象分割技术编码视频信号的装置的制作方法
技术领域：
本发明涉及一种用于对视频信号编码的装置，更具体地，涉及一种使用分级图象分割技术对视频信号编码，从而改善其图象质量的改进的装置。
在数字视频系统，例如电视电话、电视会议或高清晰度电视系统中，需要用大量的数字数据来确定每个视频帧信号，因为在视频帧信号中的视频行信号包括一序列被称为象素值的数字数据。但是，由于传统的传输信道的可利用的频常宽度是有限的，为了通过它传输大量的数字数据，不可避免地要通过使用各种数据压缩技术来压缩或减少数据量，尤其是在如电视电话及电视会议系统这样的低位速视频编解码(编码-解码)系统中更是如此。
这些用于低位速编码系统的视频信号编码的方法之一是所谓的以分割为基础的编码技术。
在以分割为基础的编码技术中，一个当前图象帧的输入视频信号首先基于包括在当前图象帧中的象素亮度电平被替换成多个分割区域。一种最广泛使用的图象分割技术是K平均值算法，其中每个象素被变换成预定数目的在其之间产生最小误差的代表亮度电平之一，由此提供包括多个分割当前区域的分割当前图象，而每个分割当前区域具有代表亮度电平中的一个。
然后，计算包括在每个分割当前区域中的象素原始亮度电平的平均值。变换在每个分割当前区域上的每个预定代表亮度电平然后用其相应的计算平均值来更新。这种变换及更新处理相对于原始输入图象序贯地重复下去，直到每个新更新的平均值与它先前的更新平均值之间的差小于一预定阈值。
在图象分割后，对分割的当前图象的每个分割当前区域相对于包括在其在先分割的图象中的分割在先区域进行运动估算。这就是首先对每个分割当前区域的最后更新平均值与每个分割在先区域的最后更新平均值之间的差值作出计算，以选择一个获得最小差值的分割在先区域。然后，确定每个分割当前区域的运动信息，其中运动信息代表被选择的分割在先区域。
最后，对确定出的每个分割当前区域的运动信息与它的轮廓及差值信息进行编码。具有两种类型的构成轮廓信息的信息形状及位置。形状信息指的是每个轮廓的形状而位置信息涉及图象中每个轮廓的位置。以及作为差值信息，每个分割当前区域的最后更新平均值与选择的分割在先区域的最后更新平值之间的差值被编码。
但是，由于在传统的基于分割的编码技术中，用于取得分割当前区域的亮度电平的波动范围通常大于当前图象及其在先图象之间色度电平的波动范围，对于每个分割当前区域确定的运动信息可能是不精确的，这又可能使编码的视频信号的图象质量降级。
因此，本发明的主要目的在于提供使用一种改进的图象分割技术对视频信号编码的装置，该技术对包含在视频信号中的象素色度及亮度电平分级地进行分割，由此改善其图象质量。
根据本发明，提供了一种改进的对输入视频信号编码的装置，其中输入视频信号包括一序列图象帧，每个图象帧具有预定数目的象素，及每个象素由亮度电平及色度电平表示，该装置包括一个色度分离电路，用于对包含在输入视频信号的当前图象帧中的象素分离色度电平，以产生当前彩色图象；一个色度分割电路，用于通过使用产生的当前彩色图象获得多个分割的当前色度区域，以产生每个分割当前色度区域的轮廓及结构特征信息，其中轮廓信息表示所述每个分割当前色度区域的形状及位置，及结构特征信息表示包含在所述每个分割当前色度区域中的所有象素的平均色度电平；一个存储器，用于存储及延迟多个分割当前色度区域的轮廓及结构特征信息，以提供延迟信息作为用于分割在先色度区域的轮廓及结构特征信息；一个运动估算器，用于计算每个分割当前色度区域的结构特征信息及每个分割在先色度区域的结构特征信息之间的差值，以选择一个产生最小差值的分割在先色度区域，并用于产生代表包含在所述每个分割当前色度区域中所有象素位置的搜索区域信息、表示选出的分割在先色度区域的运动信息以及代表所述每个分割当前色度区域的结构特征信息与选出的分割在先色度区域的结构特征信息之间差值的差值信息；一个亮度分离及分割电路，它响应搜索区域信息，用于从当前图象帧中分离出它的具有亮度电平的相应分割亮度区域并用于通过使用包含在分割亮度区域中的亮度电平获得多个子分割亮度区域，以提供各子分割亮度区域的轮廓及结构特征信息，其中轮廓信息代表所述每个子分割亮度区域的形状及位置，而结构特征信息代表在所述每个子分割亮度区域中所有象素的平均亮度电平；及一个编码器，用于对每个分割当前色度区域的轮廓及特征信息、运动信息、差值信息和每个子分割亮度区域的轮廓及结构特征信息进行编码，以提供编码的视频信号。
通过以下结合附图对优选实施例的描述，将会使本发明的上述及另外的目的和特征更加阐明，
图1为表示本发明的用分级图象分割技术对视频信号编码的新装置。
参照附图，它给出一个根据本发明的使用分级图象分割技术对视频信号编码的新装置。本发明的视频信号编码装置100包括第一及第二帧存储器10及40，第一及第二图象分割处理器20及50，一个运动估算器30及一个视频信号编码器60。
如图中所示，包含一序列图象帧的输入视频信号被逐帧地提供给第一帧存储器10，用于存储它。每个图象帧包括M×N个象素，其中，M×N个象素的每一个由亮度电平(L)及色度电平(C)来表示，且M和N为正整数。正如本技术领域中众所周知的，亮度电平(L)代表象素的亮度，而色度电平(C)携有由两种彩色度Cr及Cb表示的象素彩色信息。
当前图象帧的色度数据首先由第一图象分割处理器20中的色度分离电路21从第一帧存储器10中分离出来，以产生当前色度图象，其中色度数据代表包括在当前图象帧中的象素的色度电平。然后所产生出的当前色度图象被提供给第一图象分割处理器20中的色度分割电路22。
在色度分割电路22中，当前色度图象通过使用一种本技术领域中公知的传统图象分割技术、例如K平均值算法被替换成多个分割当前色度区域，以产生分割数据、即用于每个分割当前色度区域的轮廓及结构特征信息。该轮廓信息代表每个分割当前色度区域的形状及位置，及结构特征信息代表包含在每个分割当前色度区域中所有象素的最后更新的平均色度电平。
尤其是，包含在来自色度分离电路21的当前色度图象中的每个色度电平与预定数目的代表色度电平相比较；并计算它们之间的误差值。应当指出，代表色度电平的数目可基于视频信号编码装置所需的色度分割效率及图象质量来确定。然后，每个色度电平由获得最小误差值的一个代表色度电平来变换或置换。
一旦对于当前色度度图象中所有象素的色度电平的变换处理已被执行时，将变换的代表色度电平分割成多个区域，其中每个分割区域包括由一个代表色度电平表示的各象素。然后计算出包括在每个分割区域中各象素原始色度电平的平均值；及对变换到每个分割区域上的每个代表色度电平用它相应的计算平均值来更新，由此产生更新平均值。
这种变换及更新处理相对于象素的原始色度电平被序贯地重复下去，直到每个新更新的平均值与它的在先更新的平均值之间的差值小于一预定阈值TH为止，其中该阈值TH为一正整数。
当这些变换及更新处理已完成时，色度分割电路22产生出用于多个分割当前色度区域中每一个的轮廓及结构特征信息并将该信息提供给运动估算器30及第二帧存储器40，其中轮廓及结构特征信息具有与上述相同的定义。
第二帧存储器40用于存储来自色度分割电路22的所有分割当前色度区域的轮廓及结构特征信息并将该信息延迟一帧时间间隔。然后将该延时的轮廓及结构特征信息从第二帧存储器40输送到运动估算器30，作为用于多个分割在先色度区域的轮廓及结构特征信息。
在运动估算器30上，为了产生同色度分割电路22直接供给的分割当前色度区域的运动信息，首先将它们中的每个按顺序校准，作为搜索区域。然后计算搜索区域的结构特征信息或最后更新平均值与从第二帧存储器40中读出的分割在先色度区域中每个的结构特征信息或最后更新平均值之间的误差；并选择出一个得到最小误差的分割在先色度区域。
然后，运动估算器30将选择出的分割在先色度区域确定为用于搜索区域的运动信息。从运动估算器30输出到视频信号编码器60的是搜索区域的运动信息及轮廓信息，及代表搜索区域结构特征信息与选择出的分割在先色度区域的结构特征信息之间差值的差值信息。而从运动估算器30输出到第二图象分割处理器50的是代表包含在搜索区域中象素位置的搜索区域信息。
如图中所示，第二图象分割处理器50包括亮度分离电路51及亮度分割电路52。响应来自运动估算器30的搜索区域信息，亮度分离电路51从存储在第一帧存储器10中的当前图象帧分离出它相应的亮度数据，以提供与搜索区域相对应的分割亮度区域，其中亮度数据代表包含在分割亮度区域中的象素的亮度电平。包含亮度电平的分割亮度区域然后被提供给亮度分割电路52。
在亮度分割电路52上，通过例如使用如在色度分割电路22的情况下所述的K平均值算法将分割亮度区域进一步地分割，以便获得多个子分割亮度区域。对于分割亮度区域的子分割使用了多个代表亮度电平。应该理解，代表亮度电平的数目可以基于视频信号编码装置所需的亮度分割效率及图象质量来确定。在每个子分割亮度区域中的所有象素由基于象素亮度电平获得的最后更新平均值来表示。
由亮度分割电路52输出到视频信号编码器60的是对于每个子分割亮度区域的轮廓及结构特征信息，其中轮廓信息代表每个子分割亮度区域的形状及位置，及结构特征信息代表包括在每个子分割亮度区域中象素的最后更新平均值。
在视频信号编码器60上，对来自于运动估算器30的搜索区域的轮廓信息、运动信息及差值信息和来自于亮度分割电路52的与搜索区域对应的每个子分割亮度区域的轮廓及结构特征信息进行编码。然后将编码的视频信号提供给一个发送器(未示出)用于将其发送。如上所述，本发明通过使用发明的分级图象分割方法对输入视频信号有效地执行分割及运动估算，能够改善编码视频信号的图象质量。
参然本发明是针对具体的实施例进行图解及描述的，但显然，对于熟悉本技术领域的人员，在不偏离附设权利要求所限定的本发明精神和范围的情况下可作出变化及改型。
权利要求
1.对输入视频信号编码的装置，其中输入视频信号包括一序列图象帧，每个图象帧具有预定数目的象素，及每个象素由亮度电平及色度电平表示，该装置包括用于对包含在输入视频信号的当前图象帧中的象素分离色度电平，以产生当前彩色图象的装置；分割装置，用于通过使用产生的当前彩色图象获得多个分割的当前色度区域，以产生每个分割当前色度区域的轮廓及结构特征信息，其中轮廓信息表示所述每个分割当前色度区域的形状及位置，及结构特征信息表示包含在所述每个分割当前色度区域中的所有象素的平均色度电平；装置，用于存储及延迟多个分割当前色度区域的轮廓及结构特征信息，以提供延迟信息作为用于分割在先色度区域的轮廓及结构特征信息；装置，用于计算每个分割当前色度区域的结构特征信息与每个分割在先色度区域的结构特征信息之间的差值，以选择一个产生最小差值的分割在先色度区域，并用于产生代表包含在所述每个分割当前色度区域中所有象素位置的搜索区域信息，和表示选出的分割在先色度区域的运动信息以及代表所述每个分割当前色度区域的结构特征信息与选出的分割在先色度区域的结构特征信息之间差值的差值信息；装置，它响应搜索区域信息，用于从当前图象帧中分离出它的具有亮度电平的相应分割亮度区域并用于通过使用包含在分割亮度区域中的亮度电平获得多个子分割亮度区域，以提供每个子分割亮度区域的轮廓及结构特征信息，其中轮廓信息代表所述每个子分割亮度区域的形状及位置，而结构特征信息代表在所述每个子分割亮度区域中所有象素的平均亮度电平；及装置，用于对每个分割当前色度区域的轮廓及结构特征信息、运动信息、差值信息和每个子分割亮度区域的轮廓及结构特征信息进行编码，以提供编码的视频信号。
2.根据权利要求1所述的装置，其中用于获得多个分割当前色度区域的所述分割装置是基于K平均值算法工作的。
全文摘要
一种对视频信号编码的装置包括一处理器，用于对在视频信号的当前图象帧中的象素分离色度电平以产生当前彩色图象，并用于将产生的图象分割成多个当前色度区域以提供每个分割当前色度区域的轮廓及结构物特征信息；一单元，用于产生表示选出的分割在先色度区域的运动信息及代表分割当前色度区域与选出的分割在先色度区域之间的平均电平差的信息；一处理器，用于产生用于每子分割亮度区域的轮廓及结构特征信息；及一单元，用于对每个信息进行编码。
文档编号H04N7/26GK1139356SQ9610399
公开日1997年1月1日 申请日期1996年3月29日 优先权日1995年3月31日
发明者金镇宪 申请人:大宇电子株式会社