根据运动图像专家组标准编码图像的方法和装置的制作方法

专利名称：根据运动图像专家组标准编码图像的方法和装置的制作方法
技术领域：
本发明涉及到一种用于将细小图像嵌入到一幅编码图像中的基于运动图像专家组(MPEG)标准的图像编码方法。
直到最近几年，产生的图像通常是在电视信号广播经营者之间以未压缩的形式(即，用普通文字形式)来传输和交换的。
当它必需要适合于一个原始节目时，该图像的处理是基于专业的硬件来实现的。例如，当一个导演需要利用一个来自并行处理频道的报道时，在一个混合器的帮助下，他可以轻易地嵌入他自己的图标，诸如说明字幕信息，比赛的比分等，而不用附加的设备。
目前，数据的广播和交换是以被压缩的数据形式执行的，例如根据MPEG标准，则嵌入技术需要附加的硬件在混合器的输入端用于将压缩图像引进基带的解码器，用于在已经修改之后重新-编码序列的编码器。此外，要完成一种质量更好的重新-编码，就必需提供一对知道如何管理辅助信息的解码器/编码器，该辅助信息被加到编码信号中并且在达到重新-编码器之前经过所有的演播室设备，从而使系统复杂。
本发明的目的是要克服上述的缺点。
本发明的主题是根据运动图像专家组(MPEG)标准的图像编码方法，用于将至少一个细小图像嵌入到一幅图像中，其利用具有关于一幅参考图像动态判断的中间模式和内部模式，其特征在于包含一些宏模块的排斥区，所述宏模块部分均匀地位于在该参考图像中确定的细小图像位置中，在参考图像中，不属于该排斥区图像的宏模块动态判断不能考虑属于排斥区的一个图像模块。
根据一种特定的实施方式，用于属于排斥区的图像的宏模块编码的中间模式是具有零动态向量的中间模式。
根据一种特定的实施方式，强制执行内部模式用于对属于排斥区(4)的图像的宏模块的编码。
根据一种特定的实施方式，它执行属于排斥区参考图像的宏模块的标记操作。
根据一种特定的实施方式，该标记操作通过减少等于最大编码值，然后强迫属于排斥区宏模块的亮度值为这个最大值，执行宏模块亮度值的代码转换。
根据一种特定的实施方式，对于给定的一行宏模块，该编码操作分配一个具体的片段给属于排斥区的宏模块。
根据一种特定的实施方式，用于将细小图像嵌入到一幅编码图像中的方法，其特征在于内部-编码的片段的宏模块由与该细小图像有关的宏模块替换。
根据一种特定的实施方式，该替换包括对应排斥区的内部-编码的宏模块的恢复，这些宏模块的基带解码，与要嵌入该排斥区的细小图像的混合，获得的图像的编码以便于提供替换宏模块。
根据一种特定的实施方式，该编码为属于排斥区的宏模块调整量化间隔作为将要嵌入的编码宏模块的消耗的一个函数。
本发明还涉及按照MPEG标准编码数字视频数据的装置，用于将至少一个细小图像到一幅图像中，该装置包括减法器，它在第一输入端接收内部宏模块和在第二输入端接收将被从内部宏模块减去的预知宏模块，以便提供中间宏模块；电路，其用于选择接收相应内部宏模块或中间宏模块的中间或内部模式，用于根据能量标准选择宏模块之一；用于转换和量化所选择的宏模块以便提供量化系数的宏模块的电路；用于量化系数宏模块的可变-长度编码的电路和用于在编码装置的输出端提供数据流的缓冲存储器)，用于从量化系数的宏模块中获得的重新组成的宏模块的反相量化和反相变换电路，对预知宏模块的重新组成的宏模块的加法器，以便于提供重建的宏模块；用于储存重建的宏模块和提供重建的图像的存储器和预报器；动态估值器，其接收内部宏模块和重建宏模块以便于为该存储器和预报器提供动态向量(MV)以便计算该预知的模块；调整电路，其接收来自缓冲存储器的信息以便为转换和量化电路设置量化间隔，其特征在于
选择电路和动态判断电路接收属于排斥区(ZE)的信息项，排斥区(ZE)包含部分均匀地位于细小图像位置中的宏模块，选择电路强制实施属于这个排斥区的宏模块的内部-编码，该动态判断电路计算动态向量同时从属于排斥区的重建图像块中删除动态向量指示。
根据一种特定的实施方式，其特征在于该调整电路接收确定排斥区的信息项以便为在这个排斥区的宏模块调整转换和量化电路的量化间隔。
本发明的原理在于确定图像中的排斥区，确定不属于这些区域的独立于这些区域执行的图像的编码，确定在不是排斥区的动态向量指示，根据具体情况考虑。细小图像对一个图像序列的嵌入能够以一种简单的方式执行，同时限制对预定区域的图像解码。
本发明的主要优点是它避免使用复杂和昂贵设备，即专业的解码器和编码器。由于所使用的这些格式，比如高画质电视格式或者HDTV，事实是需要使用复杂的设备。
如果该嵌入是在MPEG数据流级实现，则图像的解码和编码也简单地被去掉，或者限制到当在基带中工作时，以内部模式编码的图像的区域，允许通过软件解码和重新编码这些区域而不需要任何动态估值器和其他的复杂解码电路。
从下面参考附图给出的例子的描述，本发明的其他特点和优点将变得更清楚，附图包括

图1示出了在参考图象中的一个排斥区，图2示出了在该参考图象的搜索窗口中预知宏模块的禁止位置，图3示出了本发明的编码装置，图4示出了由本发明的编码装置使用的动态估值器。
在具有动态补偿比如符合MPEG标准的系统的图像编码系统中，搜索关于给定图像模块的动态向量是相对于先前处理的参考图像来实现的并且被传输给解码器。
图1显示第一幅图像1，称为源图像，和第二幅图像2，称为参考图像，从这里看源图像是编码的。源图像的一个图像模块3的编码是通过实现这个模块与相同维数的一些模块的相互性来完成的，这些模块包含在参考图像的一个搜索窗口以便确定一个给定最佳相互关系的参考模块。因此该编码对应于剩余的模块。这个模块是通过源图像的模块和参考模块之间亮度和色度差别来获得的以便提供一个差别模块，然后通过这个差别模块的离散余弦变换以致提供一个剩余模块的系数模块。该参考模块由一个表示相对于这个参考模块的当前模块置换的动态向量来确定。该动态向量的一些元素和被压缩的数据一起，以MPEG数据流的形式传送。
源图像和参考图像的尺寸是完全相同的，一个向量可以指向包含在该参考图像中的任何区域。
根据本发明的编码方法利用一个动态判断，该判断排除指示一个或者更多的声明禁止区以及相应要嵌入或者混合的细小图像的动态向量。
更准确地确定，有意嵌入到图像中并且可以具有任何维数的细小图像定义在该图像中的位置。声明禁止的区域或者具有宏模块分辨率的排斥区，那就是说它不仅仅对应于位于这个位置内的完整地图像宏模块的集合，而且也对应于侵占这个位置的一些宏模块。
在参考图像2中描绘了一个排斥区(ZE)或者禁止区4。这个区是根据例如分别位于该区顶端左边和底部右边的指向Ba和Ea的坐标来确定的，就是说当考虑电视扫描时在该区的起始端和该区的终止端。这些坐标是一些包括这些点的宏模块的数目或者是行数目和在该行内的宏模块数目。这个区还可以由构成该区宏模块的数目来确定。
一个动态向量Vx，y是根据先前提到的相互关系步骤计算出的。在我们的例子中，它指明位于禁止区中的一个模块。根据本发明的方法，这个模块不被模块3的编码所采用。
在图2中，相同的参考编号用于表明与图1中共同的元素。在这个例子中，在其中对与当前模块3最相关的模块进行搜索的搜索窗口5表示为阴影。根据该动态向量Vx，y确定的模块侵占在排斥区4上，而这个动态向量也不被采用。
采用的动态向量将是给定最佳相互关系的并且没有指定侵犯到禁止区的模块的一个向量。因此，在搜索窗户指定的并且包含属于排斥区标点的模块被从最后的关于给定宏模块的选择中排除掉。如果在该搜索窗口中所有的可能位置都侵占排斥区，那么，对于有关的宏模块，该动态向量被强迫为零。
这是由包含在构成共用编码装置中的动态估值器使用的方法。让我们在下面给出图3中描绘的这个编码装置的描述。
在数字编码之后，重新排序并且根据MPEG标准切分成一些宏模块的图像序列源图像，一个宏模块接一个宏模块地被传送到该装置的输入端Is。这个输入端并行地连接到减法器6的第一输入端，连接到中间/内部模式选择器7的第一输入端以及连接到动态估值器12的第一输入端。减法器的输出连接到模式选择器7的第二输入端。选择器的输出连接到编码电路8的第一输入端，该电路实现接收宏模块的离散余弦变换以及获得系数宏模块的量化。这些宏模块被传送给可变-长度编码电路13然后传送给缓冲存储器14，它的输出是该装置以数据流形式传递编码数据的输出。为了配置传送数据流，可变-长度编码电路13与句法生成器16交换数据。它也接收源于动态估值器12的动态信息。该缓冲存储器14的第二输出连接到一个调整电路15，该电路15传送信息给编码电路8第二输入端。
出自编码电路8的编码宏模块还被传送给实现与编码电路8反相操作的解码电路9。因此重新组成的宏模块被传送给加法器10的第一输入。该加法器的输出连接到存储器的第一输入以及连接到在输出端提供预报宏模块的预报电路11。这个宏模块被传送给减法器6的第二输入和加法器10的第二输入。
在第二输入端，动态估值器12接收源于存储器和预报电路11的第二输出端的重建图像的一些宏模块。反过来它提供动态消息给这个电路。
另一方面，选择电路7，调整电路15，动态判断电路12和句法产生电路16接收与图像中排斥区有关的信息。
源图像的一个当前宏模块在装置的输入被接收。这个宏模块，以称为内部宏模块这样的形式，被传送到减法器6的第一输入。后者从这个内部宏模块减去一个预知宏模块以便提供一个差别宏模块，也称为中间宏模块。在第一个输入端，该中间/内部选择器接收内部宏模块，在第二个输入端，它收到中间宏模块并且选择这些宏模块的一个作为能量标准的函数，例如他们的编码费用。如果选择了中间宏模块，则包括中间编码模式，如果选择了内部宏模块，则包括内部编码模式。选择的宏模块随后通过离散余弦变换来转换以致给出一个系数模块，然后被量化作为一个由调整电路15计算出量化间隔的函数。量化系数的宏模块根据可变-长度编码由可变-长度编码器13(也称为VLC编码器)来编码。附加到通过这个编码器13接收的数据是由句法生成器16传送的信息，以致能够从这些数据中根据与MPEG标准有关的句法产生数据流。这些数据随后传送到缓冲存储器14，它的填充水平被提供给用于控制相应宏模块的系数量化间隔的调整电路15，以便于调整比特速率。
量化系数的宏模块被传送给解码电路9以致于提供一个重建宏模块给存储器和预报电路11，在邻接的相应预知宏模块之后。这些宏模块的储存提供一个重建图像。这些重建宏模块被传送给动态估值器12用于与源图像的当前宏模块有关的动态向量(MV)的计算，正如随后参照图4所描述的。由存储器和预报电路接收的动态向量使其能够确定该宏模块，在这重建图像中，它被使用对于当前宏模块编码而作为预知宏模块。
句法产生电路16，选择电路7，调整电路15和动态判断电路12都接收与排斥区有关的信息(ZE)，该排斥区是期望嵌入或者混合附加的信息(例如一个图标，一个数字，一个说明对白的字幕等)的图像区。
MPEG编码要求图像被切成一些小的片段，一个小片段是连续宏模块的序列所有形成相同的宏模块水平行的片段，根据MPEG定义。因此一个小片段由16视频行构成。
一个已经在前面被加上标题的片段轻易地被解码器识别。在“50 Hz”标准的电视格式中，576有效行是分配到36个片段，然后一个片段对应于一行并且在该图像的宽度上延伸。该标准还能够通过以相同的行定义一些片段实现更好的分割，就是说在一幅图像的宽度之上。
这有可能利用属于排斥区部分的行编码。因此有关宏模块被一起分组为一些具体的片段，对于它们一个比特属于标题标志，事实上他们全都是以内部方式编码的。因此，对于给定的一行，句法产生电路为属于排斥区的第一宏模块产生一个片段标题。对于不再属于该排斥区的第一宏模块也同样处理。因此对于给定行产生的片段数取决于这个行中排斥区的数。
从一个片段到另一片段进入排斥区的通过行为使它能够与前面的片段隔离出来。即使一个宏模块是以内部模式编码的，这个宏模块的直流系数称为相同片段中前面宏模块的直流系数。这个宏模块的编码因此取决于除了每个片段的第一宏模块之外的前面宏模块。因此改变片段使其能够完全地从当前排斥区的编码的环境图像隔离出来。当解码这个排斥区时这是必需的，因为它仅选择解码这个区，以及在嵌入对应于该细小图像的宏模块到排斥区时，这些宏模块不应该访问这个区外部的信息。
一幅图像的排斥区通过一个处理电路(图中没有描绘)转化为行编号和宏模块编号，在该行内的编号(或者在该图像中的宏模块编号)如前面所指出的。这个信息ZE被传送给中间/内部模式选择电路7，该电路计算一些行和在该行中处理的一些宏模块(或者在该图像中处理的宏模块)，并且在当前的宏模块接收符合该排斥区的一个宏模块时以内部模式强迫编码。这个信息还传送给句法产生电路，它为属于一个排斥区的每个宏模块组在VLC编码电路中触发产生一个新片段，每行都这样做。这个信息还传送给调整电路15。因此，这个电路可以通过使用量化器8强迫量化间隔到一个低于由调整电路计算出的值，作为一个缓冲存储器的填充函数以致于改进该排斥区的分辨率。当这些将被替代的细小图像是比原始图像排斥区编码更昂贵的编码的细小图像，这将使得可能会增加编码这个排斥区的成本，易于在数据流中宏模块的替代。另外一个解决办法将在于减少细小图像的分辨率以便他们的编码耗费不高于原始图像排斥区编码的费用。根据图4中示出的装置，这个信息最后传送给动态估值器以致于使它不能选择动态向量，这些动态向量指明排斥区。
接收宏模块编号和与排斥区有关的行编号的各种电路都装备有用于识别处理的宏模块的计数器。
上面的描述涉及到序列图像的编码以致于使它与细小图像进入预定区的嵌入兼容。因此对于这些数据的任何用户，它能够提取与该排斥区有关的数据，这包括属于一个片段的一些宏模块并且它们是内部-编码的，并且能够将这些数据与用户-特定数据混合。如果涉及一个简单的嵌入而不包括混合，则该特定数据替换与排斥区有关的数据。
依靠先前描述的编码装置能够产生数据流(编码图像序列)，属于排斥区的数据流中的宏模块是单独以内部模式编码的，并且以称为“内部片段”的特别片段一起分组。
事实上，除排斥区以外，每幅图像经历一个MPEG2标准编码处理。这个特殊的整形对解码器(例如大量的市场类型)来说是绝对显而易见的，它满足于接收，解码和显示这些图像。
另一方面，当一个排斥区的存在已知是一个压缩的序列时，能够执行解码，混合/嵌入以及在有关区执行重新-编码处理操作。这个可以在一台PC-类型(个人计算机)计算机器帮助下实现，就是说纯粹地软件处理，因为该解码，混合/嵌入和重新-编码都被限制在该排斥区，该排斥区总是具有小的维数和与属于当前图象信息单独地编码；这不存在预报或者要计算的动态补偿。
如果要嵌入图像的具体数据是预先已知的，可以使用一种稍微修改的编码装置形式。
在这种情况下，在以构成按内部模式编码的细小图像的宏模块的形成中，句法产生电路16支配存储器或者接收从外面嵌入的具体数据。在VLC编码电路中，这个电路实现宏模块的替代，这些宏模块对应于具有编码细小图像的宏模块的排斥区的内部编码。因此，能够用细小图像或者图标的嵌入直接地提供数据流。
当不再以实时方式工作时，基于以基带、数字编码的细小图像的软件处理(MPEG编码的算法部分)，在量化系数的宏模块形式中，可以轻易地实现细小图像的编码。
图4描绘在先前描述的编码装置中使用的动态判断装置。
一个要编码的当前图像或者源图像的宏模块在动态判断装置12的第一输入端被接收。它被传送给用于计算动态向量17的电路的输入端。参考图像的宏模块在动态估值器12的第二输入端被收到并且被传送给代码转换电路18的输入端。这个电路传送该转换的宏模块亮度值代码给用于标记属于排斥区的宏模块的标记电路19。与排斥区(ZE)有关的信息在动态估值器12的第三输入端接收，该估值器将它传送给标记电路19的第二输入端。这个标记电路连接到存储器20。用于计算动态向量的电路还连接到存储器20。在它的输出端，也是这个动态估值器的输出端，它提供对应于源图像的每个宏模块的动态向量(MV)。
源图像的宏模块由用于计算动态向量17的电路来接收。这些是作为输入传送给图3的编码装置的宏模块。参考图像的这些宏模块是由存储器和预报电路11重建和传送的宏模块。
这些点的数值或者由动态估值器处理的象素通常以8个比特形式表示，即亮度值的编码在0到255之间。参考图像的宏模块传送给一个接收亮度值编码在0和254之间的代码转换电路18，例如由值254编码值255。这不会损害判断的质量，特别是因为255是在参考图像中很少获得的值。
因此转换的亮度值代码被传送给标记电路19。这个电路也接收与排斥区(ZE)有关的当前处理图像的信息。
例如这个信息是片段编号和在这个片段中的宏模块编号，这些数字对应于排斥区的左上角以及位于右下角的该片段的编号和宏模块编号。排斥分区或者分区的维数根据这些成对编号来确定以前的和曾经的每一幅图像。这个分区可以位于该图像中的任意位置并且可以采取整个或者部分参考图像的尺寸。
由标记电路接收的宏模块对每一行进行计算并且那些属于排斥区的被强制到255。事实上，仅仅是构成一个宏模块的亮度模块是相关的，动态判断不考虑色度模块。构成这些模块的所有的象素亮度值，即每四个亮度模块的8×8数值，被强迫到255。因此，编码的亮度值被传送给为每幅图像储存编码的亮度值的参考图像存储器20。与排斥区有关的信息项由这些亮度值携带。然后这个被参考作为排斥区或者分区的标记。
对于在动态估值器的其他输入端接收的每个源图像宏模块，用于计算动态向量的电路，在这个图像存储器20或者更准确地是在这个图像的一个搜索窗口中，将搜索与这个宏模块的亮度模块有最佳相互性的亮度模块，正如先前的描述。
如果相互性计算确定一个标记的亮度模块，则这模块被忽略。给出最佳相互性的无标记的模块被选中。如果搜索窗口的所有模块属于该排斥区，则对相关的宏模块，动态向量被强制到零。
当然，这仅仅是一个例子，在一种更常用的方式中，该标记在于，通过减少对应于最大编码值的数值，以及然后强制属于排斥区的宏模块亮度值到这个最大值，在执行宏模块亮度值的代码转换中构成标记。
这些给定的例子描述了属于排斥区图像宏模块的内部-模式编码。本发明没有限制这个特殊的实施例。这完全可想像，通过考虑不属于或只属于参考图像的排斥区的模块，为了参考图像的动态向量的计算，将这些宏模块和零动态向量一起以中间模式编码或甚至以动态-补偿中间模式编码。在这种情况下，对于排斥区的一个模块，用于计算动态向量的电路将访问一个已经储存重建的排斥区的模块的存储器。该目标是将属于该图像排斥区的宏模块编码，如这将是独立于图像的剩余部分的方式进行的。
排斥区的定义可以扩展到使一个具体的处理单元能够管理它的任何形式。该处理单元可以很好地设置在动态估值器的外部或者内部。
这些应用涉及到对于使用者的与图标的嵌入或者其他细小图像的嵌入兼容的图像编码。它们还涉及到包含嵌入的图像的实时编码。
权利要求
1.根据运动图像专家组(MPEG)标准的图像编码方法，用于将至少一个细小图像嵌入到一幅图像中，其利用具有关于一幅参考图像动态判断(12)的中间模式(6，7)和内部模式(7)，其特征在于包含一些宏模块的排斥区(4)，所述宏模块部分均匀地位于在该参考图像中确定的细小图像位置中，在参考图像中，不属于该排斥区图像的宏模块动态判断(12)不能考虑属于排斥区的一个图像模块。
2.根据权利要求1所述的方法，其特征在于对于属于排斥区(4)的图像的宏模块编码的中间模式是具有零动态向量的中间模式。
3.根据权利要求1所述的方法，其特征在于包括强制执行内部模式用于对属于排斥区(4)的图像的宏模块的编码。
4.根据权利要求1所述的方法，其特征在于它执行属于排斥区参考图像的宏模块的标记操作(18，19)。
5.根据权利要求4所述的方法，其特征在于该标记步骤通过减少等于最大编码值，然后强迫属于排斥区宏模块的亮度值为这个最大值，执行宏模块亮度值的代码转换(18)。
6.根据权利要求1所述的方法，其特征在于对于给定的一行宏模块，该编码(14，16)分配一个具体的片段给属于排斥区的宏模块。
7.根据权利要求3所述的方法，用于将细小图像嵌入到一幅编码图像中的方法，其特征在于内部-编码的片段的宏模块由与该细小图像有关的宏模块替换。
8.根据权利要求7所述的方法，其特征在于这种替换包括对应排斥区的内部-编码的宏模块的恢复，这些宏模块的基带解码，与要嵌入该排斥区的细小图像的混合，获得的图像的编码以便于提供替换宏模块。
9.根据权利要求7所述的方法，其特征在于该编码为属于排斥区的宏模块调整量化间隔作为将要嵌入的编码宏模块的消耗的一个函数。
10.根据MPEG标准编码数字视频数据的装置，用于将至少一个细小图像到一幅图像中，该装置包括减法器(6)，它在第一输入端接收内部宏模块和在第二输入端接收将被从内部宏模块减去的预知宏模块，以便提供中间宏模块；电路(7)，其用于选择接收相应内部宏模块或中间宏模块的中间或内部模式，用于根据能量标准选择宏模块之一；用于转换和量化所选择的宏模块以便提供量化系数的宏模块的电路(8)；用于量化系数宏模块的可变-长度编码的电路(13)和用于在编码装置的输出端提供数据流的缓冲存储器(14)，用于从量化系数的宏模块中获得的重新组成的宏模块的反相量化和反相变换电路(9)，对预知宏模块的重新组成的宏模块的加法器(10)，以便于提供重建的宏模块；用于储存重建的宏模块和提供重建的图像的存储器和预报器(11)；动态估值器(12)，其接收内部宏模块和重建宏模块以便于为该存储器和预报器提供动态向量(MV)以便计算该预知的模块；调整电路(15)，其接收来自缓冲存储器的信息以便为转换和量化电路(8)设置量化间隔，其特征在于选择电路(7)和动态判断电路(12)接收属于排斥区(ZE)的信息项，排斥区(ZE)包含部分均匀地位于细小图像位置中的宏模块，选择电路(7)强制实施属于这个排斥区的宏模块的内部-编码，该动态判断电路(12)计算动态向量同时从属于排斥区的重建图像块中删除动态向量指示。
11.根据权利要求10所述的装置，其特征在于该调整电路(15)接收确定排斥区的信息项以便为在这个排斥区的宏模块调整转换和量化电路(8)的量化间隔。
全文摘要
利用具有关于一幅参考图像动态判断(12)的中间模式(6,7)和内部模式(7)编码方法,其特征在于:包含一些宏模块的排斥区(4),所述宏模块部分均匀地位于在该参考图像中确定的细小图像位置中,在参考图像中,不属于该排斥区图像的宏模块动态判断(12)不能考虑属于排斥区的一个图像模块。申请涉及到使用者的与图标的嵌入或其他细小图像的嵌入兼容的图像编码。还涉及包含图像嵌入的实时编码。
文档编号H04N5/272GK1328746SQ99813615
公开日2001年12月26日 申请日期1999年11月11日 优先权日1998年11月25日
发明者弗雷德里克·普利索诺, 让－伊夫·奥比, 皮埃尔·吕埃娄, 阿兰·索兰 申请人:汤媒森多媒体公司