专利名称：动态影像进行解码时的错误隐藏方法
技术领域：
本发明是关于对动态影像进行解码时的错误隐藏方法的。具体地说，就是关于在对MPEG-4(Motion Picture Experts Group-4)动态影像解码时的错误隐藏方法的。利用依据本发明的MPEG-4(Motion Picture Experts Group-4)动态影像解码时的错误隐藏方法，在对通过线路网的MPEG-4(Motion PictureExperts Group-4)比特流信息进行传输时，就可以有效防止发生因信道错误而引起的在对MPEG-4(Motion Picture Experts Group-4)进行解码时出现的影像质量下降的问题。
背景技术：
对于将数字多媒体数据进行压缩后再进行传输或者进行编码处理的系统来说，例如在H.263或者MPEG4的情况下，在对动态影像进行压缩并进行编码时，就将数字影像的数据以模块(macro block)为单位进行处理。在对其进行编码(encoding)的时候，它包括以下过程即对动作的测定及修正；计算余弦的变化(DCT)，DCT系数的量子化处理，以及对可变长度进行编码(VLC)的过程。在对其进行解码(decoding)的时候，所要经历的过程就是上述进行编码的逆过程，即它包括以下的过程逆量子化处理，逆DCT，对动作的修正及测定等过程。
如上所述，对于对数字影像信号进行传送和接收的系统来说，可以对由信道环境而产生的错误进行检测。然后，对发生这种错误时受到损伤的模块进行修正。同时，为了提高复原(接收)影像的画面质量而利用错误检测和错误隐藏的方法。
例如对于以模块为单位对数字影像信号进行传送和接收的系统来说，在对错误进行检测的时候要利用编码语法(syntax)信息。在数据脱离语法(syntax)信息的情况下，就视其发生了错误。对于发生错误的模块来说，可以利用时间或者空间的隐藏方法再对其加以修正。这样，就可以大大提高接收影像的画面质量了。
如上所述，对于利用语法信息的错误检测方法来说，它适用于以下几种情况。例如当以模块为单位对数字影像信号进行处理时，在移动矢量脱离特定的范围的情况下，或者是当可变长度脱离编码(VLC)表格的情况下，或者是余弦变化(DCT)系数脱离特定的范围的情况下，以及当一个模块内的DCT系数的个数超过特定的个数的情况下等。
图1是表示依据传统技术的错误对应MPEG-4解码器的结构组件图。
参照图1可以看出，依据传统技术的错误对应MPEG-4解码器(decoder)在对输入的比特流信息进行VLD(Variable Length Decoding)时，要经过错误检测和对应的过程，而其余的过程就是要经过与对已有的动态影像进行解码的过程相同的过程。
一般情况下，对于MPEG-4解码器来说，它在对发生错误的模块进行检测时要使用错误隐藏(error concealment)的方法。
在对经编码处理后而传输的动态影像信号进行解码时，一般来说，它所使用的错误隐藏方法大致可以分为2种。即利用空间类似性的错误隐藏方法(Spatial Error Concealment)和利用时间相关关系的错误隐藏方法(TemporalError concealment)。
对于以模块为单位进行数字影像信号处理的系统来说，上述2种方法是在假定(特征)影像信号的相邻模块之间具有较大的相关性，或者是在相邻时间段内的画面之间具有较大的关联性的情况下而使用的方法。
图2a和图2b是分别表示对利用空间类似性的错误隐藏方法(SpatialError Concealment)和利用时间相关关系的错误隐藏方法(Temporal Errorconcealment)进行说明的示意图。
参照图2可以看出，首先，图2a对将发生错误而受损伤的模块利用其周边相邻的未受到损伤的模块的值进行插补的方法进行了说明。也就是说，上述利用空间类似性的错误隐藏方法(Spatial Error Concealment)是表示在一个影像信号内利用空间的类似性的方法，它是利用其周边的正常的宏模块(macroblock)的信息而对发生错误的宏模块(macro block)进行隐藏的方法。
在这里，上述宏模块(macro block)意味着它是与一帧的16*16画素相当的部分。
另外，图示2b对将发生错误而受损伤的模块利用以前画面相应位置的模块进行填补的方法进行了说明。也就是说，上述利用时间相关关系的错误隐藏方法(Temporal Error concealment)是表示利用从以前影像开始的时间上的类似性的方法，它是表示在当前影像状态下，如果发生了错误，就利用从以前的影像开始的规定的信息对所发生的错误进行隐藏的方法。
在这种情况下，为了利用从上述以前的影像开始的规定的信息，而利用宏模块(macro block)的移动矢量(MV)的值将移动矢量(Motion Vector，MV)的值进行推断。然后，利用与从以前影像开始推断的移动矢量的值相对应的宏模块(macro block)的数据对错误进行隐藏。
换句话说，上述利用时间相关关系的错误隐藏方法(Temporal Errorconcealment)利用了移动矢量(MV)，也就是说，如果当前画面的规定移动矢量(MV)发生了错误，它就利用以前画面的相同位置的移动矢量(MV)信息而对错误进行隐藏。
在这里，上述利用空间类似性的错误隐藏方法(Spatial ErrorConcealment)主要利用I-frame(Intra frame)。也就是说，仅通过当前影像的比特流信息内的数据而可以进行解码的画面来说，上述利用空间类似性的错误隐藏方法(Spatial Error Concealment)在这种情况下画面发生错误时是适用的。而上述利用时间相关关系的错误隐藏方法(Temporal Error concealment)主要利用P-frame(Predictive frame)。也就是说，对于参照以前的影像而进行解码的画面来说，上述利用时间相关关系的错误隐藏方法(Temporal Errorconcealment)在这种情况下画面发生错误时是适用的。
但是，如上所述，如果通过依据传统技术的错误隐藏方法而对错误进行隐藏处理，那么，由于所参照的原来的数据可能存在受到损害的情况。因此，所参照的模块就会产生错误传播。这是它所存在的问题。
图3是表示依据传统的技术对影像的移动动作进行修正时参照以前发生错误模块的错误传播现象的示意图。
参照图3可以看出，在依据本发明的第1实施例中，在连续地出现P-frame的情况下，在对影像信息进行解码的过程中，就对错误进行检测，并对发生错误的宏模块(macro block)进行错误隐藏。然后，当其之后的画面的比特流信息都正常地出现的情况下，即使正常地进行解码，由于对所参照的影像中经过错误隐藏处理的宏模块(macro block)进行了参照，因此，就会存储继续进行错误传播(error propagation)的可能性。
如果发生了这种错误传播现象，收信方的影像质量就会相当糟糕。这是它所存在的问题。
因此，就迫切需要有一种错误隐藏方法，就是在当错误发生的时候，不仅可以对错误进行隐藏，而且可以有效地防止对这种错误的传播现象的发生。
发明内容因此，本发明就是为了解决上述问题而研发的，本发明的目的在于为用户提供一种在对动态影像进行解码时的错误隐藏方法。在依据传统的技术对动态影像进行解码时，对于其普遍使用的对影像的称动动作进行修正的方法来说，由于它参照了错误的模块。因此，就容易引起影像画面质量的下降。为了有效地防止这一情况的发生，依据本发明的实施例的对动态影像进行解码时的错误隐藏方法对错误的模块进行标记(marking)，然后，在对影像的移动动作进行修正时。就不参照上述作有标记的错误模块。这样，就能够有效地防止错误传播现象的发生。并最终提高影像的画面质量。因此，它具有非常良好的效果。
为了实现上述目的，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法具有由以下几个步骤构成的特征对所输入比特流信息进行错误检测，然后对上述检测到的发生错误的位置信息进行存储的第1步骤；为了对从代替经过解码处理后的当前画面的影像信息中发生错误的宏模块的以前画面开始的规定信息进行利用而做准备的第2步骤；对从上述以前画面开始的规定的信息中是否含有错误信息的情况进行确认的第3步骤；根据上述确认的结果，如果确认上述规定的信息中包含有错误信息的情况下，就不将其作为错误隐藏的对象，而利用其周边的其它信息对错误进行隐藏的第4步骤。
在这里，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征即上述检测到的发生错误的位置信息就是上述发生错误的宏模块的信息。对于上述规定的信息来说，它是将包括上述发生错误的宏模块的移动矢量(Motion Vector，MV)的值，利用其周围的宏模块的移动矢量(MV)的值而对其进行推断，然后，从以前画面影像信息开始，与上述推断的移动矢量(MV)的值相关的宏模块的信息。
另外，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征在上述第3步骤，对与从上述以前的画面影像开始推断的移动矢量(MV)的值相关的宏模块是否为错误模块的情况进行判别。
另外，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征，即它还包括以下步骤在上述以前画面的相关宏模块不包含错误信息的情况下，利用上述规定的信息而对错误进行隐藏的步骤。
另外，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征，即在上述第4步骤，在上述以前画面的相关宏模块包含错误信息的情况下，就将包含上述错误宏模块的移动矢量向上、下、左、右进行移动，然后，再对不包括上述错误模块的代替模块的相关值进行设定。然后，利用所设定的值对错误进行隐藏。
在MPEG-4的情况下，对于将动态影像进行压缩并进行编码的情况来说，将数字影像数据以宏模块(macro block)为单位进行处理，在进行编码(encoding)的情况下，就需要经过以下几个过程，即包括对移动动作进行推断及修正，计算余弦变化(DCT)，DCT系数的量子化，以及对可变长度进行编码(VLC)的过程等。而在进行解码(decoding)的情况下，就需要经历与上述进行编码时的过程相反的过程，即包括逆量子化，逆DCT，对移动动作进行修正及推断的过程等。一般来说，这是比较普通的情况。
另外，对于接收这种数字影像信号的传送接收系统来说，对由信道环境而产生的错误情况进行检测，然后，再对发生这种错误的时候受到损伤的模块进行修正。在这种情况下，为了提高复原(接收)影像的画面质量，就需要利用错误的检测和隐藏方法。
另外，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征，即在对影像进行编码(encoding)传输后，对于向MPEG-4解码器(decoder)输入的比特流信息来说，可以通过上述解码器所具有的错误检测装置对错误进行检测，然后，对上述检测到的发生错误的位置信息进行存储。同时，在对其后的下一个画面的移动动作进行修正的时候就可以使用上述存储的信息。
在依据传统技术的情况下，在对移动动作进行修正时，当将移动矢量(Motion Vector，MV)进行解码处理后，就可以利用解码后的移动矢量而对以前的影像进行修正。
另外，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法还具有以下特征，即在对移动矢量进行解码处理后，就对移动矢量所代表的是发生错误的模块，还是代表没有发生错误的模块的情况进行判别。然后，根据上述判断结果，如果判断上述移动矢量不包含发生错误的模块，则就照此对移动动作进行修正。根据上述判断结果，如果判断上述移动矢量包含发生错误的模块，则将移动矢量向上、下、左、右进行移动，以使其不包含发生错误的模块。然后，再利用其周围模块中的代替模块对影像的移动动作进行修正。也就是说，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法，对与从以前画面的影像开始推断的移动矢量的值相关的宏模块的数据是否为错误模块的数据的情况进行判断(对错误模块作出标记marking)。然后，根据上述判断结果，在判断上述移动矢量包含错误模块的情况下，就不将其作为错误隐藏的对象。而利用不包含上述错误模块周围的其它模块对影像的移动动作进行修正。
如上所述，依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法，为了防止出现因参照错误的模块而引起的影像画质下降的情况发生，而将错误模块进行标记(marking)，然后，在对影像的移动动作进行修正时，就不参照上述作有标记的错误模块，这样，就可以有效地防止错误传播现象的发生，并最终提高影像的画面质量。这是依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法所具有优点。
图1是表示依据传统技术的错误对应MPEG-4解码器的普通结构组件图。
图2a和图2b是分别表示对利用空间类似性的错误隐藏方法(SpatialError Concealment)和利用时间相关关系的错误隐藏方法(Temporal Errorconcealment)进行说明的示意图。
图3是表示依据传统的技术对影像的移动动作进行修正时参照以前发生错误模块的错误传播现象的示意图。
图4是表示对依据本发明的实施例的对动态影像进行解码时的错误隐藏方法进行说明的顺序图。
图5是表示对影像移动动作进行修正，也就是对错误进行隐藏的示意图。
具体实施方式下面，将参照附图对本发明的在对动态影像进行解码时的错误隐藏方法的理想实施例进行详细的说明。
图4是表示对依据本发明的实施例的对动态影像进行解码时的错误隐藏方法进行说明的顺序图。图5是表示对影像移动动作进行修正，也就是对错误进行隐藏的示意图。
下面，将参照图4和图5，对依据本发明的实施例的在对动态影像进行解码时的错误隐藏方法，即为了防止在对通过线路网的MPEG-4比特流信息进行传输时，由于信道环境而引起的解码影像画质降低而采用的MPEG-4解码时的错误隐藏方法进行详细的说明。
首先，对于输入的比特流信息来说，通过错误检测装置对其错误进行检测，然后，对上述检测到的错误的位置信息进行存储步骤ST400。
也就是说，在对影像进行编码(encoding)传输后，对于向MPEG-4解码器(decoder)输入的比特流信息来说，可以通过上述解码器所具有的错误检测装置对错误进行检测，然后，对上述检测到的发生错误的位置信息(即，发生错误的宏模块的信息)进行存储。同时，在对其后的下一个画面的移动动作进行修正的时候就可以使用上述存储的信息。
然后，就为对经过解码的当前画面的影像中从代替上述发生错误的宏模块的以前画面开始的规定的信息进行利用而做准备步骤ST410。
也就是说，将包括上述发生错误的宏模块的移动矢量(Motion Vector，MV)的值利用其周围的宏模块的移动矢量(MV)的值而对其进行推断，然后，从以前画面影像开始对与上述推断的移动矢量(MV)的值相关的宏模块的信息进行查找。
然后，就对从上述以前画面开始的规定的信息是否包含错误信息的情况进行确认步骤ST420。
也就是说，对与上述从以前画面的影像开始推断的移动矢量(MV)的值相关的宏模块是否为错误模块的情况进行判别。
在这里，根据上述判别的结果，如果判断上述以前画面的相关宏模块不包含错误模块的情况下，则与依据传统技术的普通情况相同，就利用上述信息而对错误进行隐藏。也就是说，利用上述信息对影像的移动动作进行修正步骤ST430。
但是，根据上述判别的结果，如果判断上述以前画面的相关宏模块包含错误模块的情况下，则不将其作为错误隐藏的对象，而利用不包含上述错误模块的周围其它模块对影像的移动动作进行修正步骤ST440。
也就是说，如图5所示，如果以前画面的相关移动矢量(MV)包含错误模块，那么，就将上述移动矢量(MV)向上、下、左、右进行移动，以使其不包含上述错误模块。最终，将上述错误模块的周围其它模块中的一个模块确定为代替模块，并利用它对影像的移动动作进行修正。
通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。
因此，本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利范围来确定其技术性范围。
权利要求
1.动态影像进行解码时的错误隐藏方法，包括对所输入比特流信息进行错误检测，然后对上述检测到的发生错误的位置信息进行存储的第1步骤；为了对从代替经过解码处理后的当前画面的影像信息中发生错误的宏模块的以前画面开始的规定信息进行利用而做准备的第2步骤；对从上述以前画面开始的规定的信息中是否含有错误信息的情况进行确认的第3步骤；根据上述确认的结果，如果确认上述规定的信息中包含有错误信息的情况下，就不将其作为错误隐藏的对象，而利用其周边的其它信息对错误进行隐藏的第4步骤。
2.如权利要求项1所述的动态影像进行解码时的错误隐藏方法，其特征在于上述检测到的错误位置信息就是上述发生错误的宏模块的信息。
3.如权利要求项1所述的动态影像进行解码时的错误隐藏方法，其特征在于对于上述规定的信息来说，它是将包括上述发生错误的宏模块的移动矢量(Motion Vector，MV)的值，利用其周围的宏模块的移动矢量(MV)的值而对其进行推断，然后，从以前画面影像信息开始，与上述推断的移动矢量(MV)的值相关的宏模块的信息。
4.如权利要求项1所述的动态影像进行解码时的错误隐藏方法，其特征在于在上述第3步骤，对与从上述以前画面的影像开始推断的移动矢量(MV)的值相关的宏模块是否为错误模块的情况进行判别。
5.如权利要求项1所述的动态影像进行解码时的错误隐藏方法，其特征在于，还包括当上述以前画面的相关宏模块不包含错误模块的情况下，则就利用上述规定的信息而对错误进行隐藏的步骤。
6.如权利要求项1所述的动态影像进行解码时的错误隐藏方法，其特征在于在上述第4步骤，在上述以前画面的相关宏模块包含错误信息的情况下，就将包含上述错误宏模块的移动矢量向上、下、左、右进行移动，然后，再对不包括上述错误模块的代替模块的相关值进行设定。然后，利用所设定的值对错误进行隐藏。
全文摘要
本发明是关于对动态影像进行解码时的错误隐藏方法的。依据本发明的实施例的对动态影像进行解码时的错误隐藏方法具有由以下几个步骤构成的特征对所输入比特流信息进行错误检测，然后对上述检测到的发生错误的位置信息进行存储的第1步骤；为了对从代替经过解码处理后的当前画面的影像信息中发生错误的宏模块的以前画面开始的规定信息进行利用而做准备的第2步骤；对从上述以前画面开始的规定的信息中是否含有错误信息的情况进行确认的第3步骤；根据上述确认的结果，如果确认上述规定的信息中包含有错误信息的情况下，就不将其作为错误隐藏的对象，而利用其周边的其它信息对错误进行隐藏的第4步骤。
文档编号H04N7/64GK1929619SQ20051002945
公开日2007年3月14日 申请日期2005年9月7日 优先权日2005年9月7日
发明者韩承熹, 郑永安, 郑仁泓 申请人:上海乐金广电电子有限公司