专利名称：基于在编码流中传送的内部预测模式的空间差错隐藏的制作方法
技术领域：
本发明涉及一种用于对出现在编码视频流的编码图像中的差错进行纠正的技术。
背景技术：
在许多情况下，对视频流进行压缩(编码)以便易于存储和传输。在传输期间，因为信道差错和/或网络拥塞，这样的编码视频流常常导致数据丢失或变得受损。在解码时，数据的丢失/受损使其自身表现为缺失的像素值。为了减少这样的假象，编码器将通过对来自相同图像中的其它宏块、或来自其它图像中的值进行估计，“隐藏(conceal)”这样的缺失的像素值。术语“隐藏”略微有些用词不当，因为编码器实际上并未隐藏缺失或受损的像素值差错。空间隐藏试图通过使用来自依赖于空间域中的相邻区域之间的相似性的、图像中的其它区域的像素值，得出缺失/受损的像素值。典型地，以相同程度的复杂性，空间隐藏技术实现了比依赖于来自其它传输图像的信息的时间差错隐藏技术更低的性能。
仅在其中任何时间选项均不可用的那些示例中，即，当丢失影响到了内部编码图像、内部更新图像时，或当没有时间信息可用时，差错隐藏算法应当调用空间插值。使用已隐藏图像作为参考的未来内部编码帧的质量将取决于空间隐藏的质量。当空间隐藏产生了相对较差的内部编码图像时，每个得到的帧间编码图像将同样具有较差的质量。
目前存在几个用于空间差错隐藏的技术。包括·块复制(BC)根据此方案，缺失/受损的宏块的代替是从其正确编码的邻宏块中获得的。
·像素域插值(PDI)在正确编码的邻宏块的边界处，根据像素值，对缺失/受损的宏块数据进行插值。存在实现PDI的两种不同方案。例如，可以对宏块内所有像素进行插值，以得到共同平均值。可选地，通过基于到宏块边界的像素距离的加权预测，获得每个像素值。
·多方向插值(MDI)多方向插值技术构成了PDI技术的改进版本，因为MDI技术提供了沿边缘方向的插值。实现MDI需要在方向插值之前，对在缺失/受损的像素值附近的主轮廓的方向进行估计。执行在有限数量的方向上边缘检测和量化仍保持为一个难题。
最大平滑恢复(MSR)在离散余弦(DCT)域中，将低频成分用于差错隐藏，以提供与相邻像素的平滑连接。当使用数据分块编码时，MSR技术利用正确接收的DCT系数，代替丢弃受损宏块/块中的所有数据。
凸集投影(POCS)根据此技术，在快速傅里叶变换(FFT)域中、根据对由缺失/受损的像素值环绕宏块的较大区域的分类，执行自适应滤波。这样的自适应滤波包括在对陡峭区域上应用边缘滤波器的同时，在平滑区域上应用低通滤波。此过程包括滤波迭代，几个先验约束将应用于所处理的图像。
表1突显了为了实现空间隐藏、在不同公知方案的复杂度和质量之间的折中。
表1
根据空间差错隐藏，视频解码器面对在所能负担的计算复杂度和所需的恢复图像质量之间富有挑战性的折中。典型地，多数视频解码器仅实现诸如针对实时应用的BC或PDI算法等快速算法。如所述，这些算法通过复制相邻值或对相邻值进行平均，粗略覆盖丢失/受损区。这样的对策导致了低质量的图像，即使在以高帧速率进行显示时，也可见到假象。
因此，需要通过以低/中间复杂度、在边缘上提供优质的隐藏来解决前述缺点的空间差错隐藏技术。
发明内容
简要地，根据本原理，提供了一种对在由宏块流构成的编码图像中的差错进行空间隐藏的技术。通过对以具有缺失/受损的像素值的宏块形式的差错进行识别，该方法开始。针对每个已识别的宏块，从相邻宏块中得出至少一个内部预测模式。当根据ISO/ITU H.264视频压缩标准对图像进行编码时，两个内部编码类型可用于对每个宏块的编码(1)针对Intra_16×16类型，针对整个宏块得出单一的内部预测模式；(2)针对Intra_4×4类型，针对宏块内部的每个4×4像素的子宏块，得出内部预测模式(在此情况下，每个编码宏块存在十六个内部预测模式)。最后，将所得出的内部预测模式用于产生缺失的像素值。将所得出的内部预测模式应用于估计缺失或受损的像素值的处理对应于在解码期间所使用的导出处理，以便估计(预测)编码值以减少编码努力。换句话说，本技术将在编码时通常使用的内部预测模式信息用于空间差错隐藏目的。当涉及特定宏块的编码数据丢失或受损时，从相邻宏块中导出的内部预测模式可以为空间差错隐藏提供与哪一个方向是最佳插值方向有关的重要信息。将内部预测模式用于空间差错隐藏产生了显著好于具有类似复杂度的传统空间差错隐藏技术的性能。
图1示出了划分为宏块的编码图像，将每个宏块划分为块，并将每个块划分为像素。
图2A示出了用于出于编码目的建立预测差错值的内部预测模式方向的矢量显示；图2B-2J的每一个均示出了图2A中所示的相应内部模式预测方向中的单独一个的4×4子宏块；图3示出了在利用根据本原理的内部预测模式实现空间差错隐藏中使用的支持窗口；以及图4示出了用于根据本原理对包括空间差错隐藏的编码图像进行解码的处理的流程图。
具体实施例方式
诸如在已提出的ISO/ITU H.264视频压缩标准中具体实现的基于块的视频压缩技术通过将图像分成片段来进行操作，每个片段包括宏块集或宏块对，根据标准对每个宏块进行编码。典型地，将宏块定义为16×16像素的方形区域。出于编码的目的，可以将宏块进一步分为子宏块，并不一定为方形。当对宏块进行编码时，子宏块中的每一个均可以具有不同编码模式。为了易于描述，将块称为4×4像素的子宏块。图1示出了将编码图像100划分成宏块110，其中将每个宏块110划分成块120，并将每个块划分为像素130。图1的已划分图像100包括n行乘m列的宏块110，其中n和m是整数。注意，图像内宏块的数量根据图像的尺寸而改变，而宏块内块的数量是不变的。
为了降低对已划分图像100内每个宏块110单独编码的成本、可以将来自己经传输的宏块的信息用于产生对单个宏块的编码预测。在此情况下，仅预测差错和预测模式需要传输。用于编码图像的视频编码标准将指定用于导出预测像素值的处理，以便确保编码器(未示出)和解码器(未示出)获得相同估计。根据ISO/ITU H.264标准，可以将单独宏块内部预测为16×16像素的单个分块(Intra_16×16型编码)，或内部预测为16个4×4像素块的分块(Intra_4×4型编码)。针对Intra_16×16型编码，ISO/ITU H.264标准规定了四个内部预测模式模式0，垂直预测；模式1，水平预测；模式2，DC预测；模式3，平面预测。针对Intra_4×4型编码类型，ISO/ITU H.264标准规定了九个内部预测模式，每一个内部预测模式均已经关联了插值滤波器，以便当使用模式之一进行预测时，导出对块内的每个像素的预测，所述模式包括模式0，垂直预测；模式1，水平预测；模式2，DC预测；模式3，左下对角预测；模式4，右下对角预测；模式5，垂直向右预测；模式6，水平向下预测；模式7，垂直向左预测；以及模式8，水平向上预测。
图2A示出了表示由ISO/ITU H.264标准规定的内部预测模式0-8中的每一个的方向的矢量显示(注意，对应于DC模式的模式2没有方向，这是因为其均一地预测同类区域内的块内容)。其它模式0-1和3-8沿八个量化方向之一预测宏块的内容。当在编码器处(未示出)编码时，在编码流中发送与每个内部编码宏块相关联的模式预测方向。解码器(未示出)使用内部模式预测连同插值滤波器一起，根据已经解码的相邻块的像素值，预测块的内容。每个插值滤波器均定义了适当的加权因子，以便按照与内部预测模式相关的方向传播信息，参见图2B-2J中每一个。
根据本原理，通常用于解码目的的内部预测模式还可以提供一个非常好的用于估计宏块中缺失或受损的像素值的机制，以便实现空间差错隐藏。当与特定宏块相关联的编码数据出现丢失或缺失时，已经用于估计相邻块的内容的内部预测模式可以提供与用于估计丢失像素值的最佳插值方向有关的重要信息，以便实现空间差错隐藏。
图1的划分图像100内任何数量的相邻块120均可以用作针对具有缺失或受损的像素块的预测体。原理上，对具有缺失或受损的像素块附近的块120的数量进行限制降低了复杂度。为此，定义了支持窗口140(如图3所示)以限制为针对空间隐藏目的而考虑到的相邻块120的数量。如将会理解的，支持窗口140的尺寸越大(因此，相邻块的数量越多)，对用于预测缺失块的内部模式的选择越可靠，但以复杂性的增加为代价。并非图3的所定义的支持窗口140内的所有块都需要通过内部模式预测来隐藏所关心的块。支持窗口140内一个或多个块120也可能需要隐藏(即，对于其，没有信息可用)，或者简单地，这样的块对于内部模式选择标准而言并不相关。在最简单的情况下，内部预测模式可能依赖于需要隐藏的块的上方和左边的块。
参照图3，以下符号将用于定义支持窗口140内的相邻块120。支持窗口140内需要隐藏的块B具有坐标(p0，q0)。因此，支持窗口140变为以块B为中心的矩形，具有位于其左上角的坐标(p0-P，q0-Q)以及位于其右下角的坐标(p0+P，q0+Q)，这里的P和Q包括分别指定支持窗口行和列的数量的整数。在图3所示的说明性实施例中，P＝Q＝2，定义了以方块B为中心的方形5×5相邻块。
为了实际的实现，必须对标准进行定义，以从支持窗口内可用的模式中选择内部模式预测。根据本原理，支持窗口140内的内部预测模式的相对位置用作内部模式选择标准的输入。因为每个内部预测模式定义了插值的方向，当这样的宏块出现于支持窗口140内的某些相对位置时，具有这种模式的宏块仅出于隐藏的目的变得相关。
为了明确指定支持窗口140内的块，按照光栅扫描顺序标注块120，如图3所示。根据所提出的标准，当且仅当此模式出现于如图2A所示的相关空间方向时，才出现对用于隐藏支持窗口140内的中心块B的模式的选择。例如，仅当方块#9或方块#16已经按照左下对角方向进行预测时，块B将相对于沿图3中左下对角方向获得的数据发生隐藏。在标准中已经包含其它块，以降低选择标准对在编码流上虚假使用特定模式的敏感性。注意，这些条件仅应用于支持窗口140内正确接收或已经隐藏的那些相邻块。此外，并非所定义的支持窗口140内的所有相邻块都参与对正进行空间隐藏的当前块的内部模式的选择。
表2提供了针对以要隐藏的块为中心的5×5块的支持窗口140的选择标准的典型实施例。
表2
在优选实施例中，典型地，空间差错隐藏出现在以图4的流程图中所示的方式进行解码的期间。图4所示的解码处理开始于在步骤400期间，根据控制参数和输入数据，对进入(输入)编码视频流的宏块进行熵解码。结合这种解码，在步骤402期间，确定编码图像是否构成内部编码图像。如果是，则在步骤404期间，通过内部预测获得编码差值(预测差错)；反之，在步骤406期间，通过帧间预测建立这样的预测差错。在步骤404和406之后，在步骤408期间进行差错检测，以便在步骤410期间，确定宏块是否包含缺失或受损的像素值。如果针对图3中所建立的支持窗口140中的相邻宏块的预测值已经根据内部预测建立起来，则通过选择内部预测模式，对空间差错进行隐藏，因此，重新执行步骤402。利用帧间预测而不是内部预测来建立相邻宏块中的预测值将需要通过不同的内部预测来建立缺失/丢失的像素值。
利用由H.264标准的参考软件(JM50版本)提供的内部预测模式作为输入数据的经验测试产生了比具有相似复杂度的传统空间隐藏技术更优的结果。针对所有测试图像，峰值信噪比值发生增加，表示可视质量提高，这是因为对丢失区域中轮廓的较好预测。
以上描述了利用通常与编码预测相关的内部预测模式来隐藏编码视频流内的空间差错的技术。
权利要求
1.一种用于隐藏由宏块流构成的编码图像中的空间差错的方法，包括以下步骤在每个宏块中检查像素数据差错，并且如果存在这样的差错，则根据相邻块建立至少一个内部预测模式，然后根据至少一个已建立的内部预测模式得出估计像素数据，以纠正所述像素数据差错。
2.根据权利要求1所述的方法，其特征在于所述编码图像是根据预定编码标准进行编码的，以及所述内部预测模式是由预定编码标准规定的。
3.根据权利要求2所述的方法，其特征在于所述编码图像是根据ISO/ITU H.264编码标准进行编码的，以及所述内部预测模式是由ISO/ITU H.264编码标准规定的。
4.根据权利要求1所述的方法，其特征在于所述建立至少一个内部预测模式受限于以具有缺失的像素数据块为中心的块的矩形阵列内的信息。
5.根据权利要求3所述的方法，其特征在于所述至少一个内部预测模式是根据与具有像素数据差错的宏块相邻的宏块的内部预测模式的相对位置建立的。
6.一种用于隐藏由根据ISO/ITU H.264标准编码的宏块流构成的编码图像中的空间差错的方法，所述方法包括以下步骤在每个宏块中检查像素数据差错，并且如果存在这样的差错，则根据相邻块导出至少一个内部预测模式，所述模式是由ISO/ITUH.264标准规定的；以及应用与至少一个导出的内部预测模式相对应的至少一个插值滤波器以估计像素数据，以便纠正像素数据差错。
7.根据权利要求6所述的方法，其特征在于所述建立至少一个内部预测模式受限于以具有缺失的像素数据块为中心的块的矩形阵列内的信息。
8.根据权利要求7所述的方法，其特征在于所述至少一个内部预测模式是根据与具有缺失的像素数据的块相邻的块的内部预测模式的相对位置建立的。
9.根据权利要求6所述的方法，其特征在于可以将单个宏块内部预测为16×16像素的单个分块(Intra_16×16型编码)，或者16个4×4像素块的分块(Intra_4×4型编码)。
10.根据权利要求9所述的方法，其特征在于针对Intra_16×16型编码，所述内部预测模式包括(a)模式0，垂直预测；(b)模式1，水平预测；(c)模式2，DC预测；以及(d)模式3，平面预测。
11.根据权利要求9所述的方法，其特征在于针对Intra_4×4型编码，所述预测模式每一个均已经关联了插值滤波器，以导出针对块内每个像素的预测。
12.根据权利要求9所述的方法，其特征在于所述预测模式包括(a)模式0，垂直预测；(b)模式1，水平预测；(c)模式2，DC预测；(d)模式3，左下对角预测；(e)模式4，右下对角预测；(f)模式5，垂直向右预测；(g)模式6，水平向下预测；(h)模式7，垂直向左预测；以及(i)模式8，水平向上预测。
全文摘要
通过根据在相邻块(120)中规定的内部预测模式，预测宏块(110)中的缺失数据，实现对由宏块(110)流组成的内部图像中的差错的空间隐藏。实际上，当利用基于块的编码技术(诸如在ISO/ITU H.264标准中规定的编码技术)对流内的宏块(110)进行编码时，出于编码的目的，可以根据由编码技术规定的相邻内部预测模式，根据由编码目的规定的相邻内部预测模式，对宏块(110)进行预测。
文档编号H04N7/64GK1720728SQ03825782
公开日2006年1月11日 申请日期2003年7月8日 优先权日2003年1月10日
发明者克里斯蒂娜·戈米纳, 彭茵 申请人:汤姆森许可贸易公司