用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法
【专利摘要】一种设备，其包括处理器，所述处理器用于确定是否基于用于正方形预测单元（PU）的查找表（LUT）对矩形PU使用帧内平滑滤波器，其中所述矩形PU的宽度不等于所述矩形PU的高度。
【专利说明】用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法
相关申请案的交叉参考
[0001]本发明要求2012年5月18日由李贵春(Guichun Li)等人递交的发明名称为“用于非正方形预测单元的依赖于模式的帧内平滑滤波器的表映射方法(Mode DependentIntra Smoothing Filter Table Mapping Methods for Non-Square Prediction Units)，，的第13/475，587号美国非临时专利申请案的在先申请优先权，该在先申请要求2011年6月15日由李贵春(Guichun Li)等人递交的发明名称为“用于非正方形预测单元的依赖于模式的巾贞内平滑滤波器的表映射方法(Mode Dependent Intra Smoothing Filter TableMapping Methods for Non-Square Prediction Units)”的第61/497，173号美国临时专利申请案的在先申请优先权，这两个在先申请的内容均以引入的方式并入本文本中，如全文再现一般。
关于由联邦政府赞助的研究或开发的声明
[0002]不适用。
参考缩微胶片附录
[0003]不适用。
【技术领域】
无
【背景技术】
[0004]即使在影片相对较短的情况下也需要大量的视频数据来进行描述，而当数据要在带宽容量有限的通信网络中流过或以其他方式传送时，这样可能会造成困难。因此，视频数据通常要先压缩然后再在现代电信网络中传送。视频压缩装置通常在源处使用软件和/或硬件，以在传输之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。接着，压缩数据在目的地处由视频解压装置接收，该视频解压装置用于对视频数据进行解码。在网络资源有限而对更高质量的视频需求不断增加的情况下，需要改进的压缩和解压技术来提高图像质量，而不会大量增加比特率。
【发明内容】
[0005]在一项实施例中，本发明包含一种设备，其包括处理器，所述处理器用于确定是否基于用于正方形预测单元(PU)的查找表(LUT)对矩形使用帧内平滑滤波器，其中该矩形PU的宽度不等于该矩形PU的高度。
[0006]在另一项实施例中，本发明包含一种由处理器实施的方法，其包括确定是否基于用于正方形PU的LUT对矩形PU使用帧内平滑滤波器，其中该矩形的宽度不等于该矩形PU的高度。[0007]在又一项实施例中，本发明包含一种设备，其包括处理器，所述处理器用于根据短距离帧内预测(SDIP)方案将正方形编码单元(⑶)分成包含矩形的多个块，其中该矩形PU的宽度不等于该矩形PU的高度，并且所述处理器用于确定是否基于LUT对矩形PU使用帧内平滑滤波器，所述LUT用于正方形PU的依赖于模式的帧内平滑(MDIS)。
[0008]从结合附图和所附权利要求书进行的以下详细描述将更清楚地理解这些和其他特征。
【专利附图】
【附图说明】
[0009]为了更完整地理解本发明，现在参考以下结合附图和详细描述进行的简要描述，其中相同参考标号表不相同部分。
[0010]图1为多个帧内预测模式的示意图。
[0011]图2为划分成多个矩形和正方形预测单元的示例性编码单元的图解。
[0012]图3为宽度映射方法的一项实施例的流程图。
[0013]图4为高度映射方法的一项实施例的流程图。
[0014]图5为块尺寸映射方法的一项实施例的流程图。
[0015]图6为网络单元的一项实施例的示意图。
[0016]图7为通用计算机系统的一项实施例的示意图。
【具体实施方式】
[0017]最初应理解，尽管下 文提供一项或多项实施例的说明性实施方案，但可以使用任何数目的技术，不管是当前已知还是现有的，来实施所揭示的系统和/或方法。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术，包含本文本所说明并描述的示范性设计和实施方案，而是可以在所附权利要求书的范围及其等效物的完整范围内修改。
[0018]通常，视频媒体涉及相对较快地连续显示一系列静态图像或帧，从而让观察者感觉到运动。每个帧可以包括多个图像元素或像素，每个图像元素或像素可以表示帧中的单个参考点。在数字处理期间，每个像素可以被分配一个整数值(例如，O、1、…或255)，所述整数值表示对应参考点处的图像质量或特性，例如，亮度或色度。通常，单个帧内的像素组(宏块)可以大体上与同一帧内的其他宏块相关，这样，一些宏块中的像素值可能仅略有不同以及/或者显示出重复的结构。现代视频压缩方法使用各种技术来利用这些空间相关性(spatial correlation),这些技术可以统称为帧内部预测(或简称为帧内预测)。帧内预测可以减少同一帧中相邻和/或邻近的宏块(本文本中也称为块)之间的空间冗余，从而在没有大幅度降低图像质量的情况下对视频数据进行压缩。各种传统视频/图像编码标准描述了不同形式的帧内预测，所述标准例如，国际电信联盟(ITU)电信标准化部门(ITU-T)H.264 (下文称为H.264)，该标准以引入的方式并入本文本中，如全文再现一般。
[0019]实际上，帧内预测可以由视频编码器/解码器(编解码器)实施，以根据一个或多个先前已编码/已解码的邻近块插入预测块，从而形成近似的当前块。因此，编码器和解码器可以独立地插入预测块，从而使得绝大部分的帧和/或图像能够根据相对少量的参考块的通信进行重构，所述参考块例如，位于帧的左上角(并从此处延伸)的块。然而，单独的帧内预测可能并不会为现代视频再现质量足够好的图像，因此，残余消息等纠错消息可以在编码器与解码器之间传送，以纠正预测块与当前块之间的差异。例如，编码器可以从当前块中减去预测块，从而得到残余块，接着所述残余块可以进行变换、量化以及扫描，然后被编码成编码数据流。接收编码数据流之后，解码器可以将重构的残余块添加到单独产生的预测块上，从而重新创建当前块。虽然重新创建的当前块可能没有原始当前块完美，例如，由于帧内编码压缩的损耗性质等原因，但是它们的差异可能是人眼几乎无法察觉到的。因此，可以得到大量的位节约(bit saving)，且不会显著降低重构图像的质量。
[0020]残余块可以包括预测块与当前块之间的少许差异，因此，例如，在预测块与当前块相同和/或近乎相同的区域中，残余块的许多离散值，例如，像素数据，可以包括零和/或接近零的系数。此外，残余块的变换、量化和/或扫描可以从数据流中移除许多零和/或接近零的系数，从而引起对视频数据的进一步压缩。因此，对原始图像进行更精确的预测便可以得到编码效率。为了利用这些编码效率，传统视频/图像编码标准可以提高预测精确性，方式为在帧内预测期间使用多个预测模式，例如，每个预测模式可以产生唯一的结构。例如，提出的高性能视频编码(HEVC)视频压缩标准(也称为H.265)可以在统一帧内预测(ΠΡ)方案中使用各种预测模式。
[0021]图1图示了用在HEVC UIP方案中的多个帧内预测模式100的示意图。对于亮度块，帧内预测模式100可以包含多达34个帧内预测模式，其可以包括33个定向模式以及一个非定向模式，例如，直流(DC)预测模式。在使用中，编码器可以选择能够生成每个当前块的最精确预测的预测模式。例如，在帧内预测模式100中可以计算每个模式的绝对误差和(SAE )，并且可以选择具有最少SAE的一个模式。通常情况下，帧内预测模式数目越多，可以得到的帧内预测更精确。例如，最近的研究表明，相比于使用较少预测模式的协定，例如，仅使用9个帧内预测模式的H.264，使用34个帧内预测模式，例如，帧内预测模式100，的协定可以更精确地预测复杂的结构。尽管图1示出34个帧内预测模式，但是应注意，根据块尺寸和/或帧内预测方案，也可以使用任何其他合适数目的预测模式。
[0022]尽管帧内预测具有编码优势，但是它可能有潜在的缺点。例如，由于每个预测块或重构块可以用其选择的系数独立地进行变换、量化，然后进行存储/传输，所以可以不考虑相邻块之间的相关性。因此，当重构出已编码的视频帧时，属于不同块的边界区域可以用不同方式进行处理，从而产生可见的不连续性，这可以称为块效应。这些效应的严重程度取决于不同水平的压缩。通常，量化程度越强，潜在效应就越严重。当此种现象比较显著时，它可以明显降低视频质量。
[0023]为了减少块效应并且提高重构出的视频帧的质量，帧内平滑方案有时可以适用于位于块边缘上的像素。帧内平滑可以使用分块滤波器来消除或减少块效应。在编码器中的逆变换之后(例如，在重构和存储宏块以待将来预测之前)以及/或者在解码器中的逆变换之后(例如，在重构和显示宏块之前)，可以运用分块滤波器。在帧内平滑的作用下，块边界可以变平滑，从而改善解码的视频帧的表观(尤其是在较高压缩率下)。帧内平滑可以适用于宏块中块的垂直和/或水平边缘。在许多情况下，帧内平滑可以适用于亮度数据和色度数据。
[0024]目前，存在多种帧内平滑方案。例如，在一种方案中，编解码器可以基于每个当前块的帧内预测模式确定是否运用分块滤波器以及运用何种分块滤波器。这种方案可以称为依赖于模式的帧内平滑(MDIS)。同时，存在多种MDIS方法。例如，一种MDIS方法可以明确地发出是否对预测样本进行滤波的信号。对于所有潜在的帧内预测模式，编码器通过测试率失真(RD)成本来作出平滑决策。在替代性MDIS方法中，滤波或未滤波的预测样本的RD成本可以仅测试用于最佳帧内预测模式，从而产生相对较快的MDIS过程。
[0025]压缩标准中传统的基于块的帧内编码可以仅将正方形块用作预测单元(PU)，所述压缩标准例如，高级视频编码(AVC)、关键技术区(KTA)以及HEVC测试模型(HM)等。预测单元可以指用于预测的基本单元。正方形PU包括水平侧(宽度)，其与垂直侧(高度)具有数目相同的像素。基于正方形PU的MDIS方案可以根据查找表(LUT)确定滤波器的开/关(0N/OFF)状态和/或其类型。表1示出示例性LUT，其可以用在根据“WD3:高性能视频编码的工作草案 3 (WD3:Working Draft3of High-Efficiency Video Coding)，，的 HM3.0 中，该草案在2011年3月16-33日在日内瓦(Geneva)由托马斯?韦根(Thomas Wiegand)、韩振基(Woo-Jin Han)、本杰明.布洛斯(Benjamin Bross)、简瑞纳.欧姆(Jens-Rainer Ohm)、嘉瑞.J.苏利文(Gary J.Sullivan)在 ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的视频编码联合协作小组(JCT-VC)的第5次会议中的文档JCTVC-E603中提出，该草案以引入的方式并入本文本中。表1可以包括多个滤波器决策条目，并且每个条目可以用正方形PU尺寸和帧内预测模式检索。行对应于帧内预测中正方形PU的所有可能尺寸，其中每行表示唯一的正方形I3U尺寸(例如，2x2、4x4等)。列对应于可以在ΠΡ方案中使用的34个预测模式，其中每列表示根据图1编号(从O到33)的帧内预测模式。表1中的条目对应于滤波器决策，并且表示决策的编号分配。对于本文本中的每个滤波器决策，编号I指示帧内平滑滤波器被打开，而编号O指示帧内平滑滤波器被关闭。例如，对于具有定向预测模式3的4x4正方形PU，可以执行帧内平滑；对于具有定向预测模式5的64x64正方形PU，可能并不执行中贞内平滑。
【权利要求】
1.一种设备，其包括:一个处理器，所述处理器用于:确定是否基于用于正方形预测单元(PU)的查找表(LUT)对矩形PU使用帧内平滑滤波器，其中所述矩形PU的宽度不等于所述矩形PU的高度。
2.根据权利要求1所述的设备，其中所述处理器进一步用于确定所述矩形PU的帧内预测模式，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形的宽度检索，并且其中所述LUT的条目经选择用于对应于某种正方形的所述矩形PU，所述正方形PU与所述矩形PU具有相同的帧内预测模式和宽度。
3.根据权利要求2所述的设备，其中当满足以下条件中的至少一个条件时，不使用帧内平滑滤波器:所述矩形PU的所述宽度等于一所述矩形PU的所述高度等于一所述矩形PU的所述宽度小于五；以及所述矩形PU的所述高度小于五。
4.根据权利要求1所述的设备，其中所述处理器进一步用于确定所述矩形PU的帧内预测模式，其中用于正方 形PU的所述LUT用帧内预测模式和所述正方形的高度检索，并且其中所述LUT的条目经选择用于对应于某种正方形的所述矩形PU，所述正方形PU与所述矩形PU具有相同的帧内预测模式和高度。
5.根据权利要求4所述的设备，其中当满足以下条件中的至少一个条件时，不使用帧内平滑滤波器:所述矩形PU的所述高度等于一所述矩形PU的所述宽度等于一所述矩形PU的所述高度小于五；以及所述矩形PU的所述宽度小于五。
6.根据权利要求1所述的设备，其中所述处理器进一步用于确定所述矩形PU的帧内预测模式，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形的维度检索，其中所述LUT的条目经选择用于对应于正方形的所述矩形PU，其中对应的矩形与所述正方形I3U具有相同的帧内预测模式，并且其中所述对应的矩形PU的所述宽度与高度之间的较大值等于所述正方形PU的宽度。
7.根据权利要求1所述的设备，其中所述处理器进一步用于确定所述矩形PU的帧内预测模式，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形的块尺寸检索，并且其中所述LUT的条目经选择用于对应于某种正方形的所述矩形PU，所述正方形PU与所述矩形PU具有相同的帧内预测模式和块尺寸。
8.根据权利要求7所述的设备，其中当满足以下条件中的至少一个条件时，不使用帧内平滑滤波器:所述矩形PU的所述宽度或高度等于一；以及所述矩形PU的所述宽度或高度小于五。
9.根据权利要求1所述的设备，其中所述处理器进一步用于基于用于正方形PU的所述LUT确定所述矩形的所述帧内平滑滤波器类型。
10.一种由处理器实施的方法，其包括:确定是否基于用于正方形预测单元(PU)的查找表(LUT)对矩形PU使用帧内平滑滤波器，其中所述矩形PU的宽度不等于所述矩形PU的高度。
11.根据权利要求10所述的方法，进一步包括确定所述矩形PU的帧内预测模式，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形PU的宽度检索，并且其中所述LUT的条目经选择用于对应于某种正方形PU的所述矩形PU，所述正方形与所述矩形具有相同的帧内预测模式和宽度。
12.根据权利要求10所述的方法，进一步包括确定所述矩形的帧内预测模式，其中用于正方形I3U的所述LUT用帧内预测模式和所述正方形PU的高度检索，并且其中所述LUT的条目经选择用于对应于某种正方形PU的所述矩形PU，所述正方形与所述矩形具有相同的帧内预测模式和高度。
13.根据权利要求10所述的方法，进一步包括确定所述矩形的帧内预测模式，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形PU的块尺寸检索，并且其中所述LUT的条目经选择用于对应于某种正方形的所述矩形PU，所述正方形PU与所述矩形具有相同的帧内预测模式和块尺寸。
14.一种设备,其包括:一个处理器，所述处理器用于`:根据短距离帧内预测(SDIP)方案，将正方形编码单元(CU)分成包含矩形预测单元(PU)的多个块，其中所述矩形PU的宽度不等于所述矩形的高度；以及确定是否基于查找表(LUT)对所述矩形PU使用帧内平滑滤波器，所述LUT用于正方形PU的依赖于模式的帧内平滑(MDIS)。
15.根据权利要求14所述的设备，其中用于正方形PU的所述LUT用帧内预测模式和所述正方形PU的维度检索，并且其中所述处理器进一步用于根据所述SDIP方案选择所述矩形PU的帧内预测模式。
16.根据权利要求15所述的设备，其中所述LUT的条目经选择用于对应于某种正方形PU的所述矩形PU，所述正方形PU与所述矩形具有相同的帧内预测模式和宽度。
17.根据权利要求15所述的设备，其中所述LUT的条目经选择用于对应于某种正方形PU的所述矩形PU，所述正方形PU与所述矩形具有相同的帧内预测模式和高度。
18.根据权利要求15所述的设备，其中所述LUT的条目经选择用于对应于某种正方形PU的所述矩形PU，所述正方形PU与所述矩形具有相同的帧内预测模式和块尺寸。
【文档编号】H04N19/86GK103609124SQ201280029584
【公开日】2014年2月26日 申请日期:2012年6月14日 优先权日:2011年6月15日
【发明者】李贵春, 刘凌志, 赖昌材, 林楠, 郑建铧, 张臣雄 申请人:华为技术有限公司