用于视频压缩中的帧内图片区块复制的方法和装置的制造方法
【专利说明】
[0001] 交叉引用
[0002] 本发明主张在2013年11月29日提出的申请号为61/910，134的美国专利申请的优 先权。因此在全文中合并参考该专利申请案。
技术领域
[0003] 本发明是有关于视频压缩，特别是有关于利用帧内图片区块复制的视频压缩。
【背景技术】
[0004] 除非本文另有指出，否则本小节所描述的内容相对于本发明的权利要求而言不构 成现有技术，且其也不会被承认为现有技术。
[0005] 由于各种各样的视频相关的应用（例如，流媒体、无线显示、远程游戏、云计算、远 程教育等）日益广泛，视频压缩变得很重要。在这些应用中的视频通常具有包括自然视频、 在相同图片中的文本和图形的混合内容。
[0006] 在高效视频编码(High Efficiency Video Coding,HEVC)标准，是先进视频编码 (Advanced Video Coding，AVC)标准的后续，并且高效视频编码标准于2013年1月完成。关 于高效视频编码标准的数个扩展的调查已经在HEVC标准的定稿之前开始。范围扩展(Range extension,RExt)是在调查之下的一个扩展，其目标在于提供较高比特深度(例如，10、12、 14、16)、以及除YUV420颜色格式之外的颜色格式(例如，YU422，YUV444和RGB444)的有效压 缩视频内容的解决方案。
[0007] 在范围扩展的调查期间，一些视频编码工具已被学习，包括帧内图片区块复制 (intra picture block copy, IntraBC)技术。帧内图片区块复制是一种区块匹配技术。在 此技术中，编码单元被预测作为自在相同图片的相邻区域中的采样的已重建区块的取代。 由于帧内图片区块复制移除了自重复样式(repeating patterns)的冗余，帧内图片区块复 制有效用于屏幕内容视频，其中重复样式通常发生在图片中的区域文本及/或图形中。
[0008] 请参考图10,在第一种方法中，用于利用帧内运动补偿的编码单元，参考区块自相 同图片中的已重建区域而获得，然后，运动矢量和残差被编码。在此方法中，在许多方面帧 内运动补偿不同于高效视频编码的帧间图片的情况。首先，运动矢量被限制为一维，即水平 或垂直，而不是两维。此外，二值化（binarization)为固定长度，而不是指数哥伦布码 (exponential-Golomb)。此外，新的语法元素被引入以发送信号指示是否运动矢量为水平 或垂直。
[0009] 在第二种方法中，帧内运动补偿被扩展至支持二维运动矢量，以使得运动矢量组 分可以同时为非〇(如高效视频编码的帧间图片的情况一样）。与第一种方法相比，能提供对 于帧内运动补偿的更好的灵活性，在第一种方法中运动矢量被严格地限制为水平或垂直。 第二种方法采用二维帧内运动补偿并移除插值滤波器（interpolation filters)。第二种 方法也将查找区域限制为当前编码树单元和左编码树单元。
[0010] 在第一种方法和第二种方法中的帧内图片区块复制技术中，在参考区块中的所有 采样需要为已重建的采样。由于此要求，参考区块不能与当前编码单元重叠。第三种方法扩 展当前帧内图片区块复制方法以使得在当前区块和参考区块之间的重叠被允许。请参考图 11，DVx和DVy代表位移矢量(displacement vector,DV)的水平和垂直分量，W和H代表当前 区块的宽度和高度。当参考区块与当前编码单元重叠时，参考区块的左侧和上方可用，如图 11所示。不可用的部分通过水平复制在参考区块中的最近的可用的已重建采样而被填充。
[0011] 在第四种方法中，当预测当前编码单元与参考编码单元重叠时，在重叠区域中的 预测采样通过自水平方向或垂直方向复制可用的采样而产生。请参考图12,当|MVy I > IMVx 时，参考采样通过复制上述编码单元的最下面一行的参考采样而产生。否则，当|MVy| < MVx I时，参考米样通过复制左侧编码单兀的最右边一列的参考米样而广生。相似于第二种 方法，当（-W〈MVx ^ 0)以及（-H〈MVy ^ 0)时，第四种方法的填充过程被调用，其中W和H为当前 区块的宽度和高度，以及MVx和MVy为运动矢量的水平和垂直元素。
【发明内容】
[0012] 本
【发明内容】
仅用于解释并非以任何方式限制本发明。也就是说，
【发明内容】
用于引 入在此描述的技术的新颖的、非显而易间的概念、亮点、有益效果和优点。选择的示例进一 步如下所示进一步详述。因此，本
【发明内容】
不打算确定要求的主题的基本特征，也没有打算 确定要求的保护范围。
[0013] 本发明的目的之一在于当在参考区块和当前要被预测的区块之间存在重叠区域 时，提供在视频压缩中用于帧内图片区块复制的填充技术和方式。
[0014] 在一个示例中，提出一种在视频压缩装置中实现的方法，该方法涉及识别图片的 多个像素的第一区块，作为参考区块以用于重建图片的多个像素的第二区块的装置。该方 法也涉及确定与第一区块重叠的第二区块的重叠区域的装置。该方法进一步涉及基于第一 区块的第一像素集和第二区块的第二像素集，重建在重叠区域中的像素的装置。其中，第一 区块的第二像素集不同于第一区块的第一像素集。在一个实施方式中，第一区块的第一像 素集相邻于重叠区域的第一侧，以及第一区块的第二像素集相邻于重叠区域的第二侧。
[0015] 在另一示例中，视频压缩装置可包括存储器和耦接于存储器的处理器。存储器可 被配置为存储与图片的多个像素相关的数据。处理器可被配置为存入数据以及自存储器存 取数据。处理器可包括测定单元和重建单元。测定单元可被配置为识别图片的多个像素的 第一区块，作为参考区块以用于重建图片的多个像素的第二区块。测定单元进一步被配置 为确定第二区块的重叠区域，第二区块与第一区块重叠。重建单元可被进一步配置为基于 第一区块的第一像素集和第一区块的第二像素集，重建重叠区域中的像素。
[0016] 本发明的有益效果是，通过基于参考区块的不同像素来重建重叠区域，当前要被 预测区块的像素的重叠区域的像素可与周围的像素更好地混合。与上述现有技术相比，本 发明提供一种更粒度(granular)的方式来重建要被预测区块的像素。
【附图说明】
[0017] 本发明提供了附图以更好地理解本发明，附图并入本发明且构成本发明的一部 分。附图揭露了本发明的实施方式，并同说明书一起共同解释本发明的原理。可以理解的 是，附图并不一定是按照比例绘制的，因而，某些绘制的元件可能同其在实际的实施方式中 的尺寸不成比例，这样做可更清晰地阐释本发明的构思。
[0018] 图1为根据本发明实施方式的在视频压缩中用于帧内图片区块复制的填充方法的 示意图。
[0019] 图2为根据本发明另一实施方式的在视频压缩中用于帧内图片区块复制的填充方 法的示意图。
[0020] 图3为根据本发明又一实施方式的在视频压缩中用于帧内图片区块复制填充的方 法的示意图。
[0021] 图4为根据本发明又一实施方式的在视频压缩中用于帧内图片区块复制填充的方 法的示意图。
[0022] 图5为根据本发明实施方式的在视频压缩中用于帧内图片区块复制填充的方法的 示意图。
[0023]图6为根据本发明另一实施方式的在视频压缩中用于帧内图片区块复制填充的方 法的示意图。
[0024]图7为根据本发明又一实施方式的在视频压缩中用于帧内图片区块复制填充的方 法的示意图。
[0025] 图8为根据本发明实施方式的示范性视频压缩装置的方框图。
[0026] 图9为根据本发明实施方式的在视频压缩中的帧内图片区块复制的处理的流程 图。
[0027] 图10为根据现有的方式的帧内运动补偿的示意图。
[0028] 图11为根据现有的方式的利用填充的帧内图片区块复制的示意图。
[0029] 图12为根据另一现有方式的利用填充的帧内图片区块复制的示意图。
【具体实施方式】
[0030] 概述
[0031] 当在参考区块和当前要被预测的区块之间存在重叠时，本发明提供一种在视频压 缩中用于帧内图片区块复制的填充的新的方式和技术的新的和非显而易见的实施方式。参 考图1~7,本发明实施方式的各种描述如下所示。
[0032] 值得注意的是，尽管在此描述和解释的每一个示例适合参考区块位于当前要被预 测的区块的左侧和上方的情况，本发明的实施方式同样适应于参考区块和当前要被预测的 区块之间的方向不同的其他情况。举例来说，本发明的实施方式也应用于参考区块位于当 前要被预测的区块的右侧和上方的情况。相似地，本发明的实施方式也应用于参考区块位 于当前要被预测的区块的左侧和下方的情况。同样，本发明的实施方式也可应用于参考区 块位于当前要被预测的区块的右侧和下方的情况。
[0033] 此外，尽管在此描述和揭示的每一个示例适合重叠区域不被分割、或者分割为两 部分的情形，本发明的实施方式也可应用于重叠区域被分割或被分割为多于两部分(例如， 三或四部分）的情形。因此，为求简洁和更好地理解本发明的实施方式，此处描述和解释的 示例针对重叠区域被分割为两部分的情形。
[0034] 图1为根据本发明实施方式的在视频压缩中用于帧内图片区块复制的填充方法 100的示意图。
[0035] 在示例方法100中，参考区块110为图片的多个像素的区块，参考区块110已被识别 并用作填充或重建在图片中的多个像素的当前要被预测区块120的参考。参考区块120具有 重叠区域130,重叠区域130与参考区块110部分重叠。区块矢量115指示在参考区块110和当 前区块120之间的空间关系。区块矢量115等于现有方法中的运动矢量，如图10和图12所示 的运动矢量。在图1所示的示例中，区块矢量115自重叠区域130的左上角指向参考区块110 的左上角。
[0036] 在示例方法100中，重叠区域130可通过线118被分割为两部分-左下部分和右上部 分。线118为区块矢量115的延长线。也就是说，在图1所示的示例中，线118与区块矢量115平 行并自重叠区域130的左上角向指向重叠区域130的右侧的交叉点延伸。
[0037] 在一些实施方式中，在重叠区域130的左下部分的像素可通过复制参考