帧内运动补偿延伸的制作方法
【专利说明】
[0001] 本申请案主张以下各者的权利：
[0002] 2013年7月12日申请的美国临时申请案第61/845, 832号；和 [0003]2013年7月16日申请的美国临时申请案第61/846, 976号，
[0004]所述申请案中的每一者的全部内容在此以引用的方式并入。
技术领域
[0005]本发明涉及视频译码，且更明确地说，涉及基于其它视频块的对视频块的预测。
【背景技术】
[0006]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或台式计算机、平板型计算机、电子书读取 器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或 卫星无线电电话、所谓的"智能型电话"、视频电传会议装置、视频流式传输装置和其类似 者。数字视频装置实施视频压缩技术，例如描述于由MPEG-2、MPEG-4、ITU-TH. 263、ITU-T H. 264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、目前在开发中的高效率视频 译码（HEVC)标准和这些标准的延伸中的视频压缩技术。视频装置可通过实施这些视频压 缩技术来较有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0007]视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测以减小或去除 视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帧或视频帧的 一部分）分割成视频块（其也可称为树型块）、译码单元（CU)和/或译码节点。可使用相 对于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码（I)切片中的 视频块。图片的帧间译码（Ρ或Β)切片中的视频块可使用相对于同一图片中的相邻块中的 参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧， 且参考图片可被称为参考帧。
[0008] 空间或时间预测引起用于待译码的块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译 码块与预测性块之间的差的残余数据来编码帧间译码块。根据帧内译码模式和残余数据来 编码帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而引起残余 变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化的变换系 数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
【发明内容】
[0009]本发明介绍与帧内模式补偿（頂〇译码有关的技术。在頂C译码中，视频编码器 在与正译码的块相同的帧或图片中搜索预测性块（如在帧内预测模式中），但视频编码器 搜索较宽广的搜索区而并非仅相邻的行和列（如在帧间预测模式中）。视频解码器通过定 位由视频编码器确定的相同预测性块来解码所述块。
[0010] 根据一个实例，一种解码视频数据的方法包含：确定所述视频数据的当前块是使 用帧内运动补偿（IMC)模式编码，其中所述当前块在视频帧中；确定所述视频数据的当前 块的第一色彩分量的偏移向量；在所述视频帧中使用所述偏移向量来定位所述第一色彩分 量的参考块；响应于所述偏移向量指向视频数据的当前块的第二色彩分量的子像素位置来 修改所述偏移向量以产生经修改偏移向量；在所述视频帧中使用所述经修改偏移向量来定 位所述第二色彩分量的参考块；和基于所述第一色彩分量的参考块和所述第二色彩分量的 参考块来解码所述当前块。
[0011] 根据另一实例，一种编码视频数据的方法包含：确定视频数据的当前块将使用帧 内运动补偿（IMC)模式编码；确定所述视频数据的当前块的第一色彩分量的偏移向量；在 所述视频帧中使用所述偏移向量来定位所述第一色彩分量的参考块；响应于所述偏移向量 指向视频数据的当前块的第二色彩分量的子像素位置来修改所述偏移向量以产生经修改 偏移向量；在所述视频帧中使用所述经修改偏移向量来定位所述第二色彩分量的参考块； 和产生供包含于视频数据的经编码位流中的识别所述偏移向量的一或多个语法元素。
[0012] 根据另一实例，一种执行视频译码的设备包含：存储器，其存储视频数据；和包括 一或多个处理器的视频译码器，所述一或多个处理器经配置以：确定所述视频数据的当前 块是使用帧内运动补偿（IMC)模式编码，其中所述当前块在视频帧中；确定所述视频数据 的当前块的第一色彩分量的偏移向量；在所述视频帧中使用所述偏移向量来定位所述第一 色彩分量的参考块；响应于所述偏移向量指向视频数据的当前块的第二色彩分量的子像素 位置来修改所述偏移向量以产生经修改偏移向量；在所述视频帧中使用所述经修改偏移向 量来定位所述第二色彩分量的参考块；和基于所述第一色彩分量的参考块和所述第二色彩 分量的参考块来译码所述当前块。
[0013] 根据另一实例，一种执行视频译码的设备包含：用于确定所述视频数据的当前块 是使用帧内运动补偿（IMC)模式编码的装置，其中所述当前块在视频帧中；用于确定所述 视频数据的当前块的第一色彩分量的偏移向量的装置；用于在所述视频帧中使用所述偏移 向量来定位所述第一色彩分量的参考块的装置；用于响应于所述偏移向量指向视频数据的 当前块的第二色彩分量的子像素位置来修改所述偏移向量以产生经修改偏移向量的装置； 用于在所述视频帧中使用所述经修改偏移向量来定位所述第二色彩分量的参考块的装置； 和用于基于所述第一色彩分量的参考块和所述第二色彩分量的参考块来译码所述当前块 的装置。
[0014] 根据另一实例，一种计算机可读媒体存储指令，所述指令在由一或多个处理器执 行时使所述一或多个处理器：确定所述视频数据的当前块是使用帧内运动补偿（mc)模式 编码，其中所述当前块在视频帧中；确定所述视频数据的当前块的第一色彩分量的偏移向 量；在所述视频帧中使用所述偏移向量来定位所述第一色彩分量的参考块；响应于所述偏 移向量指向视频数据的当前块的第二色彩分量的子像素位置来修改所述偏移向量以产生 经修改偏移向量；在所述视频帧中使用所述经修改偏移向量来定位所述第二色彩分量的参 考块；和基于所述第一色彩分量的参考块和所述第二色彩分量的参考块来译码所述当前 块。
[0015] -或多个实例的细节陈述于随附图式和以下描述中。其它特征、目标和优势将从 所述描述和所述图式以及从权利要求书显而易见。
【附图说明】
[0016] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
[0017] 图2A到2C为说明视频数据的不同样本格式的概念图。
[0018] 图3为说明根据4:2:0样本格式而被格式化的16X16译码单元的概念图。
[0019] 图4为说明根据4:2:2样本格式而被格式化的16X16译码单元的概念图。
[0020] 图5展示帧内运动补偿（頂〇模式的概念说明。
[0021] 图6为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0022] 图7为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0023] 图8为展示根据本发明的技术的译码视频数据的方法的实例的流程图。
【具体实施方式】
[0024] 各种视频译码标准（包含新近开发的高效率视频译码（HEVC)标准）包含用于视 频块的预测性译码模式，其中当前正译码的块是基于视频数据的业已译码块加以预测。在 帧内预测模式中，当前块是基于在与所述当前块相同的图片中的一或多个先前译码的相邻 块加以预测，而在帧间预测模式中，当前块是基于不同图片中的业已译码块加以预测。在帧 间预测模式中，有时将确定待用作预测性块的先前译码帧的块的过程称为运动估计，运动 估计大体由视频编码器执行，且有时将识别和检索预测性块的过程称为运动补偿，运动补 偿由视频编码器与视频解码器两者执行。
[0025] 视频编码器通常通过使用多个译码情境译码视频且识别产生所要速率-失真取 舍的译码情境来确定如何译码视频数据序列。当针对特定视频块来测试帧内预测译码情境 时，视频编码器通常测试相邻像素行（即，紧接于正译码的块上面的像素行）且测试相邻像 素列（即，紧接于正译码的块左边的像素列）。相比之下，当测试帧间预测情境时，视频编码 器通常在大得多的搜索区中识别候选预测性块，其中所述搜索区对应于在视频数据的先前 译码帧中的视频块。
[0026] 然而，已发现，对于某些类型的视频图像（例如，包含文字、符号或重复性图案的 视频图像）来说，可通过使用帧内运动补偿（MC)模式来达成关于帧内预测和帧间预测的 译码增益，所述nc模式有时也称为帧内块复制（IBC)模式。在本发明中，术语nc模式与 IBC模式可互换。例如，最初使用术语頂C模式，但后来頂C模式被修改为IBC模式。在頂C 模式中，视频编码器在与正译码的块相同的帧或图片中搜索预测性块（如在帧内预测模式 中），但视频编码器搜索较宽广的搜索区而并非仅相邻的行和列（如在帧间预测模式中）。
[0027] 在頂C模式中，视频编码器可确定偏移向量（有时也称为运动向量或块向量），以 用于识别在与正预测的块相同的帧或图片内的预测性块。举例来说，所述偏移向量包含X 分量和y分量，其中X分量识别正预测的视频块与预测性块之间的水平位移，且其中y分量 识别正预测的视频块与预测性块之间的垂直位移。视频编码器在经编码位流中发信所确定 的偏移向量使得视频解码器在解码所述经编码位流时可识别由视频编码器选择的预测性 块。
[0028] 本发明介绍可改善頂C译码的性能和/或简化利用頂C译码模式的系统的系统设 计的技术。根据一种技术，用以发信运动向量的分量（例如，X分量或y分量）的码字的长 度可取决于用于MC译码模式的搜索区域的大小和/或包含正预测的块的译码树型单元的 大小。以此方式，固定长度的码字可用以发信偏移向量的分量，但固定长度的码字的长度可 取决于情境。举例来说，固定长度的码字的长度可针对X分量和y分量而不同。通过在一 些译码情境中使用较小固定长度的码字，可减少与发信IMC译码模式的偏移向量相关联的 位附加项。
[0029] 根据本发明的技术的另一方面，视频译码器可确定正以頂C模式译码的视频数据 块的偏移向量（例如，用于第一色彩分量），且如果所述偏移向量指向子像素位置（例如，用 于第一色彩分量抑或第二色彩分量），那么可修改所述偏移向量以指向整数像素位置或指 向较不精确的子像素位置。如下文将予以更详细解释，针对第一色彩分量所确定的偏移向 量在被用以定位用于第二色彩分量的预测性块之前可能需要加以缩放。即使原始偏移向量 指向第一色彩分量的整数像素位置，经缩放的偏移向量仍可指向第二色彩分量的子像素位 置。在其它实例中，经缩放的偏移向量可针对第二偏移向量指向精度比偏移向量针对第一 色彩分量所指向高的像素位置。
[0030] 根据本发明的技术，偏移向量和/或经修改偏移向量可经舍位以指向整数像素位 置或指向较不精确的像素位置。指向整数像素位置可消除需要执行内插滤波，而指向较不 精确的子像素位置可相对于被用于较精确的子像素位置的内插滤波器来降低内插滤波器 的复杂度。避免内插滤波或使用较不复杂的内插滤波器可潜在地降低用于实施MC译码模 式的总复杂度（即，存储器使用、操作数目等）。
[0031] 根据本发明的技术的另一方面，可将用于IMC译码模式的最大译码单元（CU)大小 设定到小于最大CTU大小的大小。因此，可仅针对大小与用于IMC译码的最大CU大小相同 或小于用于頂c译码的最大cu大小的cu来执行nc译码。在一些实施方案中，具有小于 最大ctu大小的用于nc译码的最大cu大小可为编码器侧优化使得通过针对大于用于nc 译码的最大cu大小的视频数据块而不评估imc译码情境来增加编码视频数据的速度。在 此实施方案中，用于IMC译码的最大CU大小可能无需发信到视频解码器或无需由视频解码 器来确定。在其它实施方案中，视频编码器可明确地抑或隐含地将用于MC译码的最大CU 大小发信到视频解码器。
[0032] 根据本发明的技术的另一方面，用于每一⑶的运动向量译码方法可取决于⑶大 小、CU位置和CTU大小中的一或多者。如本发明中所使用，运动向量译码方法可参考用以 译码运动向量的码字的长度，但其也可参考运动向量是使用固定长度码还是可变长度码译 码，或参考用于译码运动向量的某种其它方法。CU位置可指代CU在视频数据帧内的位置， 但⑶位置也可指代⑶在CTU内的位置。举例来说，与位于CTU顶部的⑶相比，位于CTU 的右下角中的CU可潜在地需要较长运动向量以识别预测性块。因此，用以译码右下CTU的 运动向量的码字可长于用以译码定位于CTU顶部的CTU的运动向量的码字。根据此方面， 具有不同大小或位于不同位置或处于不同CTU大小的CU的码长可为不同的。应注意，mv译 码中的其它过程也可取决于⑶大小、⑶位置也和/或CTU大小（例如，算术码的码类型或 上下文模型）。
[0033] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 如图1中所示，系统10包含源装置12,所述源装置产生稍后待由目的地装置14解码的经编 码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含台式计 算机、笔记型（即，膝上型）计算机、平板型计算机、机顶盒、电话手机（例如，所谓"智能型" 电话）、所谓"智能型"板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频 流式传输装置或其类似者。在一些状况下，源装置12和目的地装置14可经装备以进行无 线通信。
[0034] 目的地装置14可经由链路16来接收待解码的经编码视频数据。链路16可包括 能够将经编码视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一个 实例中，链路16可包括用以使源装置12能够将经编码视频数据直接实时传输到目的地装 置14的通信媒体。可根据通信标准（例如，无线通信协议）来调制经编码视频数据，且将 经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体（例如， 射频（RF)频谱或一或多个物理传输线）。通信媒体可形成基于封包的网络（例如，局域网、 广域网或例如因特网的全球网络）的部分。通信媒体可包含路由器、交换器、基站，或可对 促进从源装置12到目的地装置14的通信有用的任何其它装备。
[0035] 替代地，可将经编码数据从输出接口 22输出到存储装置17。类似地，可通过输入 接口从存储装置17来存取经编码数据。存储装置17可包含多种分散式或本机存取的数据 存储媒体（例如，硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或 用于存储经编码视频数据的任何其它合适数字存储媒体）中的任一者。在另外的实例中， 存储装置17可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储 装置。目的地装置14可经由流式传输或下载从存储装置17存取所存储的视频数据。文件 服务器可为能够存储经编码视频数据且将彼经编码视频数据传输到目的地装置14的任何 类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附加 存储（NAS)装置或本地磁盘机。目的地装置14可通过任何标准数据连接（包含因特网连 接）来存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码 视频数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器等），或 两者的组合。经编码视频数据从存储装置17的传输可为流式传输传输、下载传输或两者的 组合。
[0036] 本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用 (例如，（例如）经由因特网的空中电视广播、有线电视传输、卫星电视传输、流式传输视频 传输）中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据 存储媒体上的数字视