视频数据编码和解码的制作方法
【专利说明】
[0001]相关申请的交叉引用
[0002] 本申请分别要求于2013年10月1日、2013年10月8日、2013年10月21日以及2013年 11月25日提交给英国知识产权局的GBl317406.5、GB1317803.3、GB1318593.9以及 GB1320772.5的较早申请日的权益，通过引用将其全部内容结合于此。
技术领域
[0003] 本公开涉及数据编码和解码。
【背景技术】
[0004] 本发明中提供的"背景"描述用于整体呈现本公开的背景的目的。在此背景段落以 及在申请时可能不被认定为现有技术的说明观点中所述范围内的目前所指名发明人的工 作，并未被明确地或暗示地认可作为相对本公开的现有技术。
[0005] 存在一些视频数据压缩和解压缩系统，其涉及将视频数据变换成频域表示、量化 频域系数并且然后向量化系数应用某种形式的熵编码。
[0006] 在编码器侧变换成空间频率域对应于在解码器侧的逆变换。示例性变换包括所谓 的离散余弦变换(DCT)和所谓的离散正弦变换(DST)。在一些实例中，通过将输入样本的阵 列矩阵乘以变换系数的矩阵进行变换以生成频率变换数据。频率变换数据被转换回采样数 据，通过使频率变换数据的阵列矩阵乘以逆变换系数的矩阵从该采样数据中能够得出输出 视频数据。
[0007] 诸如所谓的高效率视频编码(HEVC)标准的一些标准和暂行标准限定了实际上未 使用空间频率变换的编码和解码模式。有时这些称为"变换跳过"或者"变换-量化跳过" ("变换-量化"是"变换和量化"的缩写)模式。
【发明内容】
[0008] 本公开的一方面由权利要求1限定。
[0009] 在所附权利要求中限定了进一步的各个方面及特征。
[0010] 应当理解，前述一般性描述和以下【具体实施方式】是示例性的而不是对本公开的限 制。
【附图说明】
[0011] 当结合附图考虑时，通过参考以下实施方式的详细描述将很容易获得并且同样更 好地理解本公开的更完整的认识及其许多所伴随的优点，其中：
[0012] 图1示意性地示出了使用视频数据压缩和解压缩的音频/视频(A/V)数据发送和接 收系统；
[0013] 图2示意性地示出了利用视频数据解压缩的视频显示系统；
[0014] 图3示意性地示出了利用视频数据压缩和解压缩的音频/视频存储系统；
[0015]图4a示意性地示出使用视频数据压缩的摄影机；
[0016]图4b示意性地更详细地示出了示例性摄影机；
[0017] 图4c示意性地示出另一示例性摄像机；
[0018] 图4d和图4e示意性地示出数据载体；
[0019] 图5提供视频数据压缩和解压缩装置的示意图；
[0020] 图6示意性地示出了预测图像的生成；
[0021]图7示意性地示出了最大编码单元(IXU);
[0022]图8示意性地示出了四个编码单元(⑶)的集合；
[0023]图9和图10不意性地不出了被子划分成更小编码单兀的图8的编码单兀；
[0024] 图11示意性地示出了预测单元(PU)的阵列；
[0025] 图12示意性地示出了变换单元(TU)的阵列；
[0026]图13示意性地示出了样本的阵列；
[0027]图14示意性地示出频率分离的系数的阵列；
[0028I图15示意性地示出了图14的阵列内的趋势；
[0029]图16示意性地示出了反向扫描；
[0030] 图17a至图17c示意性地示出了取整技术(rounding technique);
[0031 ] 图18示意性地示出了RDOQ装置；
[0032]图19a和图19b示意性地示出了图18的装置的操作；
[0033]图20示意性地示出了编码器的部分；
[0034] 图21和图22示意性地示出了RDPCM操作；
[0035] 图23a和图23b示意性地示出了RDPCM数据阵列中的趋势；
[0036]图24a和图24b示意性地示出了水平编码的RDPCM数据的扫描顺序的变化； [0037]图25a和图25b示意性地示出了水平编码的RDPCM数据的扫描顺序的变化； [0038]图26a和图26b示意性地示出了内部图像编码的RDPCM数据的扫描顺序的变化； [0039]图27是示出了处理方法的示意性流程图；
[0040]图28示意性地示出了解码器的一部分；
[0041]图29至图31是指示编码器和/或解码器的操作的方面的示意性流程图；
[0042]图32示意性地示出了对于图像内编码块操作的编码器和/或解码器的一部分； [0043]图33示意性地示出了对于图像间编码块操作的编码器和/或解码器的一部分； [0044]图34示意性地示出了对于图像内编码块操作的编码器和/或解码器的一部分； [0045]图35示意性地示出了对于图像间编码块操作的编码器和/或解码器的一部分； [0046]图36示意性地示出dc值的块；
[0047] 图37a示意性地示出了在水平DPCM处理之后图36的块；
[0048]图37b示意性地示出了在旋转操作之后图37a的块；
[0049] 图38a示意性地示出了在垂直DPCM处理之后图36的块；
[0050]图38b示意性地示出了在旋转操作之后图38a的块；
[0051]图39示意性地示出编码器的操作的部分；
[0052]图40示意性地示出解码器的操作的一部分；以及 [0053] 图41a和图41b示意性地示出处理顺序的变化。
【具体实施方式】
[0054] 现在参考附图，图1至图4e被提供以给出利用压缩和/或解压缩装置的装置或系统 的示意图，以供配合实施方式而描述于下。
[0055] 下面将要描述的所有数据压缩和/或解压缩装置可以以硬件、运行在诸如通用计 算机、如专用集成电路(ASIC)或者现场可编程门阵列(FPGA)或者其组合的可编程硬件的通 用数据处理装置上的软件实施。在由软件和/或固件实施实施方式的情况下，应当理解，这 样的软件和/或固件以及通过其存储或以另外的方式提供的这样的软件和/或固件的非瞬 时性机器可读数据存储介质被视为实施方式。
[0056] 图1示意性地示出了利用视频数据压缩和解压缩的音频/视频数据发送和接收系 统。
[0057] 输入音频/视频信号10被提供给视频数据压缩装置20,视频数据压缩装置压缩音 频/视频信号10的至少视频分量以用于沿着诸如电缆、光纤、无线链路等传输路径30的传 输。压缩信号被解压缩装置40处理以提供输出音频/视频信号50。对于返回路径，压缩装置 60压缩音频/视频信号以沿着传输路径30传输到解压缩装置70。
[0058]压缩装置20和解压缩装置70由此能够形成传输链路的一个节点。解压缩装置40和 解压缩装置60能够形成传输链路的另一节点。当然，在传输链路为单向的情况下，仅一个节 点需要压缩装置并且另一节点仅需要解压缩装置。
[0059] 图2示意性地示出了使用视频数据解压缩的视频显示系统。具体地，压缩的音频/ 视频信号100被解压缩装置110处理以提供能够在显示器120上显示的解压缩信号。解压缩 装置110可以实施为显示器120的组成部分，例如，与显示设备设置在同一壳体内。另一方 面，解压缩装置110可被设置为(例如)所谓的机顶盒(STB)，注意：用词"机顶"并非暗示机盒 需设置相对于显示器120的任何特定方位或位置;其仅为用以指示可连接至显示以当作外 围设备的设备的本技术中所使用的术语。
[0060] 图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入音 频/视频信号130被提供给压缩装置140,压缩装置140生成用于被诸如磁盘设备、光盘设备、 磁带设备、例如半导体存储器的固态存储设备或者其他存储设备等存储设备150存储的压 缩信号。在重放时，从存储设备150读取压缩数据并且将其传送到用于解压缩的解压缩装置 160以提供输出音频/视频信号170。
[0061] 应当理解，压缩或者编码信号以及存储介质或者存储该信号的数据载体被视为实 施方式。参考如下所述的图4d和图4e。
[0062]图4a示意性地示出使用视频数据解压缩的摄影机。图4a中，诸如电荷耦合设备 (CCD)图像传感器及相关的控制和读出电子设备等的图像捕获设备180生成传送给压缩装 置190的视频信号。麦克风(或者多个麦克风)200生成被传送给压缩装置190的音频信号。压 缩装置190生成将被存储和/或传输(通常示出为示意性阶段220)的压缩的音频/视频信号 210〇
[0063]下面描述的技术主要涉及视频数据压缩。应当理解，许多现有技术可结合将要描 述的视频数据压缩技术用于音频数据压缩以生成压缩音频/视频信号。因此，将不提供对音 频数据压缩的单独讨论。还应理解，与视频数据相关联的数据速率，尤其是广播质量视频数 据，通常比与（无论是压缩或者未压缩)音频数据相关联的数据速率高很多。因此，应当理 解，未压缩的音频数据可伴随压缩的视频数据以形成压缩的音频/视频信号。应当进一步理 解，尽管本实例（图1至图4e中示出）涉及音频/视频数据，然而，下面将要描述的技术中可以 发现在只处理(即，压缩、解压缩、存储、显示和/或传输)视频数据的系统中使用。即，实施方 式能够应用于视频数据压缩，而不必具有任何相关的音频数据处理。
[0064]图4b示意性地更详细地示出了示例性摄影机装置183。将不会进一步描述编号与 图4a相同的那些特征。图4b是图4a的照相机的实例(在图4a提供存储能力的单元220的情况 下），其中压缩数据首先被缓冲器221缓冲并且然后存储在诸如磁盘、光盘、闪存、所谓的固 态光盘驱动器(SSD)等的存储介质222中。应注意，图4b的布置可以实现为单个(物理)单元 182〇
[0065]图4c示意性地示出了另一示例性摄影机，其中，代替图4b的存储器布置，设置网络 接口 223以便允许压缩数据被传输到另一单元(未示出）。网络接口 223也可以允许输入数据 (诸如，控制数据）由摄像机接收。应注意，图4b的布置可以实现为单个(物理)单元183。 [0066]图4d和图4e示意性地示出数据载体，例如，用作存储介质222并且携带根据在本应 用中描述的压缩技术压缩的压缩数据。图4d示出了被实现为诸如闪存的固态存储器的可移 除非易失性存储介质225的示意性实例。图4e示出实现为诸如光盘的磁盘介质的可移除非 易失性存储介质226的不意性实例。
[0067] 图5提供视频数据压缩和解压缩装置的示意图。
[0068] 输入视频信号300的连续图像被提供给加法器310和图像预测器320。下面将参考 图6更为详细地描述图像预测器320。事实上，加法器310执行减法(负加法)操作，即，在"+" 输入端接收输入视频信号300并且在输入端接收图像预测器320的输出，这样使得从输 入图像中减去预测图像。结果是生成表示实际图像与预测图像(projected image)之间差 异的所谓残差图像信号330。
[0069] 生成残差图像信号的原因之一如下。将要描述的数据编码技术，即将要应用于残 差图像信号的技术在待编码的图像中存在较少"能量"时趋向于更有效地工作。此处，术语 "有效地"指少量的编码数据的生成;对于特定的图像质量水平，期望(并且视为"有效地"） 实际上生成尽可能少的数据。提及的残差图像中的"能量"指包含在残差图像中的信息量。 如果预测图像与实际图像一致，两者之间差异（即，残差图像)将包含零信息（零能量)并且 非常容易编码成少量的编码数据。通常，如果预测过程工作的相当好，则预期的是残差图像 数据将包含比输入图像少的信息(更少能量)并且因此更容易编码成少量的编码数据。
[0070] 残差图像数据330被提供给生成残差图像数据的离散余弦变换(DCT)表示的变换 单元340 ACT技术本身是公知的并且此处将不作详细描述。然而，下面将更为详细描述在本 装置中使用的技术的方面，具体地，涉及应用DCT操作的不同数据块的选择。下面将参考图7 至图12进行讨论。
[0071] 应注意，在一些实施方式中，使用离散正弦变换(DST)代替DCT。在其他实施方式 中，没有可能使用的变换。这可有选择地进行，使得例如在"变换跳过"命令或模式的控制下 实际上绕过变换阶段。
[0072] 变换单元340的输出（亦即，针对图像数据的各变换区块的一组变换系数)被供应 至量化器350。各种量化技术在从简单乘以量化比例因子至在量化参数控制下的复杂查找 表的应用范围的视频数据压缩的领域中是公知的。总的目标是双重的。首先，量化过程减少 了变换数据的可能值的数目。其次，量化过程能够增加变换数据的值为零的可能性。这两者 可以使熵编码过程在生成少量压缩视频数据中更高效地工作。
[0073] 根据下面进一步讨论的技术，控制器345控制变换单元340以及量化器350(以及它 们相应的逆单元)的操作。应注意，控制器345还可以控制图5的装置的操作的其他方面。 [0074]通过扫描单元360应用数据扫描处理。扫描处理的目的是对量化变换数据重新排 序，从而使尽可能多的非0量化变换系数聚集在一起，当然，由此使尽可能多的0值系数聚集 在一起。这些特征能够允许所谓的游程长度编码或类似的技术被被有效地应用。因此，扫描 处理涉及从量化变换数据选择系数，具体地，根据"扫描顺序"从对应于经变换和量化的图 像数据的块的系数块中选择系数，使得(a)-次选择所有系数作为扫描的一部分；以及(b) 扫描趋向于提供期望的重新排序。能够给出有用结果的一个示例扫描顺序是所谓的之字形 扫描顺序。然后，扫描系数被传送给熵编码器(EE)370。再次，可使用各种类型的熵编码。两 个实例是所谓的CABAC(上下文自适应二进制算数编码)系统的变形和所谓的CAVLCX上下文 自适应可变长度编码)系统的变形。总体而言，CABAC被视为提供更佳的效率，在一些研究中 已经示出，与CAVLC相比较，对于可比较的图像质量提供的编码输出数据的量减少10%-20%。然而，CAVLC被视为代表(在其实施方面）比CABAC更低的复杂度。应注意，扫描处理和 熵编码处理示出为单独的处理，但事实上，可以进行组合或者一起处理。即，读入到熵编码 器的数据可以以扫描顺序来进行。相应的考虑应用于相应逆过程。
[0075] 熵编码器370的输出与例如限定其中预测器320产生预测图像的方式的额外数据 一起提供压缩的输出视频信号380。
[0076] 然而，因为预测器320自身的操作取决于压缩的输出数据的解压缩版本，所以还提 供返回路径。
[0077] 该特征的原因如下。在解压缩过程的合适阶段，生成残差数据的解压缩版本。此解 压缩的残差数据被添加到预测图像中以生成输出图像(因为原始残差数据为输入图像与预 测图像之间的差）。为了使作为压缩侧与解压缩侧之间的该过程具有可比较性，在压缩过程 期间和在解压缩过程期间由预测器320生成的预测图像应相同。当然，在解压缩时，该装置 并不访问原始输入图像，而仅访问解压缩图像。因此，在压缩时，预测器320基于对压缩图像 的解压缩版本(至少，对图像间编码)的预测。
[0078] 由熵编码器370执行的熵编码处理被视为"无损"，即，熵编码过程可以逆转以精确 达到与最早提供给熵编码器370的数据相同。因此，在熵编码阶段之前可以实施返回路径。 事实上，由扫描单元360执行的扫描处理也被视为无损，而在本实施方式中，返回路径390为 从量化器350的输出至互补逆量化器420的输入。
[0079]总体而言，熵解码器410、反向扫描单元400、逆量化器420和逆变换单元430提供熵 编码器370、扫描单元360、量化器350和变换单元340的相应逆功能。现在，将继续讨论压缩 过程;解压缩输入压缩视频信号的过程对应于压缩过程的返回路径。
[0080] 在压缩过程中，通过执行扫描单元360的逆操作的返回路径390将扫描系数从量化 器350传送至逆量化器420。由单元420和430执行逆量化和逆变换过程以生成压缩-解压缩 残差图像信号440。
[0081] 在加法器450中，图像信号440与预测器320的输出相加以生成重构的输出图像 460。这形成了至图像预测器320的一个输入。
[0082]现转向应用于接收的压缩视频信号470的过程，在由加法器450将其加到图像预测 器320的输出之前，信号被提供给熵编码器410并且从此处到反向扫描单元400、逆量化器 420以及逆变换单元430的链。简言之，加法器450的输出460形成输出解压缩视频信号480。 实际上，在输出信号之前可进一步应用滤波。
[0083]图6示意