自适应色彩空间变换编码的制作方法
【专利说明】自适应色彩空间变换编码
[0001] 优先权要求
[0002] 本专利申请要求于2013年7月11日提交的美国专利申请13/940, 025的优先权， 该专利申请为于2013年5月30日提交的美国专利申请13/905, 889的部分继续申请，该专 利申请的全文以引用方式并入本文。
【背景技术】
[0003] 图像数据诸如被包含在视频中的那些图像数据可包含与色彩、像素位置和时间相 关的大量的信息。为了处理此类大量的信息，可能有必要压缩或编码图像数据，而不会丢失 来自原始视频的太多信息，同时不会提高数据压缩的复杂度，该数据压缩的复杂度的提高 可能会降低图像数据处理的速度。经编码的图像数据随后可能需要进行解码以变换回原始 视频信息或恢复该原始视频信息。
[0004] 为了对图像进行编码，像素色彩数据可首先变换为适当色彩空间坐标系中的色彩 数据。然后，对经变换的数据进行编码。例如，图像数据可具有红绿蓝（RGB)色彩空间坐标 系中的原始像素色彩数据。为了对图像数据进行编码，通过分离亮度分量和色彩分量，红绿 蓝色彩空间坐标系中的原始像素色彩数据被变换为YCbCr色彩空间坐标系中的色彩数据。 随后，可对YCbCr色彩空间坐标系中的色彩数据进行编码。如此操作，可通过在色彩空间变 换期间去除冗余来对三原色之间可能存在的冗余信息进行压缩。
[0005] 在对经变换的图像数据进行编码期间，通过执行空间预测和时间预测，然后以最 佳的方式来对任何剩余的残余数据进行附加编码，以及通过在一个时间点对单个帧中的数 据进行熵编码和/或在视频序列的持续时间中对数据进行熵编码来移除图像数据中的附 加冗余。空间预测可及时预测单个帧中的图像数据，以消除同一帧中的不同像素之间的冗 余信息。时间预测可在视频序列的持续时间中预测的图像数据，以消除不同帧之间的冗余 信息。可通过未经编码的图像数据和预测的图像数据之间的差异来生成残余图像。
[0006] 由于不同的色彩平面可能没有有效地解相关，因此一些色彩空间格式诸如 RGB4:4:4本身的编码效率可能较低。即，不同分量之间可能存在冗余信息，这些冗余信息在 编码期间不能去除，从而导致相对于替代色彩空间的编码效率降低。另一方面，由于色彩变 换可能不得不在编码回路外执行以及在色彩变换期间可能会引起可能的丢失，因此在一些 应用中，在替代色彩空间诸如YUV4:4:4或YCoCg和YCoCg-R4:4:4中对该材料进行的编码 是不理想的。
[0007] 因此，需要一种对图像数据有效地进行变换和编码的改进的方式。
【附图说明】
[0008] 图1不出了根据本公开实施例的编码系统。
[0009] 图2示出了根据本公开实施例的解码系统。
[0010] 图3示出了根据本公开实施例的编码方法。
[0011] 图4示出了根据本公开实施例的解码方法。
【具体实施方式】
[0012] 根据图1所示的实施例，系统100可包括分析器130、可选残余变换器160和编码 器 170〇
[0013] 分析器130可分析输入视频110中的当前图像区域以选择变换。可选残余变换器 160可由分析器130控制以对从当前图像区域和预测的当前图像区域生成的残余图像执行 可选变换，从而生成经变换的残余图像。编码器170可对经变换的残余图像进行编码以生 成输出数据190。分析器130可控制编码器170以对信息进行编码，从而识别可选变换并且 指示当前图像区域的可选变换不同于输入视频的前一图像区域的变换。
[0014] 可选地，系统100可包括用于存储输入视频110的信息诸如先前处理的图像数据 的帧缓冲区120。帧缓冲区120中的此类数据可由被分析器130控制的帧间预测装置150 用于执行时间预测，即基于前一帧的数据来生成当前图像区域的预测的图像数据。或者，帧 缓冲区120中的此类数据可由被分析器130控制的帧内预测装置152用于执行空间预测， 即基于当前帧的另一部分的数据来生成当前图像区域的预测的图像数据。可选地，分析器 130可基于帧缓冲区120内存储的数据来对其进行分析。积分器140可将由帧间预测装置 150和/或帧内预测装置152生成的当前图像区域的预测的图像数据与输入视频110的当 前图像区域组合（或从输入视频110的当前图像区域中去掉），以生成残余图像。
[0015] 根据一个实施例，当前图像区域可以是帧、切片以及编码树单元中的一者。可选变 换可包括色彩空间变换。编码器170可包括一个熵编码器。用于识别可选变换的经编码的 信息可指定可选逆变换的系数。用于识别可选变换的经编码的信息可被包含在位于当前 图像区域的经编码的残余图像数据之前的序列参数集、图片参数集以及切片标头中的一者 中。编码器170可包括变换器172和/或量化器174,分析器130可控制该编码器170以执 行量化。
[0016] 分析器130可选择和改变可选残余变换器160的可选变换，并且相应针对帧间预 测装置150、帧内预测装置152和编码器170来更改参数，以优化数据编码、数据解码、编码 数据大小、错误率和/或编码或解码所需的系统资源。
[0017] 除了别的之外，下一代高效视频编码（HEVC)标准引入了若干个新的视频编码工 具，以努力改善相对于先前视频编码标准和技术诸如MPEG-2、MPEG-4第2部分、MPEG-4AVC/ H. 264、VC1和VP8等的视频编码效率。
[0018] 新标准可支持使用良好限定的设定档例如主设定档、主10设定档和主静止图象 设定档对YUV4:2:08或10比特材料进行编码。人们对于专用应用程序相当感兴趣，例如电 影应用程序、捕获应用程序、视频编辑应用程序、归档应用程序、游戏应用程序和消费者应 用程序，尤其是屏幕内容压缩和共享，以开发出支持更高（超过10比特）采样精度（位深） 的格式以及不同的色彩采样格式和色彩空间（包括YUV或RGB4:4:4)。
[0019] 更高色彩采用格式/空间的编码原理可能类似于具有较低采用精度（即 4:2: 0YUV)的格式的编码原理，以适当处理色度分量的分辨率差异。可认为色彩分量中的一 个色彩分量等同于4:2:0YUV编码中的亮度分量，而剩余的色彩分量的处理类似于色度分 量，同时考虑较高的分辨率。即预测工具诸如帧内预测装置和运动补偿装置等需考虑分辨 率提高、变换和量化过程，还需要处理色彩分量的附加残余数据。类似地，其他过程诸如熵 编码、解块和采样点自适应偏移（SAO)等可能需要扩展以以处理视频数据的增加。作为替 代方案，所有色彩分量可作为单独的单色图像进行单独编码，其中每个色彩分量在编码或 解码过程期间充当亮度信息。
[0020] 为了改善编码性能，可对残余数据执行可在所有色彩分量之间实现更好的解相关 (较低冗余）的附加色彩空间变换。可选色彩空间变换可应用于使用自适应导出的色彩空 间变换矩阵的去量化（逆量化）数据和逆变换残余数据，诸如：
[0021]
[0022] 可使用先前存储的图像数据（诸如当前变换单元左侧或上方的图像数据或先前 帧中的变换单元的图像数据）来导出色彩变换矩阵。导出可涉及通过减去其平均数以及通 过计算并规范化所有色彩平面上方的协方差矩阵来规范化每个色彩平面中的参考样本。这 可实现一些"局部"编码性能效益，而不会增加HEVC规范中的任何新的信令开销。然而，这 可增加编码器和解码器导出变换参数的复杂度。
[0023] 为简化视频编码和解码中的自适应色彩变换，仅对残余数据应用色彩变换。根据 本发明，编码器可选择附加色彩变换并发信号通知该附加色彩变换，并且解码器可基于从 编码数据中解码的信令选择并执行对应的色彩逆变换。
[0024] 具体地，在编解码器诸如HEVC中的不同级别处向一个或多个色彩变换隐式或显 式地发信号通知。例如，编码器可隐式地向已知的色彩变换（诸如YUVRec. 709、Rec. 2020 或Rec. 601的有限范围或整个范围内的变换以及来自RGB色彩空间的YCoCg)发信号通知。 编码器可通过向具有预定义精度的所有色彩逆变换系数发信号通知或对其进行指定（例 如通过在经编码的数据的部分中列出变换系数或其关系）来显式地向色彩变换发信号通 知。可在序列参数集（