视频编码中的颜色自适应的制作方法
【专利说明】视频编码中的颜色自适应
【背景技术】
[0001] 数码相机往往捕获远高于在实践中典型地需要的高颜色深度的图像。例如，一些 相机在每R通道、G通道W及B通道10或甚至12个比特的深度下捕获样本，从而在RGB空 间中给出30至36个比特的总深度。
[0002] 人眼另一方面通常不能够区分该许多颜色。根据对人类视觉的研究，据估计典型 人类能够仅感知大约2百万个不同颜色。那对应于大约20个比特(每通道6至7个比特） 的总颜色深度。
[000引如果所捕获的数据将被构码W用于通过网络传送，则高颜色深度信息引发非常高 的比特率W及构码方面的高处理负担。类似地，如果数据将被构码W用于存储，则高颜色深 度引发大量存储器资源。
[0004]由于此原因，出于视频构码的目的从相机捕获的原始图像数据常常被量化。该减 少对视频进行构码所需要的比特的数目，例如减少待例如作为诸如视频V〇IP(IP语音电话） 呼叫该样的实况视频呼叫的一部分通过网络传送的比特流中所需要的比特率；或者减少将 视频存储在存储器中所需要的比特的数目。
【发明内容】
[0005] 各种实施例设及适配例如作为通过网络的实况视频呼叫的一部分在视频构码和/ 或解码背景下使用的颜色级别。
[0006] 根据本发明的一个或多个实施例，提供了包括接收器和去量化器的接收设备。接 收器被配置成从构码器（encoder)接收视频比特流。比特流包括各自具有表示颜色空间中 的通道的多个分量的共同形式的构码图像部分。多个构码图像部分中的每一个包括分量的 量化值的不同集合。该些至少包括正从量化级别的第一方案之中量化的所述分量中的第一 个的值。进一步地，从构码器接收到的比特流包括将第一方案的量化级别映射到至少部分 地去量化的相应级别的查找表。
[0007] 去量化器被在操作上禪接到接收器，并且配置成使用接收到的来自构码器的比特 流中的查找表来至少部分地去量化多个图像部分中的第一分量的不同量化值。该通过将第 一分量的量化值转换为与第一方案的至少部分地去量化级别中的级别相对应的至少部分 地去量化值而完成。接收设备被配置成基于通过所述去量化器的转换将视频图像输出到屏 幕。
[0008] 通过将量化级别的查找表包括在比特流中，本发明的实施例允许彼此成比例非均 匀的量化级别，并且允许该些非均匀级别被W未必局限于少量预定模型的方式适配。
[0009] 在一个或多个另外的实施例中，提供了传送设备，所述传送设备包括被配置成从 视频相机接收视频信号的输入端W及构码器、量化器和传送器。构码器被配置成从所述视 频信号生成比特流。所生成的比特流包括各自具有表示颜色空间中的通道的多个分量的共 同形式的构码图像部分。多个构码图像部分中的每一个包括分量的量化值的不同集合。该 些至少包括正从量化级别的第一方案之中量化的所述分量中的第一个的值。
[0010] 量化器被配置成生成量化值，并且传送器被配置成将构码比特流传送到接收设备 的解码器（decoder)。进一步地，量化器被配置成接收关于接收设备的屏幕的指示。基于所 述指示，它确定将第一方案的量化级别映射到至少部分地去量化的相应级别的查找表。传 送设备被配置成将查找表插入到比特流中W用于在接收设备处在至少部分地去量化多个 图像部分的第一分量的不同量化值时使用。
[0011] 在另外的实施例中，可W提供一个或多个对应的计算机程序产品，其被具体化在 有形计算机可读存储装置上，被配置W便当在处理器上执行时依照上述设备特征中的任一 个执行操作。在又另外的实施例中，可W提供承载依照上述特征所构码的比特流的网络元 件和/或存储装置。
【附图说明】
[0012] 为了更好地理解所描述的实施例并且为了示出它们如何可W被付诸实施，通过示 例对附图进行参考，附图中： 图1是视频流的示意表示， 图2是通信系统的示意框图， 图3是构码视频流的示意表示， 图4是构码器的示意框图， 图5是解码器的示意框图， 图6是视频图像的变换块的示意表示， 图7是用于量化块的量化方案的示意表示， 图8是具有量化信息的变换块的示意表示， 图9是具有量化信息的变换块的另一示意表示， 图10是用于量化块的量化方案的另一示意表示， 图11是具有量化信息的变换块的另一示意表示， 图12是量化级别分布的示意表示， 图13是量化级别分布的另一示意表示， 图14是量化级别分布的另一示意表示， 图15是量化级别分布的另一示意表示，W及 图16是多方通f目场景的不意表不。
【具体实施方式】
[0013]颜色深度指代用来表示颜色的比特的数目。颜色空间指代用于表示颜色的通道 (例如，由RGB颜色空间中的红色通道（R)、绿色通道（G)W及藍色通道（B)构成；或YUV颜 色空间中的亮度通道（Y)和两个色度通道（U、V))的系统。给定颜色能够由颜色空间中的 一组值表示，通道中的每一个对应一个值。每个值例如可能是来自相机的样本输入，或者从 来自相机的输入得到的量化的、变换的或构码的样本。
[0014]还可能存在不同的格式W用于表达特定类型的颜色空间中的颜色。例如在YUV4:4:4格式上，对于四个亮度样本Y的每个组存在四个色度样本U的对应组和四个色度样 本V的另一对应组。另一方面在YUV4:2:0格式上，对于四个亮度样本Y的每个组存在由 一个u样本和一个V样本组成的两个色度样本的对应组，即色度值被块中的四个像素共享。
[0015] 可W在用来表示特定颜色空间中的颜色的比特的总数、或用来表示颜色空间的特 定通道的构成颜色值或样本的比特的数目方面考虑颜色深度。
[0016] 如所提到的，数码相机往往捕获远高于在实践中典型地需要的高颜色深度的图 像。例如，一些相机在每R通道、G通道W及B通道10或甚至12个比特的深度下捕获样本， 从而在RGB空间中给出30至36个比特的总深度。人眼另一方面通常不能够区分该许多颜 色。根据对人类视觉的研究，据估计典型人类仅能够感知大约2百万个不同颜色。那对应 于大约20个比特(每通道6至7个比特）的总颜色深度。如果所捕获的数据将被构码W用 于通过网络传送，则高颜色深度信息引发非常高的比特率W及构码方面的高处理负担。类 似地，如果数据将被构码W用于存储，则高颜色深度引发大量存储器资源。
[0017] 由于该个原因，出于视频构码的目的从相机捕获的原始图像数据常常被量化。该 减少对视频进行构码所需要的比特的数目，例如减少待例如作为诸如视频VoIP(IP语音电 话）呼叫该样的实况视频呼叫的一部分通过网络传送的比特流中所需要的比特率；或者减 少将视频存储在存储器中所需要的比特的数目。
[0018] 量化是取连续值并且将它转换成在离散步长的标度上表示的值的过程，或者在实 践中因为所有数字输入数据在某个级别的粒度上是离散的，所W是将在更高粒度标度(使 用更多比特表示)上表示的值转换为较低粒度标度(更粗趟，使用较少比特表示)的过程。量 化的过程减少频域中的必要比特的数目，因为它遍及变换系数被应用（见下文)。在颜色值 的情况下，该将包括将在较高深度标度上表示的值转换为较低深度标度的过程。例如，量化 将描述从数码相机取近似地连续的10至12个比特输入样本并且将它转换为8比特值。
[0019] 量化值在大小上较小并且所W需要较少比特来构码，W及在构码过程中需要较少 的处理资源。牺牲是减少的颜色深度一-即便当在解码器侧去量化时，也将在值或样本能 够取的级别之间留下大步长。因此存在待在由构码所引发的资源与能够在解码时再次重建 图像的准确性之间做出的权衡。
[0020] 理想地，系统设计者将旨在实现使比特率最小化同时仍然不太导致对人眼可感知 的失真的程度的量化。可替换地，如果资源是更有限的或预期为更有限的，则目标可W是W 保留仍然可容忍的失真的方式使比特率最小化。
[0021] 在常规量化过程中，每个值按特定因数按比例缩小，并且然后在解码器侧应用的 去量化中再按该因数按比例扩大。
[0022] 图1给出了从相机捕获并且划分成准备好由视频构码器构码W便生成构码比特 流的部分的输入视频信号的示意图示。信号包括在时间上划分成多个帖（F)的运动视频图 像，每个帖表示在不同的相应时刻（.....)的图像。在每个帖内，帖被在空间上 划分成各自表示多个像素的多个部分。该些部分例如可W被称为块。在某些方案中，帖被 划分并且细分成不同级别的部分或块。例如可W将每个帖划分成宏块（MB)并且可W将每 个宏块划分成块（b)，例如每个块表示帖内的8x8个像素的区域并且每个宏块表示2x2个块 (16x16个像素）的区域。在某些方案中，还能够将每个帖划分成各自包括多个宏块的切片 (S)。
[0