视频编码装置、视频解码装置、视频编码方法以及视频解码方法
【专利摘要】一种视频编码装置包括：像素比特长度增加单元，其基于像素比特长度增加信息来增加输入图像的像素比特长度；变换单元，其对所述像素比特长度增加单元的输出数据进行变换并且利用根据由所述像素比特长度增加单元所增加的像素比特长度的量化步长来进行量化；以及复用单元，其至少将指示通过熵编码而编码的所述图像的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述像素比特长度的信息复用到比特流中。
【专利说明】视频编码装置、视频解码装置、视频编码方法以及视频解码方法
[0001]相关申请交叉引用
[0002]本申请是申请日为2011年7月8日、申请号为201180034498.8、发明名称为“视频编码装置、视频解码装置、视频编码方法、视频解码方法以及程序”的发明专利申请的分案申请。
技术领域
[0003]本发明涉及使用像素比特长度增加和非压缩编码的视频编码装置和视频解码装置。
【背景技术】
[0004]作为旨在用于视频信息的高效传输和积累的视频编码方案，在非专利文献(NPL)2中描述了IS0/IEC 14496-10高级视频编码(AVC)标准的编码方案。此外，NPL I通过在视频编码之后扩展(增加)输入图像的像素比特长度以增强帧内预测和运动补偿预测(帧间预测)的运算精度，提出了对视频编码的压缩效率的改进。
[0005]专利文献(PTL)I提出了每个预定的编码单元在熵编码与非压缩编码(PCM编码)之间切换，以保证用于视频编码装置或视频解码装置的固定处理时间。
[0006]引用列表
[0007]专利文献
[0008]PTL 1:日本专利申请公开N0.2004-135251
[0009]非专利文献
[0010]NPL 1:2006年，J-009，Forum on Informat1n Technology 2006,Reiko Noda、Takeshi Chujoh的“Improving Video Coding Efficiency by Pixel Bit-depthIncrease，，
[0011]NPL 2:IS0/IEC 14496-10高级视频编码
【发明内容】
[0012]技术问题
[0013]图16是显示了通过简单地组合NPLI中所述的技术和PTL I中所述的技术获得的视频编码装置的方框图。在下文中，图16中所示的视频编码装置被称为典型视频编码装置。
[0014]下面参考图16来描述接收数字化视频的每个帧的输入并且输出比特流的典型视频编码装置的结构和操作。
[0015]图16中所示的视频编码装置包括像素比特长度增加单元101、变换器/量化器102、熵编码器103、逆变换器/逆量化器104、缓冲器105、预测器106、PCM编码器107、PCM解码器108、复用的数据选择器109、复用器110、开关121和开关122。
[0016]图16中所示的视频编码装置将每个帧分割成被称为宏块(MB)的16X 16像素大小的块，并且从帧的左上角开始顺序地对每个MB进行编码。在NPL 2中所述的AVC中，进一步将每个MB分割成4 X 4像素大小的块，并且对每个4 X 4像素大小的块进行编码。
[0017]图17是显示了在帧具有QCIF(四分之一通用中间格式)的空间分辨率的情况下块分割的示例的说明图。为了简化起见，以下通过仅关注于亮度的像素值来描述每个组件的操作。
[0018]像素比特长度增加单元101基于从外部设置的像素比特长度增加信息，增加经块分割的输入视频的像素比特长度。将bit_depth_luma作为输入视频的像素比特长度，并且将increased_bit_depth_luma作为像素比特长度增加信息(增加的像素比特长度)。像素比特长度增加单元101将输入视频的每个像素值向左移；[11(^6386(1_13；[1:_(16口1:11_1111]^个比特。结果，像素比特长度增加单元101的输出数据具有13；[1:_(^1:11_1111]^+；[11(^386(1_13；[1:_(^1:11_Iuma个比特的像素比特长度。
[0019]从像素比特长度增加单元101输出的像素比特长度已增加的图像中减去从预测器106提供的预测信号，并且将结果图像输入到变换器/量化器102。存在两种类型的预测信号，即帧内预测信号和帧间预测信号。下面描述每种预测信号。
[0020]帧内预测信号是基于与当前画面具有相同显示时间的重构画面的图像创建的预测信号，并且存储在缓冲器105中。参考NPL2中亮度样本的8.3.1 Intra_4 X 4预测过程，亮度样本的8.3.2Intra_8 X 8预测过程，亮度样本的8.3.3Intra_16 X 16预测过程，三种块大小(即，Intra_4 X 4、Intra_8 X 8和Intra_16 X 16)的帧内预测模式可用于帧内预测。
[0021]如根据图18(六)和18(0可以理解的，1的作_4\4和1社瓜_8\8分别是4\4块大小和8X8块大小的帧内预测。图18(A)和18(C)中的每个圆圈(ο)指示用于帧内预测的参考像素，即与当前画面具有相同显示时间的重构画面的像素。
[0022]在Intra_4X4的帧内预测中，直接将重构的周边像素设置为参考像素，并且用于在图18(B)中所示的9个方向中进行填充(外插)以形成预测信号。在Intra_8X8的帧内预测中，将通过图18(C)中的右箭头下方显示的低通滤波器(1/2、1/4、1/2)对重构画面的图像的周边像素进行平滑而获得的像素设置为参考信号，并且用于在图18(B)中所示的9个方向中进行外插以形成预测信号。
[0023]如图19(A)中所示，Intra_16X16是16X16块大小的帧内预测。如图18(A)、18(B)和18(C)中所示的示例，图19(A)中的每个圆圈(ο)指示用于帧内预测的参考像素，即与当前画面具有相同显示时间的重构画面的像素。在Intra_16 X 16的帧内预测中，直接将重构图像的周边像素设置为参考像素，并且用于在图19(B)中所示的4个方向中进行外插以形成预测信号。
[0024]在下文中，使用帧内预测信号编码的MB被称为帧内MB，帧内预测的块大小被称为帧内预测模式，并且外插的方向被称为帧内预测方向。
[0025]帧间预测信号是根据与当前画面具有不同显示时间的重构画面的图像创建的预测信号，并且存储在缓冲器105中。在下文中，使用帧间预测信号编码的MB被称为帧间MB。可以从例如16X16、16X8、8X16、8X8、8X4、4X8和4X4中选择帧间MB的块大小。
[0026]图20是显示了使用16X 16块大小作为示例的帧间预测的示例的说明图。在图20中显示的运动向量MV= (mvx，mvy)是帧间预测的一个预测参数，其指示与要编码的块相关的参考画面的帧间预测块(帧间预测信号)的转换量。在AVC中，帧间预测的预测参数不仅包括表示与要编码的块的要编码的画面相关的帧间预测信号的参考画面的方向的帧间预测方向，而且还包括标识要编码的块的帧间预测的参考画面的参考画面索引。这是因为，在AVC中，存储在缓冲器105中的多个参考画面可用于帧间预测。
[0027]在NPL2中的8.4帧间预测过程中更详细地描述了帧间预测。
[0028]在下文中，使用帧间预测信号编码的MB被称为帧间MB，帧间预测的块大小被称为帧间预测模式，并且帧间预测的方向被称为帧间预测方向。
[0029]仅包括帧内MB的编码画面被称为I画面。不仅包括帧内MB而且还包括帧间MB的编码画面被称为P画面。包括不是使用一个参考画面而是同时使用两个参考画面用于帧间预测的帧间MB的编码画面被称为B画面。在B画面中，与要编码的块的要编码的画面相关的帧间预测信号的参考画面的方向指向过去的帧间预测被称为前向预测，与要编码的块的要编码的画面相关的帧间预测信号的参考画面的方向指向未来的帧间预测被称为后向预测，并且涉及过去和未来二者的帧间预测被称为双向预测。
[0030]变换器/量化器102对已减去预测信号的像素比特长度已增加的图像(预测误差图像)进行频率变换。
[0031]变换器/量化器102利用根据像素比特长度增加单元101的增加的像素比特长度increased_bit_depth_luma的量化步长Qs，进一步量化经频率变换的预测误差图像(频率变换系数)。将Qsi_作为正常量化步长。然后，作为示例，。在下文中，经量化的频率变换系数被称为变换量化值。
[0032]熵编码器103对预测参数和变换量化值进行熵编码。预测参数是与MB预测相关的信息，如上述帧内MB/帧间MB、帧内预测模式、帧内预测方向、帧间MB块大小和运动向量。
[0033]逆变换器/逆量化器104利用根据像素比特长度增加单元101的增加的像素比特长度increased_bi t_depth_luma的量化步长，对变换量化值进行逆量化。逆变换器/逆量化器104进一步对通过逆量化获得的频率变换系数进行逆频率变换。将预测信号添加到通过逆频率变换获得的重构预测误差图像中，并且将结果图像提供给开关122。
[0034]复用的数据选择器109监视到熵编码器103的每个预定编码单元(例如宏块)的输入数据量。在熵编码器103能够在与预定编码单元相对应的处理时间之内对输入数据进行熵编码的情况下，复用的数据选择器109控制开关121选择熵编码器103的输出数据。结果，经由开关121将熵编码器103的输出数据提供给复用器110。复用的数据选择器109进一步控制开关122选择逆变换器/逆量化器104的输出数据。结果，经由开关122将逆变换器/逆量化器104的输出数据提供给缓冲器105。
[0035]在熵编码器103不能在该处理时间之内对输入数据进行熵编码的情况下，复用的数据选择器109控制开关121选择PCM编码器107通过对像素比特长度增加单元101的输出数据进行PCM编码而获得的输出数据。结果，经由开关121将PCM编码器107的输出数据提供给复用器110。复用的数据选择器109进一步控制开关122选择PCM解码器108通过对PCM编码器107的输出数据进行PCM解码而获得的输出数据。结果，经由开关122将PCM解码器108的输出数据提供给复用器110。
[0036]缓冲器105存储经由开关122提供的重构图像。每帧的重构图像被称为重构画面。
[0037]复用器110将像素比特长度增加信息与熵编码器103的输出数据和PCM编码器107的输出数据复用，并且输出复用结果。
[0038]典型的视频编码装置基于上述操作创建比特流。
[0039]在使用上述典型技术的情况下，既能够通过像素比特长度扩展，增强帧内预测或帧间预测的运算精度，又能够保证用于视频编码装置或视频解码装置的固定处理时间。
[0040]但是，在上述典型技术中，对像素比特长度增加的图像进行了PCM编码，这导致了PCM编码的输出数据增加了像素比特长度增加量却没有获得PSNR(峰值信噪比)改进的问题。例如，在bit_depth_luma是8个比特并且increased_bit_depth_luma是8个比特的情况下，PCM编码的输出数据是16个比特，这是8比特输入图像的两倍。
[0041]鉴于此，本发明的一个目的在于在基于像素比特长度增加和PCM编码的视频编码中，抑制PCM编码的输出数据增加。
[0042]对问题的解决方案
[0043]根据本发明的一种视频编码装置包括:像素比特长度增加单元，其基于像素比特长度增加信息来增加输入图像的像素比特长度;变换单元，其对所述像素比特长度增加单元的输出数据进行变换并且利用根据由所述像素比特长度增加单元所增加的像素比特长度的量化步长来进行量化;熵编码单元，其对所述变换单元的输出数据进行熵编码;非压缩编码单元，其对输入数据进行非压缩编码;复用的数据选择单元，其选择所述熵编码单元的输出数据或所述非压缩编码单元的输出数据;复用单元，其至少将指示通过熵编码而编码的所述图像的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述像素比特长度的信息复用到比特流中；预测单元，其预测图像;逆变换单元，其对所述变换单元的所述输出数据进行逆变换；以及非压缩解码单元，其对所述非压缩编码单元的所述输出数据进行解码，其中与所述熵编码单元的所述输出数据相对应的图像的像素比特长度和与所述非压缩编码单元的所述输出数据相对应的图像的像素比特长度彼此不同，并且其中所述非压缩解码单元至少基于所述像素比特长度增加信息来增加通过非压缩解码而获得的已解码图像的像素比特长度。
[0044]根据本发明的一种视频解码装置包括:解复用单元，其对至少包括指示通过熵编码而编码的图像的比特长度的信息和指示通过非压缩编码而编码的图像的比特长度的信息的比特流进行解复用；熵解码单元，其对所述比特流中包括的图像的已变换数据进行熵解码;逆变换单元，其对所述图像的经熵解码的所述已变换数据利用根据通过熵编码而编码的所述图像的像素比特长度的量化步长来进行逆量化并且进行逆变换；非压缩解码单元，其对所述比特流中包括的图像的经非压缩编码的数据进行非压缩解码；以及解码控制单元，其控制所述熵解码单元和所述非压缩解码单元，其中所述非压缩解码单元基于通过熵编码而编码的所述图像的所述比特长度和通过非压缩编码而编码的所述图像的所述比特长度之间的差异，来增加与所述非压缩解码单元的输入数据相对应的图像的像素比特长度。
[0045]根据本发明的一种视频编码方法包括:预测图像;对通过基于像素比特长度增加信息来增加输入图像的像素比特长度而获得的数据进行变换并且利用根据增加的像素比特长度的量化步长来进行量化;对已变换数据进行逆变换;对所述已变换数据进行熵编码；对输入数据进行非压缩编码;对经非压缩编码的所述数据进行解码;选择经熵编码的所述数据或经非压缩编码的所述数据；以及至少将指示通过熵编码而编码的所述图像的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述像素比特长度的信息复用到比特流中，其中与经熵编码的所述数据相对应的图像的像素比特长度和与经非压缩编码的所述数据相对应的图像的像素比特长度彼此不同，并且其中在对经非压缩编码的所述数据进行解码时，至少基于所述像素比特长度增加信息来增加通过非压缩解码而获得的已解码图像的像素比特长度。
[0046]根据本发明的一种视频解码方法包括:对至少包括指示通过熵编码而编码的图像的比特长度的信息和指示通过非压缩编码而编码的图像的比特长度的信息的比特流进行解复用;对所述比特流中包括的图像的已变换数据进行熵解码;对所述图像的经熵解码的所述已变换数据利用根据通过熵编码而编码的所述图像的像素比特长度的量化步长来进行逆量化并且进行逆变换；以及对所述比特流中包括的图像的经非压缩编码的数据进行非压缩解码，其中基于通过熵编码而编码的所述图像的所述比特长度和通过非压缩编码而编码的所述图像的所述比特长度之间的差异，来增加与非压缩解码的输入数据相对应的图像的像素比特长度。
[0047]本发明的有利效果
[0048]根据本发明，能够在基于像素比特长度增加和PCM编码的视频编码中抑制PCM编码的输出数据增加。
【附图说明】
[0049]图1是示例性实施方式I中的视频编码装置的方框图。
[0050]图2是显示了序列参数中的像素比特长度增加信息的说明图。
[0051]图3是显示了示例性实施方式I中的视频编码装置的处理的流程图。
[0052]图4是示例性实施方式2中的视频编码装置的方框图。
[0053]图5是显示了示例性实施方式2中的视频编码装置的处理的流程图。
[0054]图6是另一个示例性实施方式中的视频编码装置的方框图。
[0055]图7是显示了序列参数中的像素比特长度增加信息的另一个示例的说明图。
[0056]图8是显示了序列参数中的像素比特长度增加信息的又一个示例的说明图。
[0057]图9是显示了序列参数中的像素比特长度增加信息的另一个示例的说明图。
[0058]图10是显示了能够实现根据本发明的视频编码装置和视频解码装置的功能的信息处理系统的结构示例的方框图。
[0059]图11是显示了根据本发明的视频编码装置的主要部分的方框图。
[0060]图12是显示了根据本发明的另一个视频编码装置的主要部分的方框图。
[0061]图13是显示了根据本发明的又一个视频编码装置的主要部分的方框图。
[0062]图14是显示了根据本发明的视频解码装置的主要部分的方框图。
[0063]图15是显示了根据本发明的另一个视频解码装置的主要部分的方框图。
[0064]图16是显示了典型视频编码装置的方框图。
[0065]图17是显示了块分割的一个示例的说明图。
[0066]图18(A)、18(B)和18(C)是显示了预测类型的说明图。
[0067]图19(A)和19(B)是显示了预测类型的说明图。
[0068]图20是显示了使用16X16块大小作为示例的帧间预测的一个示例的说明图。
【具体实施方式】
[0069]示例性实施方式I
[0070]此示例性实施方式中的视频编码装置包括:用于使得与熵编码的输出数据相对应的图像的像素比特长度和与PCM编码的输出数据相对应的图像的像素比特长度彼此不同的装置;用于基于像素比特长度增加信息来增加PCM解码的已解码图像的像素比特长度的装置;以及用于将像素比特长度增加信息复用到比特流中的装置。
[0071]如图1中所示，此示例性实施方式中的视频编码装置除了图16中所示的典型的视频编码装置中包括的像素比特长度增加单元101、变换器/量化器102、熵编码器103、逆变换器/逆量化器104、缓冲器105、预测器106、PCM编码器107、PCM解码器108、复用的数据选择器109、复用器110、开关121以及开关122之外，还包括用于基于像素比特长度增加信息来增加PCM解码器108的已解码图像的像素比特长度的像素比特长度增加单元111。
[0072]当将图1和图16进行比较时，可以理解，此示例性实施方式中的视频编码装置向PCM编码器107提供像素比特长度增加之前的输入图像，以便使得与熵编码的输出数据相对应的图像的像素比特长度和与PCM编码的输出数据相对应的图像的像素比特长度彼此不同。与熵编码的输出数据相对应的图像是向变换器/量化器102提供的像素比特长度已增加的输入视频的图像，以及从逆变换器/逆量化器104提供的像素比特长度已增加的输入视频的图像的重构图像。与PCM编码的输出数据相对应的图像是向PCM编码器107提供的像素比特长度未增加的输入视频的图像，以及从PCM解码器108提供的像素比特长度未增加的输入视频的经PCM解码的图像。
[0073]像素比特长度增加单元101基于从外部设置的像素比特长度增加信息，增加经块分割的输入视频的像素比特长度。
[0074]将bit_depth_luma作为输入视频的亮度的像素比特长度，并且将increased_bit_depth_luma作为亮度的像素比特长度增加信息(增加的像素比特长度)。像素比特长度增加单元101将输入视频的亮度的每个像素值向左移increased_bit_depth_luma个比特。结果，像素比特长度增加单元 101的输出数据具有13；[1:_(16口1:11_1111]^+；[11(^6386(1_13；[1:_(16口1:11_1111]?个比特的像素比特长度。同样，对于色差(Cb和Cr分量)，将bit_depth_chroma作为输入视频的色差的像素比特长度，并且将increased_bit_depth_chroma作为色差的像素比特长度增加信息。像素比特长度增加单元101将输入视频的色差的每个像素值向左移increased_bit_depth_luma 个比特。
[0075]从像素比特长度增加单元101输出的像素比特长度已增加的图像中减去从预测器106提供的预测信号，并且向变换器/量化器102输入结果图像。变换器/量化器102对已减去预测信号的像素比特长度已增加的图像(预测误差图像)进行频率变换。
[0076]变换器/量化器102利用根据像素比特长度增加单元101的增加的像素比特长度；[11(^6&86(1_13；[1:_(16卩1:11_1111]1&和；[11。代&86(1_13；[1:_(16卩1:11_。111'01]1&的量化步长(>)8，进一步量化经频率变换的预测误差图像(频率变换系数)。将Qsluma作为亮度的正常量化步长。然后，作为示例，Qs = Qsi_*2ine?d-blt-depth-luma。在下文中，经量化的频率变换系数被称为变换量化值。
[0077]熵编码器103对从预测器106提供的预测参数和从变换器/量化器102提供的变换量化值进行熵编码。预测参数是与宏块预测相关的信息，如帧内MB/帧间MB、帧内预测模式、帧内预测方向、帧间MB块大小和运动向量。
[0078]逆变换器/逆量化器104利用根据像素比特长度增加单元101的增加的像素比特长度；[11(^6&86(1_13；[1:_(16。1:11_1111]1&和；[11(^6&86(1_13；[1:_(16。1:11_(3111'01]1&的量化步长，对变换量化值进行逆量化。逆变换器/逆量化器104进一步对通过逆量化获得的频率变换系数进行逆频率变换。将预测信号添加到通过逆频率变换获得的重构预测误差图像中，并且将结果图像提供给开关122。
[0079]PCM编码器107对像素比特长度的增加之前的输入图像进行PCM编码。PCM编码器107的亮度的输出数据pcm_sampIe_luma[ i ]具有输入视频的亮度的像素比特长度bi t_depth_luma。在这里，i(0 < i < 255)是宏块之中的光栅扫描顺序的索引。同样，PCM编码器107的色差的输出数据?011_8&111?16_(31^0111&[丨](丨:0<1 < 127)具有输入视频的色差的像素比特长度 b i t_depth_chroma。
[0080]PCM 解码器 108对 pcm_sample_luma[ i ]和pcm_sample_chroma[ i ]进行PCM 解码。在下文中，PCM解码还被称为PCM数据读取。
[0081]像素比特长度增加单元111将？01数据读取口(:111_8311^16_11111^[;[]向左移increased_bit_depth_chroma个比特。结果，经由PCM解码器108获得的重构图像具有bit_depth_luma+increased_bi t_depth_luma个比特，并且提供给开关 122。同样，将 pcm_8已11^)16_(3111'01]1&[；[]向左移；[11(^6&86(1_13；[1:_(16口1:11_(3111'01]1&个比特，并且提供给开关1220
[0082]复用的数据选择器109监视到熵编码器103的每个预定编码单元(例如宏块)的输入数据量。在熵编码器103能够在与预定编码单元相对应的处理时间之内对输入数据进行熵编码的情况下，复用的数据选择器109控制开关121选择熵编码器103的输出数据。结果，经由开关121将熵编码器103的输出数据提供给复用器110。复用的数据选择器109进一步控制开关122选择逆变换器/逆量化器104的输出数据。结果，经由开关122将逆变换器/逆量化器104的输出数据提供给缓冲器105。
[0083]在熵编码器103不能在该处理时间之内对输入数据进行熵编码的情况下，复用的数据选择器109首先使熵编码器103进行编码并且输出指示宏块是PCM的帧内MB的信息。详细地说，当符合NPL 2中的7.3.5宏块层句法时，对mb_type进行熵编码并且输出为I_PCM。
[0084]在此之后，对熵编码器103的输出比特进行比特校准。详细地说，当符合NPL2中的7.3.5宏块层句法时，熵编码器103向复用器110提供预定数量的口011_3118111116111:_261'0_13；[1:0此外，熵编码器103初始化编码引擎以便进行后续的编码。
[0085]在用于NPL2中的算术编码引擎(富含信息的)的9.3.4.1初始化过程中描述了编码引擎初始化的一个示例。
[0086]复用的数据选择器109进一步控制开关121选择PCM编码器107的输出数据。结果，经由开关121将PCM编码器107的输出数据提供给复用器110。
[0087]最后，复用的数据选择器109控制开关122选择像素比特长度增加单元111的输出数据。结果，经由开关122将像素比特长度增加单元111的输出数据提供给缓冲器105。在这里，像素比特长度增加单元111通过将通过读取?01编码器107的输出数据?011_8&11^|16_1111]?[i ]而获得的 PCM 解码器 108 的输出数据 pcm_sample_luma[ i ]向左移 increased_bit_depth_luma个比特，来增加比特的数目。同样，像素比特长度增加单元111通过将通过读取PCM编码器107的输出数据pcm_sample_chroma[i]而获得的PCM解码器108的输出数据pcm_sample_chroma[ i ]向左移increased_bit_depth_chroma个比特，来增加比特的数目。
[0088]复用器110将像素比特长度增加信息与熵编码器103的输出数据和PCM编码器107的输出数据复用，并且输出复用结果。当符合NPL2中的句法功能、类别和描述符的规范时，可以如图2中示出的列表中所示的，在序列参数的bit_depth_luma_minus8和bit_depth_chroma_minus8之后，复用像素比特长度增加信息(increased_bit_depth_luma和increased_bit_depth_chroma)。在这里，bit_depth_luma_minus8是通过从输入视频的亮度的像素比特长度bit_depth_luma减去8而获得的值，bit_depth_chroma_minus8是通过从输入视频的色差的像素比特长度bit_depth_chroma减去8而获得的值，increased_bit_depth_luma是亮度的增加像素比特长度，并且increased_bit_depth_chroma是色差的增加像素比特长度。
[0089]图2中所示的列表中的表示(“C”和“描述符”)符合例如NPL2中的句法功能、类别和描述符的7.2规范。
[0090]在此示例性实施方式中的视频编码装置基于上述操作来创建比特流。
[0091]在不能在处理时间之内进行熵编码的情况下(这是本发明的特征)，以下参考图3中的流程图描述熵编码器103、PCM编码器107、PCM解码器108和像素比特长度增加单元111的操作。
[0092]如图3中所示，在步骤SlOl中，熵编码器103将mb_type熵编码为I_PCM并且将其提供给复用器110，以便保证用于视频编码装置或视频解码装置的固定处理时间。
[0093]在步骤S102中，熵编码器103向复用器110提供pcm_alignment_zero_bit，以对输出比特进行字节校准。
[0094]在步骤S103中，熵编码器103初始化用于后续熵编码的编码引擎。
[0095]在步骤S104中，PCM编码器107对像素比特长度增加之前的输入图像进行PCM编码，并且将其提供给复用器110，从而不增加PCM编码的输出数据。
[0096]在步骤S105中，？0\1解码器108对?0\1编码结果口011_8&11^)16_1111]1&[;[]和口011_8&11^)16_chroma[i]进行PCM解码(PCM数据读取)。
[0097]在步骤S106中，像素比特长度增加单元111将PCM解码器108进行PCM数据读取的pcm_sample_luma[i]^Ppcm_sample_chroma[i]*SlJ 向左移 increased_bit_depth_luma 和increased_bit_depth_chroma个比特，以便增强后续的帧内预测和帧间预测的运算精度。
[0098]因此，在不能在与预定编码单元相对应的处理时间内进行熵编码的情况下，熵编码器103和PCM编码器107如上所述地进行操作。
[0099]在此示例性实施方式中的视频编码装置中，将像素比特长度增加之前的输入图像提供给PCM编码器107，以便使得与熵编码的输出数据相对应的图像的像素比特长度和与PCM编码的输出数据相对应的图像的像素比特长度彼此不同。该结构在基于像素比特长度增加和非压缩编码的视频编码中，允许抑制PCM编码的输出数据增加。
[0100]此外，此示例性实施方式中的视频编码装置包括像素比特长度增加单元111，用于基于像素比特长度增加信息来增加PCM解码的已解码图像的像素比特长度。像素比特长度增加单元111可以抑制由于使像素比特长度彼此不同而导致的帧内预测和帧间预测的运算精度的降低。
[0101]此外，在此示例性实施方式中的视频编码装置中，复用器110将像素比特长度增加信息复用到比特流中，从而在视频解码中等效地增加PCM解码的已解码图像的像素比特长度。该结构有助于增强视频编码装置和视频解码装置的互操作性。即，视频编码装置和视频解码装置彼此协作，能够抑制系统中的PCM编码的增加，并且还能够抑制帧内预测和帧间预测的运算精度的降低。
[0102]示例性实施方式2
[0103]此示例性实施方式中的视频解码装置解码这样一种比特流，在该比特流中与熵解码装置的输入数据相对应的图像的像素比特长度和与PCM解码装置的输入数据相对应的图像的像素比特长度彼此不同。与熵解码装置的输入数据相对应的图像是从后文所述的逆变换器/逆量化器206提供的像素比特长度已增加的输入视频的图像的重构图像。与PCM解码装置的输入数据相对应的图像是从后文所述的PCM解码器203提供的像素比特长度未增加的输入视频的经PCM解码的图像。
[0104]如图4中所示的，此示例性实施方式中的视频解码装置包括解复用器201、解码控制器202、PCM解码器203、熵解码器204、像素比特长度增加单元205、逆变换器/逆量化器206、预测器207、缓冲器208、像素比特长度减少单元209、开关221和开关222。
[0105]解复用器201对输入比特流进行解复用，以提取像素比特长度增加信息和经熵编码或经PCM编码的视频比特流。当符合NPL 2中的句法功能、类别和描述符的规范时，提取如图2不出的列表中所不的序列参数的bit_depth_luma_minus8和bit_depth_chroma minus8之后的像素比特长度增加信息(丨11(^6&86(1_13；[1:_(16口1:11_1111]1&和；[11(^6&86(1_13；[1:_(16口1:11_chroma)。
[0106]熵解码器204对视频比特流进行熵解码。在宏块的mb_type不是I_PCM(PCM编码)的情况下，熵解码器204对预测参数和宏块的变换量化值进行熵解码，并且将它们提供给逆变换器/逆量化器206和预测器207。
[0107]逆变换器/逆量化器206利用根据通过解复用提取的像素比特长度增加信息increased_bit_depth_luma 和 increased_bit_depth_chroma 的量化步长，对亮度和色差的变换量化值进行逆量化。逆变换器/逆量化器206进一步对通过逆量化获得的频率变换系数进行逆频率变换。
[0108]预测器207基于经熵解码的预测参数，使用存储在缓冲器208中的重构画面的图像来创建预测信号。
[0109]将从预测器207提供的预测信号添加到由逆变换器/逆量化器206通过逆频率变换获得的重构预测误差图像中，并且将结果图像提供给开关222。
[0110]解码控制器202改变开关222，从而将已添加了预测信号的重构预测误差图像提供给缓冲器208作为重构图像。
[0111]在宏块的mb_type是PCM编码的情况下，解码控制器202使解复用器201对处于熵解码的中间的视频流进行字节校准。当符合NPL2中的7.3.5宏块层句法时，解码控制器202使解复用器201读取pcm_alignment_zero_bit，直到视频比特流被字节校准为止。
[0112]解码控制器202然后使熵解码器204初始化解码引擎。在用于NPL 2中的算术解码引擎的9.3.1.2初始化过程中描述了解码引擎初始化的一个示例。
[0113]在此之后，解码控制器202改变开关221，从而将经字节校准的视频比特流提供给PCM解码器203。
[0114]P C M解码器2 O 3对来自经字节校准的视频比特流的经P C M编码的亮度数据p c m _samp I e_luma [ i ]和色差数据pcm_samp I e_chroma [ i ]进行PCM解码(PCM数据读取)。
[0115]像素比特长度增加单元205根据通过解复用提取的像素比特长度增加信息;[11(^6&8 6(1_13；[1:_(16。1:11_1111]1&和;[11(^6&86(1_13；[1:_(16。1:11_(3111'01]1&，分别将PCM 数据读取 pcm_sample_luma[ i ]和口(:111_8&1]^16_(3111'01]1&[1 ]向左移。当符合用于NPL 2中的I_PCM宏块的8.3.5样本构建过程的描述时，根据下面的式(8-154’)和式(8-155’)计算经PCM解码的亮度图像S ’ L和经PCM解码的色差图像S ’ Cb和S ’ Cr。
[0116]for( i = 0 ； i<256 ； i++)
[0117]S，L[xP+(i% 16)，yP+dy*(i/16))]=
[0118](pcm_sample_luma[i]〈〈increased_bit_depth_luma)
[0119](8-154，)
[0120]for( i = 0 ； i〈MbWidthC*MbHeightC; i++) {
[0121 ] S’Cb[ (xP/SubWidthC) + (i%MbffidthC), ((yP+SubHeightC-1)
[0122]/SubHeightC)+dy*(i/MbffidthC)]=
[0123](pcm_sample_chroma[i]〈〈increased_bit_depth_chroma)
[0124]S'Cr[(xP/SubffidthC) + (i %MbffidthC),((yP+SubHeightC-1)
[0125]/SubHeightC)+dy*(i/MbffidthC)]=
[0126](pcm_sample_chroma[i+MbffidthC*MbHeightC]<<
[0127]increased_bit_depth_chroma)
[0128]}(8-155’)
[0129]解码控制器202改变开关222，从而将像素比特长度已增加的经PCM解码的图像提供给缓冲器208作为重构图像。解码控制器202改变开关221，从而将解复用器201的输出数据提供给熵解码器204以便解码下一个宏块。
[0130]像素比特长度减少单元209根据通过解复用提取的像素比特长度增加信息increased_bit_depth_luma 和 increased_bit_depth_chroma，减少存储在缓冲器 208 中的重构画面的像素比特长度，并且输出结果。
[0131]此示例性实施方式中的视频编码装置基于上述操作创建解码图像。
[0132]下面参考图5中的流程图来描述在宏块的mb_type是PCM编码的情况下(这是本发明的特征)，解码控制器202、熵解码器204、PCM解码器203和像素比特长度增加单元205的操作。
[ΟΙ33] 在步骤S201中，解复用器201读取pcm_alignment_zero_bit，以便对处于熵解码的中间的视频比特流进行字节校准。
[0134]在步骤S202中，熵解码器204初始化解码引擎以便进行后续熵解码。
[0135]在步骤S203中，？0\1解码器203对?0\1编码结果口011_8&11^)16_1111]1&[;[]和口011_8&11^)16_chroma[i]进行PCM解码(PCM数据读取)。
[0136]在步骤S204中，像素比特长度增加单元205将PCM数据读取pcm_sample_luma[i]和pcm_sample_chroma[ i ]分别向左移 increased_bit_depth_luma 个比特和 increased_bit_depth_chroma个比特，以便增强后续的帧内预测和帧间预测的运算精度。
[0137]因此，在宏块的mb_type是PCM编码的情况下，解码控制器202、熵解码器204、PCM解码器203和像素比特长度增加单元205如上所述地进行操作。
[0138]此示例性实施方式中的视频编码装置包括像素比特长度增加单元205，用于基于通过解复用提取的像素比特长度增加信息来增加PCM解码的已解码图像的像素比特长度。像素比特长度增加单元205可以抑制由于使与熵解码装置和PCM解码装置的输入相对应的图像的像素比特长度彼此不同而导致的帧内预测和帧间预测的运算精度的降低。此外，可以获得与视频解码中相同的重构图像，这有助于增强视频编码装置和视频解码装置的互操作性。即，视频编码装置和视频解码装置彼此协作，能够抑制系统中的PCM编码的增加，并且还能够抑制帧内预测和帧间预测的运算精度的降低。
[0139]图1中所示的示例性实施方式I中的视频编码装置是将像素比特长度的增加之前的输入图像提供给PCM编码器107的视频编码装置，以便使得与熵编码的输出数据相对应的图像的像素比特长度和与PCM编码的输出数据相对应的图像的像素比特长度彼此不同。
[0140]图6是显示了用于实现与图1中所示的视频编码装置相同的有利效果的另一个结构的视频编码装置的方框图。
[0141]当与图1中所示的视频编码装置进行比较时，图6中所示的视频编码装置另外包括像素比特长度减少单元112。即，图6中所示的视频编码装置具有这样一种结构，在该结构中，接收像素比特长度已增加的图像的像素比特长度减少单元112向PCM编码器107提供基于像素比特长度增加信息的像素比特长度已减少的图像。如示例性实施方式I中所示，图6中所示的视频编码装置可以抑制PCM编码的输出数据的增加，并且还可以抑制由于使像素比特长度彼此不同而导致的帧内预测和帧间预测的运算精度的降低。
[0142]在每个上述示例性实施方式中，重构画面的像素是像素比特长度已增加的像素。但是，为了减少用于存储重构画面的缓冲器的尺寸，可以设想这样一个示例性实施方式，在该实施方式中上述像素比特长度增加单元和像素比特长度减少单元用于缓冲器的输入/输出。而且，在这种示例性实施方式中，根据本发明可以实现对PCM编码的输出数据增加的抑制以及对由于使像素比特长度彼此不同而导致的帧内预测的运算精度降低的抑制。
[0143]在每个上述示例性实施方式中，PCM解码器和像素比特长度增加单元是独立的功能块。但是，如根据式(8-154’)和式(8-155’)可以容易地理解的，可以将PCM解码器和像素比特长度增加单元集成为一个功能块。
[0144]在每个上述示例性实施方式中，视频编码装置将increased_bit_depth_luma和increasecLbit-depth—chroma^Sibit-depth-lumajiiinusS^Pbit-depth-ChromajiiinusSi后复用到比特流中，以便明确地用信号向视频解码装置(见图2)发送像素比特长度增加信息。可替换地，视频编码装置可以将像素比特长度增加之后的像素比特长度作为像素比特长度增加信息复用到比特流中，以便隐含地用信号向视频解码装置发送像素比特长度增加信息(在这里假设在视频编码装置和视频解码装置中输入视频的原始像素比特长度是8个比特)。
[0145]在此情况下，视频编码装置将图7中所示的像素比特长度增加信息(internal_bit_depth_luma_minus8和internal_bit_depth_chroma_minus8)复用到序列参数而不是序列参数的bit_depth_luma_minus8和bit_depth_chroma_minus8中。在这里，internal—bit_depth_luma_minus8 是 incr eased_bit_dep th_luma的值，并且 interna l_bit_depth_chroma—minus8 是 increased—bit_depth_chroma的值。
[0146]在将图7中所示的像素比特长度增加信息复用到序列参数中的情况下，PCM编码器107对像素比特长度增加之前的输入图像进行PCM编码。即，PCM编码器107对8比特pcm—sample—luma[ i ^Ppcm—sample—chroma[ i ]进行PCM编码 DPCM解码器108对8比特pcm—8811^16—11111^[；!_]和。011—8311^16—0111'011^[；!_]进行解码。像素比特长度增加单元111将经?01解码的卩(3111—8&11^16_111111&[；!_]和卩(3111_8&11^16_(3111'0111&[；!_]分另1」向左移；!_11(^6&8 6(1_13；!_七_(16卩七11_luma 个比特和 increased—bit_depth_chroma 个比特 D
[0147]与将图7中所示的像素比特长度增加信息复用到序列参数中的情况相对应的视频解码装置从该序列参数解复用像素比特长度增加信息(internal—bit—depth—luma—minus8和internal_bit_depth_chroma—minus8)，并且如下计算increased_bit_depth_luma和increased—bit_depth_chromao
[0148]increased—bit—depth—Iuma = internal—bit—depth—luma—minus8
[0149]increased—bit_depth_chroma = internal—bit_depth_chroma—minus8
[0150]通过上述计算，视频解码装置可以解复用由视频编码装置隐含地用信号发送的像素比特长度增加信息。
[0151]在上述视频编码装置隐含地用信号向视频解码装置发送像素比特长度增加信息的情况下，存在当输入视频的原始像素比特长度长于8个比特时由于无畸变而不能执行PCM编码的问题。例如，当输入视频的原始像素比特长度是10个比特时，利用8比特pcm—sample—luma[i]和pcm—sample—chroma[i]来产生量化畸变 D
[0152]当输入视频的原始像素比特长度是N个比特(N>8)时，为了支持无量化畸变的PCM编码，可以向图8中所不的序列参数添加pcm—sample—bit—depth—is—internal—bit—depth—flag，pcm—sample—bit—depth—is—internal—bit—depth—flag 是指不 PCM 的比特长度是否是像素比特长度增加之后的像素比特长度的标志位。
[0153]在pcm—sample—bit—depth—is—internal—bit—depth—flag是O的情况下，PCM编码器107对像素比特长度的增加之前的输入图像进行PCM编码。即，PCM编码器107对pcm—8811^16—11111^[；!_]和。(3111—8311^16—(3111'011^[；!_]进行？0\1编码。像素比特长度增加单元111将经PCM 编码的 pcm—sample—luma[ i ]和pcm—sample—chroma[ i ]分别向左移 incr eased—bit—depth_luma( = internal_bi t_depth_luma_minus8)个比特和 increased_bit_depth_chroma ( = internal—bit_depth_chroma—minus8)个比特。
[0154]在pcm—sample—bit—depth—is—internal—bit—depth—flag是I的情况下，PCM编码器107对像素比特长度已增加的图像进行PCM编码。即，PCM编码器107对N比特(internal—bit—depth—luma—minus8+8 个比特)的pcm—sample—luma[i]和N比特(internal—bit—depth—(:111'011^—111；!_111188+8个比特)的。011—8311^16—(3111'011^[;!_]进行?0\1编码。？0\1解码器108对?^比特的pcm—sample—luma[i]和N比特的pcm—sample—chroma[i]进行PCM解码D像素比特长度增加单元111将经?0\1解码的卩011—8&11^16—111111&[；!_]和卩011—8&11^16—。111'0111&[；!_]向左移0比特(即不将经PCM解码的pcm—sample—luma[i]和pcm—sample—chroma[i]向左移)。
[0155]当输入视频的原始像素比特长度是N个比特(N>8)时，为了支持无量化畸变的PCM编码，如图9中所示，可以向序列参数添加分别作为亮度和色差的PCM的比特长度的pcm—sample_bit_depth_luma—minus8和pcm—sample_bit_depth_chroma—minus8，以代替pcm—sample_bit_depth_is_internal_bit_depth_flag0
[0156]在向序列参数添加pcm_sample_bit_depth_luma_minus8和pcm_sample_bi t_depth_chroma_minus8 的情况下，PCM 编码器 107 对 pcm_sample_bit_depth_luma_minus8+8ft^1.l^]pcm_sample_luma[i]^Ppcm_sample_bit_depth_chroma_minus8+8ft^_.|^]pcm_samp I e_chroma [ i ]进行PCM编码。在向序列参数添加pcm_samp I e_b i t_depth_luma_minus8和pcm_sample_bit_depth_chroma_minus8的情况下，卩0\1解码器108对卩(3111_8&111卩16_13；[1:_depth_luma_minus8+8ft^_.|^]pcm_sample_luma[i]^Ppcm_sample_bit_depth_chroma_111；[111188+8个比特的。011_8311^|16_0111'01]^[；[]进行?01解码。像素比特长度增加单元111分别将SPQV^i^9pcm_sample_luma[i]^Ppcm_sample_chroma[i]向左移 increased_bit_depth_luma个比特和 increased_bit_depth_chroma个比特。在这里，如下计算 increased_bit_depth_luma和increased_bit_depth_chroma。
[0157]increased_bit_depth_luma= internal_bit_depth_luma_minus8-pcm_sample_bit_depth_luma_minus8
[0158]increased_bit_depth_chroma=internal_bit_depth_chroma_minus8_pcm_sample_bit_depth_chroma_minus8
[0159]从上述计算清楚看出，在increased_bit_depth_luma大于0并且internal_bit_depth_lUma_minUS8+8小于N的情况下，视频编码装置隐含地用信号向视频解码装置发送像素比特长度增加信息；并且同样地在internal_bit_depth_chroma_minus8+8小于N的情况下，视频编码装置隐含地用信号向视频解码装置发送像素比特长度增加信息。
[0160]可以由硬件实现或者可以由计算机程序实现每个上述示例性实施方式。
[0161]图10中所示的信息处理系统包括处理器1001、程序存储器1002、用于存储视频数据的存储介质1003和用于存储比特流的存储介质1004。存储介质1003和存储介质1004可以是独立的存储介质，或者可以是由相同的存储介质组成的存储区域。可以将磁存储介质(例如硬盘)作为存储介质。
[0162]在图10中所示的信息处理系统中，将用于实现图1、图4和图6中的每个图中所示的方框(除了缓冲器的方框)的功能的程序存储在程序存储器1002中。处理器1001通过根据程序存储器1002中存储的程序执行处理来实现图1、图4和图6中所示的视频编码装置或视频解码装置的功能。
[0163]图11是显示了根据本发明的视频编码装置的主要部分的方框图。如图11中所示的，根据本发明的视频编码装置包括:像素比特长度增加装置1(例如图1中所示的像素比特长度增加单元101)，用于基于像素比特长度增加信息来增加输入图像的像素比特长度;变换装置2(例如图1中所示的变换器/量化器102)，用于变换像素比特长度增加装置I的输出数据;熵编码装置3(例如图1中所示的熵编码器103)，用于对变换装置2的输出数据进行熵编码;非压缩编码装置7(例如PCM编码器107)，用于对输入数据进行非压缩编码;复用的数据选择装置8(例如开关121)，用于选择熵编码装置3的输出数据或非压缩编码装置7的输出数据；以及复用装置10(例如复用器110)，用于将像素比特长度增加信息复用到比特流中，其中与熵编码装置3的输出数据相对应的图像的像素比特长度和与非压缩编码装置7的输出数据相对应的图像的像素比特长度彼此不同。
[0164]为了使得像素比特长度彼此不同，视频编码装置包括例如用于将像素比特长度的增加之前的输入图像提供给非压缩编码装置7的装置。在这种情况下，对像素比特长度未增加的输入图像进行非压缩编码(例如PCM编码)。
[0165]图12是显示了根据本发明的另一个视频编码装置的主要部分的方框图。如图12中所示，除了图11中所示的结构之外，根据本发明的另一个视频编码装置还包括像素比特长度减少装置9(例如图6中所示的像素比特长度减少单元112)，用于基于像素比特长度增加信息来减少像素比特长度，其中非压缩编码装置7的输入数据是像素比特长度减少装置9的输出数据。
[0166]图13是显示了根据本发明的另一个视频编码装置的主要部分的方框图。如图13中所示，除了图11中所示的结构之外，根据本发明的另一个视频编码装置还包括:用于预测图像的预测装置10(例如图1中所示的预测器106);用于对变换装置2的输出数据进行逆变换的逆变换装置12(例如图1中所示的逆变换器/逆量化器104);以及用于对非压缩编码装置7的输出数据进行解码的非压缩解码装置13(例如图1中所示的PCM解码器108)，其中非压缩解码装置13至少基于像素比特长度增加信息来增加通过非压缩解码获得的已解码图像的像素比特长度。
[0167]图14是显示了根据本发明的一种视频解码装置的主要部分的方框图。如图14中所示的，根据本发明的视频解码装置包括:解复用装置21(例如图4中所示的解复用器201)，用于解复用至少包括像素比特长度增加信息的比特流;熵解码装置24(例如图4中所示的熵解码器204)，用于对该比特流中包括的图像的已变换数据进行熵解码;逆变换装置26(例如图4中所示的逆变换器/逆量化器206)，用于对该图像的经熵解码的已变换数据进行逆变换；非压缩解码装置23(例如图4中所示的PCM解码器203)，用于对该比特流中包括的图像的经非压缩编码的数据进行非压缩解码；以及解码控制装置22(例如图4中所示的解码控制器202)，用于控制熵解码装置24和非压缩解码装置23，其中与熵解码装置24的输入数据相对应的图像的像素比特长度和与非压缩解码装置23的输入数据相对应的图像的像素比特长度彼此不同。
[0168]图15是显示了根据本发明的另一个视频解码装置的主要部分的方框图。如图15中所示，除了图14中所示的结构之外，根据本发明的视频解码装置还包括用于预测图像的预测装置27(例如图4中所示的预测器207)。
[0169]如上所述，本发明在基于像素比特长度增加和非压缩编码的视频编码中提供了用于使得与熵编码的输出数据相对应的图像的像素比特长度和与非压缩编码的输出数据相对应的图像的像素比特长度彼此不同的装置。本发明因此可以解决PCM编码的输出数据增加了像素比特长度增加量的问题，同时既通过像素比特长度扩展增强了帧内预测和帧间预测的运算精度，又保证了用于视频编码装置或视频解码装置的固定处理时间。
[0170]可以在以下的补充注释中部分地或完整地描述上述示例性实施方式，但是本发明不限于以下结构。
[0171](补充注释I)一种视频编码方法，包括:对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换;对已变换的数据进行熵编码;对输入数据进行非压缩编码;选择经熵编码的数据或经非压缩编码的数据；以及将像素比特长度增加信息复用到比特流中，其中与经熵编码的数据相对应的图像的像素比特长度和与经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中使用像素比特长度增加之前的输入图像作为要进行非压缩编码的输入数据。
[0172](补充注释2)—种视频编码方法，包括:对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换;对已变换的数据进行熵编码;对输入数据进行非压缩编码;选择经熵编码的数据或经非压缩编码的数据；以及将像素比特长度增加信息复用到比特流中，其中与经熵编码的数据相对应的图像的像素比特长度和与经非压缩编码的数据相对应的图像的像素比特长度彼此不同，其中该视频编码方法包括基于像素比特长度增加信息来减少像素比特长度已增加的数据的像素比特长度，并且其中使用像素比特长度已减少的数据作为要进行非压缩编码的输入数据。
[0173](补充注释3)—种视频编码方法，包括:对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换;对已变换的数据进行熵编码;对输入数据进行非压缩编码;选择经熵编码的数据或经非压缩编码的数据；以及将像素比特长度增加信息复用到比特流中，其中与经熵编码的数据相对应的图像的像素比特长度和与将非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频编码方法包括:对已变换的数据进行逆变换;对经非压缩编码的数据进行解码；以及在进行解码时，至少基于像素比特长度增加信息来增加通过非压缩解码获得的已解码图像的像素比特长度。
[0174](补充注释4)一种视频解码方法，包括:对至少包括像素比特长度增加信息的比特流进行解复用；对该比特流中包括的图像的已变换数据进行熵解码;对该图像的经熵解码的已变换数据进行逆变换；以及对该比特流中包括的图像的经非压缩编码的数据进行非压缩解码，其中与比特流中包括的图像的已变换数据相对应的图像的像素比特长度和与比特流中包括的图像的经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频解码方法包括在进行非压缩解码时，至少基于像素比特长度增加信息来增加通过非压缩解码获得的已解码图像的像素比特长度。
[0175](补充注释5)—种视频解码方法包括:对至少包括像素比特长度增加信息的比特流进行解复用；对该比特流中包括的图像的已变换数据进行熵解码;对该图像的经熵解码的已变换数据进行逆变换；以及对该比特流中包括的图像的经非压缩编码的数据进行非压缩解码，其中与比特流中包括的图像的已变换数据相对应的图像的像素比特长度和与比特流中包括的图像的经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频解码方法包括执行用于预测图像的预测处理。
[0176](补充注释6)—种视频编码程序，使计算机执行:用于对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换的处理;用于对已变换的数据进行熵编码的处理；用于对输入数据进行非压缩编码的处理；用于选择经熵编码的数据或经非压缩编码的数据的处理；以及用于将像素比特长度增加信息复用到比特流中的处理，其中与经熵编码的数据相对应的图像的像素比特长度和与经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中使用像素比特长度增加之前的输入图像作为要进行非压缩编码的输入数据。
[0177](补充注释7)—种视频编码程序，使计算机执行:用于对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换的处理;用于对变换后的数据进行熵编码的处理；用于对输入数据进行非压缩编码的处理；用于选择经熵编码的数据或经非压缩编码的数据的处理；以及用于将像素比特长度增加信息复用到比特流中的处理，其中与经熵编码的数据相对应的图像的像素比特长度和与经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频编码程序使计算机执行用于基于像素比特长度增加信息来减少像素比特长度已增加的数据的像素比特长度的处理，并且使用像素比特长度已减少的数据作为要进行非压缩编码的输入数据。
[0178](补充注释8)—种视频编码程序，使计算机执行:用于对通过基于像素比特长度增加信息增加输入图像的像素比特长度而获得的数据进行变换的处理;用于对已变换的数据进行熵编码的处理；用于对输入数据进行非压缩编码的处理；用于选择经熵编码的数据或经非压缩编码的数据的处理；以及用于将像素比特长度增加信息复用到比特流中的处理，其中与经熵编码的数据相对应的图像的像素比特长度和与经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频编码程序使计算机执行:用于对已变换的数据进行逆变换的处理；用于对经非压缩编码的数据进行解码的处理；以及用于在进行解码时至少基于像素比特长度增加信息来增加通过非压缩解码获得的已解码图像的像素比特长度的处理。
[0179](补充注释9)一种视频解码程序，使计算机执行:用于对至少包括像素比特长度增加信息的比特流进行解复用的处理;用于对该比特流中包括的图像的已变换数据进行熵解码的处理；用于对该图像的经熵解码的已变换数据进行逆变换的处理；以及用于对该比特流中包括的图像的经非压缩编码的数据进行非压缩解码的处理，其中与比特流中包括的图像的已变换数据相对应的图像的像素比特长度和与比特流中包括的图像的经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频解码程序使计算机执行用于在进行非压缩解码时至少基于像素比特长度增加信息来增加通过非压缩解码获得的已解码图像的像素比特长度的处理。
[0180](补充注释10)—种视频解码程序，使计算机执行:用于对至少包括像素比特长度增加信息的比特流进行解复用的处理;用于对该比特流中包括的图像的已变换数据进行熵解码的处理；用于对该图像的经熵解码的已变换数据进行逆变换的处理；以及用于对该比特流中包括的图像的经非压缩编码的数据进行非压缩解码的处理，其中与比特流中包括的图像的已变换数据相对应的图像的像素比特长度和与比特流中包括的图像的经非压缩编码的数据相对应的图像的像素比特长度彼此不同，并且其中该视频解码程序使计算机执行用于预测图像的预测处理。
[0181]虽然参考以上示例性实施方式和示例描述了本发明，但是本发明不限于以上示例性实施方式和示例。可以对本发明的结构和细节进行本领域技术人员可理解的落入本发明的范围内的各种改变。
[0182]本申请要求基于2010年7月13日递交的日本专利申请N0.2010-159059和2011年2月25日递交的日本专利申请N0.2011-040530的优先权，它们的公开内容整体并入本文。
[0183]附图标记列表
[0184]1:像素比特长度增加装置
[0185]2:变换装置
[0186]3:熵编码装置
[0187]7:非压缩编码装置
[0188]8:复用的数据选择装置
[0189]9:像素比特长度减少装置
[0190]10复用装置
[0191]11预测装置
[0192]12逆变换装置
[0193]13非压缩解码装置
[0194]21解复用装置
[0195]22解码控制装置
[0196]23非压缩解码装置
[0197]24熵解码装置
[0198]26逆变换装置
[0199]27预测装置
[0200]101像素比特长度增加单元
[0201]102变换器/量化器
[0202]103熵编码器
[0203]104逆变换器/逆量化器
[0204]105缓冲器
[0205]106预测器
[0206]107PCM 编码器
[0207]108PCM 解码器
[0208]109复用的数据选择器
[0209]110复用器
[0210]111像素比特长度增加单元
[0211]112像素比特长度减少单元
[0212]121 开关
[0213]122 开关
[0214]201解复用器
[0215]202解码控制器
[0216]204熵解码器
[0217]205像素比特长度增加单元
[0218]206逆变换器/逆量化器
[0219]207预测器
[0220]208缓冲器
[0221]209像素比特长度减少单元
[0222]221 开关
[0223]222开关
[0224]1001 处理器
[0225]1002程序存储器
[0226]1003存储介质
[0227]1004存储介质
【主权项】
1.一种视频编码装置，包括: 像素比特长度增加单元，其基于像素比特长度增加信息来增加输入图像的像素比特长度； 变换单元，其对所述像素比特长度增加单元的输出数据进行变换并且利用根据由所述像素比特长度增加单元所增加的像素比特长度的量化步长来进行量化； 熵编码单元，其对所述变换单元的输出数据进行熵编码； 非压缩编码单元，其对输入数据进行非压缩编码； 复用的数据选择单元，其选择所述熵编码单元的输出数据或所述非压缩编码单元的输出数据； 复用单元，其至少将指示通过熵编码而编码的所述图像的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述像素比特长度的信息复用到比特流中； 预测单元，其预测图像； 逆变换单元，其对所述变换单元的所述输出数据进行逆变换；以及 非压缩解码单元，其对所述非压缩编码单元的所述输出数据进行解码， 其中与所述熵编码单元的所述输出数据相对应的图像的像素比特长度和与所述非压缩编码单元的所述输出数据相对应的图像的像素比特长度彼此不同，并且 其中所述非压缩解码单元至少基于所述像素比特长度增加信息来增加通过非压缩解码而获得的已解码图像的像素比特长度。2.根据权利要求1所述的视频编码装置， 其中所述像素比特长度增加单元基于所述像素比特长度增加信息来分别增加所述输入图像的亮度的所述像素比特长度和所述输入图像的色差的所述像素比特长度， 其中所述变换单元利用根据由所述像素比特长度增加单元所增加的所述亮度的所述像素比特长度的量化步长来对所述像素比特长度增加单元的所述输出数据的所述亮度进行量化，并且利用根据由所述像素比特长度增加单元所增加的所述色差的所述像素比特长度的量化步长来对所述像素比特长度增加单元的所述输出数据的所述色差进行量化，并且其中所述复用单元至少将指示通过熵编码而编码的所述图像的所述亮度的所述像素比特长度的信息、指示通过熵编码而编码的所述图像的所述色差的所述像素比特长度的信息、指示通过非压缩编码而编码的所述图像的所述亮度的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述色差的所述像素比特长度的信息复用到所述比特流中。3.根据权利要求1或2所述的视频编码装置， 其中所述复用的数据选择单元在选择所述非压缩编码单元的所述输出数据时，使所述熵编码单元输出指示输出数据是经非压缩编码的数据的信息，并且对所述熵编码单元的所述输出比特进行字节校准。4.一种视频解码装置，包括: 解复用单元，其对至少包括指示通过熵编码而编码的图像的比特长度的信息和指示通过非压缩编码而编码的图像的比特长度的信息的比特流进行解复用； 熵解码单元，其对所述比特流中包括的图像的已变换数据进行熵解码； 逆变换单元，其对所述图像的经熵解码的所述已变换数据利用根据通过熵编码而编码的所述图像的像素比特长度的量化步长来进行逆量化并且进行逆变换； 非压缩解码单元，其对所述比特流中包括的图像的经非压缩编码的数据进行非压缩解码；以及 解码控制单元，其控制所述熵解码单元和所述非压缩解码单元， 其中所述非压缩解码单元基于通过熵编码而编码的所述图像的所述比特长度和通过非压缩编码而编码的所述图像的所述比特长度之间的差异，来增加与所述非压缩解码单元的输入数据相对应的图像的像素比特长度。5.根据权利要求4所述的视频解码装置， 其中所述比特流至少包括指示通过熵编码而编码的所述图像的亮度的所述像素比特长度的信息、指示通过熵编码而编码的所述图像的色差的所述像素比特长度的信息、指示通过非压缩编码而编码的所述图像的所述亮度的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述色差的所述像素比特长度的信息， 其中所述逆变换单元利用根据通过熵编码而编码的所述图像的所述亮度的像素比特长度的量化步长来对所述图像的所述亮度的经熵解码的所述已变换数据进行逆量化，并且利用根据通过熵编码而编码的所述图像的所述色差的像素比特长度的量化步长来对所述图像的所述色差的经熵解码的所述已变换数据进行逆量化，并且 其中所述非压缩解码单元基于通过熵编码而编码的所述图像的所述亮度的所述比特长度和通过非压缩编码而编码的所述图像的所述亮度的所述比特长度之间的差异来增加与所述非压缩解码单元的输入数据相对应的所述图像的所述亮度的像素比特长度，并且基于通过熵编码而编码的所述图像的所述色差的所述比特长度和通过非压缩编码而编码的所述图像的所述色差的所述比特长度之间的差异来增加与所述非压缩解码单元的输入数据相对应的所述图像的所述色差的像素比特长度。6.根据权利要求4或5所述的视频解码装置， 其中所述解码控制单元根据所述比特流中包括的数据的类型来控制是执行所述熵解码还是执行所述非压缩解码，并且 其中所述解码控制单元在所述比特流中包括的数据的所述类型指示经非压缩编码的数据时，使所述解复用单元对处于所述熵解码中的视频比特流进行字节校准。7.—种视频编码方法，包括: 预测图像； 对通过基于像素比特长度增加信息来增加输入图像的像素比特长度而获得的数据进行变换并且利用根据增加的像素比特长度的量化步长来进行量化； 对已变换数据进行逆变换； 对所述已变换数据进行熵编码； 对输入数据进行非压缩编码； 对经非压缩编码的所述数据进行解码； 选择经熵编码的所述数据或经非压缩编码的所述数据；以及 至少将指示通过熵编码而编码的所述图像的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述像素比特长度的信息复用到比特流中， 其中与经熵编码的所述数据相对应的图像的像素比特长度和与经非压缩编码的所述数据相对应的图像的像素比特长度彼此不同，并且 其中在对经非压缩编码的所述数据进行解码时，至少基于所述像素比特长度增加信息来增加通过非压缩解码而获得的已解码图像的像素比特长度。8.根据权利要求7所述的视频编码方法， 其中基于所述像素比特长度增加信息来分别增加所述输入图像的亮度的所述像素比特长度和所述输入图像的色差的所述像素比特长度， 其中利用根据增加的所述亮度的所述像素比特长度的量化步长来对通过增加像素比特长度而获得所述数据的所述亮度进行量化，并且利用根据增加的所述色差的所述像素比特长度的量化步长来对通过增加像素比特长度而获得所述数据的所述色差进行量化，并且其中至少将指示通过熵编码而编码的所述图像的所述亮度的所述像素比特长度的信息、指示通过熵编码而编码的所述图像的所述色差的所述像素比特长度的信息、指示通过非压缩编码而编码的所述图像的所述亮度的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述色差的所述像素比特长度的信息复用到所述比特流中。9.根据权利要求7或8所述的视频编码方法， 在选择经非压缩编码的所述数据时，通过所述熵编码输出指示输出数据是经非压缩编码的数据的信息，并且对所述熵编码的所述输出比特进行字节校准。10.一种视频解码方法，包括: 对至少包括指示通过熵编码而编码的图像的比特长度的信息和指示通过非压缩编码而编码的图像的比特长度的信息的比特流进行解复用； 对所述比特流中包括的图像的已变换数据进行熵解码； 对所述图像的经熵解码的所述已变换数据利用根据通过熵编码而编码的所述图像的像素比特长度的量化步长来进行逆量化并且进行逆变换；以及 对所述比特流中包括的图像的经非压缩编码的数据进行非压缩解码， 其中基于通过熵编码而编码的所述图像的所述比特长度和通过非压缩编码而编码的所述图像的所述比特长度之间的差异，来增加与非压缩解码的输入数据相对应的图像的像素比特长度。11.根据权利要求10所述的视频解码方法， 其中所述比特流至少包括指示通过熵编码而编码的所述图像的亮度的所述像素比特长度的信息、指示通过熵编码而编码的所述图像的色差的所述像素比特长度的信息、指示通过非压缩编码而编码的所述图像的所述亮度的所述像素比特长度的信息和指示通过非压缩编码而编码的所述图像的所述色差的所述像素比特长度的信息， 其中利用根据通过熵编码而编码的所述图像的所述亮度的像素比特长度的量化步长来对所述图像的所述亮度的经熵解码的所述已变换数据进行逆量化，并且利用根据通过熵编码而编码的所述图像的所述色差的像素比特长度的量化步长来对所述图像的所述色差的经熵解码的所述已变换数据进行逆量化，并且 其中基于通过熵编码而编码的所述图像的所述亮度的所述比特长度和通过非压缩编码而编码的所述图像的所述亮度的所述比特长度之间的差异来增加与所述非压缩解码的输入数据相对应的所述图像的所述亮度的像素比特长度，并且基于通过熵编码而编码的所述图像的所述色差的所述比特长度和通过非压缩编码而编码的所述图像的所述色差的所述比特长度之间的差异来增加与所述非压缩解码的输入数据相对应的所述图像的所述色差的像素比特长度。12.根据权利要求10或11所述的视频解码方法， 根据所述比特流中包括的数据的类型来控制是执行所述熵解码还是执行所述非压缩解码；以及 在所述比特流中包括的数据的所述类型指示经非压缩编码的数据时，使所述解复用对处于所述熵解码中的视频比特流进行字节校准。
【文档编号】H04N19/176GK105828078SQ201610311767
【公开日】2016年8月3日
【申请日】2011年7月8日
【发明人】蝶野庆, 蝶野庆一, 仙田裕三, 田治米纯二, 青木启史, 先崎健太
【申请人】日本电气株式会社