专利名称：影像编码方法和解码方法及其装置的制作方法
技术领域：
本发明涉及将由两个信号成分以上构成的影像信号作为编码对象的影像编码方法及其装置、对通过该影像编码方法生成的编码数据进行解码的影像解码方法及其装置、用于实现该影像编码方法的影像编码程序和记录了该程序的计算机能够读取的记录介质、用于实现该影像解码方法的影像解码程序和记录了该程序的计算机能够读取的记录介质。本申请基于2006年10月10日申请的日本专利申请2006-276074号主张优先权，并在这里引用其内容。
背景技术：
在以H.264/AVC起始的活动图像的标准编码方式中，使用输入图像的色度成分(chrominance elements)与亮度成分相比被下采样(downsampling)(即，以比亮度成分的采样频率低的频率被重新采样)了的信号。这相当于被称为4:2:2、4:2:0、4:1:1格式的影像格式。像这样重新采样了色度成分的影像格式是基于与亮度成分相比对色度成分的视觉敏感度低的生理学的知见的影像格式、以削减影像的信息量、摄像设备的低成本化等目的而被导入(例如，参照非专利文献1、2)。另一方面，受到对影像的高图像质量化的期待的高涨，不对色度信号进行重新采样的4:4:4格式影像受到瞩目。例如,在JVT (Joint Video Team,联合视频编码组)中，正在进行对H.264的新框架(advanced 4:4:4 profile)的制定。非专利文献1:“YUV4:2:0 7才一 '乂卜力9 一画像Q色度成分補間法，，，杉田博司，田口亮，信学論，Vol.J88-A, N0.6, pp.751-760, 2005
非专利文献2 適応的直交変換J: 3力9 一画像圧縮-y —卜S札t辞書C J:石高速化-”，三浦高志，板垣史彦，横山昭彦，山口百恵，信学論，Vol.J85-D2, N0.11,pp.1672-1682， November 2002。本发明要解决的课题
色度成分的下采样是一边抑制主观图像质量的下降一边使码量减少的有效的方法。可是，根据图像的内容，有时能够进一步进行下采样而不导致主观图像质量的劣化。另一方面，根据图像的内容，对帧内的色度成分同样地进下采样，也有损害4:4:4格式影像的高图像质量的情况。图像信号的性质按照帧的每一个而变化、进而，即使在帧内也有局部地变化。对应于这样的变化，对色度成分的视觉敏感度也变化。例如，在像素值小(暗)的帧(或区域)中，与像素值大(亮)的帧(或区域)相比，对色度成分的视觉敏感度下降。因此，通过对应于每一个帧的性质、或帧内的局部的性质使色度成分的下采样比率变化，有能够在保持主观图像质量的同时，有效率地削减码量的可能性。可是，现有技术的对色度成分的下采样是对全部帧以同样的比率进行，关于编码效率还留存有改善的余地。
发明内容
本发明正是基于上述情况而完成的，其目的在于确立一种新的影像编码/解码技术，通过导入针对每个帧的适应的下采样处理、和针对各帧内的每个区域的适应的下采样处理，能够有效率地削减码量。用于解决课题的方案
[I]使下采样比(downsampling ratio)适应地变化的本发明的影像编码装置 [1-1]使帧为单位而适应地变化的结构
为了实现上述目的，本发明的影像编码装置在将由两个信号成分以上构成的影像信号作为编码对象的情况下，构成为具备:(1)设定单元，对应于帧内的性质，对帧的特定的信号成分设定下采样比；(2)生成单元，对应于设定单元设定了的下采样比，通过对帧的特定的信号成分进行下采样，生成成为向编码器的输入对象的影像信号。这里，通过以上的各处理单元工作而实现的本发明的影像编码方法以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。在这样构成的本发明的影像编码装置中，例如在比较过渡量(amount oftransition)大的帧和过渡量小的帧的情况下，在前者中视觉敏感度相对地变低，因此，在过渡量大的帧中，与过渡量小的帧相比，即使进行大的下采样主观图像质量也不下降，着眼于这一点，例如对应于帧内的过渡量的大小，在每一个帧中对色度信号等的特定的信号成分设定下采样比，对应于该设定了的下采样比，以帧为单位对特定的信号成分进行下采样，由此生成成为向编码器的输入对象的影像信号。按照该结构，根据本发明的影像编码装置，能够在保持主观图像质量的同时有效率地削减码量。[1-2]使帧内的部分区域为单位而适应地变化的结构
在上述影像编码装置中，上述设定下采样比的单元也可以具有:
对应于帧内的局部的性质，将帧分割为部分区域的单元；
对应于各部分区域内的性质，对该部分区域的特定的信号成分设定下采样比的单元，
对应于上述设定了的下采样比，通过对上述部分区域的特定的信号成分进行下采样，从而生成上述编码对象影像信号。在这样构成的影像编码装置中，例如在比较过渡量大的部分区域和过渡量小的部分区域的情况下，在前者中视觉敏感度相对地变低，因此，在过渡量大的部分区域中，与过渡量小的部分区域相比，即使进行大的下采样主观图像质量也不下降，着眼于这一点，例如对应于帧的部分区域内的过渡量的大小，在每一个帧内的部分区域中对色度信号等的特定的信号成分设定下采样比，对应于该设定了的下采样比，以帧内的部分区域为单位对特定的信号成分进行下采样，由此生成成为向编码器的输入对象的影像信号。在该结构的情况下，同样地能够在保持主观图像质量的同时有效率地削减码量。[2]用于处理通过使下采样比适应地变化而发生的编码块模式的变化的本发明的影像编码装置和影像解码装置
本发明的影像编码装置的基本结构是，将由两个信号成分以上构成的影像信号作为编码对象，对应于每个帧或帧内的每个部分区域而设定的下采样比，对通过下采样特定的信号成分而生成的影像信号进行编码。另一方面，在标准化了的影像编码装置中，有时采用如下结构，针对通过编码而得到的量化后的各信号成分，将表示某种大小的块的每一个中是否包含有意系数(significant coefficient)的信息赋予该块。当采用这样的结构时,针对没有包含有意系数的块，能够省略变换系数的赋予，由此能够谋求削减码量。可是，在本发明的影像编码装置中，因为使特定的信号成分的下采样比适应地变化，所以各信号成分的块的组合模式并不是固定的。因此，在本发明中，还可以具备:在针对通过所述编码对象影像信号的编码而得到的量化后的各信号成分，将表示某种程度大小的块的每一个中是否包含有意系数的信息赋予该块的情况下，将表示在哪个位置的块的集合共有了所述特定的信号成分的信息，对该块的集合进行赋予的单元。而且，本发明提供一种影像解码装置，对通过该影像编码装置生成的影像信号的编码数据进行解码，其中，该影像解码装置具备:
通过对表示所述哪个位置的块的集合共有了所述特定的信号成分的信息的编码数据进行解码，判定解码对象的块集合是否是共有了所述特定的信号成分的块集合的判定单元;
针对所述判定单元判定为是共有了所述特定信号成分的块集合的块集合，通过对其共有的所述特定的信号成分的编码数据进行解码，从而对与在编码侧设定的下采样比对应地被下采样的信号成分进行解码的单元。这里，通过以上的各处理单元工作而实现的本发明的影像编码方法和本发明的影像解码方法也能够以计算机程序实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。在这样构成的本发明的影像编码装置中，将表示在哪个位置的块集合共有了特定的信号成分的信息对该块集合进行赋予。而且，本发明提供一种影像解码装置，对通过该影像编码装置生成的影像信号的编码数据进行解码，该影像解码装置具备:
通过对表示所述哪个位置的块集合共有了所述特定的信号成分的信息的编码数据进行解码，判定解码对象的块集合是否是共有了所述特定的信号成分的块集合的判定单元；针对所述判定单元判定为是共有了所述特定信号成分的块集合的块集合，通过对其共有的所述特定的信号成分的编码数据进行解码，从而对与在编码侧设定的下采样比对应地被下采样的信号成分进行解码的单元。
按照该结构，根据本发明，在采用以帧或帧内的片(slice)为单位而使下采样比适应地变化的结构时，即使有按照该结构而各信号成分的块的组合模式变化的情况，也能够不改变在标准化了的影像编码装置中使用的结构而使用该结构，其中该标准化了的影像编码装置对某种程度大小的块赋予表示量化信号是否包含有意系数的信息。[3]用于处理通过使下采样比适应地变化而发生的参照帧的内插精度的变化的本发明的影像编码装置和影像解码装置
[3-1]下采样比以帧为单位而适应地变化的情况
本发明的影像编码装置的基本结构是，将由两个信号成分以上构成的影像信号作为编码对象，对与按照每个帧而设定的下采样比对应地下采样特定的信号成分而生成的影像信号进行编码。另一方面，在影像编码装置中，有时在帧间预测中使用小数像素精度的运动补偿。当采用这样的结构时，能够实现高精度的运动补偿。可是，在本发明的影像编码装置中，因为以帧为单位而使特定的信号成分的下采样比适应地变化，所以在帧间预测中使用小数像素精度的运动补偿的情况下所需要的参照中贞的内插精度(interpolation accuracy)不能是固定的。因此，本发明的所述影像编码装置可以还具备:
在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧的下采样比、和参照帧的下采样比的比率值，使所述参照帧中的被下采样了的信号成分的内插精度变化的单元；
基于所述变化的内插精度，生成所述参照帧的内插图像的单元。与此对应，本发明提供一种影像解码装置，对通过上述影像编码装置生成的影像信号的编码数据进行解码，该影像解码装置具备:
在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧的下采样t匕、和参照帧的下采样比的比率值，使所述参照帧中的被下采样了的信号成分的内插精度变化的单元；
基于所述变化的内插精度，生成所述参照帧的内插图像的单元。这里，通过以上的各处理单元工作而实现的本发明的影像编码方法和本发明的影像解码方法也能够以计算机程序实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。在这样构成的本发明的影像编码装置中，对应于编码对象帧的下采样比、和参照帧的下采样比的比率值，使参照帧中的被下采样了的信号成分的内插精度变化，基于该变化了的内插精度，生成所述参照帧的内插图像。此外，在具有与此对应的结构的本发明的影像解码装置中，对应于解码对象帧的下采样比、和参照帧的下采样比的比率值，使参照帧中的被下采样了的信号成分的内插精度变化，基于该变化了的内插精度，生成所述参照帧的内插图像。按照该结构，根据本发明，在采用以帧为单位使下采样比适应地变化的结构时，SP使有按照该结构而参照帧的内插精度变化的情况，也能够生成实现所要求的运动补偿的参照帧的内插图像。
[3-2]下采样比以帧内的部分区域为单位而适应地变化的情况
本发明的影像编码装置能够更细致地，对与在帧内的部分区域的每一个设定的下采样比对应地下采样特定的信号成分而生成的影像信号进行编码。如上述那样，在影像编码装置中，有时在帧间预测中使用小数像素精度的运动补偿。这是因为当采用这样的结构时，能够实现高精度的运动补偿。可是，在上述的影像编码装置中，因为以帧内的部分区域为单位而使特定的信号成分的下采样比适应地变化，所以在帧间预测中使用小数像素精度的运动补偿的情况下所需要的参照帧的内插精度不能是固定的。因此，所述影像编码装置还可以具备:
在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧内的各部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的单元；
基于所述变化的内插精度，生成所述参照帧内的部分区域的内插图像的单元。与此对应，本发明提供一种影像解码装置，对通过上述影像编码装置生成的影像信号的编码数据进行解码，该影像解码装置具备:
在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧内的各部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的单元；基于所述变化的内插精度，生成所述参照帧内的部分区域的内插图像的单元。这里，通过以上的各处理单元工作而实现的本发明的影像编码方法和本发明的影像解码方法也能够以计算机程序实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。在这样构成的本发明的影像编码装置中，对应于编码对象帧内的部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使参照帧内的部分区域中的被下采样了的信号成分的内插精度变化，基于该变化的内插精度，生成所述参照帧内的部分区域的内插图像。此外，在具有与此对应的结构的本发明的影像解码装置中，对应于解码对象帧内的部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使参照帧内的部分区域中的被下采样了的信号成分的内插精度变化，基于该变化了的内插精度，生成所述参照帧内的部分区域的内插图像。按照该结构，根据本发明，在采用以帧内的片为单位使下采样比适应地变化的结构时，即使有按照该结构而参照帧的内插精度变化的情况，也能够生成实现所要求的运动补偿的参照帧的内插图像。发明的效果
根据本发明，在对影像进行编码时，对应于每个帧的性质、或帧内的局部的性质，能够使特定的信号成分的下采样比适应地变化，由此能够实现对应于视觉灵敏度等的有效率的码量减少。
此外，根据本发明，即使有通过使下采样比适应地变化，各信号成分的块的组合模式变化的情况，也能够不改变在标准化了的影像编码装置中使用的结构，而使用该结构，其中该标准化了的影像编码装置对某种程度大小的块赋予表示量化信号是否包含有意系数的信息。而且，根据本发明，在帧间预测中使用小数像素精度的运动补偿的情况下，即使有通过使下采样比适应地变化而参照帧的内插精度变化的情况，也能够生成实现所要求的运动补偿的参照帧的内插图像。
图1是本发明的下采样处理的说明图。图2是本发明的下采样处理的说明图。图3是本发明的下采样处理的说明图。图4是本发明的下采样处理的说明图。图5是CBP的说明图。图6是表示亮度成分和被下采样了的色度成分的一个例子的说明图。图7A是色度共有块集的说明图。图7B同样地是色度共有块集的说明图。图7C同样地是色度共有块集的说明图。图7D同样地是色度共有块集的说明图。图8是参照帧的内插精度的说明图。图9是本发明的编码处理的流程图的一个实施例。图10是图9的流程图的后续部分。图11是本发明的解码处理的流程图的一个实施例。图12是图11的流程图的后续部分。图13是本发明的影像编码装置的一个实施例。图14是本发明的影像解码装置的一个实施例。图15是本发明的参照帧内插图像生成装置的一个实施例。图16是表示影像编码装置的装置结构例的图。图17是表示影像解码装置的装置结构例的图。图18是本发明的参照帧内插图像生成处理的流程图的一个实施例。附图标记说明
100适应处理标志设定部 101适应处理标志存储部 102亮度信号读入部 103亮度信号存储部 104色度信号读入部 105色度信号存储部 106下采样比设定部 107下采样比存储部108色度信号下采样处理部 109色度信号存储部 110有色度宏块位置信息设定部 110-1序列适应处理部 110-2片适应处理部
110-3色度适应处理部 111编码流生成部
111-1头部信息编码部 111-2头部信息编码流存储部
111-3亮度信号/色度信号编码处理部 111-4亮度信号/色度信号编码流存储部 111-5编码流复用部 112编码流存储部 113最终片判定部。
具体实施例方式下面，按照实施方式对本发明进行详细地说明。在本发明中，实现了一种新的影像编码/解码技术，该技术通过导入针对每个帧的适应的下采样处理、和针对各帧内的每个区域的适应的下采样处理，能够有效率地削减码量。在下面表示该适应的下采样处理导入所需要的编码器/解码器中的功能。再有，在以下的例子中，将由亮度信号(Y)和两个色度成分(Cb，Cr)构成的色空间中的色度成分作为下采样的对象，但本发明的对象并不限于该色空间的信号。例如，本发明对通过对4:4:4格式的影像信号实施任意的颜色变换而得到的三个成分也能够同样地进行。进而，实施适应的下采样处理的成分的数量也不被限定于特定的数。例如，在作为色变化使用KL变换而得到第一主成分、第二主成分、第三主成分的情况下，能够以任意一个成分作为对象。此外，也有将三个成分中的两个成分(例如第二主成分、第三主成分)作为对象的例子。进而，当然也能够将三个成分全部作为对象。进而，在将色空间信号以外的信号作为下采样的对象的情况下，本发明也能够同样地应用。[I]帧单位的适应处理
在本发明的第一方式中，对应于帧内的性质，使对于色度成分的帧下采样比适应地变化。帧下采样比指的是在将4:4:4格式的影像的第t帧的大小作为W[t] XH[t][像素]，将下采样后的色度成分的帧大小作为W’ [t]XH’ [t][像素]的情况下，以
权利要求
1.一种影像编码方法，将由两个信号成分以上构成的影像信号作为编码对象，具备: 对应于帧内的过渡量的大小，设定对于帧的特定的信号成分的下采样比的步骤； 通过对应于所述设定了的下采样比，对帧的特定的信号成分进行下采样，从而生成编码对象影像信号的步骤； 在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧的下采样比、和参照帧的下采样比的比率值，使所述参照帧中的被下采样了的信号成分的内插精度变化的步骤；以及 基于所述变化了的内插精度，生成所述参照帧的内插图像的步骤。
2.一种影像编码方法，将由两个信号成分以上构成的影像信号作为编码对象，具有: 对应于帧内的局部的性质，将帧分割为部分区域的步骤； 对应于各部分区域内的性质，设定对于该部分区域的特定的信号成分的下采样比的步骤；以及 通过对应于所述设定了的下采样比，对所述部分区域的特定的信号成分进行下采样，从而生成编码对象影像信号的步骤， 所述影像编码方法还具备: 在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧内的各部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的步骤；以及 基于所述变化了的内插精度，生成所述参照帧内的部分区域的内插图像的步骤。
3.一种影像解码方法，具备: 在对由两个信号成分以上构成的编码对象影像信号的编码数据进行解码时，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧的下采样比、和参照帧的下采样比的比率值，使所述参照帧的被下采样了的信号成分的内插精度变化的步骤，其中，所述编码对象影像信号是通过如下方式而生成的，即，对应于根据帧内的过渡量的大小而对帧的特定的信号成分设定的下采样比，对帧的特定的信号成分进行下采样，从而生成所述编码对象影像信号；以及 基于所述变化了的内插精度，生成所述参照帧的内插图像的步骤。
4.一种影像解码方法，具备: 在对由两个信号成分以上构成的编码对象影像信号的编码数据进行解码时，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧内的各部分区域的下采样t匕、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的步骤，其中，所述编码对象影像信号是通过如下方式而生成的，即，将根据帧内的局部的性质而被分割的帧的部分区域的特定的信号成分，对应于根据各部分区域内的性质而对该部分区域内的特定的信号成分设定的下采样比，进行下采样，从而生成所述编码对象影像信号；以及 基于所述变化了的内插精度，生成所述参照帧内的部分区域的内插图像的步骤。
5.一种影像编码装置，将由两个信号成分以上构成的影像信号作为编码对象，具备: 对应于帧内的过渡量的大小，设定对于帧的特定的信号成分的下采样比的单元；通过对应于所述设定了的下采样比，对帧的特定的信号成分进行下采样，从而生成编码对象影像信号的单元； 在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧的下采样比、和参照帧的下采样比的比率值，使所述参照帧中的被下采样了的信号成分的内插精度变化的单元；以及 基于所述变化了的内插精度，生成所述参照帧的内插图像的单元。
6.一种影像编码装置，将由两个信号成分以上构成的影像信号作为编码对象，具有: 对应于帧内的局部的性质，将帧分割为部分区域的单元； 对应于各部分区域内的性质，设定对于该部分区域的特定的信号成分的下采样比的单元；以及 通过对应于所述设定了的下采样比，对所述部分区域的特定的信号成分进行下采样，从而生成编码对象影像信号的单元， 所述影像编码装置还具备: 在所述编码对象影像信号的编码中，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于编码对象帧内的各部分区域的下采样比、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的单元；以及 基于所述变化了的内插精度，生成所述参照帧内的部分区域的内插图像的单元。
7.一种影像解码装置，具备: 在对由两个信号成分以上构成的编码对象影像信号的编码数据进行解码时，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧的下采样比、和参照帧的下采样比的比率值，使所述参照帧的被下采样了的信号成分的内插精度变化的单元，其中，所述编码对象影像信号是通过如下方式而生成的，即，对应于根据帧内的过渡量的大小而对帧的特定的信号成分设定的下采样比，对帧的特定的信号成分进行下采样，从而生成所述编码对象影像信号；以及 基于所述变化了的内插精度，生成所述参照帧的内插图像的单元。
8.一种影像解码装置，具备: 在对由两个信号成分以上构成的编码对象影像信号的编码数据进行解码时，在帧间预测中使用小数像素精度的运动补偿的情况下，对应于解码对象帧内的各部分区域的下采样t匕、和该部分区域在运动补偿时参照的参照帧内的部分区域的下采样比的比率值，使所述参照帧内的部分区域中的被下采样了的信号成分的内插精度变化的单元，其中，所述编码对象影像信号是通过如下方式而生成的，即，将根据帧内的局部的性质而被分割的帧的部分区域的特定的信号成分，对应于根据各部分区域内的性质而对该部分区域内的特定的信号成分设定的下采样比，进行下采样，从而生成所述编码对象影像信号；以及 基于所述变化了的内插精度，生成所述参照帧内的部分区域的内插图像的单元。
全文摘要
本发明涉及影像编码方法和解码方法及其装置。一种影像编码方法，将由两个信号成分以上构成的影像信号作为编码对象，该影像编码方法具备对应于帧内的性质，设定对于帧的特定信号成分的下采样比的步骤；以及通过对应于所述设定了的下采样比，对帧的特定的信号成分进行下采样，从而生成编码对象影像信号的步骤。也可以对应于帧内的局部的性质，将帧分割为部分区域，对应于各部分区域内的性质，设定对于该部分区域的特定的信号成分的下采样比。
文档编号H04N7/50GK103188492SQ201210561178
公开日2013年7月3日 申请日期2007年10月5日 优先权日2006年10月10日
发明者坂东幸浩, 上仓一人, 八岛由幸 申请人:日本电信电话株式会社