编码装置、解码装置及程序的制作方法

1.本发明涉及编码装置、解码装置以及程序。


背景技术：

2.在vvc标准方案中，采用如下的被称为自适应颜色变换(act：adaptive colour transform)的技术：在输入图像的色度格式为4：4：4的情况下，在得到将原始图像分割得到的编码对象块与该编码对象块的预测块的差分亦即预测残差之后，将预测残差的颜色空间(rgb空间)变换为ycgco空间，针对颜色空间变换后的预测残差进行变换处理
·
熵编码处理等编码处理(参照非专利文献1)。
3.编码装置能够控制对每个编码对象块是否应用act，对每个编码对象块流式输出act应用标记。因此，由于act，在图像(picture)整体中混合存在有在rgb空间中将变换处理
·
量化处理应用于预测残差的编码对象块与在将预测残差从rgb空间变换为ycgco空间后应用变换处理
·
量化处理的编码对象块。
4.但是，在vvc中，在针对预测残差实施变换处理得到的变换系数的量化中，采用对每个频率分量控制量化步长的缩放列表(scaling list也被称为量化矩阵)。能够针对构成输入图像信号的三种颜色分量(例如亮度分量、第一色差分量以及第二色差分量)分别单独设定缩放列表，编码装置向解码侧用信号发送表示是否应用缩放列表、以及在应用缩放列表的情况下应用什么样的缩放列表的信息。
5.现有技术文献
6.非专利文献
7.非专利文献1：jvet-q2001“versatile video coding(draft 8)”

技术实现要素：

8.第一方式的编码装置，其主旨在于：所述编码装置针对分割图像而生成的编码对象块的每一个进行编码，所述图像由包括第一分量、第二分量以及第三分量的三个以上的分量构成，所述编码装置具备：预测部，针对每个分量生成与所述编码对象块对应的预测块；残差生成部，针对每个分量生成预测残差，所述预测残差表示所述编码对象块与所述预测块的差；颜色空间变换部，针对每个所述分量的预测残差进行颜色空间变换处理；变换部，对所述预测残差进行变换处理，由此生成变换系数；量化控制部，确定用于对所述变换系数的量化处理的缩放列表；以及量化部，使用所确定的所述缩放列表，针对所述变换系数进行所述量化处理，所述量化控制部基于所述颜色空间变换处理，确定所述缩放列表。
9.第二方式的解码装置，其主旨在于：所述解码装置针对分割图像而生成的解码对象块的每一个进行解码，所述图像由包括第一分量、第二分量以及第三分量的三个以上的分量构成，所述解码装置具备：熵解码部，针对每个分量从比特流对所述解码对象块的量化变换系数进行解码；预测部，针对每个分量生成与所述解码对象块对应的预测块；逆量化控制部，确定用于对变换系数的逆变换处理的缩放列表；逆量化部，通过对所述量化变换系数
进行逆变换处理，以生成所述变换系数；逆变换部，通过使用所确定的所述缩放列表，对所述变换系数进行所述逆变换处理，来生成预测残差；颜色空间逆变换部，对所述预测残差进行颜色空间逆变换处理；以及合成部，通过将所述预测残差与所述预测块合成，来生成解码块，所述逆量化控制部基于所述颜色空间逆变换处理，确定所述缩放列表。
10.第三方式的程序，其使计算机作为第一方式的编码装置发挥作用。
11.第四方式的程序，其使计算机作为第二方式的解码装置发挥作用。
附图说明
12.图1是示出实施方式的编码装置的构成的图。
13.图2是示出实施方式的量化控制部以及逆量化控制部的操作的图。
14.图3是示出实施方式的解码装置的构成的图。
15.图4是示出变形例的量化控制部以及逆量化控制部的操作的图。
16.图5是示出熵编码部输出的比特流的图。
17.图6是示出nal单元的类型的图。
18.图7是示出vps、sps、pps以及aps的关系的图。
具体实施方式
19.通过act，能够针对每个编码对象块控制有无预测残差的颜色空间变换，因此在对作为rgb图像的输入图像进行编码时，在相邻的两个编码对象块中，一方可以是应用act的编码对象块，另一方可以是不应用act的编码对象块。
20.如表1所示，对于应用act的编码对象块，在预测残差从rgb空间变换为ycgco空间后，对y分量的预测残差应用第一缩放列表，对cg分量的预测残差应用第二缩放列表，对co分量的预测残差应用第三缩放列表。另一方面，对于不应用act的编码对象块，在预测残差保持rgb空间的状态下，对r分量的预测残差应用第一缩放列表，对g分量的预测残差应用第二缩放列表，对b分量的预测残差应用第三缩放列表。
21.[表1]
[0022][0023]
已知的是，通常rgb空间中的亮度分量的多数集中于g分量，用于rgb空间的图像的缩放列表以亮度信号主要包括在g分量中为前提设计。已知的是，亮度信号与色差信号相比，包括较多的高频率分量，因此设计成应用于亮度信号的缩放列表与设计成应用于色差信号的缩放列表在性质上有很大不同的可能性很高。
[0024]
但是，由于通过将act应用于预测残差，针对不包括很多亮度信号的r分量设计的第一缩放列表应用于基于act的变换后的y分量，因此导致应用了设计成应用于本来性质不
同的分量的缩放列表，存在产生视觉上的劣化的可能性。
[0025]
因此，本公开的目的在于即使在应用act的情况下也能够抑制图像质量的劣化。
[0026]
参照附图对实施方式的编码装置以及解码装置进行说明。实施方式的编码装置以及解码装置分别进行由mpeg(运动图像专家组(moving picture experts group))代表的运动图像的编码以及解码。在以下的附图的记载中，对相同或类似的部分赋予相同或类似的附图标记。
[0027]
＜编码装置＞
[0028]
首先，对本实施方式的编码装置的构成进行说明。图1是示出本实施方式的编码装置1的构成的图。
[0029]
如图1所示，编码装置1具有块分割部100、残差生成部110、切换部111、颜色空间变换部112、变换量化部120、量化控制部123、熵编码部130、逆量化逆变换部140、合成部150、环路滤波器160、存储器170以及预测部180。
[0030]
块分割部100将构成运动图像的帧(或图像)单位的输入图像亦即原始图像分割成多个图像块，向残差生成部110输出通过分割得到的图像块。图像块的尺寸例如为32
×
32像素、16
×
16像素、8
×
8像素或4
×
4像素等。图像块的形状不限于正方形，也可以是长方形(非正方形)。图像块是编码装置1进行编码处理的单位(即，编码对象块)，并且是解码装置进行解码处理的单位(即，解码对象块)。有时将这样的图像块称为cu(编码单元(coding unit))。
[0031]
在本实施方式中，主要对输入图像是rgb信号、色度格式是4：4：4的情况进行说明。“r”分量相当于第一分量，“g”分量相当于第二分量，“b”分量相当于第三分量。块分割部100分别针对构成图像的r分量、g分量以及b分量进行块分割，由此输出块。在以下的编码装置的说明中，在不区别各分量时，只称为编码对象块。
[0032]
残差生成部110计算预测残差，所述预测残差表示块分割部100输出的编码对象块与预测部180对编码对象块进行预测得到的预测块的差分(误差)。具体而言，残差生成部110通过从编码对象块的各像素值减去预测块的各像素值来计算预测残差，向切换部111输出计算出的预测残差。在本实施方式中，残差生成部110根据各分量的编码对象块与各分量的预测块的差分，生成各分量的预测残差。
[0033]
切换部111向变换量化部120以及颜色空间变换部112中的任意一方输出由残差生成部110输出的各分量的预测残差。在不进行颜色空间变换处理(act)的情况下，切换部111将预测残差输出至变换量化部120，在进行颜色空间变换处理的情况下，切换部111将预测残差输出至颜色空间变换部112。
[0034]
颜色空间变换部112针对各分量的预测残差进行颜色空间变换处理，向变换量化部120输出颜色空间变换处理后的预测残差。颜色空间变换部112通过针对编码对象块的预测残差的r分量、g分量以及b分量进行下述这样的变换计算，生成新的预测残差。
[0035]
co＝r－b
[0036]
t＝b+(co＞＞1)
[0037]
cg＝g－t
[0038]
y＝t+(cg＞＞1)
[0039]
其中，“＞＞”表示右移运算。另外，“y”分量相当于第一分量，“gg”分量相当于第二
分量，“co”分量相当于第三分量。
[0040]
颜色空间变换部112能够控制对每个编码对象块是否进行颜色变换处理。熵编码部130在比特流中用信号发送表示针对该编码块是否进行了颜色变换处理的标记。
[0041]
另外，颜色空间变换部112中的颜色空间变换处理只要通过针对各分量的加法
·
减法
·
乘法
·
除法
·
移位处理等生成由新的分量构成的预测残差即可，无需一定进行颜色空间变换。另外，颜色空间变换处理无需是对全部的分量造成影响的变换。例如，颜色空间变换部112也可以应用不变更并维持第一分量、将第二分量与第三分量的平均值作为新的第二分量、将第二分量与第三分量的差分作为新的第三分量这样的颜色空间变换处理。
[0042]
变换量化部120以块单位进行变换处理以及量化处理。变换量化部120具有变换部121以及量化部122。
[0043]
变换部121针对切换部111或颜色空间变换部112输出的预测残差(无论有无应用颜色空间变换处理都称为预测残差)进行变换处理，计算变换系数，向量化部122输出计算出的变换系数。具体而言，变换部121通过针对预测残差以块单位进行变换处理，由此生成每个分量的变换系数。变换处理例如可以是离散余弦变换(dct)、离散正弦变换(dst)和/或离散小波变换等频率变换。另外，变换部121向熵编码部130输出与变换处理有关的信息。
[0044]
变换处理包括在hevc(高效率视频编码(high efficiency video codec))、vvc(通用视频编码(versatile video coding))标准方案中采用的不进行变换处理的变换跳过。在hevc的变换跳过模式下，不进行水平以及垂直的变换处理，对预测残差实施缩放，由此作为变换系数，但是本实施方式的变换跳过也包括仅应用水平的变换处理的变换、仅应用垂直的变换处理的变换。另外，变换部121也可以进行针对通过变换处理得到的变换系数进一步应用变换处理的二次变换处理。另外，二次变换处理可以仅应用于变换系数的一部分区域。
[0045]
量化控制部123确定用于对由变换部121生成的变换系数的量化处理的缩放列表(量化矩阵)。在此，作为缩放列表，预先规定全部的缩放列表的元素的值都相等(例如全部的元素的值都为16)的均匀的(平坦的)缩放列表。量化控制部123可以设定多个对每个元素设定不同值的不均匀缩放列表。另外，在用小尺寸定义用于大尺寸块的缩放列表、在实际使用时放大的情况下，不一定对全部的元素设定不同的值。熵编码部130流式输出表示使用哪个缩放列表进行量化处理的信息。另外，不均匀缩放列表也是能够设定至少部分不同的值作为缩放列表的元素的值的缩放列表，即可变缩放列表。
[0046]
在本实施方式中，量化控制部123基于颜色空间变换部112是否进行颜色空间变换处理，确定缩放列表。具体而言，在设定使用缩放列表的元素的值至少部分不同的不均匀缩放列表的主旨的情况下，量化控制部123基于颜色空间变换部112是否进行颜色空间变换处理(即，切换部111是否向颜色空间变换部112输出了预测残差)，确定使用不均匀缩放列表或使用均匀缩放列表。
[0047]
例如，在颜色空间变换部112未进行颜色空间变换处理的情况下，量化控制部确定不均匀缩放列表作为量化部122用于量化处理的缩放列表。另一方面，在颜色空间变换部112进行颜色空间变换处理的情况下，量化控制部123确定均匀缩放列表作为量化部122用于量化处理的缩放列表。
[0048]
在此，由于对每个颜色分量设定不均匀缩放列表，所以根据作为对象的分量，性质
不同。因此，当在一个图像(picture)内混合存在应用act的编码对象块与不应用act的编码对象块的情况下，如果应用不均匀缩放列表，则会引起图像质量的劣化。在本实施方式中，在颜色空间变换部112进行颜色空间变换处理的情况(即，应用act的情况)下，通过使用均匀缩放列表，能够抑制图像质量的劣化。
[0049]
量化部122使用量化参数以及缩放列表对从变换部121输出的变换系数进行量化，向熵编码部130以及逆量化逆变换部140输出量化后的变换系数。在此，由量化控制部123确定用于量化部122的量化处理的缩放列表。另外，量化部122向熵编码部130以及逆量化部141输出与量化处理有关的信息(具体而言，在量化处理中使用的量化参数以及缩放列表的信息)。
[0050]
另外，量化参数是针对一个块设定一个值的参数。具体而言，量化参数是共同应用于块内的各变换系数的参数，并且是确定量化的粗糙度(步长(step size))的参数。
[0051]
缩放列表构成由针对一个块内的每个分量设定的值构成的矩阵(量化矩阵)。具体而言，缩放列表由根据块尺寸针对i
×
j个元素的每个分量设定的值(加权系数)构成，用于针对变换系数的从低频一直到高频的每个分量调整量化的粗糙度。熵编码部130将不均匀缩放列表用信号发送至解码侧。
[0052]
熵编码部130针对量化部122输出的量化变换系数进行熵编码，进行数据压缩，生成比特流(编码数据)，向解码侧输出比特流。熵编码可以使用哈夫曼编码和/或cabac(基于上下文的自适应二进制算术编码(context-based adaptive binary arithmetic coding))等。另外，熵编码部130将从变换部121输入的与变换处理有关的信息包括在比特流中用信号发送至解码侧，或将从预测部180输入的与预测处理有关的信息包括在比特流中用信号发送至解码侧。此外，熵编码部130针对每个编码对象块将表示有无应用act的颜色空间变换的标记包括在比特流中用信号发送至解码侧。
[0053]
逆量化逆变换部140以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部140具有逆量化部141以及逆变换部142。
[0054]
逆量化部141进行与量化部122进行的量化处理对应的逆量化处理。具体而言，逆量化部141通过使用量化参数(qp)以及缩放列表对量化部122输出的量化变换系数进行逆量化，来复原变换系数，向逆变换部142输出复原后的变换系数。在此，由量化控制部123确定用于逆量化部141的逆量化处理的缩放列表。
[0055]
逆变换部142根据变换部121输出的变换类别信息，进行与变换部121进行的变换处理对应的逆变换处理。例如，在变换部121进行了离散余弦变换的情况下，逆变换部142进行逆离散余弦变换。逆变换部142针对逆量化部141输出的变换系数进行逆变换处理，复原预测残差，向合成部150输出复原后的预测残差亦即复原预测残差。
[0056]
合成部150将逆变换部142输出的复原预测残差与预测部180输出的预测块以像素单位合成。合成部150将复原预测残差的各像素值与预测块的各像素值相加，对编码对象块进行解码(重构)，向环路滤波器160输出已解码块。另外，已解码块有时也被称为重构块。
[0057]
环路滤波器160对合成部150输出的已解码块进行滤波处理，向存储器170输出滤波处理后的已解码块。
[0058]
存储器170存储环路滤波器160输出的滤波处理后的已解码块，以帧单位存储已解码块作为已解码图像。存储器170向预测部180输出存储的已解码块或已解码图像。
[0059]
预测部180以块单位进行预测处理。预测部180通过实施针对编码对象块的帧内预测以及帧间预测等预测处理，生成每个分量的预测块。本实施方式的预测部180具有帧间预测部181、帧内预测部182以及切换部183。
[0060]
帧间预测部181进行利用了帧间相关性的帧间预测。具体而言，帧间预测部181使用存储在存储器170中的已解码图像作为参照图像，通过块匹配等方法计算运动矢量，对编码对象块进行预测，生成帧间预测块，向切换部183输出生成的帧间预测块。在此，帧间预测部181从使用多个参照图像的帧间预测(典型而言，双预测)、使用一个参照图像的帧间预测(单方向预测)中选择最合适的帧间预测方法，使用选择出的帧间预测方法进行帧间预测。帧间预测部181向熵编码部130输出与帧间预测有关的信息(运动矢量等)。
[0061]
帧内预测部182进行利用帧内的空间相关性的帧内预测。具体而言，帧内预测部182参照存储于存储器170的已解码图像中的位于编码对象块的周围的已解码像素，生成帧内预测块，向切换部183输出生成的帧内预测块。帧内预测部182从多个帧内预测模式中选择应用于编码对象块的帧内预测模式，使用选择出的帧内预测模式，对编码对象块进行预测。
[0062]
切换部183在帧间预测部181输出的帧间预测块与帧内预测部182输出的帧内预测块之间进行切换，向残差生成部110以及合成部150输出任意一种预测块。
[0063]
这样，本实施方式的编码装置1对将由包括第一分量、第二分量以及第三分量的三个以上的分量构成的图像进行分割而生成的编码对象块的每一个进行编码。编码装置1具有：预测部180，针对每个分量生成与编码对象块对应的预测块；残差生成部110，针对每个分量生成表示编码对象块与预测块的差的预测残差；颜色空间变换部，针对预测残差进行颜色空间变换处理；变换部121，通过针对预测残差进行变换处理，来生成变换系数；量化控制部123，确定用于针对变换系数的量化处理的缩放列表；以及量化部122，使用所确定的缩放列表，针对变换系数进行量化处理。
[0064]
接着，对本实施方式的量化控制部123的操作进行说明。图2是示出本实施方式的量化控制部123的操作的图。量化控制部123针对每个编码对象块进行图2的操作。另外，图2的操作是将设定基于act(颜色空间变换处理)以外的因素而使用不均匀缩放列表的主旨作为前提的操作。
[0065]
如图2所示，在步骤s11中，量化控制部123判断针对编码对象块是否应用act(颜色空间变换处理)。
[0066]
在针对编码对象块不应用act的情况下(步骤s11：否)，在步骤s12中，量化控制部123确定不均匀缩放列表作为用于与该编码对象块对应的变换处理的缩放列表。不均匀缩放列表也可以是配合rgb空间的各分量的特性而设计的缩放列表。例如，不均匀缩放列表可以是将亮度信号主要包括在g分量中作为前提而设计的缩放列表。例如，量化控制部123针对r分量的预测残差应用不均匀的第一缩放列表，针对g分量的预测残差应用不均匀的第二缩放列表，针对b分量的预测残差应用不均匀的第三缩放列表。
[0067]
另一方面，在针对编码对象块应用act的情况下(步骤s11：是)，在步骤s12中，量化控制部123确定均匀缩放列表作为用于与该编码对象块对应的变换处理的缩放列表。均匀缩放列表是事先设定的缩放列表，即是在编码侧以及解码侧预先共有的缩放列表。例如，量化控制部123针对y分量的预测残差、cg分量的预测残差、以及co分量的预测残差分别应用
均匀缩放列表。
[0068]
这样，在应用act的情况下，本实施方式的编码装置1使用均匀缩放列表。由此，即使当在一个图像(picture)内应用act的编码对象块与不应用act的编码对象块混合存在的情况下，也能够抑制图像质量的劣化。
[0069]
＜解码装置＞
[0070]
接着，以与编码装置1的不同点为主对本实施方式的解码装置进行说明。图3是示出本实施方式的解码装置2的构成的图。
[0071]
如图3所示，解码装置2具有熵解码部200、逆量化逆变换部210、逆量化控制部214、切换部215、颜色空间逆变换部216、合成部220、环路滤波器230、存储器240以及预测部250。
[0072]
熵解码部200对编码数据(比特流)进行解码，向逆量化逆变换部210输出与解码对象块对应的量化变换系数。另外，熵解码部200取得与变换处理以及量化处理有关的信息，向逆量化逆变换部210输出与变换处理以及量化处理有关的信息。此外，熵解码部200取得与预测处理有关的信息，向预测部250输出与预测处理有关的信息。熵解码部200取得每个编码对象块的颜色空间变换标记，向逆量化控制部214以及切换部215输出取得的颜色空间变换标记。
[0073]
逆量化控制部214基于颜色空间变换标记，进行与编码装置1的量化控制部123同样的操作(参照图2)。
[0074]
逆量化逆变换部210以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部210具有逆量化部211以及逆变换部212。
[0075]
逆量化部211进行与编码装置1的量化部122进行的量化处理对应的逆量化处理。逆量化部211通过使用量化参数(qp)以及缩放列表对熵解码部200输出的量化变换系数进行逆量化，来复原解码对象块的变换系数，向逆变换部212输出复原后的变换系数。在此，由逆量化控制部214确定用于由逆量化部211进行的逆量化处理的缩放列表。
[0076]
逆变换部212进行与编码装置1的变换部121进行的变换处理对应的逆变换处理。逆变换部212针对逆量化部211输出的变换系数进行逆变换处理，复原预测残差，向切换部215输出复原后的预测残差(复原预测残差)。
[0077]
切换部215根据颜色空间变换标记，向合成部220以及颜色空间逆变换部216的任意一方输出逆变换部212输出的各分量的预测残差。在不进行颜色空间逆变换处理(act)的情况下，切换部111将预测残差输出至变换量化部120，在进行颜色空间逆变换处理的情况下，切换部111将预测残差输出至颜色空间逆变换部216。
[0078]
颜色空间逆变换部216进行编码装置1的颜色空间变换部112进行的颜色空间变换处理的逆处理亦即颜色空间逆变换处理，向合成部220输出颜色空间逆变换处理后的预测残差。具体而言，使用复原后的预测残差的y分量、cg分量、co分量，进行下述这样的逆变换计算。
[0079]
t＝y－(cg＞＞1)
[0080]
g＝cg+t
[0081]
b＝t－(co＞＞1)
[0082]
r＝co+b
[0083]
合成部220将切换部215或颜色空间逆变换部216输出的预测残差与预测部250输
出的预测块以像素单位合成，由此对原始的块进行解码(重构)，向环路滤波器230输出已解码块。
[0084]
环路滤波器230针对合成部220输出的已解码块进行滤波处理，向存储器240输出滤波处理后的已解码块。
[0085]
存储器240存储合成部220输出的已解码块，以帧单位储存已解码块作为已解码图像。存储器240向预测部250输出已解码块或已解码图像。另外，存储器240向解码装置2的外部输出帧单位的已解码图像。
[0086]
预测部250以块单位对每个分量进行预测。预测部250具有帧间预测部251、帧内预测部252以及切换部253。
[0087]
帧间预测部251进行利用了帧间相关性的帧间预测。具体而言，帧间预测部251基于熵解码部200输出的与帧间预测有关的信息(例如，运动矢量信息)，使用存储在存储器240中的已解码图像作为参照图像，对编码对象块进行预测，生成帧间预测块，向切换部253输出生成的帧间预测块。
[0088]
帧内预测部252进行利用了帧内的空间相关性的帧内预测。具体而言，帧内预测部252使用根据熵解码部200输出的与帧内预测有关的信息(例如，帧内预测模式信息)的帧内预测模式，参照存储于存储器240的已解码图像中的位于编码对象块周围的已解码像素，生成帧内预测块，向切换部253输出生成的帧内预测块。
[0089]
切换部253在帧间预测部251输出的帧间预测块与帧内预测部252输出的帧内预测块之间进行切换，向合成部220输出任意一种的预测块。
[0090]
这样，本实施方式的解码装置2针对将由包括第一分量、第二分量以及第三分量的三个以上的分量构成的图像进行分割而生成的解码对象块的每一个进行解码。解码装置2具有：熵解码部200，针对每个分量从比特流对解码对象块的量化变换系数进行解码；预测部250，针对每个分量生成与解码对象块对应的预测块；逆量化控制部214，确定用于针对变换系数的逆变换处理的缩放列表；逆量化部211，通过对量化变换系数进行逆变换处理来生成变换系数；逆变换部212，通过使用所确定的缩放列表对变换系数进行逆变换处理，来生成预测残差；颜色空间逆变换部216，对预测残差进行颜色空间逆变换处理；以及合成部220，通过将预测残差与预测块合成，来生成解码块。
[0091]
逆量化控制部214基于颜色空间逆变换处理(颜色空间变换标记)确定缩放列表。在本实施方式中，在编码侧设定了使用不均匀缩放列表的主旨的情况下，逆量化控制部214基于颜色空间逆变换部216是否进行颜色空间逆变换处理，确定使用不均匀缩放列表或使用均匀缩放列表。
[0092]
例如，在编码侧设定了使用不均匀缩放列表的主旨的情况下，在颜色空间逆变换部216不进行颜色空间逆变换处理的情况下，逆量化控制部214确定不均匀缩放列表作为用于逆量化处理的缩放列表。在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214确定均匀缩放列表作为用于逆量化处理的缩放列表。
[0093]
这样，在应用act的情况下，本实施方式的解码装置2使用均匀缩放列表。由此，即使当在一个图像(图片)内应用act的编码对象块与不应用act的编码对象块混合存在的情况下，也能够抑制图像质量的劣化。
[0094]
＜变形例＞
[0095]
接着，以与上述实施方式的不同点为主对上述的实施方式的变形例进行说明。
[0096]
在本变形例中，在编码装置1设定了使用不均匀缩放列表的主旨的情况下，即使在应用act(颜色空间变换处理)的情况下，也使用不均匀缩放列表。但是，编码装置1的量化控制部123基于是否应用act，变更构成图像的三个以上的分量与用于各分量的缩放列表的对应关系。
[0097]
图4是示出本变形例的量化控制部123的操作的图。
[0098]
如图4所示，在不进行颜色空间变换处理的情况下(步骤s21：否)，在步骤s22中，编码装置1的量化控制部123针对作为第一分量的r分量确定第一缩放列表、针对作为第二分量的g分量确定第二缩放列表、针对作为第三分量的b分量确定第三缩放列表(参照表2)。
[0099]
[表2]
[0100][0101]
另一方面，在颜色空间变换部进行颜色空间变换处理的情况下(步骤s21：是)，在步骤s22中，将对应关系变更为使得针对作为第一分量的y分量确定第二缩放列表(参照表3)。
[0102]
[表3]
[0103][0104]
由于rgb空间的亮度分量大多集中于g分量，所以将用于g分量的第二缩放列表应用于y分量。由此，由于能够对y分量应用合适的缩放列表，所以能够抑制图像质量的劣化。另外，在表3的示例中，将对应关系变更为使得针对作为第二分量的cg分量确定第三缩放列表、针对作为第三分量的co分量确定第一缩放列表。
[0105]
同样地，在编码装置1设定了使用不均匀缩放列表的主旨的情况下，解码装置2的逆量化控制部214根据是否应用act(即，颜色空间逆变换部216是否进行颜色空间逆变换处理)，变更构成图像的三个以上的分量与用于各分量的缩放列表的对应关系。
[0106]
在颜色空间逆变换部216不进行颜色空间逆变换处理的情况下，逆量化控制部214针对作为第一分量的r分量确定第一缩放列表、针对作为第二分量的g分量确定第二缩放列表、针对作为第三分量的b分量确定第三缩放列表(参照表2)。另一方面，在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214针对作为第一分量的y分量确定第二缩放列表(参照表3)。
[0107]
另外，在本变形例中，在变更各分量与各缩放列表的对应关系的情况下，设想变更后的对应关系(即，y分量
·
cg分量
·
co分量与第一缩放列表至第三缩放列表的对应关系)
是固定的(参照表3)。但是，通过从编码装置1(熵编码部130)向解码装置2用信号发送该对应关系，也可以可变地设定该对应关系。例如，编码装置1(熵编码部130)可以将表示变更后的对应关系(即，y分量
·
cg分量
·
co分量与第一缩放列表至第三缩放列表的对应关系)的信息包括在后面叙述的自适应参数集(aps)中并用信号发送。
[0108]
＜其它实施方式＞
[0109]
编码装置1的熵编码部130也可以输出包括表示是否进行基于颜色空间变换处理的缩放列表的确定操作的信息(控制标记)的序列参数集(sps)或自适应参数集(aps)。解码装置2的熵解码部200也可以取得包括表示是否进行基于颜色空间逆变换处理的缩放列表的确定操作的信息的sps或aps。
[0110]
另外，编码装置1的熵编码部130也可以输出包括表示使用上述实施方式的缩放列表的确定操作以及变形例1的缩放列表的确定操作中的哪种操作的信息(控制标记)的sps或aps。解码装置2的熵解码部200也可以取得包括表示使用上述实施方式的缩放列表的确定操作以及变形例1的缩放列表的确定操作中的哪种操作的信息的sps或aps。编码装置1的熵编码部130可以根据色度格式是否是4：4：4，用信号发送该控制标记，也可以构成为根据在sps等中针对序列是否能够应用act，控制该控制标记的信令。具体而言，可以构成为：仅在用信号发送在sps中表示针对编码对象序列能够应用act的主旨的标记的情况下，用信号发送该控制标记。另外，也可以构成为：根据在aps中表示针对色差信号的缩放列表是否包括在该aps中的标记，控制该控制标记的信令。具体而言，可以构成为：仅在aps中包括针对所述色差信号的缩放列表的情况下，用信号发送该控制标记。
[0111]
图5是示出熵编码部130输出的比特流的图。
[0112]
如图5的(a)所示，比特流由多个nal单元以及设置在各nal单元的前头的起始码构成。起始码为4字节，控制成在nal单元内不产生该0001(＝0x00000001)。如图5的(b)所示，各nal单元由nal单元头以及有效载荷构成。
[0113]
图6是示出nal单元的类型的图。根据nal单元头内的nal_unit_type识别nal单元的类型。nal单元的类型分类为vcl(视频编码层(video coding layer))类别与非vcl类别。vcl类别是与包括编码对象ctu(编码树单元(coding tree unit))的切片的编码比特流对应的类别。vcl类别是例如与vps(视频参数集(video parameter set))、sps(序列参数集(sequence parameter set))、pps(图像参数集(picture parameter set))以及aps(自适应参数集(adaptation parameter set))等解码所需要的控制信息对应的类别。vps、sps、pps以及aps分别由不同的nal单元用信号发送。
[0114]
图7是示出vps、sps、pps以及aps的关系的图。
[0115]
如图7所示，vps具有自身的id(vps_video_parameter_set_id)，从sps参照。vps存储与比特流的解码整体地相关的信息。例如，vps包括最大层个数以及dpb(解码图像缓存器(decoded picture buffer))等信息。
[0116]
sps具有自身的id(sps_seq_parameter_set_id)，从pps参照。另外，sps具有参照自身的vps的id(sps_video_parameter_set_id)。sps存储序列解码所需要的信息。例如，sps包括色度格式、最大的宽度
·
高度、位深度、子图像信息(个数、各子图像的开始坐标、宽度、高度等)、各编码工具(各功能)的按序列单位的开
·
关控制和/或vui(视频可用性信息(video usability information))等信息。按序列单位的开
·
关控制的信息包括表示是否
应用缩放列表的标记(sps_scaling_list_enebled_flag)。
[0117]
pps具有自身的id(pps_pic_parameter_set_id)，从ph(图像头(picture header))参照。另外，pps具有参照自身的sps的id(pps_seq_parameter_set_id)。pps存储图像(picture)的解码所需要的信息。例如，pps包括图像的宽度
·
高度、块分割信息(纵横的块数、各行
·
列的宽度
·
高度等的定义)和/或切片分割信息(切片分割形状(矩形/非矩形)、在矩形的情况下各矩形的宽度
·
高度方向的块数)等信息。
[0118]
ph是每个图像的头信息。参照ph的是图像内的切片。由于切片能够隐含地识别包括自身的图像，所以无需定义ph的id。另一方面，ph保持参照方的pps的id(ph_pic_parameter_set_id)。ph存储针对该图像的控制信息。例如，ph包括针对该图像的各编码工具(各功能)的开
·
关控制等信息。ph包括表示alf、lmcs以及缩放列表各自的工具的应用开
·
关的信息。按图像单位的开
·
关控制的信息包括表示是否应用缩放列表的标记(ph_scaling_list_present_flag)。在应用一个以上的工具的情况下，ph包括存储该工具的参数信息的aps的id。
[0119]
aps是用于需要传送alf、lmcs、缩放列表等比较多的参数的编码工具的参数传送用的语法结构。aps保持有自身的id，该id从ph参照。
[0120]
通过在sps中用信号发送上述实施方式及其变形例的控制信息(控制标记)，即使在规定多个缩放列表的情况下，也能够通过一个控制标记控制量化处理，因此能够削减标记信息量。另一方面，通过在aps中用信号发送上述实施方式及其变形例的控制信息(控制标记)，能够根据颜色空间变换的应用确定是否控制应用于设定的多个缩放列表的每一个的缩放列表，因此能够进行更灵活的量化处理。
[0121]
可以提供使计算机执行上述的编码装置1进行的各处理的程序。另外，可以提供使计算机执行解码装置2进行的各处理的程序。程序可以存储于计算机可读介质。如果使用计算机可读介质，则可以将程序安装到计算机。在此，存储有程序的计算机可读介质可以是非暂时性存储介质。非暂时性存储介质没有特别的限定，例如可以是cd-rom、dvd-rom等存储介质。
[0122]
可以将执行编码装置1进行的各处理的电路集成化，通过半导体集成电路(芯片组、soc)构成编码装置1。可以将执行解码装置2进行的各处理的电路集成化，通过半导体集成电路(芯片组、soc)构成解码装置2。
[0123]
以上，参照附图对实施方式详细地进行了说明，但是具体的构成不限于上述构成，在不脱离主旨的范围内可以进行各种各样的设计变形等。
[0124]
本技术主张第2020-070106号(2020年4月8日申请)日本专利申请的优先权，该日本专利申请其全部内容并入本技术说明书。