专利名称：运动图像编码方法以及运动图像解码方法
技术领域：
本发明涉及运动图像的编码以及解码。
背景技术：
作为运动图像编码的国际标准规格之一的H. 264/MPEG-4AVC (以下，简称为 H. 264)是由ITU-T (国际电信联盟电信标准化部门)以及IS0/IEC(国际标准化组织/国际电气标准委员会)共同策定的。H. 264实现了 MPEG-2的两倍以上的高压缩效率。在H.沈4中，在预测图像的生成中，利用与已编码的图像或者已解码的图像相关的参照图像。为了生成参照图像，有时对局部解码图像或者解码图像进行环路滤波处理。具体而言，在环路滤波处理中利用如非专利文献1中所公开的解块滤波。解块滤波中通过模糊局部解码图像或者解码图像的块边界，而在视觉上显著降低了画质劣化(所谓块失真)。 但是，使图像有不必要的模糊，反而导致画质劣化。因此，在H. 264中，采用根据处理对象块的预测模式、块边界附近的像素差分值的大小等条件而适应地变更解块滤波的滤波强度的方式。在专利文献1记载的图像编码方法中，预先准备多个像素间滤波器，例如针对每个图片选择性地进行环路滤波处理。然后，将所选择出的像素间滤波器的信息传送到解码侧，从而在编码/解码之间实现了通用的环路滤波处理。专利文献1 日本特开2003-179933号公报(美国专利申请公开第2004/032908号公报)1 :G. Bjontegaard, “ Deblocking filter for 4x4 based coding"， ITU-T Q. 15/SG16VCEG document, Q15-J-27, May2000.
发明内容
在专利文献1记载的图像编码方法中，需要在编码侧以及解码侧预先准备多个像素间滤波器。例如，根据图像的性质(图像尺寸、摄影条件、被摄体的纹理、被摄体的运动的复杂度等)、压缩率等参数的不同，与编码相伴的画质劣化的倾向不同。因此，难以预先设想所谓条件来准备滤波器。假设，即使根据所设想的画质劣化的倾向准备了庞大的数量的滤波器，滤波器的选择信息的开销符号量也增大。另外，在专利文献1记载的图像编码方法中，滤波器的选择单位(例如图片)固定。如果假设为了画质提高等而减小滤波器的选择单位(例如如果设定为像素块)，则滤波器的选择信息的开销符号量增大。即，在专利文献 1记载的图像编码方法中，如果准备多个滤波器、减小滤波器的选择单位，则编码效率降低。因此，本发明的目的在于提供一种能够对与环路滤波处理相关的参数高效地进行编码的运动图像编码/运动图像解码。本发明的一个方式提供一种运动图像编码方法，利用与已编码的图像相关的参照图像来生成预测图像，其特征在于，具备如下步骤设定包括用于将编码单位的局部解码图像分割为多个块的参数的块分割信息；设定包括用于所述编码单位的滤波器群的各滤波器的滤波器系数的滤波器信息；设定表示所述滤波器群中包含的滤波器的数量的滤波器数信息；设定确定应针对每个所述块应用的滤波器的滤波器确定信息；针对每个所述块应用通过所述滤波器确定信息确定的滤波器，生成所述参照图像；以及对所述滤波器数信息、所述滤波器信息、所述块分割信息以及所述滤波器确定信息进行编码。本发明的另一方式提供一种运动图像解码方法，利用与已解码的图像相关的参照图像来生成预测图像，其特征在于，具备如下步骤对包括用于将解码单位的解码图像分割为多个块的参数的块分割信息进行解码；对表示用于所述解码单位的滤波器群中包含的滤波器的数量的滤波器数信息进行解码；对包括所述滤波器群的各滤波器的滤波器系数的滤波器信息进行解码；对确定应针对每个所述块应用的滤波器的滤波器确定信息进行解码； 以及针对每个所述块应用通过所述滤波器确定信息确定的滤波器，生成所述参照图像。根据本发明，能够提供能对与环路滤波处理相关的参数高效地进行编码的运动图像编码/运动图像解码。
图1是示出第1实施方式的运动图像编码装置的框图。图2是示出环路滤波处理部300的框图。图3是示出图1的运动图像编码装置的动作的流程图。图4是示出第1实施方式的运动图像解码装置的框图。图5是示出环路滤波处理部400的框图。图6是示出图4的运动图像解码装置的动作的流程图。图7是示出第2实施方式的运动图像编码装置的框图。图8是示出环路滤波处理部500的框图。图9A是示出图7的运动图像编码装置的动作的流程图。图9B是示出图7的运动图像编码装置的动作的流程图。图10是示出第2实施方式的运动图像解码装置的框图。图11是示出环路滤波处理部600的框图。图12A是示出图10的运动图像解码装置的动作的流程图。图12B是示出图10的运动图像解码装置的动作的流程图。图13是示出第1实施方式的参照图像信号的滤波器应用例的图。图14是示出第2实施方式的参照图像信号的滤波器应用例的图。图15是示出各实施方式的句法构造的图。图16是示出第1实施方式的环路滤波器数据句法的图。图17是示出第2实施方式的环路滤波器数据句法的图。(符号说明)10 输入图像信号；11 预测图像信号；12 预测误差信号；13 量化变换系数；14 编码数据；15 预测误差信号；16 局部解码图像信号；17 参照图像信号；21 解码图像信号；31 滤波器数信息；32 滤波器信息；33 块分割信息；34 滤波器确定信息；35 局部解码像素块；36 还原像素块；41 解码像素块；51 滤波器应用信息；101 预测信号生成部； 102 减法器；103 变换/量化部；104 熵编码部；105 逆变换/逆量化部；106 加法器；107 参照图像缓冲器；108 编码控制部；201 熵解码部；202 逆变换/逆量化部；203 力口法器；204 预测信号生成部；205 参照图像缓冲器；206 解码控制部；300,400,500,600 环路滤波处理部；301、401 块分割部；302、402 滤波器切换部；303、403、503、603 滤波处理部；304、404 块合并部；510、610 滤波器应用切换部；1000、3000 运动图像编码部； 2000,4000 运动图像解码部。
具体实施例方式以下，参照附图，说明本发明的实施方式。(第1实施方式)如图1所示，本发明的第1实施方式的运动图像编码装置具有运动图像编码部 1000以及编码控制部108。运动图像编码部1000包括预测信号生成部101、减法器102、变换/量化部103、熵编码部104、逆变换/逆量化部105、加法器106、参照图像缓冲器107以及环路滤波处理部300。预测信号生成部101根据参照图像缓冲器107中保存的与已编码的图像相关的参照图像信号17，进行规定的预测处理。预测信号生成部101通过预测处理生成输入图像信号10的预测图像信号11，并输入到减法器102以及加法器106。预测处理既可以是通过利用运动预测以及运动补偿来实现时间上的预测的帧间预测方式，也可以是通过利用周围的像素值来实现空间上的预测的帧内预测方式。减法器102从输入图像信号10减去来自预测信号生成部101的预测图像信号11， 得到预测误差信号12。减法器102将预测误差信号12输入到变换/量化部103。变换/量化部103对来自减法器102的预测误差信号12进行正交变换，得到正交变换系数。本实施方式的变换/量化部103使用例如DCT (Discrete Cosine Transform, 离散余弦变换)而作为正交变换。变换/量化部103按照量化参数对正交变换系数进行量化，得到量化后的正交变换系数(以下，简称为量化变换系数)13。由编码控制部108控制量化参数。变换/量化部103将量化变换系数13输入到熵编码部104以及逆变换/逆量化部105。熵编码部104取得来自变换/量化部103的量化变换系数13、来自环路滤波处理部300的滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34而作为编码参数。另外，熵编码部104也可以还取得预测模式、运动矢量、量化参数等而作为编码参数。熵编码部104对复用了的编码参数实施熵编码(哈夫曼编码或者算术编码)，生成编码数据14，输出到外部。逆变换/逆量化部105按照量化参数，对量化变换系数13进行逆量化，还原正交变换系数。量化参数与变换/量化部103相同。逆变换/逆量化部105对正交变换系数实施例如IDCT (Inverse DCT，逆离散余弦变换)等逆正交变换，还原预测误差信号12。逆正交变换对应于在变换/量化部103中实施的正交变换。逆变换/逆量化部105将还原了的预测误差信号12作为预测误差信号15输入到加法器106。加法器106对来自逆变换/逆量化部105的预测误差信号15和来自预测信号生成部101的预测图像信号11进行加法，还原输入图像信号10。加法器106将还原了的输入图像信号10作为局部解码图像信号16输入到环路滤波处理部300。
参照图像缓冲器107暂时保存来自环路滤波处理部300的参照图像信号17。由预测信号生成部101适宜地读出参照图像信号17。编码控制部108对运动图像编码部1000 的各构成要素进行总体控制。例如，编码控制部108对环路滤波处理部300指示滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34。另外，编码控制部108进行发生符号量的反馈控制、量化控制、模式控制等。如图2所示，环路滤波处理部300包括块分割部301、滤波器切换部302、滤波处理部303以及块合并部304。环路滤波处理部300对编码单位(例如，帧、切片等)的局部解码图像信号16进行环路滤波处理，得到参照图像信号17。更具体而言，环路滤波处理部300 按照来自编码控制部108的滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34，进行环路滤波处理。将来自编码控制部108的滤波器数信息31、滤波器信息32、 块分割信息33以及滤波器确定信息34还输入到熵编码部104。另外，环路滤波处理部300 也可以处理对编码单位的局部解码图像信号16实施解块滤波处理而得到的图像信号。块分割部301按照块分割信息33，将局部解码图像信号16分割为规定尺寸的多个局部解码像素块35。针对每个编码单位设定块分割信息33。块分割信息33表示用于将编码单位的局部解码图像信号16分割为规定尺寸的多个局部解码像素块35的分割参数。分割参数是例如表示上述规定尺寸、分割模式的参数。块分割部301将局部解码像素块35输入到滤波器切换部302。滤波器切换部302按照滤波器确定信息34，切换用于局部解码像素块35的滤波器。针对每个局部解码像素块35设定滤波器确定信息34。滤波器确定信息34确定为了
局部解码像素块35而选择的滤波器。如图2所示，滤波器切换部302包括在端子si.....
sn(η是自然数)之间切换局部解码像素块35的输出目的地的开关SW。滤波处理部303根据滤波器数信息31以及滤波器信息32，准备用于各编码单位的滤波器群。滤波器群包括至少1个滤波器。滤波器数信息31表示滤波器群中包含的滤波器的数量。滤波器信息32表示各滤波器的滤波器系数。针对每个编码单位设定滤波器数信息31以及滤波器信息32。即，滤波处理部303针对每个编码单位，根据滤波器信息32
准备η个滤波器Fl.....而。另外，如图2 (包括端子sn的路径)所示，滤波处理部303也
可以准备无处理(旁路)的滤波器。滤波处理部303将由滤波器切换部302选择的滤波器应用于局部解码像素块35，生成被滤波后的像素块36。另外，在以下的说明中，设为滤波处理部303准备的滤波器是图像还原滤波器(例如，二维的Wiener filter，维纳滤波器)，将滤波后的像素块36简称为还原像素块36。滤波处理部303将还原像素块36输入到块合并部 304。块合并部304合并来自滤波处理部303的还原像素块36，得到编码单位的参照图像信号17。块合并部304将编码单位的参照图像信号17输入到参照图像缓冲器107。以下，使用图3，以与环路滤波处理关联的部分为中心，而说明图1的运动图像编码装置的动作。首先，编码控制部109设定滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34(步骤S1100)。这些滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34既可以用户手动设定，也可以按照规定的算法自动地设定。滤波器数信息31表示在各编码单位中准备的滤波器的数量n，设定1以上的整数值。滤波器确定信息34是与η个滤波器相关的选择信息，例如为了选择滤波器Fl.....Fn,
分别设定1.....η的整数值。滤波器信息32包括滤波器Fl.....Fn的滤波器系数。滤波器Fl.....1 也可以
是二维的Wiener filter。Wiener filter—般用于图像还原。对Wiener filter，设定用于使参照图像信号17与输入图像信号10之间的平均平方误差成为最小化的滤波器系数。 通过使用Wiener filter，相比于在编码侧以及解码侧之间准备多个固定滤波器而作为选择候补的情况，能够削减选择候补的数量并且有效地提高画质。通过削减选择候补的数量， 滤波器确定信息34的开销符号量被抑制。滤波器系数以外的滤波器参数(滤波器的抽头长、滤波器的形状、滤波器系数的对称性、滤波器系数的量化比特精度等)既可以在编码侧以及解码侧之间预先规定，也可以包含于滤波器信息32。在滤波器信息32中包括这样的滤波器系数以外的滤波器参数的情况下，滤波器参数既可以通过参数值直接表现，也可以通过索引(index)来表现。在通过索引表现滤波器参数的情况下，需要在编码侧以及解码侧之间，预先制作将索引与参数值对应起来的通用的表格。通过在滤波器信息32中包括滤波器系数以外的滤波器参数，编码侧能够控制画质改善性能、滤波器信息32的符号量、滤波处理的运算量等。另外，通过以序列、帧等单位适合地控制滤波器参数，能够提高编码效率。块分割信息33表示用于将编码单位的局部解码图像信号16分割为规定尺寸的多个局部解码像素块35的分割参数。例如，如果局部解码像素块35是正方形形状，则块分割信息33也可以是局部解码像素块35的一边的像素数。另外，块分割信息33也可以是表示局部解码像素块35的形状、尺寸、分割模式等的索引。在用索引来表现块分割信息33的情况下，需要预先制作在编码侧以及解码侧之间将索引与局部解码像素块35的形状、尺寸、 分割模式等对应起来的通用的表格。环路滤波处理部300取得在步骤SllOO中设定的滤波器数信息31以及滤波器信息32(步骤S1101)。滤波处理部303根据在步骤SllOl中取得的滤波器数信息31以及滤波器信息32，设定η个滤波器Fl.....Fn (步骤Sl 102)。环路滤波处理部300取得在步骤SllOO中设定的块分割信息33 (步骤Sl 10 。块分割部301按照在步骤S1103中取得的块分割信息33，将编码单位的局部解码图像信号16 分割为多个局部解码像素块35(步骤S1104)。环路滤波处理部300将用于对已处理的局部解码像素块35进行计数的计数器变量i初始化(步骤Sll(^)，处理进入到步骤S1106。另外，以局部解码像素块35单位，进行步骤Sl 106 步骤Sl 109的处理。在步骤S1106中，滤波器切换部302取得与处理对象的(第i个)局部解码像素块35对应的滤波器确定信息34。滤波器切换部302按照在步骤S1106中取得的滤波器确
定信息34，以将处理对象的局部解码像素块35供给到滤波器Fl.....Fn中的某一个的方
式，切换开关SW的连接(步骤S1107)。滤波处理部303从滤波器切换部302取得处理对象的局部解码像素块35 (步骤 Sl 108)。滤波处理部303按照步骤Sl 107中的开关SW的连接，对在步骤Sl 108中取得的局
部解码像素块35应用滤波器Fl.....Fn中的某一个，生成还原像素块36 (步骤Sl 109)，处
理进入到步骤Sl 110。
在步骤SlllO中，环路滤波处理部300比较表示编码单位内的局部解码像素块 35的总数的常数NumOfBlock、和计数器变量i的值。如果计数器变量i的值小于常数 NumOfBlock,则处理进入到步骤Sl 111，否则处理进入到步骤Sl 112。在步骤Sl 111中，环路滤波处理部300使计数器变量i递增1，处理返回到步骤S1106。在步骤Sl 112中，块合并部304合并还原像素块36，而生成编码单位的参照图像信号17。如果例如n = 3，则如图13所示，对参照图像信号17内的还原像素块36，分别应用滤波器Fl.....F3中的某一个。熵编码部104对在步骤SllOO中设定的包括滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34的编码参数进行熵编码(步骤S1113)，处理结束。以下，说明在本实施方式的运动图像编码/运动图像解码中利用的句法。另外，在以下的说明中，以切片单位设定滤波器数信息31、滤波器信息32以及块分割信息33，以像素块单位设定滤波器确定信息34。如图15所示，句法由3个部分构成。在高等级句法1900中，记述切片以上的上位层的参数。在切片等级句法1903中，记述每个切片的参数。在宏块等级句法1907中，记述每个宏块的参数(量化变换系数13、预测模式、运动矢量等)。高等级句法1900包括序列参数组句法1901以及图片参数组句法1902。在序列参数组句法1901中，记述每个序列的参数。图片参数组句法1902记述每个图片的参数。切片等级句法1903包括切片头句法1904、切片数据句法1905以及环路滤波器数据句法1906。宏块等级句法1907包括宏块层句法1908以及宏块预测句法1909。与本实施方式的环路滤波处理相关的参数记述于图15中的环路滤波器数据句法 1907。即，在环路滤波器数据句法1907中，如图16所示，记述滤波器数信息31、滤波器信息 32、块分割信息33以及滤波器确定信息34。在图16 中，num_of_filter 表示滤波器数信息 31。在图 16 中，filter_coeff [idx] [cy] [cx]表示滤波器群中的第idx个滤波器的第cy行第cx列的位置的滤波器系数(即， 滤波器信息32的至少一部分)。另外，滤波器系数表现滤波器系数的值本身、或者进行滤波器系数的预测而得到的结果的差分信息。另外，在图16的例子中，在编码侧以及解码侧之间预先决定滤波器的尺寸filter_siZe_X以及filter_siZe_y，但也可以通过滤波器信息 32中包含的滤波器参数来设定。在图16中，filter_bl0Ck_size表示块分割信息33。在图 16中，filter_idX[i]表示与第i个像素块对应的滤波器确定信息34。通过一般使用的哈夫曼编码、算术编码等，对filter_idx[i]进行编码。另外，也可以按照规定的可变长表格， 对filter_idx[i]进行编码。另外，也可以以对出现频度高的filter_idx分配短的符号的方式，在规定的定时切换可变长表格。另外，也可以如上所述，在图16的句法中，进一步记述滤波器系数以外的滤波器参数(滤波器的抽头长、滤波器的形状、滤波器系数的对称性、 滤波器系数的量化比特精度等)。如图4所示，本实施方式的运动图像解码装置具有运动图像解码部2000以及解码控制部206。运动图像解码部2000包括熵解码部201、逆变换/逆量化部202、加法器203、 参照图像缓冲器204、预测信号生成部205以及环路滤波处理部400。熵解码部201按照图15的句法构造，对编码数据14的符号列进行熵解码。熵解码部201从所解码的符号列，对量化变换系数13、滤波器数信息31、滤波器信息32、块分割
9信息33、滤波器确定信息34、预测模式、运动矢量、量化参数等解码参数进行解复用。具体而言，熵解码部201按照图16的句法，对滤波器数信息31、滤波器信息32、块分割信息33 以及滤波器确定信息34进行解码。熵解码部201将滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34输入到环路滤波处理部400。逆变换/逆量化部202按照量化参数对来自熵解码部201的量化变换系数13进行逆量化，还原正交变换系数。由熵解码部201对量化参数进行解码。逆变换/逆量化部 202对正交变换系数实施逆正交变换，得到预测误差信号15。逆变换/逆量化部202将预测误差信号15输入到加法器203。加法器203对来自预测信号生成部205的预测图像信号11和来自逆变换/逆量化部202的预测误差信号15进行加法，生成解码图像信号21。参照图像缓冲器204暂时保存来自环路滤波处理部400的参照图像信号17。由预测信号生成部205适宜地读出参照图像信号17。预测信号生成部205根据参照图像缓冲器204中保存的与已解码的图像相关的参照图像信号17，进行与预测模式、运动矢量等对应的预测处理(帧内预测处理、帧间预测处理等)，生成预测图像信号11。由熵解码部201对预测模式以及运动矢量进行解码。预测信号生成部205将预测图像信号11输入到加法器203。解码控制部206对运动图像解码部2000的各构成要素进行总体控制。例如，解码控制部206控制解码定时。如图5所示，环路滤波处理部400包括块分割部401、滤波器切换部402、滤波处理部403以及块合并部404。环路滤波处理部400对解码单位(例如，帧、切片等)的解码图像信号21进行环路滤波处理，得到参照图像信号17。更具体而言，环路滤波处理部400按照来自熵解码部201的滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34，进行环路滤波处理。另外，环路滤波处理部400也可以处理对解码单位的解码图像信号21实施解块滤波处理而得到的图像信号。块分割部401按照块分割信息33，将解码图像信号21分割为规定尺寸的多个解码像素块41。针对每个解码单位设定块分割信息33。块分割信息33表示用于将解码单位的解码图像信号21分割为规定尺寸的多个解码像素块41的分割参数(例如，上述规定尺寸、 分割模式等)。块分割部401将解码像素块41输入到滤波器切换部402。滤波器切换部402按照滤波器确定信息34，切换用于解码像素块41的滤波器。针对每个解码像素块41设定滤波器确定信息34。滤波器确定信息34确定为了解码像素块
41而选择的滤波器。如图5所示，滤波器切换部402包括在端子si.....sn之间切换解码
像素块41的输出目的地的开关SW。滤波处理部403根据滤波器数信息31以及滤波器信息32，准备用于各解码单位的滤波器群。滤波器群包括至少1个滤波器。滤波器数信息31表示滤波器群中包含的滤波器的数量。滤波器信息32表示各滤波器的滤波器系数。针对每个解码单位设定滤波器数信息31以及滤波器信息32。即，滤波处理部403针对每个解码单位，根据滤波器信息32
准备η个滤波器Fl.....而。另外，如图5 (包括端子sn的路径)所示，滤波处理部403还
有时准备无处理(旁路)的滤波器。滤波处理部403将由滤波器切换部402选择出的滤波器应用于解码像素块41，生成还原像素块36。滤波处理部403将还原像素块36输入到块合并部404。块合并部404合并来自滤波处理部403的还原像素块36，得到解码单位的参照图像信号17。块合并部404将解码单位的参照图像信号17输入到参照图像缓冲器204。以下，使用图6，以与环路滤波处理关联的部分为中心，说明图4的运动图像解码装置的动作。首先，熵解码部201对滤波器数信息31、滤波器信息32、块分割信息33以及滤波器确定信息34进行解码(步骤S2100)。环路滤波处理部400取得在步骤S2100中设定的滤波器数信息31以及滤波器信息32(步骤S2101)。滤波处理部403根据在步骤S2101中取得的滤波器数信息31以及滤波器信息32，设定η个滤波器Fl.....Fn (步骤S2102)。环路滤波处理部400取得在步骤S2100中设定的块分割信息33 (步骤S210!3)。块分割部401按照在步骤S2103中取得的块分割信息33，将解码单位的解码图像信号21分割为多个解码像素块41 (步骤S2104)。环路滤波处理部400将用于对已处理的解码像素块41进行计数的计数器变量 i初始化(步骤S210O，处理进入到步骤S2106。另外，以解码像素块41单位，进行步骤 S2106 步骤S2109的处理。在步骤S2106中，滤波器切换部402取得与处理对象的(第i个)解码像素块41 对应的滤波器确定信息34。滤波器切换部402按照在步骤S2106中取得的滤波器确定信息
34，以将处理对象的解码像素块41供给到滤波器Fl.....Fn中的某一个的方式，切换开关
SW的连接(步骤S2107)。滤波处理部403从滤波器切换部402取得处理对象的解码像素块41 (步骤 S2108)。滤波处理部403按照步骤S2107中的开关SW的连接，对在步骤S2108中取得的解
码像素块41应用滤波器Fl.....1 中的某一个，生成还原像素块36 (步骤S2109)，处理进
入到步骤S2110。在步骤S2110中，环路滤波处理部400比较表示解码单位内的解码像素块41的总数的常数NumOfBlock、和计数器变量i的值。如果计数器变量i的值小于常数NumOfBlock， 则处理进入到步骤S2111，否则处理进入到步骤S2112。在步骤S2111中，环路滤波处理部 400使计数器变量i递增1，处理返回步骤S2106。在步骤S2112中，块合并部404合并还原像素块36，生成解码单位的参照图像信号 17，处理结束。例如如果n = 3，则如图13所示，对参照图像信号17内的还原像素块36分别应用滤波器Fl.....F3中的某一个。如以上说明，在本实施方式的运动图像编码/运动图像解码中，在编码侧，任意设定以编码/解码单位准备的滤波器的数量、滤波器的选择单位等。因此，根据本实施方式的运动图像编码/运动图像解码，能够根据所要求的比特率等，控制与环路滤波处理相关的开销符号量，对与环路滤波处理相关的参数高效地进行编码。具体而言，通过使滤波器数信息31表示的滤波器的数量增减，能够控制滤波器信息32 (以及滤波器确定信息34)的符号量。另外，通过变更块分割信息33表示的分割参数，能够控制滤波器确定信息34的符号量。(第2实施方式)如图7所示，本发明的第2实施方式的运动图像编码装置相当于是将图1的运动图像编码装置中的环路滤波处理部300置换为环路滤波处理部500的结构。在以下的说明中，对与第1实施方式相同的部分附加同一符号而示出，以不同的部分为中心而叙述。熵编码部104取得来自变换/量化部103的量化变换系数13、来自环路滤波处理部300的滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51而作为编码参数。另外，熵编码部104也可以还取得预测模式、运动矢量、量化参数等而作为编码参数。熵编码部104对复用后的编码参数实施熵编码，生成编码数据14， 输出到外部。如图8所示，环路滤波处理部500包括块分割部301、滤波器切换部302、滤波器应用切换部510、滤波处理部503以及块合并部304。环路滤波处理部500对编码单位(例如， 帧、切片等)的局部解码图像信号16进行环路滤波处理，而得到参照图像信号17。更具体而言，环路滤波处理部500按照来自编码控制部108的滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51，进行环路滤波处理。将来自编码控制部108的滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51还输入到熵编码部104。另外，环路滤波处理部500也可以处理对编码单位的局部解码图像信号16实施解块滤波处理而得到的图像信号。滤波器应用切换部510按照滤波器应用信息51，针对将局部解码像素块35 (以下， 适宜地还称为主块)进一步分割而得到的每个子块切换滤波器的应用/非应用。针对每个子块设定滤波器应用信息51。滤波器应用信息51按照滤波器确定信息34针对每个子块指定为了主块而选择的滤波器的应用/非应用。如图8所示，滤波器应用切换部510包括将
各子块的输出目的地在端子tl以及端子ul之间切换的开关SWl.....端子tn以及在端子
un之间切换的开关SWn这合计η个开关。另外，用于将主块分割为子块的分割参数既可以通过块分割信息33或者其他信息来控制，也可以在编码侧以及解码侧预先决定。分割参数既可以是子块的尺寸，也可以是分割模式(四叉树分割等)。滤波处理部503与滤波处理部303同样地，根据滤波器信息32，准备包括通过滤波器数信息31指定的数量的滤波器的滤波器群。即，滤波处理部503针对每个编码单位，根据
滤波器信息32准备η个滤波器Fl.....而。各滤波器Fl.....Fn分别连接到与滤波器的
应用对应的端子tl.....tn。另外，对与各滤波器Fl.....Fn的非应用对应的端子ul.....
un连接无处理(旁路)的路径。滤波处理部503对从端子tl.....tn输入的子块进行滤
波器Fl.....而的处理并输出。滤波处理部503直接输出从端子ul.....un输入的子块。以下，使用图9A以及图9B，以与环路滤波处理关联的部分为中心，说明图7的运动图像编码装置的动作。首先，编码控制部109设定滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51 (步骤S3100)。这些滤波器数信息31、滤波器信息 32、块分割信息33、滤波器确定信息34以及滤波器应用信息51既可以用户手动设定，也可以按照规定的算法自动设定。滤波器应用信息51是按照滤波器确定信息34指定为了主块而选择出的滤波器的子块单位下的应用/非应用的参数。滤波器应用信息51的值例如在表示滤波器的应用的情况下是1、在表示滤波器的非应用的情况下是0。环路滤波处理部500取得在步骤S3100中设定的滤波器数信息31以及滤波器信息32 (步骤S3101)。滤波处理部503根据在步骤S3101中取得的滤波器数信息31以及滤波器信息32，设定η个滤波器Fl.....Fn (步骤S3102)。环路滤波处理部500取得在步骤S3100中设定的块分割信息33 (步骤S310 。块分割部301按照在步骤S3103中取得的块分割信息33，将编码单位的局部解码图像信号16 分割为多个局部解码像素块35 (步骤S3104)。环路滤波处理部500将用于对已处理的局部解码像素块35(主块)进行计数的计数器变量i初始化(步骤S310O，处理进入到步骤S3106。另外，以主块单位进行步骤 S3106 步骤S3108的处理。在步骤S3106中，滤波器切换部302取得与处理对象的(第i个)局部解码像素块35对应的滤波器确定信息34。滤波器切换部302按照在步骤S3106中取得的滤波器确定信息34，以将处理对象的局部解码像素块35供给到开关SWx (χ是1以上η以下的整数) 的方式，切换开关SW的连接(步骤S3107)。环路滤波处理部500将用于对已处理的子块进行计数的计数器变量j初始化(步骤S3108)，处理进入到步骤S3109。另外，以子块单位进行步骤S3109 步骤S3114的处理。在步骤S3109中，环路滤波处理部500取得与第i个主块内的第j个子块对应的滤波器应用信息51。滤波器应用切换部510按照在步骤S3109中取得的滤波器应用信息 51，在端子tx以及端子Ux之间切换开关SWx的连接(步骤S3110)。滤波处理部503从端子tx或者端子Ut取得子块(步骤S3111)。如果在步骤S3111 中从端子tx取得了子块，则处理进入到步骤S3113，如果从端子ux取得了子块，则处理进入到步骤S3114。在步骤S3113中，滤波处理部503对在步骤S3111中取得的子块应用滤波器h而输出子块，处理进入到步骤S3115。在步骤S3114中，滤波处理部503不对在步骤S3111中取得的子块应用滤波器&而直接输出子块，处理进入到步骤S3115。在步骤S3115中，环路滤波处理部500比较表示主块内的子块的总数的常数 NumOfSubBlock、和计数器变量j的值。如果计数器变量j的值小于常数NumOfSubBlock， 则处理进入到步骤S3116，否则处理进入到步骤S3117。在步骤S3116中，环路滤波处理部 500使计数器变量j递增1，处理返回步骤S3109。在步骤S3117中，环路滤波处理部500比较表示编码单位内的局部解码像素块 35的总数的常数NumOfBlock、和计数器变量i的值。如果计数器变量i的值小于常数灿111(^810吐，则处理进入到步骤33118，否则处理进入到步骤33119。在步骤S3118中，环路滤波处理部500使计数器变量i递增1，处理返回步骤S3106。在步骤S3119中，块合并部304合并由滤波处理部503处理的子块的集合即还原像素块36 (主块)，生成编码单位的参照图像信号17。如果例如n = 3，则如图14所示，对
参照图像信号17内的主块分别选择滤波器Fl.....F3中的某一个，针对主块内的每个子
块，指定该选择出的滤波器的应用/非应用。熵编码部104对在步骤S3100中设定的包括滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51的编码参数进行熵编码(步骤 S3120)，处理结束。以下，说明在本实施方式的运动图像编码/运动图像解码中利用的句法。另外，在以下的说明中，以切片单位设定滤波器数信息31、滤波器信息32以及块分割信息33，以主块单位设定滤波器确定信息34，以子块单位设定滤波器应用信息51。在图15中的环路滤波器数据句法1907中记述与本实施方式的环路滤波处理相关的参数。即，在环路滤波器数据句法1907中，如图17所示，记述滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51。在图17 中，num_of_filter 表示滤波器数信息 31。在图 17 中，filter_coeff [idx] [cy] [cx]表示滤波器群中的第idx个滤波器的第cy行第cx列的位置的滤波器系数(即， 滤波器信息32的至少一部分)。另外，滤波器系数表现滤波器系数的值本身、或者进行滤波器系数的预测而得到的结果的差分信息。另外，在图17的例子中，在编码侧以及解码侧之间预先决定了滤波器的尺寸filter_siZe_X以及filter_siZe_y，但也可以通过滤波器信息32中包含的滤波器参数来设定。在图17中，filter_main_bl0Ck_Size以及filter_ sub_block_size[i]表示块分割信息33。具体而言，filter_main_block_size表示用于将编码单位的局部解码图像信号16分割为多个主块的分割参数(主块的尺寸)，fitler_SUb_ block_size[i]表示用于将第i个主块分割为多个子块的分割参数(子块的尺寸)。另外， 块分割信息33也可以是不同的表现。例如，块分割信息33也可以用表示主块或者子块的尺寸或者分割模式的索引来表现。另外，在用索引来表现块分割信息33的情况下，需要在编码侧以及解码侧之间，预先制作将索引与主块或者子块的尺寸或者分割模式对应起来的通用的表格。在图17中，filter_idX[i]表示与第i个主块对应的滤波器确定信息34。通过一般使用的哈夫曼编码、算术编码等对filter_idx[i]进行编码。另外，也可以按照规定的可变长表格对filter_idx[i]进行编码。另外，也可以以对出现频度高的filter_idx分配短的符号的方式，在规定的定时切换可变长表格。另外，也可以如上所述，在图17的句法中进一步记述滤波器系数以外的滤波器参数(滤波器的抽头长、滤波器的形状、滤波器系数的对称性、滤波器系数的量化比特精度等)。在图17中，filter_flag[i] [j]表示与第i 个主块内的第j个子块对应的滤波器应用信息51。如图10所示，本实施方式的运动图像解码装置相当于是将图4的运动图像解码装置中的环路滤波处理部400置换为环路滤波处理部600的结构。在以下的说明中，对与第 1实施方式相同的部分附加同一符号而示出，以不同的部分为中心而叙述。熵解码部201按照图15的句法构造，对编码数据14的符号列进行熵解码。熵解码部201从解码出的符号列，对量化变换系数13、滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34、滤波器应用信息51、预测模式、运动矢量、量化参数等解码参数进行解复用。具体而言，熵解码部201按照图17的句法，对滤波器数信息31、滤波器信息 32、块分割信息33、滤波器确定信息34以及滤波器应用信息51进行解码。熵解码部201将滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息 51输入到环路滤波处理部600。如图11所示，环路滤波处理部600包括块分割部401、滤波器切换部402、滤波器应用切换部610、滤波处理部603以及块合并部404。环路滤波处理部600对解码单位(例如，帧、切片等)的解码图像信号21进行环路滤波处理，得到参照图像信号17。更具体而言，环路滤波处理部600按照来自熵解码部201的滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51，进行环路滤波处理。另外，环路滤波处理部600也可以处理对解码单位的解码图像信号21实施解块滤波处理而得到的图像信号。滤波器应用切换部610按照滤波器应用信息51，针对将解码像素块41 (以下，适宜地还称为主块)进一步分割而得到的每子块切换滤波器的应用/非应用。针对每个子块设定滤波器应用信息51。滤波器应用信息51按照滤波器确定信息34，针对每个子块指定为了主块而选择出的滤波器的应用/非应用。如图11所示，滤波器应用切换部610包括将
各子块的输出目的地在端子tl以及端子ul之间切换的开关SWl.....端子tn以及在端子
un之间切换的开关SWn这合计η个开关。另外，用于将主块分割为子块的分割参数既可以通过块分割信息33或者其他信息控制，也可以在编码侧以及解码侧预先决定。分割参数既可以是子块的尺寸，也可以是分割模式(四叉树分割等)。滤波处理部603与滤波处理部403同样地，根据滤波器信息32准备包括通过滤波器数信息31指定的数量的滤波器的滤波器群。即，滤波处理部603针对每个解码单位，根据
滤波器信息32准备η个滤波器Fl、...而。各滤波器Fl.....Fn分别连接到与滤波器的应
用对应的端子tl.....tn。另外，对与各滤波器Fl.....Fn的非应用对应的端子ul.....
un连接无处理(旁路)的路径。滤波处理部603对从端子tl.....tn输入的子块进行滤
波器Fl.....Fn的处理而输出。滤波处理部603直接输出从端子ul.....un输入的子块。以下，使用图12A以及图12B，以与环路滤波处理关联的部分为中心，而说明图10 的运动图像解码装置的动作。首先，熵解码部201对滤波器数信息31、滤波器信息32、块分割信息33、滤波器确定信息34以及滤波器应用信息51进行解码(步骤S4100)。环路滤波处理部600取得在步骤S4100中设定的滤波器数信息31以及滤波器信息32 (步骤S4101)。滤波处理部603根据在步骤S4101中取得的滤波器数信息31以及滤波器信息32，设定η个滤波器Fl.....Fn (步骤S4102)。环路滤波处理部600取得在步骤S4100中设定的块分割信息33 (步骤S410!3)。块分割部401按照在步骤S4103中取得的块分割信息33，将解码单位的解码图像信号21分割为多个解码像素块41 (步骤S4104)。环路滤波处理部600将用于对已处理的解码像素块41 (主块)进行计数的计数器变量i初始化(步骤S410O，处理进入到步骤S4106。另外，以主块单位进行步骤S4106 步骤S4108的处理。在步骤S4106中，滤波器切换部402取得与处理对象的(第i个)解码像素块41 对应的滤波器确定信息34。滤波器切换部402按照在步骤S4106中取得的滤波器确定信息34，以将处理对象的解码像素块41供给到开关SWx的方式，切换开关SW的连接(步骤 S4107)。环路滤波处理部600将用于对已处理的子块进行计数的计数器变量j初始化(步骤S4108)，处理进入到步骤S4109。另外，以子块单位进行步骤S4109 步骤S4114的处理。在步骤S4109中，环路滤波处理部600取得与第i个主块内的第j个子块对应的滤波器应用信息51。滤波器应用切换部610按照在步骤S4109中取得的滤波器应用信息 51，在端子tx以及端子Ux之间切换开关SWx的连接(步骤S4110)。滤波处理部603从端子tx或者端子Ut取得子块(步骤S4111)。在步骤S4111中如果从端子tx取得了子块则处理进入到步骤S4113，如果从端子UX取得了子块则处理进入到步骤S4114。在步骤S4113中，滤波处理部603对在步骤S4111中取得的子块应用滤波器h而输出子块，处理进入到步骤S4115。在步骤S4114中，滤波处理部603对在步骤S4111中取得的子块不应用滤波器&而直接输出子块，处理进入到步骤S4115。在步骤S4115中，环路滤波处理部600比较表示主块内的子块的总数的常数 NumOfSubBlock、和计数器变量j的值。如果计数器变量j的值小于常数NumOfSubBlock则处理进入到步骤S4116，否则处理进入到步骤S4117。在步骤S4116中，环路滤波处理部600 使计数器变量j增加1，处理返回步骤S4109。在步骤S4117中，环路滤波处理部600比较表示解码单位内的解码像素块41的总数的常数NumOfBlock、和计数器变量i的值。如果计数器变量i的值小于常数NumOfBlock 则处理进入到步骤S4118，否则处理进入到步骤S4119。在步骤S4118中，环路滤波处理部 600使计数器变量i增加1，处理返回步骤S4106。在步骤S4119中，块合并部404合并由滤波处理部603处理的子块的集合即还原像素块36 (主块)而生成解码单位的参照图像信号17，处理结束。如果例如n = 3，则如图
14所示，对参照图像信号17内的主块分别选择滤波器Fl.....F3中的某一个，针对主块内
的每个子块，指定该选择出的滤波器的应用/非应用。如以上说明，在本实施方式的运动图像编码/运动图像解码中，使用以将主块进一步分割而得到的子块单位指定滤波器的应用/非应用的滤波器应用信息。因此，根据本实施方式的运动图像编码/运动图像解码，能够在主块内局部地执行环路滤波处理，所以能够在解码侧削减环路滤波处理的运算量并且高效地改善画质。另外，本实施方式的运动图像编码/运动图像解码还起到与上述第1实施方式同样的效果。另外，本发明不限于上述各实施方式的原样，而能够在实施阶段在不脱离其要旨的范围内使构成要素变形而具体化。另外，能够通过适宜地组合上述各实施方式公开的多个构成要素来形成各种发明。另外，例如，还可以考虑从各实施方式所示的所有构成要素删除了几个构成要素的结构。进而，也可以适宜地组合不同的实施方式记载的构成要素。例如，也可以将通用的计算机用作基本硬件来实现各实施方式的运动图像编码装置/运动图像解码装置。即，预测信号生成部101、减法器102、变换/量化部103、熵编码部104、逆变换/逆量化部105、加法器106、编码控制部108、熵解码部201、逆变换/逆量化部202、加法器203、预测信号生成部205、解码控制部206以及环路滤波处理部300、400、 500,600能够通过使计算机中搭载的处理器执行规定的程序来实现。另外，参照图像缓冲器107、204能够适宜地使用对计算机内置或者外装的存储器、硬盘、⑶-R、⑶-RW、DVD-RAM、 DVD-R等存储介质来实现。规定的程序能够保存于例如计算机可读取的存储介质来提供。作为存储介质，只要是磁盘、光盘(⑶-ROM、⑶-R、DVD等)、光磁盘(M0等)、半导体存储器等能够存储程序并且计算机可读取的存储介质，则其存储形式没有限制。另外，也可以将规定的程序保存于互联网等网络上连接的计算机(服务器)上，并经由网络下载到计算机(客户机)。
1权利要求
1.一种运动图像编码方法，利用与已编码的图像相关的参照图像来生成预测图像，其特征在于，具备如下步骤设定块分割信息，该块分割信息包括用于将编码单位的局部解码图像分割为多个块的参数；设定滤波器信息，该滤波器信息包括用于所述编码单位的、滤波器群的各滤波器的滤波器系数；设定滤波器数信息，该滤波器数信息表示所述滤波器群中包含的滤波器的数量； 设定滤波器确定信息，该滤波器确定信息用来确定应针对每个所述块应用的滤波器； 针对每个所述块应用通过所述滤波器确定信息确定的滤波器，生成所述参照图像；以及对所述滤波器数信息、所述滤波器信息、所述块分割信息以及所述滤波器确定信息进行编码。
2.根据权利要求1所述的运动图像编码方法，其特征在于，还具备如下步骤设定滤波器应用信息，该滤波器应用信息表示将所述块进一步分割而得到的每个子块的滤波器的应用/非应用；以及对所述滤波器应用信息进行编码。
3.根据权利要求2所述的运动图像编码方法，其特征在于， 所述编码单位是帧或者切片。
4.根据权利要求3所述的运动图像编码方法，其特征在于，所述滤波器确定信息是用来确定所述滤波器群中包含的一个滤波器的索引， 所述索引按照规定的可变长表格进行编码， 所述规定的可变长表格在规定的定时进行切换。
5.根据权利要求4所述的运动图像编码方法，其特征在于，所述滤波器信息还包括表示滤波器的抽头长、滤波器的形状、所述滤波器系数的对称性以及所述滤波器系数的量化比特精度中的至少一个的信息。
6.一种运动图像解码方法，利用与已解码的图像相关的参照图像来生成预测图像，其特征在于，具备如下步骤对块分割信息进行解码，该块分割信息包括用于将解码单位的解码图像分割为多个块的参数；对滤波器数信息进行解码，该滤波器数信息表示用于所述解码单位的、滤波器群中包含的滤波器的数量；对滤波器信息进行解码，该滤波器信息包括所述滤波器群的各滤波器的滤波器系数； 对滤波器确定信息进行解码，该滤波器确定信息用来确定应针对每个所述块应用的滤波器；以及针对每个所述块应用通过所述滤波器确定信息确定的滤波器，生成所述参照图像。
7.根据权利要求6所述的运动图像解码方法，其特征在于，还具备如下步骤 对表示将所述块进一步分割而得到的每个子块的滤波器的应用/非应用的滤波器应用信息进行解码。
8.根据权利要求7所述的运动图像解码方法，其特征在于，所述解码单位是帧或者切片。
9.根据权利要求8所述的运动图像解码方法，其特征在于，所述滤波器确定信息是用来确定所述滤波器群中包含的一个滤波器的索引， 所述索引按照规定的可变长表格进行解码， 所述规定的可变长表格在规定的定时进行切换。
10.根据权利要求9所述的运动图像解码方法，其特征在于，所述滤波器信息还包括表示滤波器的抽头长、滤波器的形状、所述滤波器系数的对称性以及所述滤波器系数的量化比特精度中的至少一个的信息。
全文摘要
运动图像编码方法具备如下步骤设定包括用于将编码单位的局部解码图像分割为多个块的参数的块分割信息、包括用于编码单位的滤波器群的各滤波器的滤波器系数的滤波器信息、表示滤波器群中包含的滤波器的数量的滤波器数信息、以及确定应针对每个块应用的滤波器的滤波器确定信息(步骤S1100)；针对每个块应用通过滤波器确定信息确定的滤波器，生成参照图像(步骤S1109、步骤S1112)；以及对滤波器数信息、滤波器信息、块分割信息以及滤波器确定信息进行编码(步骤S1113)。
文档编号H04N7/32GK102484713SQ20098016117
公开日2012年5月30日 申请日期2009年9月17日 优先权日2009年9月17日
发明者中條健, 和田直史, 安田豪毅, 渡边隆志, 谷沢昭行 申请人:株式会社东芝