图像编码装置、图像编码方法、照相机和便携式电话的制作方法

图像编码装置、图像编码方法、照相机和便携式电话的制作方法
【专利摘要】本发明涉及图像处理设备和方法。提供一种图像处理设备，它包括向根据预定基准点确定的图像的初始位置分配控制块的设定单元，所述控制块是对图像局部进行的滤波处理的控制单位；把由设定单元分配给图像的初始位置的控制块移动到滤波处理的结果得到改善的位置的移动单元；和对已被移动单元移动的各控制块进行滤波处理的滤波处理单元。
【专利说明】图像编码装置、图像编码方法、照相机和便携式电话
[0001]本申请为同一 申请人:于2010年7月21日提交的申请号为201010236931.3、发明名称为“图像处理设备和方法”的中国专利申请的分案申请。
【技术领域】
[0002]本发明涉及图像处理设备和方法。具体地说，本发明涉及在编码或解码操作期间，能够更适当地进行滤波处理的局部控制的图像处理设备和方法。
【背景技术】
[0003]最近，遵守MPEG(运动图像专家组)系统等的设备已在传送信息的广播电台和接收信息的普通家庭双方普遍使用，所述设备管理作为数字信息的图像信息，并通过使用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿来压缩图像信息，以便高效率地传送和累积信息。
[0004]特别地，MPEG-2(IS0(国际标准化组织)/IEC (国际电工技术委员会)13818-2)已被定义为一种通用图像编码方法，已作为包含隔行扫描图像和逐行扫描图像、标准分辨率图像和高清晰度图像的标准，被广泛用在专业用途和消费用途的广大应用中。通过使用MPEG-2压缩方法，例如通过把4?8MbPs的码率(比特率)分配给具有720 X 480像素的标准分辨率的隔行扫描图像，和把18?22Mbps的码率分配给具有1920X 1088像素的高分辨率的隔行扫描图像，能够实现高压缩比和良好的画质。
[0005]尽管MPEG-2主要用于适合于广播的高画质编码，不过它至今不能应付低于MEPG-1的码率(比特率)，即，具有较高压缩比的编码方法。随着便携式终端的普及，认为今后对这种编码方法的需要会增长，为了对付这种情况，进行了 MEPG-4编码方法的标准化。就这样的图像编码方法来说，从1998年12月起以国际标准IS0/IEC14496-2的形式批准了MEPG-4编码方法的标准。
[0006]此外近年来，最初为了对视频会议进行图像编码，已知称为H.26L(ITU-T(ITU电信标准化部门)Q6/16VCEG(视频编码专家组))的标准最近已被标准化。与现有技术中的MPEG-2或MPEG-4之类的编码方法相比，H.26L在编码和解码操作中需要较大量的计算，不过能够获得更高的编码效率。另外目前，作为MPEG-4标准化活动的一部分，以增强压缩视频编码的联合模型的形式，进行了基于H.26L，通过采用甚至在H.26L中也不支持的功能实现更高编码效率的标准化。按照标准化的时间表，从2003年5月起产生了名为H.264和MPEG-4Part 10 (AVC (高级视频编码))的国际标准。
[0007]另夕卜，作为最近研究的下一代视频编码技术，存在一种自适应环路滤波(ALF)(例如，参见 Y1-Jen Chiu 和 L.Xu, " Adaptive (Wiener) Filter for VideoCompression, " ITU-T SG16Contribution, C437, Geneva, April2008)。按照这种自适应环路滤波，对每一帧进行最佳滤波处理，能够减少未被解块滤波器完全捕捉的块失真，或者由量化引起的失真。
[0008]不过，由于通常图像局部具有不同的特征，因此最佳滤波系数也局部不同。在Y1-Jen Chiu 和 L.Xu, " Adaptive(Wiener)Filter for Video Compression, " ITU-T SG16Contribution, C437, Geneva, April2008中描述的方法中，由于对帧中的所有像素应用相同的滤波系数，因此就整帧来说，画质得到改善，不过局部可能恶化。
[0009]因此，考虑了在画质局部恶化的区域中不进行滤波处理的方法(例如，参见Takesh1.Chujoh 等，"Block-based Adaptive Loop Filter" ITU-T SG16Q6VCEG Contribution, Al18，Germany, July, 2008 及 T.Chujoh, N.Wada 和 G.Yasuda, " Quadtree-basedAdaptive Loop Filter, " ITU-T SG16Q6VCEG Contribution, VCEG-AK22(rl), Japan, Apri1，2009)。在这些方法中，图像编码设备产生对应于图像区、在图像区的整个表面上紧密排列的多个控制块，并且控制是否对每个控制块的图像进行滤波处理。图像编码设备为每个块设置标记信息，并按照标记信息进行自适应滤波处理。按照相同的方式，图像解码设备根据标记信息进行自适应滤波处理。

【发明内容】

[0010]上面说明的控制块作为基准被安排在相对于图像的预定位置中。不过，在图像的内容或编码处理方法方面，控制块的排列一般不是最佳的，从而不必要地降低滤波处理的效果，或者不必要地降低编码效率。
[0011]例如，如果在控制块中，图像的特性发生极大的变化，那么与在控制块中图像的特性均匀一致的情况相比，滤波处理的效果会恶化。另外，存在一种把一帧分成多个切片，并对分割的切片进行图像的编码或解码处理的方法(多切片方法)。如果控制块被布置成横跨多个切片，对滤波处理来说，应处理多个切片，或者应生成假数据，以致处理变得复杂，或者延迟时间被增大。另外，归因于此，滤波处理的效果会被降低。此外，当滤波处理的控制信息包含在图像压缩信息中时，增加了不必要的控制信息，这会导致编码效率被降低。
[0012]此外，甚至控制块的大小或者滤波系数对图像来说一般并不适当。
[0013]鉴于上述情况，理想的是通过按照图像的内容、图像处理方法等，恰当地调整参数，比如控制块的排列或大小、和滤波系数，使得在编码或解码操作中能够更恰当地实现滤波处理的局部控制。
[0014]按照本发明的一个实施例，提供一种图像处理设备，它包括向根据预定的基准点确定的图像的初始位置分配控制块的设定装置，所述控制块是对图像局部进行的滤波处理的控制单位；把由设定装置分配给图像的初始位置的控制块移动到滤波处理的结果得到改善的位置的移动装置；和对已被移动装置移动的各控制块进行滤波处理的滤波处理装置。
[0015]滤波处理装置可根据控制是否对各控制块进行滤波处理的标记信息，进行滤波处理。
[0016]移动装置可根据偏移值移动控制块，所述偏移值指示从初始位置到滤波处理的结果得到改善的位置的移动距离和移动方向。
[0017]按照本发明的实施例的图像处理设备还包括计算偏移值，以移动控制块，以致通过分割图像而获得的多个切片的边界与控制块的边界一致的计算装置。
[0018]按照本发明的实施例的图像处理设备还包括利用成本函数计算偏移值，以致评估滤波处理的结果的成本值被降到最小的计算装置。
[0019]按照本发明的实施例的图像处理设备还包括利用成本函数确定控制块的大小，以致成本值被降到最小的块大小确定装置。
[0020]按照本发明的实施例的图像处理设备还包括利用成本函数确定滤波处理的滤波系数，以致成本值被降到最小的滤波系数确定装置。
[0021]按照本发明的实施例的图像处理设备还包括计算偏移值的计算装置，和对图像编码，生成编码数据的编码装置，其中编码装置还把由计算装置生成的偏移值附加到由编码装置生成的编码数据中。
[0022]按照本发明的实施例的图像处理设备还包括确定控制块的大小的块大小确定装置，其中编码装置可把指示由块大小确定装置确定的控制块的大小的信息附加到由编码装置生成的编码数据中。
[0023]按照本发明的实施例的图像处理设备还包括确定滤波处理的滤波系数的滤波系数确定装置，其中编码装置可把由滤波系数确定装置确定的滤波系数附加到由编码装置生成的编码数据中。
[0024]按照本发明的实施例的图像处理设备还包括对从图像编码的编码数据解码，并生成图像的解码装置，其中解码装置从编码数据中获得偏移值，移动装置根据解码装置获得的偏移值移动控制块。
[0025]解码装置可从编码数据获得指示控制块大小的大小信息，滤波处理装置对其大小在解码装置获得的大小信息中示出的各控制块进行滤波处理。
[0026]解码装置可从编码数据获得滤波处理的滤波系数，滤波处理装置可利用解码装置获得的滤波系数进行滤波处理。
[0027]按照本发明的另一个实施例，提供一种图像处理方法，它包括下述步骤:图像处理设备的设定装置向根据预定的基准点确定的图像的初始位置分配控制块，所述控制块是对图像局部进行的滤波处理的控制单位；图像处理设备的移动装置把分配给图像的初始位置的控制块移动到滤波处理的结果得到改善的位置；和图像处理设备的滤波处理装置对已被移动的各控制块进行滤波处理。
[0028]按照本发明的另一个实施例，向根据预定基准点确定的图像的初始位置分配控制块，所述控制块是对图像局部进行滤波处理的控制单位，已被分配给图像的初始位置的控制块被移动到滤波处理的结果得到改善的位置，对已被移动的各控制块进行滤波处理。
[0029]按照本发明的实施例，图像可被编码或解码。特别地，在编码或解码操作期间能够更适当地实现滤波处理的局部控制。
【专利附图】

【附图说明】
[0030]图1是图解说明应用本发明的图像编码设备的主要结构例子的方框图；
[0031]图2是图解说明可变块大小运动预测和补偿处理的示图；
[0032]图3是图解说明控制信息生成单元的主要结构例子的方框图；
[0033]图4A-4C是图解说明ALF块和滤波块标记的示图；
[0034]图5是图解说明多切片的一个例子的示图；
[0035]图6A和6B是图解说明切片O的处理的示图；
[0036]图7A和7B是图解说明切片I的处理的示图；
[0037]图8A和8B是图解说明对其应用本发明的切片I的处理的示图；[0038]图9A-9C是图解说明ALF块的偏移的示图；
[0039]图10是图解说明自适应滤波处理单元的主要结构例子的方框图；
[0040]图11是图解说明编码处理的流程的例子的流程图；
[0041]图12是图解说明切片头部的语法的例子的示图；
[0042]图13是图解说明切片头部的语法的例子的示图；
[0043]图14是图解说明控制信息生成处理的流程的例子的流程图；
[0044]图15是图解说明块信息生成处理的流程的例子的流程图；
[0045]图16是图解说明自适应滤波处理的流程的例子的流程图；
[0046]图17是图解说明应用本发明的图像解码设备的主要结构例子的方框图；
[0047]图18是图解说明解码处理的流程的例子的流程图；
[0048]图19是图解说明块信息生成处理的流程的另一个例子的流程图；
[0049]图20A-20C是图解说明相对于纹理的变化，ALF块的偏移的例子的示图；
[0050]图21A和21B是图解说明偏移的形态的例子的示图；
[0051]图22A-22C是图解说明ALF块大小的变化形态的例子的示图；
[0052]图23是图解说明控制信息生成单元的另一个结构例子的方框图；
[0053]图24是图解说明控制信息生成处理的流程的另一个例子的流程图；
[0054]图25A-2?是图解说明ALF块和滤波块标记的另一个例子的示图；
[0055]图26是图解说明ALF块和滤波块标记的另一个例子的示图；
[0056]图27是图解说明就多切片来说的处理形态的示图；
[0057]图28是图解说明切片头部的语法的例子的示图；
[0058]图29是图解说明应用本发明的个人计算机的主要结构例子的方框图；
[0059]图30是图解说明应用本发明的电视接收机的主要结构例子的方框图；
[0060]图31是图解说明应用本发明的便携式电话机的主要结构例子的方框图；
[0061]图32是图解说明应用本发明的硬盘记录器的主要结构例子的方框图；
[0062]图33是图解说明应用本发明的照相机的主要结构例子的方框图；以及
[0063]图34是图解说明宏块的例子的示图。
【具体实施方式】
[0064]下面说明实现本发明的最佳方式(下面称为“实施例”)。这种情况下，将按照下述顺序进行说明。
[0065]1.第一实施例(图像编码设备)
[0066]2.第二实施例(图像解码设备)
[0067]3.第三实施例(滤波块标记生成处理的改进例子)
[0068]4.第四实施例(控制信息生成单元)
[0069]5.第五实施例(QALF)
[0070]6.第六实施例(个人计算机)
[0071]7.第七实施例(电视接收机)
[0072]8.第八实施例(便携式电话机)
[0073]9.第九实施例(硬盘记录器)[0074]10.第十实施例(照相机)
[0075]〈1.第一实施例>
[0076][设备的结构]
[0077]图1是图解说明作为应用本发明的图像处理设备的图像编码设备的结构例子的方框图。
[0078]图1中图解说明的图像编码设备100是用例如H.264和MPEG_4PartlO (高级视频编码)(下面称为"H.264/AVC")方法压缩和编码图像，并且还采用自适应环路滤波的编码设备。
[0079]在图1的例子中，图像编码设备100包括A/D(模/数)转换单元101，画面排序缓冲器102，运算单元103，正交变换单元104，量化单元105，可逆编码单元106，和累积缓冲器107。另外，图像编码设备100包括反量化单元108，反正交变换单元109，运算单元110，和解块滤波器111。此外，图像编码设备100包括控制信息生成单元112，自适应滤波处理单元113，和帧存储器114。另外，图像编码设备100包括帧内预测单元115，运动补偿单元116，运动预测单元117，和预测图像选择单元118。此外，图像编码设备100包括速率控制单元119。
[0080]A/D转换单元101对输入图像进行A/D转换，输出A/D转换的图像并将其保存在画面排序缓冲器102中。画面排序缓冲器102以按GOP (图像组)结构进行编码的帧顺序，排列已按其显示顺序保存的各帧图像。
[0081]运算单元103从读取自画面排序缓冲器102的图像中减去来自由预测图像选择单元118选择的帧内预测单元115的预测图像，或者来自运动补偿单元116的预测图像，并把差值信息输出给正交变换单元104。正交变换单元104对来自运算单元103的差值信息进行正交变换，比如离散余弦变换，或者Karhunen Loeve变换，并输出变换系数。量化单元105量化从正交变换单元104输出的变换系数。
[0082]量化单元105输出的量化的变换系数被输入可逆编码单元106。可逆编码单元106通过对量化的变换系数进行诸如可变长度编码或者算术编码之类的可逆编码，压缩量化的变换系数。
[0083]可逆编码单元106从帧内预测单元115获得指示帧内预测的信息等，并从运动预测单元117获得指示帧间预测模式的信息等。另外，指示帧内预测的信息也被称为帧内预测模式信息。另外，指示帧间预测模式的信息也被称为帧间预测模式信息。
[0084]此外，可逆编码单元106从控制信息生成单元112获得在自适应滤波处理单元113中进行的自适应滤波处理的控制信息。
[0085]可逆编码单元106对量化的变换系数编码，对自适应滤波处理的控制信息，指示帧内预测的信息或指示帧间预测模式的信息、量化参数等编码，并把它们安排(多路复用)为压缩图像中的头部信息的一部分。可逆编码单元106把编码数据提供给累积缓冲器107，以累积编码数据。
[0086]例如，可逆编码单元106进行可逆编码处理，比如可变长度编码或算术编码。可变长度编码的一个例子是在H.264/AVC方法中确定的CAVLC (上下文自适应可变长度编码)。算术编码的一个例子是CABAC (上下文自适应二进制算术编码)。
[0087]累积缓冲器107临时保存从可逆编码单元106供给的数据，并在预定定时把用H.264/AVC方法编码的压缩图像输出给后面的记录设备或传输路径(未示出)。
[0088]另外，来自量化单元105的量化的变换系数还被输入反量化单元108。反量化单元108按照与量化单元105进行的量化对应的方法，进行量化的变换系数的反量化，并把获得的变换系数提供给反正交变换单元109。
[0089]反正交变换单元109用与正交变换单元104进行的正交变换处理对应的方法，对供给的变换系数进行反正交变换。反正交变换的输出被提供给运算单元110。运算单元110通过相加从预测图像选择单元118供给的预测图像，和从反正交变换单元109供给的反正交变换的结果，即恢复的差值信息，获得局部解码的图像(解码图像)。相加的结果被提供给解块滤波器111。
[0090]解块滤波器111消除解码图像的块失真。解块滤波器111把失真消除的结果提供给控制信息生成单元112和自适应滤波处理单元113。
[0091]控制信息生成单元112获得从解块滤波器111供给的解码图像，和从画面排序缓冲器102读取的当前输入图像，生成由自适应滤波处理单元113进行的自适应滤波的控制信息。尽管控制信息的细节将在后面说明，不过控制信息包括滤波系数，ALF块大小，滤波块标记，ALF块的偏移值等等。
[0092]控制信息生成单元112把生成的控制信息提供给自适应滤波处理单元113。另外，控制信息生成单元112把生成的控制信息提供给可逆编码单元106。如上所述，控制信息可由可逆编码单元106可逆地压缩，并且可包括在图像压缩信息中(即，可被多路复用)。即，控制信息连同图像压缩信息一起被发送给图像解码设备。
[0093]自适应滤波处理单元113利用包含在从控制信息生成单元112供给的控制信息中的信息，比如滤波系数，ALF块大小，滤波块标记和偏移值，对从解块滤波器111供给的解码图像进行滤波处理。作为该滤波器，可以使用Wiener滤波器。当然，也可以使用除Wiener滤波器外的任何滤波器。自适应滤波处理单元113把滤波处理的结果提供给帧存储器114，以便累积滤波处理的结果作为参考图像。
[0094]帧存储器114在预定定时把累积的图像输出给运动补偿单元116和运动预测单元117。
[0095]在图像编码设备100中，例如，来自画面排序缓冲器102的I画面，B画面和P画面作为帧内预测(也称为帧内处理)图像被提供给帧内预测单元115。另外，从画面排序缓冲器102读取的B画面和P画面作为帧间预测(也称为帧间处理)图像被提供给运动预测单元117。
[0096]帧内预测单元115通过根据从画面排序缓冲器102读取的帧内预测图像，和从帧存储器114供给的参考图像，关于所有的候选帧内预测模式进行帧内预测处理，生成预测图像。
[0097]在帧内预测单元115中，关于应用于对应的块/宏块的帧内预测模式的信息被传送给可逆编码单元106，并被编码成图像压缩信息中的头部信息的一部分。在H.264图像信息编码方法中，就亮度信号来说，定义帧内4X4预测模式，帧内8X8预测模式，和帧内16X16预测模式，就色差信号来说，可以为相应的宏块定义与亮度信号无关的预测模式。就帧内4X 4预测模式来说，为相应的4X4亮度块定义一种帧内预测模式,就帧内8 X 8预测模式来说，为相应的8X8亮度块定义一种帧内预测模式。就帧内16X 16预测模式和色差信号来说，为一个宏块定义一种预测模式。
[0098]帧内预测单元115计算已生成预测图像的帧内预测模式的成本函数值，并选择计算的成本函数值被最小化的帧内预测模式作为最佳的帧内预测模式。帧内预测单元115把按最佳的帧内预测模式生成的预测图像提供给预测图像选择单元118。
[0099]运动预测单元117关于帧间预测图像，通过获得从画面排序缓冲器102供给的图像信息(输入图像)，和与从帧存储器114供给的参考帧对应的图像信息(解码图像)，计算运动向量。运动预测单元117把指示计算的运动向量的运动向量信息提供给可逆编码单元106。运动向量信息可由可逆编码单元106可逆地压缩，并被包含在图像压缩信息中。SP，运动向量信息连同图像压缩信息一起被发送给图像解码设备。
[0100]另外，运动预测单元117把运动向量信息提供给运动补偿单元116。
[0101]运动补偿单元116通过按照从运动预测单元117供给的运动向量信息，进行运动补偿处理，生成帧间预测图像信息。运动补偿单元116把生成的预测图像信息提供给预测图像选择单元118。
[0102]就帧内编码图像来说，预测图像选择单元118把帧内预测单元115的输出提供给运算单元103，就帧间编码图像来说，预测图像选择单元118把运动补偿单元116的输出提供给运算单元103。
[0103]速率控制单元119根据累积在累积缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。
[0104]在MPEG (运动图像专家组)-2中，运动预测和补偿处理单元是运动补偿块，每个运动补偿块可具有独立的运动向量信息。在帧运动补偿模式下，运动补偿块的大小为16X16像素，在场运动补偿模式下，就第一场和第二场中的每一个来说，运动补偿块的大小均为16X8像素。
[0105]相反，在AVC(高级视频编码)中，如在图2的上部所示，由16X16像素构成的一个宏块可能被分成由16X 16，16X8，8X 16或8X8像素构成的分区，分割的每个分区具有独立的运动向量信息。另外，就8X8分区来说，如在图2的下部所示，8X8分区被分成由8X8，8X4，4X8或4X4像素构成的子分区，分割的每个子分区具有独立的运动向量信息。如上所述，以运动补偿块为单位进行运动预测和补偿处理。
[0106]图3是图解说明控制信息生成单元112的主要结构例子的方框图。
[0107]如上所述，控制信息生成单元112生成可在自适应环路滤波(ALF)中使用的控制信息，自适应环路滤波(ALF)是自适应滤波处理单元113中的环路滤波。例如，控制信息生成单元112生成滤波系数,ALF块大小,滤波块标记,和ALF块的偏移值作为控制信息。
[0108]控制信息生成单元112包括滤波系数计算单元131和块信息生成单元132。
[0109]滤波系数计算单元131获得从解块滤波器111供给的解码图像，和从画面排序缓冲器102读取的当前输入图像，并对于它们中的每一帧，计算在自适应滤波处理单元113中进行的ALF的滤波系数。
[0110]块信息生成单元132根据从解块滤波器111供给的解码图像，和滤波系数计算单元131计算的滤波系数，确定ALF块大小，排列ALF ±夹，并获得ALF块的适当偏移值。另外，块信息生成单元132移动ALF ±夹，关于待处理的切片中的相应ALF块生成滤波块标记。
[0111]这里，将说明ALF块和滤波块标记。图4A-4C是图解说明ALF块和滤波块标记的示图。
[0112]如上所述，在自适应滤波中，对每一帧设置滤波系数。即，以帧为单位进行最佳的滤波处理。不过，帧图像通常总体上并不均匀，局部具有不同的特征。由此，最佳滤波系数局部不同。按照利用如上所述关于每一帧确定的滤波系数的滤波处理，画质就整帧来说得到改善，不过可能局部恶化。
[0113]因此，考虑了在画质局部恶化的区域中不进行滤波处理的BALF(基于块的自适应环路滤波)。
[0114]图4A的帧151代表解块滤波处理之后的解码图像。如图4B中所示，块信息生成单元132对应于控制块，所述控制块是局部进行的自适应滤波处理的控制单位。按照在帧151的整个区域内紧密散布多个ALF块相同的方式，紧密排列多个ALF块152。块信息生成单元132确定帧151的预定位置作为基准点，并根据基准点确定相应ALF块152的排列位置。
[0115]这里，"排列"将确定(指定或设定)各控制块的控制目标的区域(位置)。这意味相应的控制块被分配给图像(帧151)的不同区域。因此，实际的数据并不相互重叠(不被合成)。
[0116]另外，排列ALF块152的区域可能和帧151的区域不一致，不过至少包括帧的整个区域。从而，帧151的区域被 分成相应ALF块152的区域(多于一个的区域)。
[0117]块信息生成单元132确定ALF块152的水平方向的大小(双箭头153)，和垂直方向的大小(双箭头154)。作为ALF块的大小，例如，对于每个切片可以指定8X8，16X16,24X24，32X32，48X48，64X64，96X96 和 128X 128 像素任意之一。这种情况下，ALF 块大小的指定信息被称为块大小指标。
[0118]一旦确定了块大小，就确定了一帧的ALF块的数目，因为帧大小是固定的。
[0119]如图4C中所示，块信息生成单元132为每个ALF块152设置控制是否进行滤波处理的滤波块标记155。例如，就其中画质因自适应滤波而改善的区域来说，生成具有值"I"的滤波块标记155，而就其中画质因自适应滤波而恶化的区域来说，生成具有值"O"的滤波块标记155。在滤波块标记155中，值"I"指示要进行滤波处理，值"O"指示不进行滤波处理。
[0120]自适应滤波处理单元113根据滤波块标记155的值，控制自适应滤波处理。例如，自适应滤波处理单元113只对其中滤波块标记155的值为"I "的ALF块152的区域进行滤波处理，对其中滤波块标记155的值为"O"的ALF块152的区域不进行滤波处理。
[0121]另外，上面说明的ALF块大小和滤波块标记可被包括在图像压缩信息的切片头部中，并从图像编码设备100发送给图像解码设备。例如，与ALF块152的数目相应的一个或多个滤波块标记可按照光栅扫描的顺序被包含在切片头部中。
[0122]因此，当ALF块的大小较小时，更精细的滤波控制成为可能，从而能够实现更适当的ALF滤波。不过，如果ALF块的大小变小，那么滤波块标记的比特率被增大。即，当ALF块的大小变小时，图像压缩信息的编码效率被降低。如上所述，自适应滤波的性能和图像压缩信息的编码效率是一种折衷关系。
[0123]用下述等式⑴计算ALF块的数目。
[0124]NALFBL0CK=f10r ((16 XNmb^Nsize-1) /Nsize) X floor ((16 XNmb^Nsize-1) /Nsize)...(I)[0125]在等式⑴中，Naubukk表示ALF块的数目。另外，Nmbw表示在画面的水平方向的宏块的数目，Nsffih表示在画面的垂直方向的宏块的数目。此外，Nsize表示ALF块的一条边的大小。另外，floor[X]是通过丢弃X的小数位而得到整数的函数。
[0126]不过,在H.264/AVC中，一巾贞被分成多个切片，对于每个切片输出图像压缩信息。图5是图解说明多切片的一个例子的示图。就图5中的例子来说，帧151被分成三个切片，即，切片O、切片I和切片2。
[0127]如上所述，通过以与帧相比，更精细的切片为单位输出图像压缩信息，图像编码设备100能够以较短的间隔生成和输出图像压缩信息。即，解码图像压缩信息的图像解码设备能够更早地开始图像压缩信息的解码。即，在输入图像之后，进行编码处理和解码处理，能够缩短在输出图像之前的延迟时间。
[0128]在Takesh1.Chujoh 等的描述 BALF 的"Block-based Adaptive LoopFilter" ITU-T SG16Q6VCEG Contribution, Al 18，Germany, July, 2008 中没有公开多切片。即，只说明了对整个帧的ALF块的设置。在生成滤波块标记时，解块滤波的解码图像是必需的。因此，如果一旦生成整个帧的滤波块标记，就必须等待，直到相对于帧中的所有切片对图像解码为止(直到获得解块滤波的解码图像为止)。这种情况下，延迟时间被增大，从而以切片为单位进行处理没有意义。
[0129]因此，就多切片来说，为了抑制延迟时间的增大，优选的是通过为每个切片设置ALF块，生成滤波块标记。不过，如上所述，ALF块是相对于整个帧设置的。即，对于每个切片设置相对于整个帧的ALF块，从而会设置在切片区域之外的不必要的ALF块。
[0130]例如，在图5的例子中，在如图6A中所示处理切片O的情况下，相对于被表示成框(框架)161的切片O的区域设置整个帧151的ALF块152，如图6B中所示。
[0131]按照相同的方式，在图5的例子中，在如图7A中所示处理切片I的情况下，相对于被表示成框架162的切片I的区域设置整个帧151的ALF块152，如图7B中所示。
[0132]在图6B和7B中，用斜线表示的ALF块152是除切片O或切片I的区域之外的块，对于处理切片O或切片I的区域来说，它是不必要的。
[0133]如上所述，对每个ALF块设置滤波块标记155。即，在多切片的情况下，出现不必要的滤波块标记，增大了图像压缩信息的数据量，从而会降低编码效率。
[0134]因此，图3的控制信息生成单元112的块信息生成单元132生成包括待处理的切片区的ALF块和滤波块标记，以便抑制如上所述的编码效率的降低。
[0135]例如，在图5的例子中，在如图8A中所示处理切片I的情况下，块信息生成单元132只设置包括表示成框架162的切片I的区域的ALF块152，如图SB中所示，并且仅相对于ALF块152生成滤波块标记。
[0136]这样，由于如上所述只向图像压缩信息中附加为相应切片所必需的滤波块标记，因此与对于每个切片生成整个帧的滤波块标记的情况相比，滤波块标记的比特率减小，从而抑制了编码效率的降低。另外，由于生成了包括每个切片的控制信息的图像压缩信息，因此图像解码设备能够以切片为单位开始图像解码处理，从而与为每一帧生成滤波块标记的情况相比，能够抑制延迟时间的增大。
[0137]另外，这种情况下，由于如图SB中所示，包括表示成框架162的切片I的区域的端部(例如，切片的边界)的ALF块152把切片I的区域包含在ALF块的区域的一部分中，因此对ALF块进行滤波处理。换句话说，即使切片I的区域只存在于区域的一部分中，也必须进行滤波处理。
[0138]如图SB中所示，如果切片的边界的位置和ALF块152的边界的位置相互冲突，那么增大包括切片的边界的ALF块，结果，为切片I的滤波处理所必需的滤波块标记的比特数(ALF块的数目)被增大。
[0139]例如，当如图9A中所示对帧151的切片I的区域进行滤波处理时,相对于整个帧151排列的ALF块和表示成框架162的切片I的区域之间的位置关系如图9B中所示。
[0140]这种情况下，为切片I的滤波处理所必需的滤波块标记(包括切片I的区域的ALF块)的数目为39。
[0141]在如图9B中所示的状态下，通过例如如箭头163所示，朝着上部移动ALF块152的位置，使切片I的上部的边界和ALF块152的边界彼此相符。这种情况下，ALF块152和框架162之间的位置关系如图9C中所示。
[0142]这种情况下，为切片I的滤波处理所必需的滤波块标记(包括切片I的区域的ALF块)的数目为28。
[0143]如上所述，通过控制ALF块的位置的移动，块信息生成单元132能够减少必需的滤波块标记的比特数。由于如上所述，滤波块标记还被添加到图像压缩信息中，因此能够抑制编码效率的降低。
[0144]另外，就如上所述包括切片的边界的ALF块来说，下一个切片的数据是必需的或者应生成假数据，从而滤波处理会变复杂，或者延迟时间会被增大。由于块信息生成单元132如上所述控制ALF块的位置的移动，因此包括切片的边界的ALF块的数目被减小，结果，能够更容易地进行滤波处理，同时抑制延迟时间的增大。
[0145]此外，在切片的边界部分中，由于诸如与下一个切片的合成和假数据的生成之类图像处理的缘故，画质会恶化，从而滤波处理的效果会恶化。由于块信息生成单元132如上所述控制ALF块的位置的移动，因此包括切片的边界的ALF块的数目被减小，结果，能够抑制滤波处理的效果的降低。
[0146]再次参见图3，块信息生成单元132包括处理对象切片区域指定单元141，ALF块设定单元142，偏移处理单元143，处理对象ALF块区域指定单元144，确定单元145，和滤波块标记生成单元146。
[0147]处理对象切片区域指定单元141指定作为解码图像供给的处理对象切片的区域相对于整个帧的位置。
[0148]ALF块设定单元142设定ALF块大小，并在整个帧中设定多个ALF块152。ALF块设定单元142考虑到帧的作为基准点的预定位置，确定相应ALF块152的位置，并把ALF块密集地排列在帧的区域上。这种情况下，基准点可被设置在帧的某一位置。例如，基准点可以是位于帧的左上端的像素，或者位于帧的右上端，右下端，左下端或者中心的像素。
[0149]由于整个帧的区域的大小被预先确定，因此ALF块设定单元142能够根据确定的ALF块大小，指定整个帧的ALF块的数目。
[0150]偏移处理单元143恰当地更新由ALF块设定单元142排列的ALF块152的位置。偏移处理单元143移动所有的ALF块152，以把ALF块152的边界排列在切片的端部。偏移处理单元143获得指示从根据基准点确定的初始排列位置到滤波处理的结果得到改善的位置(例如，到待处理的切片的端部与ALF块152的边界相符的位置(目的地))的移动距离和移动方向的偏移值。由于待处理的切片的位置由处理对象切片区域指定单元141指定，因此偏移处理单元143根据位置信息确定偏移值(目的地)。
[0151]这种情况下，待处理切片的"端部"(它是目的地确定的基础)可以是待处理切片的外形的任意一边。例如，在图9C的例子中，ALF块152的边界与待处理切片(切片I)的上端相符。可使偏移处理单元143选择待处理切片的外表的相应各边之中与ALF块152的边界最佳重合的最佳一边。
[0152]一旦获得了偏移值，偏移处理单元143就把排列在对应帧中的所有ALF块152移动和偏移值一样长的距离。根据其位置已被更新的ALF块152进行后续处理。
[0153]处理对象ALF块区域指定单元144从由ALF块设定单元142设定，并被偏移处理单元143恰当移动的ALF块152中逐一选择待处理的ALF ±夹，并指定选择的待处理ALF块的区域的位置。
[0154]确定单元145确定待处理的ALF块的区域是否包括待处理切片的区域。滤波块标记生成单元146生成已被确定单元145确定为"包括待处理切片的区域"的ALF块的滤波块标记。滤波块标记生成单元146利用由滤波系数计算单元131计算的滤波系数，对待处理ALF块的区域进行自适应滤波处理，并按照与进行滤波处理之前的情况相比，通过滤波处理的画质是否得到改善，确定滤波块标记的值。
[0155]滤波块标记生成单元146输出诸如滤波块标记，ALF块大小和偏移值之类的控制信息。
[0156]图10是图解说明图1的自适应滤波处理单元113的主要结构例子的方框图。
[0157]自适应滤波处理单元113利用从控制信息生成单元112供给的控制信息，对从解块滤波器111供给的解码图像进行滤波处理。
[0158]如图9中所示，自适应滤波处理单元113包括控制单元171，自适应滤波器172和选择单元173。
[0159]控制单元171控制自适应滤波器172和选择单元173。例如，控制单元171从控制信息生成单元112获得控制信息。另外，控制单元171把包括在获得的控制信息中的滤波系数提供给自适应滤波器172，以设定滤波系数。此外，控制单元171根据包括在控制信息中的ALF块大小和偏移值，指定待处理的ALF块的区域的位置。另外，控制单元171根据包含在控制信息中的滤波块标记值，控制自适应滤波器172，以进行相应ALF块的区域的滤波处理(如果需要的话)，和控制选择单元173的操作。
[0160]自适应滤波器172利用由控制单元171设定的滤波系数，对从解块滤波器111供给的解码图像中、被控制单元171指定为待处理ALF块的区域进行滤波处理。自适应滤波器172把滤波处理的结果提供给选择单元173。
[0161]在控制单元171的控制下，选择单元173选择从解块滤波器111供给的解码图像(未进行自适应滤波处理的解码图像)和从自适应滤波器172供给的解码图像(已进行自适应滤波处理的解码图像)任意之一，并把选择的解码图像提供给帧存储器114，以便把选择的解码图像累积为参考图像。
[0162]S卩，自适应滤波处理单元113只对从解块滤波器111供给的解码图像中、滤波块标记指示进行滤波处理的区域(画质已被确定得到改善的区域)进行滤波处理。[0163][处理流程]
[0164]下面说明使用如上构成的相应单元的处理的流程。首先，参考图11的流程图，说明由图像编码设备100进行的编码处理的流程的例子。
[0165]在步骤S101，A/D转换单元101对输入图像进行A/D转换。在步骤S102，画面排序缓冲器102保存A/D转换后的图像，并进行从相应画面的显示顺序到画面的编码顺序的排序。
[0166]在步骤S103，运算单元103计算由步骤S102中的处理排序的图像和预测图像之间的差值。就帧间预测来说，预测图像从运动补偿单元116经预测图像选择单元118被提供给运算单元，而就帧内预测来说，预测图像从帧内预测单元115经预测图像选择单元118被提供给运算单元103。
[0167]与初始图像数据相比，差值数据具有较少量的数据。因此，与原样编码图像的情况相比，能够压缩数据的数量。
[0168]在步骤S104，正交变换单元104进行由步骤S103中的处理生成的差值信息的正交变换。具体地说，进行诸如离散余弦变换或Karhunen Loeve变换之类的正交变换，以输出变换系数。在步骤S105，量化单元105量化变换系数。在该量化处理中，如后所述在步骤SI 19的处理中控制速率。
[0169]量化的差值信息如下所述被本地解码。即，在步骤S106，反量化单元108用与量化单元105的特性对应的特性，进行由量化单元105量化的变换系数的反量化。在步骤S107，反正交变换单元109利用与正交变换单元104的特性对应的特性,对由反量化单元108反量化的变换系数进行反正交变换。
[0170]在步骤S108，运算单元110通过相加经预测图像选择单元118输入的预测图像和本地解码的差值信息，生成本地解码的图像(与运算单元103的输入对应的图像)。在步骤S109，解块滤波器111进行从运算单元110输出的图像的滤波。因此，消除块失真。
[0171]如果对一个切片进行上述处理，那么在步骤S110，控制信息生成单元112生成用在自适应滤波处理中的控制信息。控制信息的生成和处理细节将在后面说明。
[0172]—旦步骤SllO中的处理生成了诸如滤波系数，ALF块大小、滤波块标记和偏移值之类的控制信息，自适应滤波处理单元113就在步骤Slll中利用控制信息，对由步骤S109中的处理解块滤波的解码图像进行自适应滤波处理。自适应滤波处理的细节将在后面说明。
[0173]在步骤S112，帧存储器114保存在步骤Slll中自适应滤波的图像。
[0174]在步骤S113，帧内预测单元115进行帧内预测模式的帧内预测。在步骤S114，运动预测单元117和运动补偿单元116进行帧间预测模式的帧间运动预测和补偿处理。
[0175]在步骤S115，预测图像选择单元118按照待处理帧的预测模式，选择由帧内预测处理生成的预测图像及由帧间运动预测和补偿处理生成的预测图像中的任意一个。预测图像选择单元118把选择的预测图像提供给运算单元103和运算单元110。如上所述，预测图像被用于步骤S103和S108中的操作。
[0176]在步骤S116，可逆编码单元106对从量化单元105输出的量化的变换系数编码。即，通过诸如可变长度编码或算术编码之类的可逆编码压缩差值图像。这种情况下，可逆编码单元106还对在步骤SllO中生成的控制信息，步骤S113中的帧内预测处理的帧内预测模式信息，和步骤S114中的帧间运动预测和补偿处理的帧间预测模式编码。
[0177]在步骤S117，可逆编码单元106在切片头部中插入(描述)诸如编码的控制信息之类的元数据。例如，根据如图12和13中图解说明的语法进行切片头部中控制信息的插入(描述)。在图像解码期间读取所述元数据，以便使用。通过在切片头部中包括(多路复用)解码处理所必需的元数据，能够以比帧更精细的单元进行解码处理，从而能够抑制延迟时间的增大。
[0178]在步骤S118，累积缓冲器107累积差值图像作为压缩图像。恰当地读取累积在累积缓冲器107中的压缩图像，并通过传输路径传送给解码方。
[0179]在步骤SI 19，速率控制单元119根据累积在累积缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。
[0180]现在，参考图14的流程图，说明在图11的步骤SllO中，由控制信息生成单元112执行的控制信号生成处理的流程的例子。
[0181]当开始控制信息生成处理时，在步骤S131，控制信息生成单元112的滤波系数计算单元131利用从画面排序缓冲器102供给的输入图像，和从解块滤波器111供给的解块滤波的解码图像，计算滤波系数。例如，滤波系数计算单元131确定滤波系数的值，以致输入图像和解码图像之间的残差被降至最小。
[0182]如果计算了滤波系数，那么在步骤S132，块信息生成单元132生成包括ALF块大小，偏移值和滤波块标记的块信息。块信息生成处理的细节将在后面说明。如果生成了块信息，那么处理返回图11中的步骤S110，并执行步骤Slll之后的后续处理。
[0183]这种情况下，可以帧为单元进行在步骤S131中进行的滤波系数的计算。这种情况下，只对帧中的预定切片(例如，帧中其标识号具有预定值，例如("O")的切片，或者帧中最初被处理的切片)进行步骤S131中的处理，就其它切片来说，该值可被挪用。另外，在计算滤波系数时，可以使用某一图像。例如，根据过去的帧图像，可以计算滤波系数。
[0184]下面，参考图15的流程图，说明在图14的步骤S132中执行的块信息生成处理的流程的例子。
[0185]如果开始块信息生成处理，那么处理对象切片区域指定单元141在步骤S151中指定处理对象切片区域。
[0186]为了知道对应的待处理切片的区域，必须知道包括在对应切片中的宏块，和知道包括在宏块中的像素。处理对象切片区域指定单元141从切片头部获得对应切片的先头宏块地址。
[0187]这里，先头宏块地址是从屏幕的左上部开始，按照光栅扫描的顺序赋予宏块的编号。如图5中所示，图像(帧151)的左上部中的宏块地址变成"O"。由于切片O从帧151的左上部开始，因此切片O的先头宏块156-1的宏块地址变成"O"。按照该顺序，假定切片O的最终宏块156-2的宏块地址为E0。另外，假定按照和切片O相同的方式，切片I的先头宏块157-1的宏块地址为SI，最终宏块157-2的宏块地址为El。此外，假定切片2的先头宏块158-1的宏块地址为S2，最终宏块158-2的宏块地址为E2。
[0188]在解码对应切片时，每当完成一个宏块的解码处理时，宏块地址的编号被加1，直到达到对应切片的最终宏块为止。在最终宏块中，设置这是切片的最终宏块的标记。由此，能够了解对应切片具有的宏块的所有地址。即，它们是从先头宏块地址到最终宏块地址。[0189]不过，一帧的帧大小由AVC流(图像压缩信息)的序列参数集(SPS)中的宏块的数目指示。"pic_height_in_map_units_minusl "指示在图像的垂直方向的宏块的数目，"pic_width_in_mbs_minusl "指示在图像的水平方向的宏块的数目。
[0190]因此，用下面的等式⑵和(3)指示从该宏块地址开始的宏块的位置。
[0191]mbx=macro block address0012C694ic_width_in_mbs_minusl..(2)
[0192]mby=f10r[macro block address/pic_width_in_mbs_minusl]..(3)
[0193]在等式(2)和(3)中，"mbx"指示宏块位于从左侧开始的哪个数字，"mby"指示宏块位于从上部开始的哪个数字。另外，"floortz]"是通过丢弃z的小数位而得到整数的函数，"A"指示用B除A获得的余数。
[0194]如果假定宏块的大小被设定为16X16像素，那么宏块的左上部中在垂直方向和水平方向的像素的位置变成(16Xmbx，16 Xmby)，包括在该宏块中的像素变成包括在从该像素位置开始向下方向的16个像素的范围中，和在向右方向的16个像素的范围中的像素。根据如上所述的信息，能够知道对应切片的所有像素。即，待处理切片的区域被指定。
[0195]在图15的步骤S152中，ALF块设定单元142确定ALF块大小。在步骤S153，ALF块设定单元142确定帧中的ALF块的数目。由于帧的图像大小被预先确定，因此如果ALF块大小被确定，就能够计算为考虑帧的左上部作为基准点，排列ALF块所必需的ALF块的数目(帧中的ALF块的数目)。由于预先准备ALF块的垂直方向的大小(像素的数目)和水平方向的大小(像素的数目)，因此ALF块设定单元142按照设定值，确定相应ALF块的大小和ALF块的数目，并相对于解码图像排列各个ALF块。
[0196]这种情况下，利用下面的等式⑷和(5)计算ALF块的数目。
[0197]num_aIf_b1ck_x=f10r[(16X (pic_width_in_mbs_minusl + l) + (alf_block_size-1))/alf_block_size].....(4)
[0198]num_alf_block_y=floor[(16X (pic_height_in_map_units_minusl+l)+(alf_block_size_l))/alf_block_size].....(5)
[0199]在等式⑷和(5)中，"num_alf_block_x"和"num_alf_block_y"分别是包括在图像中的，宽度和长度方向的ALF块的数目。另外，"alf_block_size"指示ALF块的一边的大小。这里，为了简化说明，假定ALF块呈正方形。当然，垂直方向的ALF块的大小和水平方向的ALF块的大小可被设定成彼此不同。
[0200]在步骤S154，偏移处理单元143获得ALF块152的偏移值，以致待处理切片的端部与ALF块152的边界相符。在步骤S155，偏移处理单元143按照由步骤S154中的处理计算的偏移值，移动ALF块152。借助该移动，待处理切片的端部与ALF块152的边界相符。利用被恰当移动的ALF块152进行后续处理。
[0201]在步骤S156，处理对象ALF块区域指定单元144确定待处理的ALF块。在步骤S157，处理对象ALF块区域指定单元144指定待处理的ALF块的区域。
[0202]用下面的等式(6)和(7)指示第i个ALF块的位置。
[0203]alf_block_x=i(num_aIf_b1ck_x-1)...(6)
[0204]alf_block_y=floor[i/(num_alf_block_x_l)]...(7)
[0205]在等式(6)和(7)中，"alf_block_x"和"alf_block_y"分别指示在水平方向和垂直方向上，第i个ALF块位于哪个数字。在第i个ALF块的左上部的像素的位置变成通过把"alf_block_x"和"alf_block_y"分别乘以"alf_block_size"而获得的位置。即，水平方向变成16Xalf_block_x，垂直方向变成16Xalf_block_y。因此，第i个ALF块的区域在从其左上部的像素开始的"alf_block_sizeXalf_block_size"的范围中。
[0206]在步骤S158，确定单元145确定待处理切片的区域是否包括在待处理的预定ALF块的区域中。
[0207]如果确定待处理切片的区域包括在待处理的ALF块的区域中，那么处理进入步骤S159。在步骤S159，滤波块标记生成单元146关于该待处理的ALF块生成滤波块标记，因为该ALF块是待处理切片中必需的ALF块。在步骤S160，滤波块标记生成单元146输出生成的滤波块标记。
[0208]如果步骤S160中的处理结束，那么处理进入步骤S161。另外，在步骤S158中，如果确定待处理切片的区域不包括在待处理的ALF块的区域中，那么在待处理切片中，该ALF块不是必需的，从而处理进入步骤S161。
[0209]在步骤S161，处理对象ALF块区域指定单元144确定帧中的所有ALF块是否已被处理，如果确定还未处理所有的ALF块，那么返回步骤S156，对新的ALF块重复后续处理。每当重复该循环处理时，处理对象ALF块区域指定单元144就从左上部的ALF块开始，按照光栅扫描顺序，逐一选择排列在帧的区域上的ALF块组中的ALF块，作为待处理的ALF块。
[0210]另外，在步骤S161中，如果确定处理了帧中的所有ALF块，那么结束块信息生成处理，处理返回图14的步骤S132，以结束控制信息生成处理，随后处理返回图11中的步骤S110，执行步骤S111之后的处理。
[0211]如上所述，举例说明当在帧图像的区域上排列ALF块时，把帧的左上部看作原点。不过，原点的位置是任选的。例如，原点可以是帧的左下部，右下部，右上部或者中心。不过，必须事先确定原点的位置和排列ALF块的方法，以便它们共同用在编码处理和解码处理中。
[0212]另外，举例说明从左上部开始，按照光栅扫描顺序选择待处理的ALF块。不过，选择顺序和开始位置是任选的。
[0213]下面参考图16的流程图，说明在图11的步骤Slll中执行的自适应滤波处理的流程的例子。
[0214]当开始自适应滤波处理时，待处理切片的解码图像被提供给自适应滤波器172和选择单元173。在步骤S171，控制单元171指定待处理切片的区域。按照和图12的步骤S151中的处理相同的方式，控制单元171获得切片头部的对应切片的先头宏块地址，检测指示最终宏块的标记，把从先头宏块地址到最终宏块地址的区域指定为待处理切片的区域。
[0215]在步骤S172，控制单元171获得由控制信息生成单元112生成的滤波系数，并在自适应滤波器172中设定该滤波系数。在步骤S173，控制单元171获得由控制信息生成单元112确定的ALF块大小，并在帧的整个区域内设置(排列)具有该ALF块大小的ALF块。
[0216]在步骤S174，控制单元171获得由控制信息生成单元112生成的偏移值，并按照该偏移值恰当地移动在步骤S173中设置的ALF块的位置(更新ALF块的位置)。
[0217]在步骤S175，控制单元171按照和图15的步骤S156中的情况相同的方式，把恰当移动的ALF块组中的未处理的ALF块之一确定为待处理的ALF块。ALF块的选择顺序被预先确定，与控制信息生成单元112中的选择顺序相同。[0218]在步骤S176，控制单元171按照和图15的步骤S157中的情况相同的方式，指定确定的待处理的ALF块的区域。
[0219]在步骤S177，控制单元171按照和图15的步骤S158中的情况相同的方式，确定待处理切片的区域是否包含在待处理的ALF块的区域中。如果确定待处理切片的区域包括在待处理的ALF块的区域中，那么控制单元171进入步骤S178。
[0220]在步骤S178，控制单元171获得由控制信息生成单元112生成的待处理的ALF块的滤波块标记。由于控制信息生成单元112如上所述生成滤波块标记，因此滤波块标记实际上仅被提供给包括待处理切片的区域的ALF块。由于ALF块的处理顺序与控制信息生成单元112的处理顺序相同，因此按照ALF块的处理顺序供给滤波块标记。因此，通过按照供给顺序获得(采用)滤波块标记，控制单元171能够获得(采用)待处理的ALF块的滤波块标记。
[0221]这种情况下，滤波块标记的供给定时可能与控制单元171获得滤波块标记的定时不符。即，控制单元171可临时把从控制信息生成单元112供给的滤波块标记保存在内置缓冲器等中，并从缓冲器读取滤波块标记。即使在这种情况下，仅仅通过使滤波块标记的读取顺序与控制信息生成单元112的供给顺序，即，缓冲器的累积顺序相同，控制单元171就能够获得待处理的ALF块的滤波块标记。
[0222]在步骤S179，控制单元171确定滤波块标记值是否为"I"。如果滤波块标记值为"I"并且指令对待处理的ALF块的区域进行滤波处理，那么控制单元171进入步骤S180。在步骤S180，在控制单元171的控制下，自适应滤波器172对待处理的ALF块进行滤波处理。在步骤S180中的处理结束之后，处理进入步骤S181。这种情况下，在控制单元171的控制下，选择单元173在步骤S181中选择自适应滤波器172的输出，并把选择的输出提供给帧存储器114。即，滤波处理后的解码图像(解码图像的一部分的区域)被累积在帧存储器114中。如果步骤S181中的处理结束，那么处理进入步骤S182。
[0223]另外，在步骤S179，如果滤波块标记值为"O"并且指令不对待处理的ALF块的区域进行滤波处理，那么省略步骤S180中的处理，处理进入步骤S181。这种情况下，在控制单元171的控制下，选择单元173在步骤S181中选择解块滤波器111的输出，并把选择的输出提供给帧存储器114。即，未进行滤波处理的解码图像(解码图像的一部分的区域)被累积在帧存储器114中。如果步骤S181中的处理结束，那么处理进入步骤S182。
[0224]另外，在步骤S177，如果确定待处理切片的区域不包含在待处理的ALF块的区域中，那么待处理的ALF块是与待处理切片无关的ALF块，从而省略步骤S178-S181中的处理，处理进入步骤S182。
[0225]在步骤S182，控制单元171确定帧中的所有ALF块是否都已被处理。如果确定存在未处理的ALF块，那么处理返回步骤S175，对新的ALF块重复后续处理。每当重复该循环处理时，控制单元171从左上部的ALF块开始，按照光栅扫描的顺序，逐一选择排列在帧的区域上的ALF块组中的ALF块，作为待处理的ALF块。
[0226]另外，在步骤S182中，如果确定帧中的所有ALF块都已被处理，那么结束自适应滤波处理，处理返回图11的步骤S111，随后进行在步骤S112之后的处理。
[0227]如上所述，自适应滤波处理单元113根据设定的偏移值移动ALF块152的位置，以改善滤波处理的结果，以致切片的端部与ALF块152的边界相符。因此，自适应滤波处理单元113能够减少包括切片的边界的ALF块的数目。结果，通过使滤波处理更易于进行，图像编码设备100能够抑制延迟时间的增大。此外，图像编码设备100能够抑制滤波处理的效果的降低。
[0228]此外，通过生成用于移动ALF块152的偏移值，以把切片的端部排列在ALF块152的边界上，控制信息生成单元112能够减少附加到图像压缩信息中的滤波块标记的比特数。结果，图像编码设备100能够抑制编码效率的降低。
[0229]另外，通过生成偏移值，控制信息生成单元112能够移动ALF块，以致自适应滤波处理单元113减少包括切片的边界的ALF块的数目。
[0230]此时，通过进行自适应滤波处理，自适应滤波处理单元113能够根据在帧的一部分中的ALF块的滤波块标记，恰当地对待处理切片进行滤波处理。因此，自适应滤波处理单元113能够减小未能被解块滤波器完全捕捉的待处理切片上的块失真，或者由量化引起的失真。
[0231]排列ALF块的方法(初始排列位置)是预先确定的。因此，在ALF块被排列在整个帧内的状态(初始状态)下，根据ALF块大小，能够容易地获得各ALF块的位置。因此，和现有技术中一样，关于帧中的所有ALF块生成滤波块标记，如果ALF块未被移动，那么能够容易地指定与相应滤波块标记对应的区域的位置。
[0232]然而，例如，就由帧中的多个切片构成的多切片来说，考虑利用在帧的一部分中的ALF块的滤波块标记，控制待处理切片的滤波处理。这种情况下，取决于待处理切片的区域的位置(取决于待处理切片是否是帧中的多个切片中的任意一个)，与使用的滤波块标记对应的区域的位置可不同。
[0233]另外，如上所述可按照偏移值移动ALF块。
[0234]不过，按照现有技术中的方法，待处理切片或滤波块标记的位置未被指定。因此，不能恰当地进行借助由控制信息生成单元112生成的滤波块标记的控制，这会导致不恰当地进行自适应滤波处理。
[0235]如上所述，由于自适应滤波处理单元113指定待处理切片的区域(它是帧的一部分中的区域)的位置，和与在帧的一部分中的ALF块的滤波块标记对应的区域的位置，能够精确地进行自适应滤波处理。即，由于不包括待处理切片的区域的ALF块的滤波块标记(它不影响待处理的切片)变得不必要，自适应滤波处理单元113能够抑制图像压缩信息的编码效率的降低。
[0236]另外，如上所述，由于控制信息生成单元112只对包括待处理切片的区域的ALF块生成滤波块标记，因此不必要的滤波块标记的生成受到抑制，从而能够抑制图像压缩信息的编码效率的降低。
[0237]此外，自适应滤波处理单元113使用和控制信息生成单元112相同的方法，从而能够容易地指定待处理切片的区域的位置，和与滤波块标记对应的区域的位置。
[0238]此外，由于可逆编码单元106把包括ALF块大小，偏移值和滤波块标记在内的块信息附加到编码数据中(把块信息插入切片头部中)，因此解码编码数据的图像解码设备甚至能够根据块信息进行滤波处理，这与自适应滤波处理单元113中的滤波处理相同。例如，图像解码设备能够移动ALF ±夹，以减少包括切片的边界的ALF块的数目。
[0239]这里，术语“附加”指示任意种类的块信息与编码数据的关系。例如，块信息可被描述成编码数据的语法，或者可被描述成用户数据。另外，块信息可以元数据的形式与编码数据呈链接状态。即，“附加”可包括“插入”、“描述”、“多路复用”和“连接”。
[0240]通过进行伴随块信息生成处理或自适应滤波处理的编码处理，图像编码设备100能够在编码或解码期间更恰当地实现滤波处理的局部控制。
[0241]〈2.第二实施例〉
[0242][设备的结构]
[0243]下面将说明与如上参考图1说明的图像编码设备100对应的图像解码设备。图17是图解说明作为应用本发明的图像处理设备的图像解码设备的结构例子的方框图。
[0244]图像解码设备200通过解码从图像编码设备100输出的图像压缩信息，生成解码图像。
[0245]图像解码设备200包括累积缓冲器201，可逆解码单元202，反量化单元203，反正交变换单元204，运算单元205和解块滤波器206。另外，图像解码设备200包括自适应滤波处理单元207。此外，图像解码设备200包括画面排序缓冲器208和D/A(数/模)转换单元209。另外，图像解码设备200包括帧存储器210，帧内预测单元211，运动补偿单元212和选择单元213。
[0246]累积缓冲器201累积传送的图像压缩信息。可逆解码单元202按照与可逆编码单元106的编码方法对应的方法，对由图1的可逆编码单元106编码，并从累积缓冲器201供给的信息解码。
[0247]当对应宏块被帧内编码时，可逆解码单元202对保存在图像压缩信息的头部区域中的帧内预测模式信息解码，并把信息传送给帧内预测单元211。另外，当对应宏块被帧间编码时，可逆解码单元202对保存在图像压缩信息的头部区域中的运动向量信息解码，并把信息传送给运动补偿单元212。
[0248]另外，可逆解码单元202从图像压缩信息的切片头部提取自适应滤波的控制信息(由控制信息生成单元112生成的控制信息)，以解码控制信息，并把信息提供给自适应滤波处理单元207。
[0249]反量化单元203采用和图1的量化单元105的量化方法对应的方法，进行由可逆解码单元202解码的图像的反量化。反正交变换单元204采用和由图1的正交变换单元104进行的正交变换方法对应的方法，对反量化单元203的输出进行反正交变换。
[0250]运算单元205通过把从选择单元213供给的预测图像和反正交变换的差值信息相力口，生成解码图像。解块滤波器206消除通过所述相加生成的解码图像的块失真。
[0251]自适应滤波处理单元207根据包括在从可逆解码单元202供给的控制信息中的诸如滤波系数、ALF块大小、偏移值和滤波块标记之类的信息，对从解块滤波器206供给的图像进行滤波处理。自适应滤波处理单元207进行和图1的自适应滤波处理单元113相同的自适应滤波处理。因此，自适应滤波处理单元207能够减少未被解块滤波器206完全捕捉的块失真，或者由量化引起的失真。
[0252]自适应滤波处理单元207把滤波处理后的图像提供给帧存储器210，以便累积图像作为参考图像信息，并把图像输出给画面排序缓冲器208。
[0253]画面排序缓冲器208进行图像的排序。即，由图1的画面排序缓冲器102按其编码顺序排序的各帧按其原始显示顺序被排序。D/A转换单元209对从画面排序缓冲器208供给的图像进行D/A转换，以输出转换后的图像。例如，D/A转换单元209把通过D/A转换获得的输出信号输出给显示器(未示出)，以显示图像。
[0254]当对应帧被帧内编码时，帧内预测单元211根据从可逆解码单元202供给的信息，生成预测图像，并把生成的预测图像输出给选择单元213。
[0255]当对应帧被帧间编码时，运动补偿单元212根据从可逆解码单元202供给的运动向量信息，对保存在帧存储器210中的参考图像信息进行运动补偿。
[0256]当对应宏块被帧内编码时，选择单元213连接到帧内预测单元211，把从帧内预测单元211供给的图像作为预测图像提供给运算单元205。另外，当对应宏块被帧间编码时，选择单元213连接到运动补偿单元212，把从运动补偿单元212供给的图像作为预测图像提供给运算单元205。
[0257][处理的流程]
[0258]参考图18的流程图，说明由图像解码设备200进行的解码处理的流程的例子。
[0259]在步骤S201，累积缓冲器201累积传送的图像。在步骤S202，可逆解码单元202对从累积缓冲器201供给的压缩图像解码。S卩，已由图1的可逆编码单元106编码的I画面、P画面和B画面被解码。
[0260]此时，运动向量信息，参考帧信息，预测模式信息(指示帧内预测模式或帧间预测模式的信息)等也被解码。
[0261]S卩，当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，与预测模式信息对应的运动向量信息和参考帧信息被提供给运动补偿单元212。
[0262]此外，在步骤S202，可逆解码单元202从图像压缩信息的切片报头提取用于自适应滤波处理的控制信息，并对提取的控制信息解码。解码的控制信息被提供给自适应滤波处理单元207。
[0263]在步骤S204，反量化单元203利用与图1的量化单元105的特性对应的特性，进行在步骤S202中解码的变换系数的反量化。在步骤S205，反正交变换单元204利用与图1的正交变换单元104的特性对应的特性，对由步骤S204中的处理反量化的变换系数进行反正交变换。因此，与图1的正交变换单元104的输入(运算单元103的输出)对应的差值信息被解码。
[0264]在步骤S206，运算单元205相加所述差值信息和在后面说明的步骤S212的处理中选择的预测图像。因此，原始图像被解码。在步骤S207，解块滤波器206进行从运算单元205输出的图像的滤波。从而，消除块失真。
[0265]在步骤S208，自适应滤波处理单元207还对解块滤波的图像进行自适应滤波处理。该自适应滤波处理与由图1的自适应滤波处理单元113进行的处理相同。除了使用从可逆解码单元202供给的控制信息之外，按照和参考图16的流程图说明的相同方式进行该自适应滤波处理。不过，从可逆解码单元202供给的控制信息还由图1的控制信息生成单元112生成，基本上与从控制信息生成单元112供给的控制信息相同，并被图1的自适应滤波处理单元113使用。
[0266]借助该自适应滤波处理，能够减小未被解块滤波器完全捕捉的块失真，或者由量化引起的失真。[0267]在步骤S209，帧存储器210保存滤波图像。
[0268]当供给帧内预测模式信息时，在步骤S210，帧内预测单元211进行帧内预测模式的帧内预测。另外，当供给帧间预测模式信息时，在步骤S211，运动补偿单元212进行帧间预测模式的运动补偿。
[0269]在步骤S212，选择单元213选择预测图像。即，选择单元213选择由帧内预测单元211生成的预测图像，和由运动补偿单元212生成的预测图像中的任意一个，并把选择的预测图像提供给运算单元205。
[0270]例如，就帧内预测图像来说，选择单元213选择由帧内预测单元211生成的预测图像，并把选择的预测图像提供给运算单元205。另外，就帧间预测图像来说，选择单元213选择由运动补偿单元212生成的预测图像，并把选择的预测图像提供给运算单元205。
[0271]在步骤S213，画面排序缓冲器208进行图像的排序。即，按其初始显示顺序对已由图1的图像编码设备100的画面排序缓冲器102按其编码顺序排序的各帧排序。
[0272]在步骤S214，D/A转换单元209对从画面排序缓冲器208供给的图像进行D/A转换。该图像被输出给显示器(未示出)以便显示。
[0273]如上所述，在图像解码设备200中，可逆解码单元202提取并解码从图像编码设备100供给的控制信息，自适应滤波处理单元207按照和图像编码设备100的自适应滤波处理单元113相同的方式，利用控制信息进行自适应滤波处理。
[0274]S卩，自适应滤波处理单元207根据偏移值移动ALF块的位置，以把切片的端部排列至IJ ALF块的边界上。因此，自适应滤波处理单元207能够减少包括切片的边界的ALF块的数目。结果，图像解码设备200使滤波处理易于进行，从而能够抑制延迟时间的增大。此外，图像解码设备200能够抑制滤波处理的效果的降低。
[0275]通过进行上述自适应滤波处理，自适应滤波处理单元207能够根据对在帧中形成的多个切片之中的待处理切片来说必需的、在帧的一部分中的ALF块的滤波块标记，恰当地对待处理切片进行滤波处理。因此，自适应滤波处理单元207能够减小未被解块滤波器完全捕捉的块失真，或者由量化引起的失真。
[0276]即，按照和自适应滤波处理单元113相同的方式，自适应滤波处理单元207能够根据仅仅提供给为待处理切片所必需的ALF块的滤波块标记，恰当地对待处理切片进行滤波处理。
[0277]因此，图像解码设备200能够在编码或解码操作期间，更恰当地实现滤波处理的局部控制。
[0278]<3.第三实施例>
[0279][待处理的ALF块的另一个例子]
[0280]如上所述，举例说明了控制信息生成单元112生成甚至只包括待处理切片的一小部分区域的所有ALF块的滤波块标记，自适应滤波处理单元113对甚至只包括待处理切片的一小部分的所有ALF块进行滤波处理。
[0281]不过，例如，如果包括在ALF块中的待处理切片的区域只是一个像素，那么滤波处理对待处理切片的画质几乎不施加任何影响。这种情况下，即使对待处理切片的区域的比例较低的ALF块进行滤波处理，也不能获得足够的效果，处理(负荷)是不必要的。
[0282]因此，可以只对具有预定比例以上的待处理切片的区域的ALF块进行滤波处理。成为阈值的所述预定比例是任意的。另外，该值可被预先确定，并可按照图像的内容等被改变。
[0283][处理的流程]
[0284]下面参考图19的流程图，说明这种情况下的块信息生成处理的流程的例子。图19的流程图对应于图15的流程图。
[0285]如图19中所示，基本上按照和上面参考图15说明的情况相同的方式进行这种情况下的块信息生成处理。
[0286]因此，控制信息生成单元112的结构与图3中图解说明的结构相同。
[0287]图19中的步骤S351-S357中的处理与图15中的步骤S151-S157中的处理相同。
[0288]不过，就图19中的处理来说，如果待处理的ALF块的区域被指定，那么在步骤S358，确定单元145确定待处理切片的区域与待处理的ALF块的区域的比例是否大于预定比例。
[0289]如果待处理切片的区域与待处理的ALF块的区域的比例等于或大于预定比例，那么处理进入步骤S359。另外，在步骤S358中，如果待处理切片的区域与待处理的ALF块的区域的比例小于预定比例，那么处理进入步骤S361。
[0290]步骤S359-S361中的相应处理与图15的步骤S159-S161中的处理相同。
[0291]如上所述，生成滤波块标记的条件可被局限于与本发明的第一实施例相比明显更有用的范围。因此，图像编码设备100和图像解码设备200能够进一步抑制编码效率的降低。
[0292]如上所述，举例说明了利用自适应滤波的编码或解码的处理单元被设定成切片单元。不过，编码或解码的处理单元并不局限于此，可以使用比帧单元更精细的任意数据单
J Li ο
[0293]〈4.第四实施例〉
[0294][控制信息更新的另一个例子]
[0295]如上所述，举例说明了通过移动ALF块，以使块与切片的端部相符，更恰当地实现编码或解码操作期间的滤波处理的局部控制。不过，可以使用导致更恰当地实现滤波处理的局部控制的任何方法。例如，ALF块可被移动到另一个目的地，或者ALF块大小可被更新。此外，滤波系数可被优化，以匹配其控制信息更新。
[0296][其它移动例子]
[0297]可根据纹理(图像的内容)的变化移动ALF块。图20A-20C是图解说明ALF块相对于纹理的变化的偏移例子的示图。
[0298]例如，如图20A中所示，假定在待编码图像的帧400中存在具有不同特征的纹理区域(区域401和区域402)。如图20A中所示，区域401是呈垂直条纹形式的纹理，区域402是呈水平条纹形式的纹理。因此，区域401和区域402的最佳滤波特性彼此不同。
[0299]当在帧400上排列ALF块404时，例如，如图20B中所示，纹理的边界403 (区域401和区域402之间的切线)和ALF块404的边界(边界404A和边界404B)可能相互冲突。这种情况下，在包括纹理的边界403的ALF块的区域中，可能同时存在具有不同特性的图像。即，包括纹理的边界403的ALF块的图像特性大大不同于只包括区域401的ALF块的图像特性，也大大不同于只包括区域402的ALF块的图像特性，从而滤波处理会极大地恶化画质。
[0300]例如，如果利用与区域401的纹理的特性匹配的滤波系数，仅对包括区域401的ALF块进行滤波处理，那么由于并不对应于该滤波系数的那部分区域402的缘故，包括纹理的边界403的ALF块的画质会恶化。相反，如果利用与区域402的纹理的特性匹配的滤波系数，仅对包括区域402的ALF块进行滤波处理，那么画质会按照相同的方式恶化。
[0301]如上所述，对于包括纹理的边界403的ALF块，难以进行滤波处理。
[0302]因此，如图20C中所示，控制信息生成单元可移动ALF ±夹，并计算偏移值，以致ALF块的边界404B和纹理的边界403彼此相符，自适应滤波处理单元可根据偏移值移动ALF块，以致ALF块的边界404B和纹理的边界403彼此相符。
[0303]这样，如图20C中所示，能够减少在区域中包括纹理的边界403的ALF块的数目。因此，图像编码设备或图像解码设备能够控制局部滤波处理，以致能够获得更好的滤波结果O
[0304][单切片的移动例子]
[0305]尽管在第一实施例中，举例说明了多切片，不过即使在单切片中也可实现ALF块的移动。例如，在图21A中，就用框架411指示的框架的区域来说，考虑位于该区域的左上端的像素412作为基准点，排列ALF块404。在这种排列中，如果通过滤波处理未获得良好的值，那么如图21B中所示，控制信息生成单元可移动ALF块404。
[0306]就图21B中图解说明的例子来说，ALF块404与框架411的右端重合。通过如上所述移动ALF块的位置，图像编码设备或图像解码设备能够控制局部滤波处理，以致能够获得更好的滤波结果。另外，这种情况下的移动地点(目的地)是任意的，可以是能够获得良好的滤波结果值的任意位置。
[0307][块大小的更新]
[0308]此外，ALF块大小可被更新。例如，比如如图22A中所示的帧400，如果存在由相同纹理构成的水平方向较长的区域，那么相应的正方形ALF块421包括多种纹理，从而滤波处理的效果会恶化。
[0309]因此，如图22C中所示，控制信息生成单元可更新ALF块大小，以匹配图像的内容，比如纹理结构等等。就在图22C中图解说明的例子来说，各ALF块被设定成水平方向较长的矩形的形式，以匹配纹理结构。这样，图像编码设备或图像解码设备能够控制局部滤波处理，以致能够获得更好的滤波结果。
[0310][设备的结构]
[0311]图23是图解说明控制信息生成单元112的另一个结构例子的方框图。
[0312]这种情况下，控制信息生成单元112包括设定单元431，生成单元432，计算单元433和确定单元434。
[0313]设定单元431设定滤波系数、ALF块大小和偏移值。设定这些参数的方法是任意的。例如，用与按照本发明的第一实施例的方法中的方式相同的方式设定参数。另外，可预先准备候选值。不过，在任何情况下，准备多个参数(候选值或它们的组合)。
[0314]设定单元431通过逐一地选择多个候选值中的数值，设定滤波系数，ALF块的垂直和水平大小，和偏移值。
[0315]生成单元432利用由设定单元431设定的参数，生成各ALF块的滤波块标记。[0316]计算单元433利用由生成单元432生成的滤波块标记进行控制，利用由设定单元431设定的参数进行滤波处理，并计算成本值，以确定滤波处理的结果。
[0317]当设定单元431改变相应的参数值时，生成单元432和计算单元433进行它们的处理，从而计算基于不同设定模式的多个成本值。
[0318]确定单元434通过采用当获得比较多个成本值的最佳结果时的设定模式，确定并输出滤波系数、ALF块的垂直和水平大小、和偏移值。另外，确定单元434同时输出滤波块
T 己 O
[0319][处理的流程]
[0320]现在参考图24的流程图，说明控制信息生成处理的流程的另一个例子。该控制信息生成处理对应于参考图14的流程图说明的例子。即，在图11的步骤SllO中执行该控制信息生成处理。
[0321]当开始控制信息生成处理时，在步骤S431，设定单元431设定滤波系数、ALF块的垂直和水平大小、和偏移值。生成或准备相应参数的多个候选值。设定单元431通过在多个候选值中逐一地选择相应的参数值，准备一种设定模式(值的组合)。
[0322]如果设定了相应的参数值，在步骤S432中，生成单元432确定待处理的ALF块，并在步骤S433中，根据在步骤S431中设定的参数值，指定待处理的ALF块的区域。这种区域指定方法和在本发明的第一实施例中描述的方法相同。
[0323]在步骤S434，生成单元432生成待处理的ALF块的滤波块标记。这种生成滤波块标记的方法与在本发明的第一实施例中说明的方法相同。如果生成滤波块标记值"O"或"I"，那么生成单元432在步骤S435中确定是否处理了帧中的所有ALF块。如果确定存在未处理的ALF块，那么处理返回步骤S432，以重复之后的处理。
[0324]如果在步骤S435中确定处理了帧中的所有ALF块，那么处理进入步骤S436。
[0325]在步骤S436，计算单元433计算滤波处理的结果的成本值。例如，利用基于未定乘数的Lagrange方法的下述等式(8),计算成本函数。
[0326]J=D+ AXR...(8)
[0327]这里，J表示成本值，D表示失真量，R表示比特率，λ表示经验获得的系数,它常常取决于编码操作期间的量化参数或画面种类。利用该等式计算成本值J。
[0328]在步骤S437，计算单元433确定是否按所有的设定模式，计算了成本值。例如，如果确定存在相应参数，比如滤波系数、ALF块的垂直和水平大小、和偏移值的未被选择的候选值，并且尚未根据所有设定模式计算成本值，那么处理返回步骤S431，对新的设定模式重复后续处理。
[0329]如上所述，如果通过步骤S431-S437的重复，在步骤S437中确定已按所有的设定模式计算了成本值，那么处理进入步骤S438。
[0330]在步骤S438，确定单元434通过比较获得的成本值J，指定其中成本值J被降至最小的设定模式，并通过该设定模式，确定滤波系数、ALF块的垂直和水平大小、和偏移值。
[0331]如果确定了滤波系数、ALF块的垂直和水平大小、和偏移值，那么在步骤S439，确定单元434输出它们的值。
[0332]如果输出了滤波系数、ALF块的垂直和水平大小、和偏移值，那么结束控制信息生成处理，处理返回图11中的步骤S110，进行在步骤Slll之后的处理。[0333]如上所述，通过计算成本值J，控制信息生成单元112能够优化控制信息值，比如滤波系数、ALF块的垂直和水平大小、和偏移值。当然，滤波块标记值可被优化。
[0334]因此，图像编码设备100能够在编码期间更恰当地实现滤波处理的局部控制。另夕卜，图像编码设备100按照和本发明的第一实施例相同的方式，对控制信息的相应确定参数编码，把编码的参数包括在图像压缩信息的切片头部中。
[0335]这样，图像解码设备200能够按照和本发明的第一实施例相同的方式进行解码处理，从而能够利用相应参数进行自适应滤波处理。即，图像编码设备100能够使图像解码设备200在解码操作期间更恰当地实现滤波处理的局部控制。即，通过利用由图像编码设备100如上所述确定的控制信息进行滤波处理，图像解码设备200能够在解码操作期间更恰当地实现滤波处理的局部控制。
[0336]<5.第五实施例>
[0337][QALF 的说明]
[0338]如在T.Chujoh, N.Wada 和 G.Yasuda, " Quadtree-based Adaptive LoopFilter," ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl)，Japan, April, 2009 中指出的那样，ALF块可具有四叉树结构。这种技术被称为QALF(基于四叉树的自适应环路滤波)。四叉树结构是一种分层结构，其中上面一层的一个ALF块的区域可被分成下面一层中的四个区域。
[0339]图25A-25D图解说明其中用最多具有三层的四叉树结构表示的ALF块的分割，并对相应的ALF块指定滤波块标记的例子。
[0340]图25A图解说明层0，它是为四叉树结构的根部的ALF块。在四叉树结构中，相应的ALF块具有指示该块是否已被分成下层中的四个区域的块分割标记。如图25A中图解说明的ALF块的块分割标记值为"I"。即，ALF块被分成下层(层I)中的四个区域。图25B图解说明层I。即，在层I中形成四个ALF块。
[0341]如果块分割标记为"O"，那么该块未被分割成下层中的四个区域。即，未进行进一步的分割，对该ALF块生成滤波块标记。即，其块分割标记为"O"的ALF块也具有滤波块标记。在图25B中，位于"0-1"左侧的"O"指示ALF块的块分割标记，右侧的"I"指示ALF块的滤波块标记。
[0342]其层I的块分割标记为"I"的两个ALF块被进一步分割成下一层(层2)中的四个区域。图25C图解说明层2。即，在层2中，形成10个ALF块。
[0343]按照相同的方式，层2中其块分割标记为"O"的ALF块被分配以滤波块标记。在图25C中，一个ALF块的块分割标记为"I"。即，ALF块被进一步分割成下一层(层3)中的四个区域。图25D图解说明层3。即，在层3中，形成13个ALF块。
[0344]通过如图25A-2?中所示形成四叉树，最终如图26中所示构成ALF块。在如上所述的四叉树结构中，对于相应各层来说，ALF块的大小可不同。即，通过得到四叉树结构，ALF块可在帧中具有不同的大小。
[0345]相应ALF块中的滤波块标记的控制和本发明的第一实施例中相同。即，对滤波块标记值为"O"的ALF块的区域(图26中用斜线指示的部分)不进行滤波处理。
[0346]就多切片来说，当在比帧小的切片区域中设定ALF块时，发生编码效率的降低，从而在具有改进的ALF块的表示的QALF中产生相同的问题。[0347]图27图解说明利用QALF技术编码的图5的切片I的区域的例子。这里，QALF块511是在四叉树结构中形成的ALF块，粗线521指示的区域代表切片I的区域。在图27中，存在许多包括切片的边界(用粗线521表示)的QALF块511。
[0348]因此，如果像现有技术中那样进行滤波处理，那么编码效率会恶化，滤波处理会变得复杂，延迟时间会增大，或者滤波处理的效率会恶化。
[0349]另外，按照和本发明的第一实施例中描述的BALF相同的方式，图27中用斜线表示的QALF块不包括切片I的区域，从而变成不必要的ALF块。
[0350]如果像现有技术中那样，甚至向不必要的ALF块提供滤波块标记，那么会不必要地增大图像压缩信息，从而恶化编码效率。
[0351]即使就QALD来说，借助和本发明的第一到第四实施例中的BALF的方法相同的方法，图像编码设备100移动QALF块511，以获得更好的滤波结果。例如，图像编码设备100根据如图28中所示的语法，把控制信息插入切片头部中。因此，按照和BALF相同的方式，控制信息甚至被传送给图像解码设备200。
[0352]S卩，在编码或解码操作期间，图像编码设备100和图像解码设备200能够更恰当地实现滤波处理的局部控制。
[0353]另外，图像编码设备100借助和本发明的第一到第四实施例中的BALF的方法相同的方法，抑制不必要的滤波块标记的生成，从而，在切片头部中不会包括不必要的滤波块标记。
[0354]S卩，图像编码设备100和图像解码设备200能够认识到图27中用斜线指示的块不包括对应的切片(图27中的切片I)。因此，图像编码设备100只对包括对应切片的四叉树结构的ALF块生成滤波块标记，并把滤波块标记连同图像压缩信息一起提供给图像解码设备200，以致不必要的滤波块标记的生成受到抑制，编码效率的降低受到抑制。
[0355]〈6.第六实施例>
[0356][个人计算机]
[0357]上面说明的一系列处理可由硬件或软件执行。这种情况下，例如，可以构成如图29中图解说明的个人计算机。
[0358]在图29中，个人计算机600的CPU601按照保存在R0M(只读存储器)602中的程序或从存储单元613载入RAM(随机存取存储器)603的程序执行各种处理。在RAM603中，恰当地保存CPU601执行各种处理所必需的数据。
[0359]CPU601、R0M602和RAM603通过总线604连接在一起。另外，输入/输出接口 610
与总线604连接。
[0360]输入/输出接口 610与由键盘、鼠标等构成的输入单元611，由具有CRT (阴极射线管)或LCD(液晶显示器)的显示器，扬声器等构成的输出单元612，由硬盘等构成的存储单元613和由调制解调器等构成的通信单元614连接。通信单元614通过包括因特网的网络进行通信处理。
[0361]如果需要的话，输入/输出接口 610还与驱动器615连接。诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质621适当地安装在驱动器615上，如果需要的话，从可拆卸介质读取的计算机程序被安装在存储单元613中。
[0362]就借助软件执行上面说明的一系列处理来说，从网络或记录介质安装构成所述软件的程序。
[0363]例如，如图29中所示独立于设备主体的记录介质不仅可由可拆卸介质621构成，而且可由预先插入设备主体中以便传递给用户的记录有程序的R0M602，包括在存储单元613中的硬盘等构成，所述可拆卸介质由记录有分发的程序，以便把程序传送给用户的磁盘(包括软盘)，光盘(包括⑶-ROM (光盘-只读存储器)和DVD (数字通用光盘))，磁光盘(包括MD (小型光盘)，半导体存储器等组成。
[0364]这种情况下，计算机执行的程序可以是按照如上在说明书中说明的顺序，以时序方式进行处理的程序，或者可以是并行地进行处理或者当在需要这种处理的必要时刻进行处理的程序。
[0365]另外，在说明书中，描述记录在记录介质上的程序的步骤包括按照如上所述的顺序，以时序方式进行的处理，和并行或单独进行的处理，即使不必按时序方式进行所述处理。
[0366]另外，在本说明书中，系统表示由多个设备(装置)构成的整个设备。
[0367]另外，如上所述，说明成一个设备(或处理单元)的结构可被分成多个设备(或处理单元)。相反，如上所述，多个设备(或处理单元)可被集合和构成为一个设备(或处理单元)。另外，也可增加除了上述设备(或处理单元)外的结构。此外，如果结构或操作实质上与整个系统相同，那么某一设备(或处理单元)的结构的一部分可被包括在另一个设备(或另一个处理单元)的结构中。本发明并不局限于上述实施例，在不脱离本发明的范围的情况下可以做出不同的修改。
[0368]例如，上面说明的图像编码设备100和图像解码设备200可应用于任意电子设备。下面，说明其一个例子。
[0369]<7.第七实施例>
[0370][电视接收机]
[0371]图30是图解说明使用应用本发明的图像解码设备200的电视接收机的主要结构例子的方框图。
[0372]如图30中图解说明的电视接收机1000包括地波调谐器1013，视频解码器1015，图像处理电路1018，图形生成电路1019，面板驱动电路1020和显示面板1021。
[0373]地波调谐器1013通过天线接收地面模拟广播的广播波信号，通过解调接收的广播波信号获得图像信号，并把获得的图像信号提供给视频解码器1015。视频解码器1015对从地波调谐器1013供给的图像信号解码，并把获得的数字分量信号提供给图像信号处理电路1018。
[0374]图像信号处理电路1018对从视频解码器1015供给的图像数据进行诸如噪声消除之类的预定处理，并把获得的图像数据提供给图形生成电路1019。
[0375]图形生成电路1019生成显示在显示面板1021上的节目的图像数据，或者通过基于经网络提供的应用程序的处理而获得的图像数据，并把图像数据或画面数据提供给面板驱动电路1020。另外，图形生成电路1019生成图像数据(图形)，用于显示供用户选择项目之用的画面，并把通过把节目的图像数据重叠在生成的图像数据上而获得的图像数据提供给面板驱动电路1020。
[0376]面板驱动电路1020通过根据从图形生成电路1019供给的数据，驱动显示面板1021，在显示面板1021上显示节目的图像或者上述各种画面。
[0377]显示面板1021可由IXD (液晶显示器)等构成，按照面板驱动电路1020的控制，显不节目的图像等等。
[0378]另外，电视接收机1000包括音频A/D (模/数)转换电路1014，音频信号处理电路1022，回声消除/音频合成电路1023，音频放大电路1024和扬声器1025。
[0379]地波调谐器1013通过解调接收的广播波信号，不仅获得图像信号，而且获得音频信号。地波调谐器1013把获得的音频信号提供给音频A/D转换电路1014。
[0380]音频A/D转换电路1014对从地波调谐器1013供给的音频信号进行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路1022。
[0381]音频信号处理电路1022对从音频A/D转换电路1014供给的音频数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给回声消除/音频合成电路1023。
[0382]回声消除/音频合成电路1023把从音频信号处理电路1022供给的音频数据提供给音频放大电路1024。
[0383]音频放大电路1024对从回声消除/音频合成电路1023供给的音频数据进行D/A转换处理和放大处理，调整音频信号的音量，并通过扬声器1025输出音频信号。
[0384]此外，电视接收机1000包括数字调谐器1016和MPEG解码器1017。
[0385]数字调谐器1016通过天线接收数字广播(地面数字广播，BS (广播卫星)/CS (通信卫星)数字广播等)的广播波信号，解调接收的数字广播波信号，获得MPEG-TS(运动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器1017。
[0386]MPEG解码器1017消除携带在从数字调谐器1016供给的MPEG-TS上的扰频，提取包括待再现(待观看)的节目数据的流。MPEG解码器1017对构成所提取流的音频分组解码，把获得的音频数据提供给音频信号处理电路1022。另外，MPEG解码器1017对构成所述流的图像分组解码，并把获得的图像数据提供给图像信号处理电路1018。另外，MPEG解码器1017通过路径(未示出)把从MPEG-TS中提取的EPG(电子节目指南)数据提供给CPU1032。
[0387]电视接收机1000使用上述图像解码设备200作为解码图像分组的MPEG解码器1017。这种情况下，从广播电台等传送的MPEG-TS被图像编码设备100编码。
[0388]按照和图像解码设备200相同的方式，MPEG解码器1017根据偏移值移动ALF块的位置，以把ALF块的边界置于切片的端部。因此，MPEG解码器1017能够减少包括切片的边界的ALF块的数目。结果，MPEG解码器1017能够更恰当地实现滤波处理的局部控制。
[0389]按照和从视频解码器1015供给的图像数据相同的方式，从MPEG解码器1017供给的图像数据通过图像信号处理电路1018被处理，通过图形生成电路1019恰当地重叠生成的图像数据等，并通过面板驱动电路1020被提供给显示面板1021，以显示图像。
[0390]按照和从音频A/D转换电路1014供给的音频数据相同的方式，从MPEG解码器1017供给的音频数据通过音频信号处理电路1022被处理，并通过回声消除/音频合成电路1023被提供给音频放大电路1024，以便被D/A转换或放大。结果，通过扬声器1025输出音量调整的音频。
[0391]另外，电视接收机1000包括麦克风1026和A/D转换电路1027。
[0392]A/D转换电路1027接收通过安装在电视接收机1000上的麦克风1026接收的用户音频信号，对接收的音频信号进行A/d转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路1023。
[0393]在从A/D转换电路1027供给的电视接收机1000的用户(用户A)的音频数据的情况下，回声消除/音频合成电路1023对用户A的音频数据进行回声消除，并经音频放大电路1024把通过合成音频数据与另一个音频数据等而获得的音频数据输出给扬声器1025。
[0394]此外，电视接收机1000包括音频编解码器1028，内部总线1029，SDRAM(同步动态随机存取存储器)1030，闪速存储器1031，CPU1032，USB (通用串行总线)接口 1033，和网络接口 1034。
[0395]A/D转换电路1027接收通过安装在电视接收机1000上的用于语音会话的麦克风1026接收的用户音频信号，对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给音频编解码器1028。
[0396]音频编解码器1028把从A/D转换电路1027供给的音频数据转换成预定格式的数据，以便通过网络传输，并把转换后的数据通过内部总线1029提供给网络接口 1034。
[0397]网络接口 1034通过安装在网络端子1035上的电缆与网络连接。例如，网络接口1034把从音频编解码器1028供给的音频数据传送给与网络连接的其它设备。另外，例如，网络接口 1034通过网络端子1035接收从通过网络连接的其它设备传来的音频数据，并通过内部总线1029把接收的音频数据提供给音频编解码器1028。
[0398]音频编解码器1028把从网络接口 1034供给的音频数据转换成预定格式的数据，并把转换后的数据提供给回声消除/音频合成电路1023。
[0399]回声消除/音频合成电路1023对从音频编解码器1028供给的音频数据进行回声消除，通过音频放大电路1024把通过合成该音频数据和另一音频数据等而获得的音频数据输出给扬声器1025。
[0400]SDRAM1030保持为CPU1032进行处理所必需的各种数据。
[0401]闪速存储器1031保存由CPU1032执行的程序。保存在闪速存储器1031中的程序由CPU1032在预定时刻，比如在启动电视接收机1000时读取。闪速存储器1031还保存通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等等。
[0402]例如，闪速存储器1031保存MPEG-TS，MPEG-TS包括在CPU1032的控制下，通过网络从预定服务器获得的内容数据。在CPU1032的控制下，闪速存储器1031通过内部总线1029把MPEG-TS提供给MPEG解码器1017。
[0403]MPEG解码器1017按照和从数字调谐器1016供给的MPEG-TS相同的方式处理MPEG-TS0如上所述，电视接收机1000通过网络接收由图像或音频构成的内容数据，利用MPEG解码器1017解码内容数据，并显示图像或输出音频。
[0404]另外，电视接收机1000包括接收从遥控器1051传来的红外信号的感光单元1037。
[0405]感光单元1037从遥控器1051接收红外线，把指示通过解调获得的用户操作的内容的控制码输出给CPU1032。
[0406]CPU1032执行保存在闪速存储器1031中的程序，按照从感光单元1037供给的控制码等，控制电视接收机1000的整个操作。CPU1032通过路径(未示出)与电视接收机1000的相应单元连接。
[0407]USB接口 1033实现电视接收机1000和通过安装在USB端子1036上的USB电缆连接的外部设备之间的数据传输/接收。网络接口 1034通过安装在网络端子1035上的电缆与网络连接，并实现除音频数据外的和与网络连接的各种设备的数据传输/接收。
[0408]通过使用图像解码设备200作为MPEG解码器1017，电视接收机1000能够对通过天线接收的广播波信号或者通过网络获得的内容数据更恰当地实现滤波处理的局部控制。
[0409]<8.第八实施例>
[0410][便携式电话机]
[0411]图31是图解说明使用应用本发明的图像编码设备和图像解码设备的便携式电话机的主要结构例子的方框图。
[0412]如图31所示的便携式电话机1100包括一般控制各个单元的主控制单元1150，电源电路单元1151，操作输入控制单元1152，图像编码器1153，照相机接口单元1154，IXD控制单元1155，图像解码器1156，多重分离单元1157，记录/再现单元1162，调制/解调电路单元1158，和音频编解码器1159。各个单元通过总线1160连接在一起。
[0413]另外，便携式电话机1100包括操作按键1119，CXD (电荷耦合器件)照相机1116，液晶显示器1118，存储单元1123，传输/接收电路单元1163，天线1114，麦克风1121和扬声器1117。
[0414]如果通过用户的操作，呼叫结束和电源按键处于on状态，那么电源电路单元1151把电池组的电力提供给各个单元，便携式电话机1100处于可操作状态。
[0415]根据由CPU、ROM、RAM等构成的主控制单元1150的控制，便携式电话机1100按照各种模式，比如话音呼叫模式和数据通信模式进行各种操作，比如音频信号传输/接收，电子邮件或图像数据传输/接收，图像捕捉和数据记录。
[0416]例如，在便携式电话机1100的话音呼叫模式下，音频编解码器1159把麦克风1121收集的音频信号转换成数字音频数据，调制/解调电路单元1158对数字音频数据进行频谱扩散处理，传输/接收电路单元1163对处理的数字音频数据进行数/模转换处理和频率转换处理。便携式电话机1100通过天线1114把经转换处理而获得的传输信号传送给基站(未示出)。传送给基站的传输信号(音频信号)经公共交换电话网被提供给对方的便携式电话机。
[0417]另外，例如，在便携式电话机1100的话音呼叫模式下，传输/接收电路单元1163放大通过天线1114接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。调制/解调电路单元1158对模/数转换后的信号进行频谱反扩散处理，音频编解码器1159把调制/解调电路单元的输出转换成模拟音频信号。便携式电话机1100经扬声器1117输出通过转换获得的模拟音频信号。
[0418]此外，例如，当按照便携式电话机1100的数据通信模式传送电子邮件时，操作输入控制单元1152接收通过操作按键1119的操作而输入的电子邮件的文本数据，主控制单元1150处理文本数据，IXD控制单元1155以图像的形式把文本数据显示在液晶显示器1118 上。
[0419]另外，在便携式电话机1100中，主控制单元1150根据经操作输入控制单元1152接收的文本数据，或者用户指令，生成电子邮件数据。在便携式电话机1100中，调制/解调电路单元1158对电子邮件数据进行频谱扩散处理，传输/接收电路单元1163对调制/解调电路单元的输出进行数/模转换处理和频率转换处理。便携式电话机1100把通过转换处理获得的传输信号经天线1114传送给基站(未示出)。传送给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定目的地。
[0420]另外，例如，当按照便携式电话机1100的数据通信模式接收电子邮件时，传输/接收电路单元1163通过天线1114接收从基站传来的信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。在便携式电话机1100中，调制/解调电路单元1158对接收的信号进行频率反扩散处理，以恢复初始的电子邮件数据。在便携式电话机1100中，IXD控制单元1155把恢复的电子邮件数据显示在液晶显示器1118上。
[0421]此时，在便携式电话机1100中，记录/再现单元1162也可将接收的电子邮件数据记录(保存)在存储单元1123中。
[0422]存储单元1123是任意的可重写存储介质。存储单元123可以是诸如RAM或内置闪速存储器之类的半导体存储器，硬盘，磁盘，磁光盘，光盘，USB存储器，或者诸如存储卡之类的可拆卸介质。当然，存储单元1123可以是除上述介质外的任何其它介质。
[0423]此外，例如，当按照便携式电话机1100的数据通信模式传送图像数据时，CXD照相机1116通过拍摄生成图像数据。具有诸如透镜和光圈之类光学装置，和作为光电变换元件的CCD的CCD照相机1116拍摄被摄物体的图像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。在CXD照相机1116中，图像编码器1153编码通过照相机接口单元1154的图像数据，以输出编码的图像数据。
[0424]在便携式电话机1100中，图像编码设备100被用作进行上述处理的图像编码器1153。因此，按照和图像编码设备100相同的方式，图像编码器1153能够更恰当地实现滤波处理的局部控制。
[0425]同时，在便携式电话机1100中，音频编解码器1159把在CXD照相机1116工作期间，由麦克风1121收集的音频转换成数字音频数据，并对数字音频数据编码。
[0426]在便携式电话机1100中，多重分离单元1157按照预定方法多路复用从图像编码器1153供给的编码图像数据，和从音频编解码器1159供给的数字音频数据。在便携式电话机1100中，调制/解调电路单元1158对获得的多路复用数据进行频谱扩散处理，传输/接收电路单元1163对调制/解调电路单元1158的输出进行数/模转换处理和频率转换处理。便携式电话机1100把通过转换处理获得的传输信号经天线1114传送给基站(未示出)。传送给基站的传输信号(图像数据)经网络等被提供给通信对方。
[0427]在未传送图像数据的情况下，由便携式电话机1100的CXD照相机1116生成的图像数据可通过IXD控制单元1155显示在液晶显示器1118上，而不经过图像编码器1153。
[0428]另外，例如，当按照便携式电话机1100的数据通信模式接收与简单主页等链接的运动图像文件的数据时，传输/接收电路单元1163通过天线1114接收从基站传送的信号，放大接收的信号，并对放大信号进行频率转换处理和模/数转换处理。在便携式电话机1100中，调制/解调电路单元1158对接收的信号进行频率反扩散处理，以恢复初始的多路复用数据。在便携式电话机1100中，多重分离单元1157把多路复用数据分离成编码图像数据和音频数据。
[0429]在便携式电话机1100中，图像解码器1156对编码图像数据解码，以生成再现的运动图像数据，IXD控制单元1155把再现的运动图像数据显示在液晶显示器1118上。因此，例如，包括在与简单主页链接的运动图像文件中的运动图像数据被显示在液晶显示器1118上。
[0430]在便携式电话机1100上，图像解码设备200被用作实现上述处理的图像解码器1156。因此，按照和图像解码设备200相同的方式，图解解码器1056根据从图像编码设备100供给的偏移值移动ALF块的位置，以致ALF块的边界与切片的端部一致，并进行自适应滤波控制处理(和滤波处理)。因此，图像解码器1156能够更恰当地实现滤波处理的局部控制。
[0431]同时，在便携式电话机1100中，音频编解码器1159把数字音频数据转换成模拟音频信号，并通过扬声器1117输出模拟音频信号。因此，例如，包括在与简单主页链接的运动图像文件中的音频数据被再现。
[0432]按照和电子邮件相同的方式，在便携式电话机1100中，记录/再现单元1162也可把与简单主页链接的数据记录(保存)在存储单元1123中。
[0433]另外，在便携式电话机1100中，主控制单元1150分析由CXD照相机1116通过拍
摄获得的二维代码，并获得记录成二维代码的信息。
[0434]此外，在便携式电话机1100中，红外通信单元1181利用红外线与外部设备通信。
[0435]通过利用图像编码设备100作为图像编码器1153，便携式电话机1100能够对通过对CCD照相机1116生成的图像数据编码而生成的编码数据更恰当地实现滤波处理的局部控制。
[0436]另外，通过利用图像解码设备200作为图像解码器1156，便携式电话机100能够对与简单主页等链接的运动图像文件的数据更恰当地实现滤波处理的局部控制。
[0437]如上所述，举例说明便携式电话机1100使用CXD照相机1116。不过，代替C⑶照相机1116，可以使用利用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。即使在这种情况下，按照和使用CXD照相机1116的情况相同的方式，通过拍摄被摄物体的图像，便携式电话机100也能够生成被摄物体的图像的图像数据。
[0438]另外，尽管说明了便携式电话机1100，不过按照和便携式电话机1100相同的方式，图像编码设备100或图像解码设备200能够被应用于具有和便携式电话机1100相同的拍摄功能或通信功能的任何设备，比如PDA (个人数字助手)，智能电话机，UMPC (超移动个人计算机)，上网本，和笔记本型个人计算机。
[0439]<9.第九实施例>
[0440][硬盘记录器]
[0441]图32是图解说明使用应用本发明的图像编码设备和图像解码设备的硬盘记录器的主要结构例子的方框图。
[0442]如图32中图解说明的硬盘记录器(HDD记录器)1200是把包括在从地面天线等传送，并通过调谐器接收的广播波信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令相应的时刻把保存的数据提供给用户的设备。
[0443]例如，硬盘记录器1200可从广播波信号中提取音频数据和视频数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。另外，例如，硬盘记录器1200可通过网络从其它设备获得音频数据和视频数据，恰当地解码获得的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。
[0444]此外，例如，硬盘记录器1200可解码记录在内置硬盘中的音频数据和视频数据，以把解码的音频数据和视频数据提供给监视器1260，在监视器1260的屏幕上显示图像，并通过设置在监视器1260中的扬声器输出音频。另外，例如，硬盘记录器1200可解码从通过调谐器获得的广播波信号中提取的音频数据和视频数据，或者通过网络从另一设备获得的音频数据和视频数据，以把解码的音频数据和视频数据提供给监视器1260，把图像显示在监视器1260的屏幕上，并通过设置在监视器1260中的扬声器输出音频。
[0445]当然，也可进行其它操作。
[0446]如图32中所示，硬盘记录器1200包括接收单元1221，解调单元1222，多路分解器1223，音频解码器1224，视频解码器1225，和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227，程序存储器1228，工作存储器1229，显示转换器1230，OSD (屏幕显示)控制单元1231，显示控制单元1232，记录/再现单元1233，D/A转换器1234，和通信单元1235。
[0447]另外，显示转换器1230具有视频编码器1241，记录/再现单元1233具有编码器1251和解码器1252。
[0448]接收单元1221从遥控器(未示出)接收红外信号，把接收的红外信号转换成电信号，把电信号输出给记录器控制单元1226。例如，记录器控制单元1226由微处理器等构成，并按照保存在程序存储器1228中的程序执行各种处理。如果需要的话，记录器控制单元1226使用工作存储器1229。
[0449]通信单元1235与网络连接，并通过网络与另一设备进行通信处理。例如，通信单元1235由记录器控制单元1226控制，与调谐器(未示出)通信，并且主要向调谐器输出选择控制信号。
[0450]解调单元1222解调从调谐器供给的信号，并把解调信号输出给多路分解器1223。多路分解器1223把从解调单元1222供给的数据分离成音频数据，视频数据和EPG数据，并把数据分别输出给音频解码器1224，视频解码器1225，和记录器控制单元1226。
[0451]音频解码器1224解码输入的音频数据，并把解码的音频数据输出给记录/再现单元1233。视频解码器1225解码输入的视频数据，并把解码的视频数据输出给显示转换器1230。记录器控制单元1226把输入的EPG数据提供给EPG数据存储器1227，以把EPG数据保存在EPG数据存储器1227。
[0452]显示转换器1230通过视频编码器1241，把从视频解码器1225或记录器控制单元1226供给的视频数据编码成例如NTSC(国家电视标准委员会)式视频数据，并把编码视频数据输出给记录/再现单元1233。另外，显示转换器1230把从视频解码器1225或记录器控制单元1226供给的视频数据的画面尺寸转换成与监视器1260的尺寸对应的尺寸，通过视频编码器1241把视频数据转换成NTSC式视频数据，把视频数据转换成模拟信号，并把模拟视频信号输出给显示控制单元1232。
[0453]在记录器控制单元1226的控制下，显示控制单元1232把从OSD (屏幕显示)控制单元1231输出的OSD信号重叠在从显示转换器1230输入的视频信号上，并把重叠的视频信号输出给监视器1260的显示器，以显示重叠的视频信号。
[0454]D/A转换器1234把从音频解码器1224输出的音频数据转换成模拟音频信号，并把转换的模拟音频信号提供给监视器1260。监视器1260通过内置扬声器输出音频信号。
[0455]记录/再现单元1233具有作为记录视频数据或音频数据的存储介质的硬盘。[0456]例如，记录/再现单元1233通过编码器1251对从音频解码器1224供给的音频数据编码。另外，记录/再现单元1233通过编码器1251对从显示转换器1230的视频编码器1241供给的视频数据编码。记录/再现单元1233通过多路复用器合成音频数据的编码数据和视频数据的编码数据。记录/再现单元1233进行合成数据的通道编码，放大通道编码的数据，并通过记录头把数据记录在硬盘中。
[0457]记录/再现单元1233通过再现头，再现记录在硬盘中的数据，放大再现的数据，并通过多路分解器把数据分离成音频数据和视频数据。记录/再现单元1233通过解码器1252解码音频数据和视频数据。记录/再现单元1233对解码的音频数据进行D/A转换，并把转换后的模拟音频信号输出给监视器1260的扬声器。另外，记录/再现单元1233对解码的视频数据进行D/A转换，并把转换后的模拟视频信号输出给监视器1260的显示器。
[0458]记录器控制单元1226根据由通过接收单元1221从遥控器接收的红外信号指示的用户指令，从EPG数据存储器1227读出最新的EPG数据，并把EPG数据提供给OSD控制单元1231。OSD控制单元1231生成与输入的EPG数据对应的图像数据，并把生成的图像数据输出给显示控制单元1232。显示控制单元1232在监视器1260的显示器上输出从OSD控制单元1231输入的视频数据，以显示该视频数据。因此，EPG(电子节目指南)被显示在监视器1260的显不器上。
[0459]另外，硬盘记录器1200通过诸如因特网之类的网络，获得从另一设备供给的各种数据，比如视频数据、音频数据或EPG数据。
[0460]在记录器控制单元1226的控制下，通信单元1235通过网络获得从另一设备传送的编码数据，比如视频数据、音频数据和EPG数据，并把获得的数据提供给记录器控制单元1226。例如，记录器控制单元1226把获得的视频数据或音频数据的编码数据提供给记录/再现单元1233，以把编码数据保存在硬盘中。此时，如果需要的话，记录器控制单元1226和记录/再现单元1233可进行重新编码等。
[0461]另外，记录器控制单元1226对获得的视频数据和音频数据的编码数据解码，并把获得的视频数据提供给显示转换器1230。按照和从视频解码器1225供给的视频数据相同的方式，显示转换器1230处理从记录器控制单元1226供给的视频数据，并通过显示控制单元1232把处理后的视频数据提供给监视器1260，以显示该图像。
[0462]另外，为了匹配图像显示，记录器控制单元1226通过D/A转换器1234把解码的音频数据提供给监视器1260，并通过扬声器输出音频。
[0463]此外，记录器控制单元1226对获得的EPG数据的编码数据解码，并把解码的EPG数据提供给EPG数据存储器1227。
[0464]如上所述，硬盘记录器1200是内置于视频解码器1225，解码器1252和记录器控制单元1226中，并使用图像解码设备200的解码器。因此，按照和图像解码设备200相同的方式，内置于视频解码器1225，解码器1252和记录器控制单元1226中的解码器根据偏移值移动ALF块的位置，以致ALF块的边界与切片的端部一致。因此，内置于视频解码器1225，解码器1252和记录器控制单元1226中的解码器能够更恰当地实现滤波处理的局部控制。
[0465]因此，例如，硬盘记录器1200能够对通过调谐器或者通信单元1235接收的视频数据，或者记录在记录/再现单元1233的硬盘中的视频数据，更恰当地实现滤波处理的局部控制。[0466]另外，硬盘记录器1200使用图像编码设备作为编码器1251。因此，按照和图像编码设备100相同的方式，编码器1251能够抑制归因于滤波处理的局部控制的效果的降低。
[0467]因此，例如，硬盘记录器1200能够对记录在硬盘中的编码数据更恰当地进行滤波处理的局部控制。
[0468]如上所述，举例说明视频数据和音频数据被硬盘记录器1200记录在硬盘中。不过，可以使用任何记录介质。例如，甚至采用除硬盘外的记录介质，比如闪速存储器、光盘和录像带的记录器都能够按照和上述硬盘记录器1200相同的方式，采用图像编码设备100和图像解码设备200。
[0469]<10.第十实施例>
[0470][照相机]
[0471]图33是图解说明使用应用本发明的图像编码设备和图像解码设备的照相机的主要结构例子的方框图。
[0472]如图33中图解说明的照相机1300拍摄被摄物体的图像，把被摄物体的图像显示在IXD1316上，或者把图像作为图像数据记录在记录介质1333中。
[0473]透镜块1311使光(被摄物体的图像)入射到(XD/CM0S1312。作为使用CXD或CMOS的图像传感器的CCD/CM0S1312把感光的强度转换成电信号，并把电信号提供给照相机信号处理单元1313。
[0474]照相机信号处理单元1313把从(XD/CM0S1312提供的电信号转换成色差信号Y、Cr和Cb，并把色差信号提供给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对从照相机信号处理单元1313供给的图像信号进行预定的图像处理，或者通过编码器1341对图像信号编码。图像信号处理单元1314把通过编码图像信号生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获得从屏幕显示(OSD) 1320生成的显示数据，并把获得的数据提供给解码器1315。
[0475]在上述处理中，如果需要的话，照相机信号处理单元1313通过适当地使用经总线1317连接的DRAM1318，把图像数据或通过编码图像数据而获得的编码数据保存在DRAM(动态随机存取存储器)1318中。
[0476]解码器1315把通过对从图像信号处理单元1314供给的编码数据解码而获得的图像数据(解码的图像数据)提供给LCD1316。另外，解码器1315把从图像信号处理单元1314供给的显示数据提供给IXD1316。IXD1316恰当地合成从解码器1315供给的解码图像数据的图像和显示数据的图像，并显示合成的图像。
[0477]在控制器1321的控制下，屏幕显示1320通过总线1317把显示数据，比如由符号、字符或图形构成的菜单屏面，以及图标输出给图像信号处理单元1314。
[0478]控制器1321根据指示用户利用操作单元1322指令的内容的信号，进行各种处理，并通过总线1317控制图像信号处理单元1314，DRAM1318，外部接口 1319，屏幕显示1320和介质驱动器1323。在闪速R0M1324中，保存为控制器1321进行各种处理所必需的程序或数据。
[0479]例如，代替图像信号处理单元1314或解码器1315，控制器1321可对保存在DRAM1318中的图像数据编码，或者对保存在DRAM1318中的编码数据解码。这种情况下，控制器1321可按照和图像信号处理单元1314或解码器1315的编码/解码方法相同的方法进行编码/解码处理，或者可按照不对应于图像信号处理单元1314或解码器1315的方法进行编码/解码处理。
[0480]另外，例如，如果通过操作单元1322指令开始图像打印，那么控制器1321从DRAM1318读取图像数据，并通过总线1317把读取的图像数据提供给与外部接口 1319连接的打印机1334，以打印图像。
[0481]此外，例如，如果通过操作单元1322指令图像记录，那么控制器1321从DRAM1318读取编码数据，并通过总线1317把读取的编码数据提供给安装在介质驱动器1323上的记录介质1333，以把编码数据保存在其中。
[0482]例如，记录介质1333是通过其可进行数据读取/写入的可拆卸介质，比如磁盘、磁光盘、光盘或半导体存储器。作为可拆卸介质的记录介质1333的种类是任意的，记录介质可以是磁带设备、盘、或存储卡。当然，记录介质可以是非接触IC卡。
[0483]另外，通过统一介质驱动器1323和记录介质1333，可以构成非便携式存储介质，例如内置硬盘驱动器或者SSD(固态驱动器)。
[0484]外部接口 1319由USB输入/输出端子等构成，当打印图像时与打印机1334连接。另外，如果需要的话，外部接口 1319与恰当地安装可拆卸介质1332，比如磁盘、光盘或磁光盘的驱动器1331连接，如果需要的话，从可拆卸介质读取的计算机程序被安装在闪速ROMl324 中。
[0485]此外，外部接口 1319具有与诸如LAN或因特网之类的预定网络连接的网络接口。例如，控制器1321按照来自操作单元1322的指令从DRAM1318读取编码数据，并把读取的编码数据从外部接口 1319提供给通过网络连接的另一设备。另外，控制器1321通过外部接口 1319获得通过网络从另一设备供给的编码数据或图像数据，并把获得的数据保存在DRAM1318中，或者把获得的数据提供给图像信号处理单元1314。
[0486]如上所述，照相机1300使用图像解码设备200作为解码器1315。因此，按照和图像解码设备200相同的方式，解码器1315根据偏移值移动ALF块的位置，以致ALF块的边界与切片的端部重合。因此，解码器1315能够更恰当地实现滤波处理的局部控制。
[0487]因此，照相机1300能够对从(XD/CM0S1312生成的图像数据，从DRAM1318或记录介质1333读取的视频数据的编码数据，或者通过网络获得的视频数据的编码数据更恰当地实现滤波处理的局部控制。
[0488]另外，照相机1300使用图像编码设备100作为编码器1341。因此，按照和图像编码设备100相同的方式，编码器1341能够更恰当地实现滤波处理的局部控制。
[0489]因此，照相机1300能够对记录在DRAM1318或记录介质1333中的编码数据，或者提供给另一设备的编码数据更恰当地实现滤波处理的局部控制。
[0490]这种情况下，图像解码设备200或图像解码设备400的解码方法可应用于控制器1321进行的解码处理。按照相同的方式，图像编码设备100的编码方法可应用于由控制器1321进行的编码处理。
[0491]另外，照相机1300拍摄的图像数据可以是运动图像或静止图像。
[0492]当然，图像编码设备100和图像解码设备200可应用于除上述设备之外的设备或系统。
[0493]另外，宏块的大小并不局限于16X16像素。例如，可以采用任意大小的宏块，比如如图34中图解说明的32 X 32像素。
[0494]如上所述，举例说明了标记信息等被多路复用(描述)到比特流中。不过，除了这样的多路复用之外，可以传送(记录)标记和图像数据(或比特流)。可能存在其中标记和图像数据(或者比特流)被连接(相加)在一起的形态。
[0495]连接(相加)指示其中图像数据(或比特流)和标记被链接在一起的状态(其中图像数据和标记相互对应的状态)，它们的物理位置关系是任意的。例如，图像数据(或比特流)和标记可通过独立的传输路径传送。另外，图像数据(或比特流)和标记可被记录在独立的记录介质中(或者记录在相同记录介质的独立记录区中)。这种情况下，链接图像数据(或比特流)和标记的单元是任意的，例如，它可被设定成编码处理单元(一帧，多帧
坐坐')
寸寸/ ο
[0496]本申请包含与在2009年7月31日，向日本专利局提交的日本优先权专利申请JP2009-179396中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
[0497]本领域的技术人员应明白，根据设计要求和其它因素，可产生各种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物的范围之内。
【权利要求】
1.一种图像编码装置，其特征在于，具备: 生成部，生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 自适应滤波器，根据由所述生成部生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 编码部，利用所述自适应滤波器根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 传送部，传送由所述编码部生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
2.一种图像编码方法，其特征在于，具有如下步骤: 生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 根据所生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 利用根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 传送所生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
3.一种计算机可读取的记录介质，存储使得计算机作为如下部件发挥功能的计算机程序: 生成部，生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 自适应滤波器，根据由所述生成部生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 编码部，利用所述自适应滤波器根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 传送部，传送由所述编码部生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
4.一种照相机，其特征在于，具备: 生成部，生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 自适应滤波器，根据由所述生成部生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 编码部，利用所述自适应滤波器根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 保存部，保存由所述编码部生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
5.一种便携式电话，其特征在于，具备: 生成部，生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 自适应滤波器，根据由所述生成部生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 编码部，利用所述自适应滤波器根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 保存部，保存由所述编码部生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
6.一种照相机，其特征在于，具备: 生成部，生成切片控制数据和块控制数据，所述切片控制数据控制向图像数据的处理对象的切片的自适应滤波处理，所述块控制数据控制是否对所述处理对象的切片中包含的四叉树结构的每个像素块进行所述自适应滤波处理； 自适应滤波器，根据由所述生成部生成的所述切片控制数据和所述块控制数据，对所述图像数据进行所述自适应滤波处理； 编码部，利用所述自适应滤波器根据所述切片控制数据以及所述块控制数据适当地进行了所述自适应滤波处理的所述图像数据，对所述图像数据进行编码；以及 保存部，保存由所述编码部生成的所述图像数据的编码数据、所述切片控制数据和所述块控制数据。
【文档编号】H04N19/19GK103546760SQ201310447241
【公开日】2014年1月29日 申请日期:2010年7月21日 优先权日:2009年7月31日
【发明者】近藤健治 申请人:索尼公司