专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法，尤其使得可以获得具有优异图像质量的解码图像。
背景技术：
近年来，在广播站和普通住户中盛行这样的装置，其处理数字的图像信息并高效率地传输或存储信息，或者例如这样的装置，其符合MPEG等的系统，其中通过诸如离散余弦变换的正交变换和运动补偿进行压缩。
特别是，MPEG2 (IS0/IEC 13818-2)被定义为通用图像编码系统，并且目前广泛用于专业使用和用户使用的大范围应用中。在具有例如720X480像素的标准分辨率的隔行扫描图像的情况中，通过分配4到8Mbps的编码量(比特率)，使用该MPEG2压缩系统可以获得优异的图像质量。在具有1920X1088像素的高分辨率的隔行扫描图像的情况中，通过分配18到22Mbps的编码量(比特率)，也可以获得优异的图像质量。
MPEG2旨在用于高图像质量编码以主要适于广播，并且不提供具有较低编码量(比特率)的编码系统，即，高于MPEGl的压缩率。随着便携式终端的盛行，预期对该编码系统的需求在未来增大。因此，MPEG4编码系统被标准化。1998年12月通过了用于图像编码系统的标准作为IS0/IEC 14496-2的国际标准。
另外，近来，在用于视频会议的图像编码的初始目标下，已经进行对称为H. 26L (ITU-T Q6/16VCEG)的标准的标准化。已知，H. 26L要求更大量的用于编码和解码的操作， 但是相比于诸如MPEG2、MPEG4等的常规编码系统获得更高的编码效率。另外，作为MPEG4 的活动的部分，现在在进行基于该H. 26L的用于获得更高编码效率的标准化作为增强压缩视频编码的联合模型。对于标准化安排，在2003年3月建立了名称为H. 264和MPEG-4第 10部分(高级视频编码，下文写为“H. 264/AVC”)的国际标准。
另外，作为其扩展，在2005年2月完成了对RFExt (保真度范围扩展)的标准化， 其包括商业用途所需的编码工具，诸如RGB、4:2:2和4:4:4以及在MPEG2中定义的8 X 8DCT 和量化矩阵。从而，H. 264/AVC系统用作即使在影片中包括胶卷噪声的情况下也能够优异地显示的编码系统，并且用于诸如蓝光(注册商标)的大范围应用中。
在这样的编码和解码处理中，以块为单位编码图像数据。另外，在对编码数据进行解码过程中，如专利文献I所示，例如，通过基于块边界强度和量化参数进行滤波抑制块失真。
另外，近来存在日益增大的用于以更高的压缩比编码的需求，诸如期望压缩约 4000X2000像素的图像，或者期望在诸如互联网的具有有限传输能力的环境中分发高分辨率图像。从而，在非专利文献I中，提出将宏块的尺寸设置为大于MPEG2或H. 264/AVC的宏块的尺寸，例如32像素X32像素的尺寸。具体是，在非专利文献I中，对于宏块采用分级结构，从而对于16X 16像素块和更小的块保持与H. 264/AVC中的宏块的兼容性，并将更大的块定义为其超集。
现有技术文献
专利文献
专利文献I :日本待审专利申请No. 2007-36463
非专利文献
专利文献I :“Video Coding Using Extended Block” (StudyGroup 16，Contribution 123，ITU, 2009 年 I 月)发明内容
技术问题
顺带地，当通过常规去块滤波器去除块失真时，块失真可以尤其是在低比特率下增加，从而，存在未充分去除块失真、且图像质量下降的风险。
因此，本发明技术的目的在于提供一种图像处理装置和图像处理方法，即使在使用各种块尺寸时或者使用扩展尺寸的块时可以提供具有优异图像质量的图像。
技术方案
根据本发明第一方面，提供了一种图像处理装置，包括解码部分，用于对在每个块中的编码的图像数据进行解码；滤波器，用于对通过所述解码部分解码的解码图像数据施加用于去除块失真的滤波；以及滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
在该技术中，提供滤波器，用于对通过解码在每个块中编码的图像数据获得的解码图像数据施加用于去除块失真的滤波；以及滤波器设置部分，用于设置所述滤波器。当在块边界处相邻的相邻块中的至少一个被扩展为大于预定块尺寸时，例如，滤波器设置部分在块尺寸增大时将用于块边界的滤波的抽头长度设置为更长，或者在块尺寸增大时将作为滤波对象的滤波对象像素范围设置为更宽。另外，根据相邻块的相邻边的块尺寸设置滤波的抽头长度或滤波对象像素范围。另外，根据其中相邻块都具有预定块尺寸或更小的尺寸的情况和其中相邻块中的至少一个被扩展为大于预定块尺寸的情况，进行对应于相邻块的块尺寸的情况分类，并且设置滤波的抽头长度和滤波对象像素范围。进行情况分类，以分类为例如其中相邻块为16X16像素或更小的情况、其中两个块中的至少一个大于16X 16像素且两个块都为32 X 32像素或更小的情况、以及其中两个块中的至少一个大于32 X 32像素的情况。当进行帧内预测或帧间预测时，块尺寸是作为处理单位的预测块尺寸。另外，滤波器设置部分根据解码图像数据是用于生成预测图像的图像数据还是用于图像显示的图像数据设置抽头长度或滤波对象像素范围。
根据本发明第二方面，提供了一种图像处理方法，包括解码步骤，对在每个块中的编码的图像数据进行解码；滤波步骤，对在所述解码步骤中解码的解码图像数据施加用于去除块失真的滤波；以及滤波步骤，根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
根据本发明第三方面，提供了一种图像处理装置，包括滤波器，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像数据施加用于去除块失真的滤波； 滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及编码部分，用于利用从通过滤波器的滤波得到的解码图像数据在每个图像数据块中进行编码。
根据本发明第四方面，提供了一种图像处理方法，包括滤波步骤，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像数据施加用于去除块失真的滤波；滤波设置步骤，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及编码步骤，用于利用从在所述滤波步骤中的滤波得到的解码图像数据在每个图像数据块中进行编码。
有利效果
根据本发明技术，可以获得具有减少的块失真的图像质量优异的图像。
图I示出图像编码装置的配置；
图2示出在去块滤波器的滤波中使用的像素数据；
图3示出量化参数QP与阈值α之间的关系；
图4示出去块滤波器和滤波器设置部分的配置；
图5示出在图像编码处理中使用的预测块尺寸；
图6为图像编码处理操作的流程图7为预测处理的流程图8为帧内预测处理的流程图9为帧间预测处理的流程图10为滤波器设置处理的流程图11示出图像解码装置的配置；
图12为图像解码处理操作的流程图13示出电视装置的示意配置；
图14示出便携式电话的示意配置；
图15示出记录和再现装置的示意配置；以及
图16示出成像装置的示意配置。
具体实施方式
下面将描述本发明的具体实施方式
。根据本发明的图像处理装置可应用于以预测块尺寸编码图像数据的图像编码装置、用于对以预测块尺寸编码的图像数据进行解码的图像解码装置等等。从而，将按照下面的顺序描述把根据本发明的图像处理装置应用于图像编码装置的情况以及把根据本发明的图像处理装置用于图像解码装置的情况。
I.图像编码装置的配置
2.去块滤波器的滤波
3.图像编码装置中的去块滤波器的配置
4.图像编码装置的操作
5.图像解码装置的配置
6.图像解码装置的操作
7.应用实例
〈I.图像编码装置的配置〉
图I示出一种图像解码装置的配置。图像编码装置10包括模拟/数字转换部分 (A/D转换部分)11、画面重排列缓冲器12、减法部分13、正交变换部分14、量化部分15、无损编码部分16、存储缓冲器17、以及速率控制部分18。图像编码装置10还包括去量化部分21、反向正交变换部分22、加法部分23、去块滤波器24、帧存储器25、选择器26、帧内预测部分31、运动预测和补偿部分32、以及预测图像和最优模式选择部分33。
A/D转换部分11将模拟图像信号转换为数字图像数据，并将数字图像数据输出到画面重排列缓冲器12。
画面重排列缓冲器12对从A/D转换部分11输出的图像数据的帧进行重排列。画面重排列缓冲器12根据编码处理中涉及的GOP (画面组)结构重排列各个帧，并将重排列后的图像数据输出到减法部分13、帧内预测部分31以及运动预测和补偿部分32。
对减法部分13提供从画面重排列缓冲器12输出的图像数据和通过下述预测图像和最优模式选择部分33选择的预测图像数据。减法部分13计算指示从画面重排列缓冲器 12输出的图像数据与从预测图像和最优模式选择部分33提供的预测图像数据之差的预测误差数据，并将预测误差数据输出到正交变换部分14。
正交变换部分14对从减法部分13输出的预测误差数据进行正交变换处理，诸如离散余弦变换(DCT)、Karhunen-Loeve变换等等。正交变换部分14将通过进行正交变换处理获得的变换系数数据输出到量化部分15。
对量化部分15提供从正交变换部分14输出的变换系数数据和来自下述的速率控制部分18的速率控制信号。量化部分15量化变换系数数据，并将量化数据输出到无损编码部分16和去量化部分21。另外，量化部分15基于来自速率控制部分18的速率控制信号改变量化参数(量化比例)，以改变量化数据的比特率。
对无损编码部分16提供从量化部分15输出的量化数据和来自下述的帧内预测部分31、运动预测和补偿部分32以及预测图像和最优模式选择部分33的预测模式信息。顺带提及，预测模式信息包括宏块类型，其能够根据帧内预测或帧间预测识别预测块尺寸、预测模式、运动矢量信息、参考画面信息等等。无损编码部分16通过例如可变长度编码或算术编码对量化数据进行无损编码处理，从而生成编码流，并将编码流输出到存储缓冲器17。 另外，无损编码部分16对预测模式信息进行无损编码，并将预测模式信息加到例如编码流的头信息。
存储缓冲器17存储来自无损编码部分16的编码流。另外，存储缓冲器17以对应于传输线的传输速度输出存储的编码流。
速率控制部分18监视存储缓冲器17的空闲空间，根据空闲空间生成速率控制信号，并将速率控制信号输出到量化部分15。速率控制部分18例如从存储缓冲器17获得指示空闲空间的信息。当空闲空间减小时，速率控制部分18通过速率控制信号使得量化数据的比特率下降。当存储缓冲器17具有足够大的空闲空间时，速率控制部分18通过速率控制信号使得量化数据的比特率增高。
去量化部分21对从量化部分15提供的量化数据进行去量化处理。去量化部分21 将通过进行去量化处理获得的变换系数数据输出到反向正交变换部分22。
反向正交变换部分22将通过对从去量化部分21提供的变换系数数据进行反向正交变换处理获得的数据输出到加法部分23。
加法部分23通过将从反向正交变换部分22提供的数据与从预测图像和最优模式选择部分33提供的预测图像数据加到一起生成解码图像数据，并将解码图像数据输出到去块滤波器24和帧存储器25。
去块滤波器24进行滤波以减少在图像编码时产生的块失真。去块滤波器24进行滤波以从自加法部分23提供的解码图像数据中去除块失真，并将滤波后的解码图像数据输出到帧存储器25。另外，去块滤波器24基于从下述滤波器设置部分41提供的参数值设置抽头长度和滤波对象像素范围。
帧存储器25保存从加法部分23提供的解码图像数据和滤波后的解码图像数据， 所述解码图像数据从去块滤波器24提供。
选择器26将滤波前的解码图像数据(所述解码图像数据从帧存储器25读取)提供到帧内预测部分31以进行帧内预测。另外，选择器26将滤波后的解码图像数据(所述解码图像数据从帧存储器25读取)提供到运动预测和补偿部分32以进行帧间预测。
帧内预测部分31利用从画面重排列缓冲器12输出的编码对象图像的图像数据和滤波前的解码图像数据(该解码图像数据从帧存储器25读取)在所有作为候选的帧内预测模式中进行帧内预测处理。另外，帧内预测部分31对于每个帧内预测模式计算成本函数值，并选择其中计算的成本函数值最小的帧内预测模式，即其中获得最高编码效率的帧内预测模式，作为最优帧内预测模式。帧内预测部分31将按照最优帧内预测模式生成的预测图像数据、关于最优帧内预测模式的预测模式信息、以及最优帧内预测模式中的成本函数值输出到预测图像和最优模式选择部分33。另外，为了获得在计算下述的成本函数值中使用的生成编码的量，帧内预测部分31在每个帧内预测模式的帧内预测处理中将关于帧内预测模式的预测模式信息输出到无损编码部分16。
运动预测和补偿部分32在对应于宏块的全部预测块尺寸中进行运动预测和补偿处理。运动预测和补偿部分32利用滤波后的解码图像数据(所述解码图像数据从帧存储器 25读取)在从画面重排列缓冲器12读取的编码对象图像中对于各个预测块尺寸的每个图像检测运动矢量。另外，运动预测和补偿部分32通过基于检测的运动矢量对编码图像施加运动补偿处理生成预测图像。另外，运动预测和补偿部分32对于每个预测块尺寸计算成本函数值，并选择其中计算的成本函数值最小的预测块尺寸，即其中获得最高编码效率的预测块尺寸，作为最优帧间预测模式。运动预测和补偿部分32将在最优帧间预测模式中生成的预测图像数据、关于最优帧间预测模式的预测模式信息、以及最优帧间预测模式中的成本函数值输出到预测图像和最优模式选择部分33。另外，为了获得在计算成本函数值中使用的生成编码的量，运动预测和补偿部分32在每个预测块尺寸的帧间预测处理中将关于帧间预测模式的预测模式信息输出到无损编码部分16。另外，运动预测和补偿部分32按照跳跃宏块和直接模式作为帧间预测模式进行预测。
预测图像和最优模式选择部分33以宏块为单位将从帧内预测部分31提供的成本函数值与从运动预测和补偿部分32提供的成本函数值进行比较，并选择较小的成本函数值作为其中获得最佳编码效率的最优模式。另外，预测图像和最优模式选择部分33将在最优模式中生成的预测图像数据输出到减法部分13和加法部分23。另外，预测图像和最优模式选择部分33将关于最优模式的预测模式信息输出到无损编码部分16和滤波器设置部分41。另外，预测图像和最优模式选择部分33以片段为单位进行帧内预测或帧间预测。
滤波器设置部分41根据由关于最优模式的预测模式信息指示的预测块尺寸生成用于设置滤波器的抽头长度和滤波对象像素范围的参数值，并将该参数值输出到去块滤波器24。
<2.去块滤波器的滤波〉
H264. /AVC的编码系统允许通过在图像压缩信息中包括的画面参数组RBSP的 deblocking_f ilter_control_present_f lag 和在片段头中包括的 di sab I e_deb locking— filter_idc两个参数指定的去块滤波器的下述三种滤波方法。
(a)应用到块边界和太块边界
(b)仅应用到宏块边界
(C)不应用
对于量化参数QP，当将下面的处理应用到亮度数据时使用QPY，且当将下面的处理应用到色差数据时使用QPC。另外，在运动矢量编码、帧内预测和熵编码(CAVLC/CABAC) 中，将属于不同片段的像素值处理为“不可用”。另外，在滤波中，当属于相同的画面时，即使属于不同片段的像素值也被处理为“可用的”。
在下面的描述中，假设如图2 (A)所示，在块边界处的滤波前的彼此相邻的块P和 Q中的像素数据自边界位置起为PO到p4和qO到q4。另外，假设如图2 (B)所示，滤波后的像素数据自边界的位置起为PO’到p4’和qO’到q4’。
在滤波前，如表I所示，对图2中的像素P和像素q定义块边界强度数据Bs (边界强度，Boundary Strength)。
[表I]
权利要求
1.一种图像处理装置，包括 解码部分，用于对在每个块中的编码的图像数据进行解码； 滤波器，用于对通过所述解码部分解码的解码图像数据施加用于去除块失真的滤波；以及 滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
2.根据权利要求I所述的图像处理装置，其中当将相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将所述抽头长度设置为扩展的长度。
3.根据权利要求2所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将滤波器的抽头长度设置得更长。
4.根据权利要求I所述的图像处理装置，其中当相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将所述滤波对象像素范围设置为扩展的宽度。
5.根据权利要求4所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将所述滤波对象像素范围设置得更宽。
6.根据权利要求I所述的图像处理装置，其中当相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将用于滤波的块边界强度数据的值设置为扩展的值。
7.根据权利要求6所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将用于滤波的块边界强度数据的值设置得更大。
8.根据权利要求I所述的图像处理装置，其中所述滤波器设置部分根据相邻块的相邻边上的块尺寸来设置所述滤波的抽头长度或滤波对象像素范围。
9.根据权利要求I所述的图像处理装置，其中所述滤波器设置部分根据与相邻块的块尺寸对应的情况分类来设置所述滤波的抽头长度和滤波对象像素范围。
10.根据权利要求9的图像处理装置，其中所述情况分类为所述相邻块都具有预定块尺寸或更小的块尺寸的情况、以及所述相邻块中的至少一个被扩展为大于预定块尺寸的尺寸的情况。
11.根据权利要求10所述的图像处理装置，其中所述滤波器设置部分进行情况分类，以分类为相邻块为16X16像素或更小的情况、两个块中的至少一个大于16X16像素且两个块都为32X32像素或更小的情况、以及两个块中的至少一个大于32X32像素的情况。
12.根据权利要求I所述的图像处理装置，其中当进行帧内预测或帧间预测时，所述块尺寸是作为处理单位的预测块尺寸。
13.根据权利要求I所述的图像处理装置，其中当进行正交变换时，所述块尺寸是作为处理单位的变换尺寸。
14.根据权利要求2所述的图像处理装置，其中所述预定块尺寸是H.264/AVC标准的宏块尺寸。
15.根据权利要求I所述的图像处理装置，其中所述滤波器设置部分根据解码图像数据是用于生成预测图像的图像数据还是用于图像显示的图像数据来设置抽头长度或滤波对象像素范围。
16.—种图像处理方法,包括解码步骤，对在每个块中的编码的图像数据进行解码； 滤波步骤，对在所述解码步骤中解码的解码图像数据施加用于去除块失真的滤波；以及 滤波步骤，根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
17.一种图像处理装置，包括 滤波器，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像 数据施加用于去除块失真的滤波； 滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及 编码部分，用于利用从通过滤波器的滤波得到的解码图像数据在每个图像数据块中进行编码。
18.—种图像处理方法，包括 滤波步骤，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像数据施加用于去除块失真的滤波； 滤波设置步骤，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及 编码步骤，用于利用从在所述滤波步骤中的滤波得到的解码图像数据在每个图像数据块中进行编码。
全文摘要
去块滤波器(24)对通过解码对每个块编码的图像数据获得的解码图像数据进行滤波，从而去除块失真。如果在两个相邻块的相邻边上的块尺寸的至少一个被扩展为大于预定块尺寸，滤波器设置单元(41)将抽头长度设置为扩展的长度以增加失真去除的强度，或者将滤波对象像素范围设置为扩展的范围。当使用具有扩展尺寸的宏块时，增加平滑话程度，并对包括远离块边界的像素的像素进行滤波。因此，即使当使用各个块尺寸或使用具有扩展尺寸的块时，仍可以获得高图像质量的图像。
文档编号H04N7/26GK102934429SQ20118002320
公开日2013年2月13日 申请日期2011年5月17日 优先权日2010年5月18日
发明者佐藤数史 申请人:索尼公司