专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法，尤其涉及能够提高编码效率的图像处理设备和方法。
背景技术：
近年来，处理作为数字信号的图像信息，遵守诸如MPEG (运动图像专家组)之类格式的设备已广泛用于广播电台等的信息发送和普通家庭的信息接收，在诸如MPEG之类的格式中，当处理图像信息时，以高效的信息传输和存储为目的，利用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿来进行压缩。
特别地，MPEG2 (ISO (国际标准化组织)/IEC (国际电工技术委员会)13818-2)被定义为一种通用图像编码格式，是涵盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2现在已被专业用途和消费用途的各种各样应用所普遍采用。通过采用MPEG2压缩格式，例如在720X480像素标准分辨率的隔行扫描图像的情况下，分配4 8Mbps的代码量(比特率)，在1920 X 1088像素高分辨率的隔行扫描图像的情况下，分配18 22Mbps的代码量(比特率)，从而能够实现高压缩比和良好的图像质量。就MPEG2来说，主要以适合于广播用途的高图像质量编码为目标，不过不处理比MEPGl的代码量低的代码量(比特率)，即，具有较高压缩比的编码格式。随着便携式终端的普及，预期今后对这种编码格式的需要会增长，为了应付这种情况，进行了 MEPG4编码格式的标准化。就图像编码格式来说，其规范在1998年12月被确认为国际标准IS0/IEC14496-2。此外近年来，就最初预定用于视频会议用途的图像编码来说，称为H. 26L (ITU-T (ITU电信标准化部门)Q6/16VCEG (视频编码专家组))的标准的标准化已得到推广。就H. 26L来说，已知与诸如MPEG2或MPEG4之类常规编码格式相比，尽管H. 26L的编码和解码需要更大的计算量，不过能够获得更高的编码效率。另外目前，作为MPEG4活动的一部分，以增强压缩视频编码的联合模型的形式，进行了以a 26L为基础、而且利用H. 26L不支持的功能来实现更高编码效率的标准化。按照标准化的时间表，在2003年5月，H. 264和MPEG-4 Part 10 (AVC (高级视频编码))成为国际标准。此外,作为其扩展,进行了包括诸如RGB,4:2:2或4:4:4之类为商业应用所必需的编码工具，和MPEG-2规定的8x8DCT (离散余弦变换)和量化矩阵的FRExt (保真度范围扩展)的标准化，因而，H. 264/AVC已变成甚至能够适当地表现包含在电影中的胶片噪声的编码格式，已用于诸如蓝光光盘(注册商标)之类的各种各样应用。然而，现今对更高压缩编码的需求已增长，比如需要压缩为高清晰度图像的4倍的具有约4000X2000像素的图像，或者需要在传输容量有限的环境(比如因特网)内分发高清晰度图像。于是，就上面提及的ITU-T之下的VCEG来说，不断进行了与编码效率的提闻有关的研究。
现在，能够给出的与常规MPEG2格式相比，H. 264/AVC格式为什么实现高编码效率的一个要素是采用了帧内预测处理。就H. 264/AVC格式来说，关于亮度信号，确定9种4X4像素和8X8像素块单元，和4种16X 16像素宏块单元的帧内预测模式。另外，关于色差信号，确定4种8X8像素块单元的帧内预测模式。可以与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。就亮度信号的4X4像素和8X8像素帧内预测模式来说，对每个4X4像素和8X8像素亮度信号块设定一种帧内预测模式。就亮度信号的16X16像素帧内预测模式和色差信号的帧内预测模式来说，对于一个宏块设定一种预测模式。近年来，提出了进一步提高这种H. 264/AVC格式的帧内预测的效率的方法(例如，NPL I和 NPL 2)。
引用列表非专利文献非专利文献I :“Intra Prediction by Template Matching”T. K. Tan 等，ICIP2006 ；非专利文献2uTools for Improving Texture and Motion Compensation，，,MPEGWorkshop, Oct 2008。
发明内容
发明要解决的问题不过，H.264/AVC格式的压缩比仍然不足，于是一直需要在压缩中进一步减少信
肩、O鉴于这种情况，做出了本发明，本发明的目的是进一步提高编码效率。解决问题的手段本发明的一个方面是一种图像处理设备，包括平面近似装置，对于将对其进行屏幕内编码的图像数据的待处理块，所述平面近似装置利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；平面生成装置，其通过获得在用平面近似装置获得的平面参数表示的平面上的像素值，生成待处理块上的平面，作为预测图像；计算装置，其从待处理块的像素值中，减去利用平面生成装置作为预测图像生成的平面的像素值，从而生成差分数据；和编码装置，其对计算装置生成的差分数据编码。图像处理设备还包括正交变换装置，其进行利用计算装置生成的差分数据的正交变换；和量化装置，其量化利用经过正交变换装置的正交变换的差分数据生成的系数数据；其中编码装置对利用量化装置量化的系数数据编码。平面近似装置可通过利用待处理块的像素值求出最小二乘方，从而获得平面参数。图像处理设备还包括传送利用平面近似装置获得的平面参数的传输装置。图像处理设备还包括预测编码装置，其计算平面参数的预测值，从利用平面近似装置获得的平面参数中，减去预测值；其中传输装置传送利用预测编码装置扣减的平面参数。预测编码装置可利用待处理块的相邻块的平面参数，预测待处理块的平面参数。预测编码装置可把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为预测值。图像处理设备还包括正交变换装置，其进行利用平面近似装置获得的平面参数的正交变换；和平面参数编码装置，其对经过正交变换装置的正交变换的平面参数编码。另外，本发明的一个方面是一种图像处理设备的图像处理方法，所述方法包括对于将对其进行屏幕内编码的图像数据的待处理块，图像处理设备的平面近似装置利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；图像处理设备的平面生成装置通过获得在用所获得的平面参数表示的平面上的像素值，生成待处理块上的平面作为预测图像；图像处理设备的计算装置从待处理块的像素值中，减去作为预测图像生成的平面的像素值，从而生成差分数据；和图像处理设备的编码装置对生成的差分数据编码。本发明的另一方面是一种图像处理设备，包括解码装置，所述解码装置对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；平面生成装置，其利用平面参数生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面；和计算装置，其把利用平面生成装置生成的预测图像与通过利用解码装置解码而获得的差分数据相加。所述图像处理设备还包括反量化装置，其进行差分数据的反量化；和逆正交变换装置，其对经过反量化装置的反量化的差分数据进行逆正交变换；其中计算装置把预测图像与经过逆正交变换装置的逆正交变换的差分数据相加。可以从平面参数中减去预测值；图像处理设备还包括预测解码装置，其通过计算预测值，并把预测值和已从中减去预测值的平面参数相加，来进行平面参数的预测解码；所述平面生成装置利用由预测解码装置预测解码的平面参数，生成预测图像。预测解码装置可利用待处理块的相邻块的平面参数，计算预测值。预测解码装置可以计算帧内预测模式的平面模式待处理块的近似平面的平面参数，作为预测值。图像处理设备还包括逆变换装置，其进行经过正交变换的平面参数的逆正交变换；其中平面生成装置利用经过逆正交变换装置的逆正交变换的平面参数，生成预测图像。另外，本发明的另一方面是一种图像处理设备的图像处理方法，所述方法包括图像处理设备的解码装置对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；图像处理设备的平面生成装置利用平面参数，生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面；和图像处理设备的计算装置把生成的预测图像和获得的差分数据相加。按照本发明的一个方面，对于将对其进行屏幕内编码的图像数据的待处理块，利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；通过获得在用获得的平面参数表示的平面上的像素值，生成待处理块上的平面，作为预测图像，从待处理块的像素值中，减去作为预测图像生成的平面的像素、值，从而生成差分数据，和对生成的差分数据编码。按照本发明的另一个方面，对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码，利用平面参数生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面，和把生成的预测图像和通过解码获得的差分数据相加。按照本发明，能够进行图像数据的编码或者编码的图像数据的解码。特别地，能够进一步提闻编码效率。
图I是图解说明应用本发明的图像编码设备的主要结构例子的方框图。图2是图解说明宏块的例子的例子的示图。
图3是图解说明帧内预测单元的主要结构例子的方框图。图4是说明正交变换是如何工作的例子的示图。图5是说明4X4像素帧内预测模式的例子的示图。图6是说明8X8像素帧内预测模式的例子的示图。图7是说明16X 16像素帧内预测模式的例子的示图。图8是图解说明平面预测图像生成单元的主要结构例子的方框图。图9是图解说明近似平面的例子的示图。图10是图解说明计算平面参数的方法的例子的示图。图11是图解说明计算平面参数的方法的例子的示图。图12是图解说明预测编码单元的主要结构例子的方框图。图13是描述预测计算的例子的示图。图14是图解说明熵编码单元的主要结构例子的方框图。图15是描述编码处理的流程的例子的流程图；图16是描述预测处理的流程的例子的流程图；图17是描述帧内预测处理的流程的例子的流程图；图18是说明预测图像生成处理的流程的例子的流程图；图19是描述预测编码处理的流程的例子的流程图；图20是图解说明应用本发明的图像解码设备的主要结构例子的方框图。图21是图解说明帧内预测单元的主要结构例子的方框图。图22是图解说明预测解码单元的主要结构例子的方框图。图23是描述解码处理的流程的例子的流程图。图24是描述预测处理的流程的例子的流程图。图25是描述帧内预测处理的流程的例子的流程图。图26是描述预测解码处理的流程的例子的流程图。图27是图解说明预测编码单元的另一个结构例子的方框图。图28是描述预测编码处理的流程的另一个例子的流程图。图29是图解说明预测解码单元的另一个结构例子的方框图。图30是描述预测解码处理的流程的例子的流程图。
图31是描述变换处理如何工作的例子的示图。图32是图解说明平面预测图像生成单元的另一个结构例子的方框图。图33是图解说明变换单元的主要结构例子的方框图。图34是说明预测图像生成处理的流程的另一个例子的流程图。图35是描述变换处理的流程的例子的流程图。图36是图解说明帧内预测单元的另一个结构例子的方框图。图37是图解说明逆变换单元的主要结构例子的方框图。图38是说明帧内预测处理的流程的另一个例子的流程图。 图39是描述逆变换处理的流程的例子的流程图。图40是描述宏块的另一个例子的示图。图41是图解说明应用本发明的个人计算机的主要结构例子的方框图。图42是图解说明应用本发明的电视接收机的主要结构例子的方框图。图43是图解说明应用本发明的蜂窝电话机的主要结构例子的方框图。图44是图解说明应用本发明的硬盘记录器的主要结构例子的方框图。图45是图解说明应用本发明的照相机的主要结构例子的方框图。
具体实施例方式下面，说明本发明的实施例(下面称为实施例)。注意将按照以下顺序进行说明。I.第一实施例(图像编码设备)2.第二实施例(图像解码设备)3.第三实施例(图像编码设备)4.第四实施例(图像解码设备)5.第五实施例(图像编码设备)6.第六实施例(图像解码设备)7.第七实施例(个人计算机)8.第八实施例(电视接收机)9 第九实施例(蜂窝电话机)10.第十实施例(硬盘记录器)11 第^^一实施例(照相机)〈I.第一实施例>[图像编码设备]图I表示充当应用本发明的图像处理设备的图像编码设备的实施例的结构。图I中所示的图像编码设备100是利用例如H. 264和MPEG(运动图像专家组)4Part 10 (AVC (高级视频编码))(下面称为H. 264/AVC)格式，对图像进行压缩编码的编码设备。不过注意，图像编码设备100还包括其中利用预测平面进行预测的模式作为帧内预测模式，所述预测平面是利用待处理块本身，而不是解码的周围块的像素生成的。就图I中的例子来说，图像编码设备100具有A/D(模/数)转换单元101，屏幕重排缓冲器102，计算单元103，正交变换单元104，量化单元105，无损编码单元106和存储缓冲器107。图像编码设备100还具有反量化单元108，逆正交变换单元109和计算单元110。此外，图像编码设备100具有解块滤波器111和帧存储器112。另外，图像处理设备100具有选择单元113，帧内预测单元114，运动预测/补偿单元115和选择单元116。此外，图像编码设备100具有速率控制单元117。A/D转换单元101进行输入的图像数据的A/D转换，然后输出给屏幕重排缓冲器102并保存。屏幕重排缓冲器102按照GOP (图像组)结构，把按照保存的显示顺序的各帧的图像重排成用于编码的各帧的顺序。屏幕重排缓冲器102把帧顺序已被重排的图像提供给计算单元103、帧内预测单元114和运动预测/补偿单元115。计算单元103从读取自屏幕重排缓冲器102的图像中减去从选择单元116供给的预测图像，然后把差分信息输出给正交变换单元104。例如，就对其进行了帧内编码的图像来说，计算单元103把从帧内预测单元114供给的预测图像和从屏幕重排缓冲器102读出的图像相加。另外，例如，在进行帧间编码的情况下，计算单元103把从运动预测/补偿单元115供给的预测图像和从屏幕重排缓冲器102读出的图像相加。
正交变换单元104对来自计算单元103的差分信息进行正交变换，比如离散余弦变换，Karhunen Lo 6ve变换等，并把变换系数提供给量化单元105。量化单元105量化正交变换单元104输出的变换系数。量化单元105把量化的变换系数提供给无损编码单元106。无损编码单元106对量化的变换系数进行无损编码，比如变长编码、算术编码等
坐寸o无损编码单元106从帧内预测单元114获得指示帧内预测的信息、与后面说明的预测平面相关的参数(平面参数)等，并从运动预测/补偿单元115获得指示帧间预测模式的信息等。注意，指示帧内预测的信息下面也被称为帧内预测模式信息。另外，指示帧间预测模式的信息下面也被称为帧间预测模式信息。无损编码单元106对量化的变换系数编码，还把滤波系数，帧内预测模式信息，帧间预测模式信息，量化参数和平面参数等作为编码数据中的头部信息的一部分(复用)。无损编码单元106把通过编码获得的编码数据提供给存储缓冲器107，以便存储。例如，借助无损编码单元106，进行无损编码处理，比如变长编码，算术编码等。变长编码的例子包括由a 264/AVC格式确定的CAVLC (上下文自适应变长编码)。算术编码的例子包括CABAC (上下文自适应二进制算术编码)。存储缓冲器107临时保存从无损编码单元106供给的编码数据，并在预定时刻把所述编码数据作为用a 264/AVC格式编码的编码图像，输出给图中未示出的下游的记录设备或者传输路径等。另外，从量化单元105输出的量化的变换系数还被输入反量化单元108。反量化单元108用与在量化单元105的量化对应的方法，进行量化的变换系数的反量化，然后把获得的变换系数提供给逆正交变换单元109。逆正交变换单元109用与正交变换单元104的正交变换处理对应的方法，进行供给的变换系数的逆正交变换。经过逆正交变换的输出被提供给计算单元110。计算单元110把从逆正交变换单元109供给的逆正交变换结果，即，恢复的差分信息与从选择单元116供给预测图像相加，从而获得局部解码图像(解码图像)。在差分信息对应于将对其进行帧内编码的图像的情况下，计算单元110把从帧内预测单元114供给的预测图像和差分信息相加。另外，例如，在差分信息对应于将对其进行帧间编码的图像的情况下，计算单元110把从运动预测/补偿单元115供给的预测图像和所述差分信息相加。加法结果被提供给解块滤波器111或帧存储器112。解块滤波器111通过酌情进行解块滤波器处理，从解码图像中消除块噪声，还通过利用维纳滤波器(Wiener滤波器)，酌情进行循环滤波处理，进行图像质量改善。解块滤波器111进行每个像素的类别分类，并对每个类别进行适当的滤波处理。解块滤波器111随后把滤波处理结果提供给帧存储器112。帧存储器112在预定时刻，通过选择单元113，把保存的参考图像输出给帧内预测单元114或运动预测/补偿单元115。例如，就将对其进行帧内编码的图像来说，帧存储器112经选择单元113，把参考 图像提供给帧内预测单元114。另外，例如，就将对其进行帧间编码的图像来说，帧存储器112经选择单元113，把参考图像提供给运动预测/补偿单元115。就图像编码设备100来说，例如。来自屏幕重排缓冲器102的I图像、B图像和P图像作为将经历帧内预测(也称为帧内处理)的图像被提供给帧内预测单元114。另外，从屏幕重排缓冲器102读出的B图像和P图像作为将经历帧间预测(也称为帧间处理)的图像被提供给运动预测/补偿单元115。就将对其进行帧内编码的图像来说，选择单元113把从帧存储器112供给的参考图像提供给帧内预测单元114，就将对其进行帧间编码的图像来说，选择单元113把从帧存储器112供给的参考图像提供给运动预测/补偿单元115。帧内预测单元114利用屏幕内的像素值，进行帧内预测(屏幕内预测)，从而生成预测图像。帧内预测单元114利用多种模式(帧内预测模式)进行帧内预测。帧内预测模式包括根据经选择单元113，从帧存储器112供给的参考图像，生成预测图像的模式。帧内预测模式还包括利用从屏幕重排缓冲器102读出的帧内预测用图像本身(待处理块的像素值)，生成预测图像的模式。帧内预测单元114按所有帧内预测模式生成预测图像，评估预测图像和选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114把按该最佳模式生成的预测图像经选择单元116提供给计算单元103。另外，如上所述，帧内预测单元114酌情把诸如指示采用的帧内预测模式的帧内预测模式信息，预测图像的平面参数之类的信息提供给无损编码单元106。就待经历帧间编码的图像来说，运动预测/补偿单元115利用从屏幕重排缓冲器102供给的输入图像，和经选择单元113，从帧存储器112供给的充当参考图像的解码单元，计算运动向量。运动预测/补偿单元115按照计算的运动向量，进行运动补偿处理，从而生成预测图像(帧间预测图像信息)。运动预测/补偿单元115进行所有候选帧间预测模式的帧间预测处理，从而生成预测图像。运动预测/补偿单元115经选择单元116，把生成的预测图像提供给计算单元103。运动预测/补偿单元115把指示采用的帧间预测模式的帧间预测模式信息，和指示计算的运动向量的运动向量信息提供给无损编码单元106。就进行帧内编码的图像来说，选择单元116把帧内预测单元114的输出提供给计算单元103，在进行帧间编码的情况下，选择单元116把运动预测/补偿单元115的输出提供给计算单元103。速率控制单元117根据保存在存储缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，使得不发生上溢或下溢。[宏块]图2是图解说明H. 264/AVC格式中的运动预测/补偿的块大小的例子的示图。就H. 264/AVC格式来说，在块大小可变的情况下，进行运动预测/补偿。在图2中的上层，从左侧起顺序表示了由分割成16X16像素、16X8像素、8X16 像素和8X8像素分区的16X16像素构成的宏块。另外，在图5中的下层，从左侧起顺序表示了由分割成8X8像素、8X4像素、4X8像素和4X4像素子分区的8X8像素构成的块。SP，就H. 264/AVC格式来说，一个宏块可被分割成16 X 16像素、16 X 8像素、8 X 16像素和8X8像素之一的分区，同时每个分区具有独立的运动向量信息。另外，8X8像素分区可被分割成8X8像素、8X4像素、4X8像素和4X4像素之一的子分区，同时每个子分区具有独立的运动向量信息。[帧内预测单元]图3是图解说明图I中的帧内预测单元114的主要结构例子的方框图。如图3中所示，帧内预测单元114包括预测图像生成单元131，平面预测图像生成单元132，成本函数计算单元133和模式判定单元134。如前所述，帧内预测单元114具有利用从帧存储器112获得的参考图像(周围的像素)，生成预测图像的模式，和利用待处理图像本身，生成预测图像的模式。其中，预测图像生成单元131按照使用从帧存储器112获得的参考图像(周围的像素)的模式，生成预测图像。另一方面，平面预测图像生成单元132按照利用待处理图像本身的模式，生成预测图像。预测图像生成单元131或平面预测图像生成单元132生成的预测图像被提供给成本函数计算单元133。成本函数计算单元133计算4X4像素、8X8像素和16X 16像素的每种帧内预测模式对于利用预测图像生成单元131生成的预测图像的成本函数值。另外，成本函数计算单元133计算16X 16像素帧内预测模式对于利用平面预测图像生成单元132生成的预测图像的成本函数值。现在，根据高复杂性模式或低复杂性模式的技术之一，进行成本函数值的计算。这些模式是在作为H. 264/AVC格式中的参考软件的JM(联合模型)中确定的。具体地说，在高复杂性模式下，关于所有候选预测模式，试验性地一直进行到编码处理。关于预测模式，计算用以下表达式(I)表示的成本函数值，提供最小成本函数值的预测模式被选为最佳预测模式。Cost (Mode) =D+ A R …(I)在表达式(I)中，D代表原始图像和解码图像之间的差分(失真)，R代表包括正交变换系数的生成代码量，、是作为量化参数QP的函数提供的LaGrange乘数。另一方面，在低复杂性模式下，关于所有候选预测模式，生成预测图像，并计算到运动向量信息、预测模式信息、标记信息等的头部比特。关于预测模式，计算用以下表达式(2)表示的成本函数值，提供最小成本函数值的预测模式被选为最佳预测模式。Cost(Mode)=D+QPtoQuant(QP)+Header_Bit. (2)在表达式(2)中，D代表原始图像和解码图像之间的差分(失真)，Header_Bit代表关于预测模式的头部比特，QPtoQuant是作为量化参数QP的函数给出的函数。在低复杂性模式下，只需要对于所有预 测模式，生成预测图像，不必进行编码处理和解码处理，因而，能够减少计算量。成本函数计算单元133把按照这种方式计算的成本函数值提供给模式判定单元134。模式判定单元134根据供给的成本函数值，选择最佳帧内预测模式。即，从帧内预测模式中选择其成本函数值最小的模式，作为最佳帧内预测模式。模式判定单元134酌情经选择单元166，把选为最佳帧内预测模式的预测模式的预测图像提供给计算单元103和计算单元110。另外，模式判定单元134把预测模式的信息提供给无损编码单元106。此外，在平面预测图像生成单元132的预测模式被选为最佳帧内预测模式的情况下，模式判定单元134从平面预测图像生成单元132获得平面参数，然后提供给无损编码单元 106。[正交变换]图4说明正交变换如何工作的例子的示图。就图4的例子来说，附加于各个块的数字-I 25代表各个块的比特流序列(在解码方的处理序列)。注意，就亮度信号来说，宏块被分成4X4像素，进行4X4像素的DCT。只有在帧内16X 16预测模式的情况下，如在块-I中所示，才收集各个块的DC分量，生成4 X 4矩阵，然后进一步对其进行正交变换。另一方面，就色差信号来说，在宏块被分成4X4像素，并进行4X4像素的DCT之后，如在块16和17中所示，收集各个块的DC分量，生成2 X 2像素，然后进一步对其进行正交变换。注意，就帧内8X8预测模式来说，这只适用于当前宏块经历具有高规格(highprofile)以上的8X8正交变换的情况。[帧内预测模式]现在说明预测图像生成单元131的预测处理。就在H. 264/AVC格式中规定的AVC来说，预测图像生成单元131用帧内4X4预测模式、帧内8X8预测模式和帧内16X 16预测模式等3种模式，对亮度信号进行帧内预测。这些模式是是确定块单元的模式，并对每个宏块设定这些模式。另外，可以与每个宏块的亮度信号无关地对色差信号设定帧内预测模式。此外，在帧内4X4预测模式的情况下，如图5中所示，对于每个4X4像素对象块，可从9种预测模式当中设定一种预测模式。在帧内8X8预测模式的情况下，如图6中所示，对于每个8X8像素对象块，可从9种预测模式当中设定一种预测模式。另外，在帧内16X16预测模式的情况下，如图7中所示，对于16 X 16像素对象宏块，可从4种预测模式当中设定一种预测模式。注意在下面，帧内4X4预测模式，帧内8X8预测模式和帧内16X16预测模式也酌情分别被称为4X4像素帧内预测模式，8X8像素帧内预测模式和16X 16像素帧内预测模式。图7是表示亮度信号的4种16X16像素帧内预测模式(Intra_16X 16_pred_mode)将经历巾贞内处理的当前宏块用A表示，P(x, y) ;x, y=_l, 0,…，15表示与当前宏块A相邻的像素的像素值。模式0是垂直预测模式，只有当？0^，-1)3，7=-1，0，"、15 “可用”时才适用。这种情况下，如同以下表达式(3) —样，生成当前宏块A的每个像素的预测像素值Pred(x，y)。Pred (x, y) =P (x, -I) ; x, y=0,, 15 . . . (3)模式1是水平预测模式，只有当？(-1，7);1，7=-1，0，"、15 “可用”时才适用。这种情况下，如同以下表达式(4) 一样，生成当前宏块A的每个像素的预测像素值Pred(x，y)。Pred (x, y) =P (-1, y) ; x, y=0,, 15 …(4)模式2是DC预测模式，在所有的P (X，-I)和P(_l，y) ;x，y=_l，0，…，15都“可用”的情况下，如同以下表达式(5) —样，生成当前宏块A的每个像素的预测像素值Pred(x，y)。[数学表达式I]Prcd(x, y)-”+f P(-iy)+16[ 5with x, y = 0,…，15 ...(5)
另外，在P(x，-l);x，y=-l，0，…，15“不可用”的情况下，如同以下表达式(6) 一样，生成当前宏块A的每个像素的预测像素值Pred (x，y)。[数学表达式2]
15
Pred(x, y) ss[Vp( ~-|5y*)+g] 4 with x, y = 0,**%!5 …(6)在？(-1，50;1尸-1，0，"、15 “不可用”的情况下，如同以下表达式(J) 一样，生成当前宏块A的每个像素的预测像素值Pred (x，y)。[数学表达式3]
I
iJred (X. y) * I ^ p (X', -1)+8 J 4、vithx，yss(V.%15 * (7)
yMi在所有P (x，-I)和？(-1，7)3，7=-1，0，"、15都“不可用”的情况下，采用128作
为预测像素值。模式3是平面预测模式，只有当所有PU，-I)和P(_l，y) ；x, y=-l, 0，…，15都“可用”时才适用。这种情况下，如同以下表达式(8) —样，生成当前宏块A的每个像素的预测像素值 Pred (X，y)。[数学表达式4]Pred (x, y) = Clipl ((a+b (x~7) +c (y~7) +16) >>5)a = 16 (P(_l，15)+P(15，-I))b = (5 H+32) >>6
c = (5 V+32) >>权利要求
1.一种图像处理设备，包括 平面近似装置，对于将对其进行屏幕内编码的图像数据的待处理块，所述平面近似装置利用指示平面的函数来近似像素值，并利用所述待处理块的像素值，获得作为指示所述平面的所述函数的系数的平面参数； 平面生成装置，其通过获得在用所述平面近似装置获得的所述平面参数表示的平面上的像素值，生成所述待处理块上的平面作为预测图像； 计算装置，其从所述待处理块的像素值中，减去利用所述平面生成装置作为所述预测图像生成的所述平面的像素值，从而生成差分数据；和 编码装置，其对所述计算装置生成的所述差分数据编码。
2.按照权利要求I所述的图像处理设备，还包括 正交变换装置，其进行利用所述计算装置生成的所述差分数据的正交变换；和量化装置，其量化利用经过所述正交变换装置的正交变换的所述差分数据生成的系数数据； 其中所述编码装置对利用所述量化装置量化的所述系数数据编码。
3.按照权利要求I所述的图像处理设备，其中所述平面近似装置通过利用所述待处理块的像素值求出最小二乘方，从而获得所述平面参数。
4.按照权利要求I所述的图像处理设备，还包括 传输装置，其传送利用所述平面近似装置获得的所述平面参数。
5.按照权利要求4所述的图像处理设备，还包括 预测编码装置，其计算所述平面参数的预测值，从利用所述平面近似装置获得的所述平面参数中，减去所述预测值； 其中所述传输装置传送利用所述预测编码装置扣减的所述平面参数。
6.按照权利要求5所述的图像处理设备，其中所述预测编码装置利用所述待处理块的相邻块的平面参数，预测所述待处理块的所述平面参数。
7.按照权利要求5所述的图像处理设备，其中所述预测编码装置把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为所述预测值。
8.按照权利要求4所述的图像处理设备，还包括 正交变换装置，其进行利用所述平面近似装置获得的所述平面参数的正交变换；和 平面参数编码装置，其对经过所述正交变换装置的正交变换的所述平面参数编码。
9.一种图像处理设备的图像处理方法，所述方法包括 对于将对其进行屏幕内编码的图像数据的待处理块，所述图像处理设备的平面近似装置利用指示平面的函数来近似像素值，并利用所述待处理块的像素值，获得作为指示所述平面的所述函数的系数的平面参数； 所述图像处理设备的平面生成装置通过获得在用所获得的所述平面参数表示的平面上的像素值，生成所述待处理块上的所述平面作为预测图像； 所述图像处理设备的计算装置从所述待处理块的像素值中，减去作为所述预测图像生成的所述平面的像素值，从而生成差分数据；和 所述图像处理设备的编码装置对所述生成的差分数据编码。
10.一种图像处理设备，包括解码装置，所述解码装置对其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码； 平面生成装置，其利用平面参数生成由平面构成的所述预测图像，所述平面参数是函数的系数，所述函数指示近似所述图像数据的待处理块的像素值的所述平面；和 计算装置，其把利用所述平面生成装置生成的所述预测图像与通过利用所述解码装置解码而获得的所述差分数据相加。
11.按照权利要求10所述的图像处理设备，还包括 反量化装置，其进行所述差分数据的反量化；和 逆正交变换装置，其对经过所述反量化装置的反量化的所述差分数据进行逆正交变换； 其中所述计算装置把所述预测图像与经过所述逆正交变换装置的逆正交变换的所述差分数据相加。
12.按照权利要求10所述的图像处理设备， 其中从所述平面参数中减去了预测值； 所述图像处理设备还包括 预测解码装置，其通过计算所述预测值，并把所述预测值与已从中减去所述预测值的所述平面参数相加，来进行所述平面参数的预测解码； 其中所述平面生成装置利用由所述预测解码装置预测解码的所述平面参数生成所述预测图像。
13.按照权利要求12所述的图像处理设备，其中所述预测解码装置利用所述待处理块
14.按照权利要求12所述的图像处理设备，其中所述预测解码装置计算帧内预测模式的平面模式待处理块的近似平面的平面参数，作为所述预测值。
15.按照权利要求10所述的图像处理设备，还包括 逆变换装置，其对经过正交变换的所述平面参数进行逆正交变换； 其中所述平面生成装置利用经过所述逆正交变换装置的逆正交变换的所述平面参数，生成所述预测图像。
16.一种图像处理设备的图像处理方法，所述方法包括 所述图像处理设备的解码装置对其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码； 所述图像处理设备的平面生成装置利用平面参数生成由平面构成的所述预测图像，所述平面参数是函数的系数，所述函数指示近似所述图像数据的待处理块的像素值的所述平面；和 所述图像处理设备的计算装置把所生成的所述预测图像与所获得的所述差分数据相加。
全文摘要
本发明涉及能够提高编码效率的图像处理设备和方法。平面近似单元151利用待处理块的各个像素值本身，获得表示近似像素值的平面的函数的各个参数。平面生成单元152获得在用供给的平面参数表示的平面上的像素值。预测编码单元153预测平面参数的值，获得预测值和实际平面参数值之间的差分，从而减小其数据量。熵编码单元154进一步进行编码平面参数的熵编码。编码的平面参数被提供给解码方。本发明可适用于例如图像处理设备。
文档编号H04N7/32GK102742274SQ201180007609
公开日2012年10月17日 申请日期2011年1月27日 优先权日2010年2月5日
发明者王鹏, 铃木辉彦 申请人:索尼公司