专利名称：图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及图像处理装置、方法和程序，尤其涉及能够更加有效地以高编码效率执行编码和解码的图像处理装置、方法和程序。
背景技术：
近些年，用于处理图像信息作为数字信息并且此时针对高效信息发送和累积的目的通过利用图像信息所特有的冗余基于例如离散余弦变换和运动补偿的正交变换压缩图像信息的例如与MPEG (运动图像专家组)的制式兼容的装置变得广泛应用于广播站等等的信息发布和普通家庭中的信息接收二者。
具体地讲，MPEG2 (ISO (国际标准化组织)/IEC (国际电エ委员会)13818-2)被定 义为通用图像编码系统并且是覆盖隔行扫描图像和逐行扫描图像二者以及标准分辨率图像和高清晰度图像的标准。目前，它广泛应用于大量的专业使用和消费者使用应用。通过使用MPEG2压缩系统，例如，通过在具有720X480像素的标准分辨率隔行扫描图像的情况下分配4到8Mbps的码量(位率)或者在具有1920X 1088像素的高分辨率隔行扫描图像的情况下分配18到22Mbps的码量(位率)能够实现高压缩率和良好图像质量。
MPEG2主要针对与广播兼容的高图像质量编码但是不支持低于MPEGl即具有更高压缩率的编码系统的码量(位率)。在未来由于便携式终端的普及对这种编码系统的需求将变得更大，并且已经响应于此执行了 MPEG4编码系统的标准化。关于该图像编码系统，在1998年12月它的标准被核准为国际标准IS0/IEC14496-2。
此外，近些年，针对初始用于视频会议的图像编码的目的，执行标准H. 26L(ITU-TdTU电信标准化部门)Q6/16VCEG (视频编码专家组))的标准化。所知道的是，尽管与诸如MPEG2和MPEG4的传统编码系统相比较而言针对H. 26L的编码和解码需要更大运算量，但是在H. 26L中实现更高编码效率。另外，目前，作为MPEG4的活动的一部分，基于这个H.26L，通过另外引入不由H. 26L支持的功能实现更高编码效率的标准化被实现为增强压缩视频编码的联合模型。作为标准化的进度，在2003年3月它变成名称为H. 264和MPEGPartlO (AVC (先进视频编码))的国际标准。
此外，作为扩展，还包括专业使用所需的诸如RGB、4:2:2、4:4:4、8X8DCT (离散余弦变换)和由MPEG2定义的量化矩阵的编码工具的FRExt (保真范围扩展)的标准化被执行。由此，它已经变成通过使用AVC能够良好表达包括在电影中的平滑影片噪声的编码系统并且已经被确定用于诸如蓝光盘的大量应用中。
然而，当今，对以更高压缩率进行编码的需求(例如，压缩大约4000X2000像素即高清图像四倍的图像的需求或在如互联网的有限传输容量的环境下发布高清图像的需求)正变得更大。因此，在上述的ITU-T的范围之下的VCEG中，正在持续进行关于提高编码效率的研究。
另外，最近出现ー种自适应环路滤波器(ALF)作为进行研究的下一代视频编码技术(例如參考非专利文献I和非专利文献2)。基于这个环路滤波器，对每帧执行最佳滤波器处理并且能够减小没有由解块滤波器完全去除的块效应和由于量化导致的失真。
通过这种方法，将宏块尺寸设置成16像素X 16像素并非最适于将是下一代编码系统的主题的例如UHD (超高清；4000像素X2000像素)的大的图像帧。在这种情况下已经建议将宏块尺寸设置成例如32像素X32像素或者64像素X64像素的尺寸(例如參考非专利文献3)。
现有技术文献
非专利文献
非专利文献I: Yi-Jen Chiu and L. Xu, “Adaptive (Wiener) Filter for VideoCompression，，，ITU-T SG16 Contribution, C437, Geneva, April 2008
非专利文献2: Takeshi. Chujohj et al.，^Block-based Adaptive LoopFilter”ITU-T SG16 Q6 VCEG Contribution, Al 18, Germany, July, 2008
非专利文献3: Qualcomm Inc，“Video Coding Using Extended BlockSizes” ITU-T SG16 Contribution, C 123,English, January 2009发明内容
然而，在传统提议的方法中，按照时序方式执行编码处理或解码处理、解块滤波器处理和自适应滤波器处理。因此，为了通过实时处理执行所有这些类型的处理，必须通过较高时钟频率的电路执行处理并且运算量和功耗可能会增加。
鉴于这些情形提议本发明并且本发明的目的在于增强图像的编码或解码中执行的滤波器处理的效率从而抑制运算量和功耗的增加并且能够以较低开销实现实时处理。
本发明的ー个方面是图像处理装置，包括分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；解块滤波器装置，对由分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波器处理；以及自适应滤波器装置，对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
作为解块滤波器装置，能够包括强解块滤波器装置，执行强去除块效应的强解块 滤波器处理，以及弱解块滤波器装置，执行弱去除块效应的弱解块滤波器处理。分类装置能够将图像的每个像素分类成强去除块效应的必要性高的类、弱去除块效应的必要性高的类和去除块效应的必要性低的类的三个类中的任何ー类。强解块滤波器装置能够对由分类装置分类成强去除块效应的必要性高的类的像素执行强解块滤波器处理。弱解块滤波器装置能够对由分类装置分类成弱去除块效应的必要性高的类的像素执行弱解块滤波器处理。自适应滤波器装置能够对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
分类装置能够通过使用运动矢量信息或包括宏块模式信息的编码信息执行图像的每个像素的分类。
图像处理装置还能够包括滤波器系数计算装置，计算用于关于由分类装置分类的每个类的滤波器处理的滤波器系数。解块滤波器装置和自适应滤波器装置能够通过使用由滤波器系数计算装置计算并且对应于这些类中的各类的滤波器系数执行它们自身的滤波器处理。
图像处理装置还能够包括相加装置，将由滤波器系数计算装置计算的滤波器系数加到通过由编码装置对图像进行编码获得的编码数据，以及发送装置，发送通过相加装置向其加入滤波器系数的编码数据。
滤波器系数计算装置能够仅仅计算对去除块效应的必要性低的类执行的自适应滤波器的滤波器系数。自适应滤波器装置能够通过使用由滤波器系数计算装置计算的滤波器系数执行自适应滤波。解块滤波器装置能够通过使用预先设置的预定滤波器系数执行解块滤波。
图像处理装置还能够包括解码装置，对通过图像的编码获得的编码的数据进行解码以产生解码的图像。分类装置能够根据去除块效应的必要性将由解码装置对编码数据进行解码获得的解码的图像的每个像素分类成多个类中的任何ー个。解块滤波器装置能够对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波器处理。自适应滤波器装置能够对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波器处理。
图像处理装置还能够包括滤波器系数获取装置，从编码数据获取滤波器系数。解块滤波器装置能够通过使用由滤波器系数获取装置获取并且对应于去除块效应的必要性高的类的滤波器系数对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波器处理。自适应滤波器装置能够通过使用由滤波器系数获取装置获取并且对应于去除块效应的必要性低的类的滤波器系数对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波器处理。
另外，本发明的ー个方面是图像处理方法。在该图像处理方法中，图像处理装置的分类装置根据去除块效应的必要性将图像的每个像素分类成多个类的任何ー个。图像处理装置的解块滤波器装置对分类成去除块效应的高必要性的类的像素执行去除块效应的解块滤波器处理。图像处理装置的自适应滤波器装置对分类成去除块效应的低必要性的类的像素执行用于增强图像质量的自适应滤波器处理。
此外，本发明的ー个方面是使得计算机发挥如下部件作用的程序分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类的任何一个；解块滤波器装置，对由分类装置分类成去除块效应的高必要性的类的像素执行去除块效应的解块滤波器处理；以及自适应滤波器装置，对由分类装置分类成去除块效应的低必要性的类的像素执行用于增强图像质量的自适应滤波器处理。
在本发明的ー个方面中，根据去除块效应的必要性，图像的每个像素被分类到多 个类中的任何ー类。对分类到去除块效应的必要性高的类的像素执行用于去除块效应的解块滤波器处理。对分类到去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
根据本发明，能够对图像进行编码或解码。具体地讲，在图像的编码或解码中，能够更加有效地执行用于增强编码效率的滤波器处理。
图I是示出应用本发明的图像编码装置的主结构例子的框图。
图2用于解释解块滤波器的工作原理。
图3用于解释Bs的定义的方法。
全文摘要
本发明涉及能够以高编码效率更加有效地执行编码和解码的图像处理装置、方法和程序。像素分类器151执行从运算部分110提供的滤波器处理之前的解码图像的各个像素值的分类。滤波器系数计算器112计算关于分类的像素值的每个类的滤波器系数。强解块滤波器152、弱解块滤波器153和自适应滤波器154均通过使用从滤波器系数计算器112提供的滤波器系数对从运算部分110提供的像素值执行它们自身的滤波器处理。本发明例如能够应用到图像处理装置。
文档编号H04N7/26GK102714718SQ201080059659
公开日2012年10月3日 申请日期2010年12月17日 优先权日2009年12月28日
发明者佐藤数史 申请人:索尼公司