专利名称：图像处理方法、图像处理装置及图像处理程序的制作方法
技术领域：
本发明涉及图像处理方法、图像处理装置及图像处理程序。
背景技术：
对通过用胶片扫描仪读取显像后的照相胶片所取得的图像信息、通过数字照相机的摄影所取得的图像信息等实施适当的图像处理，或打印输出或输出到CD-R等记录介质的技术正在普及。在图像处理中有各式各样的种类，但特别频繁地使用的处理之一有增强图像的清晰感的清晰性强调处理。清晰性强调处理主要是强调图像的细微构造的处理，是能够补充图像的锐度不足的有用的技术。
一般，在图像中存在某种程度的差别，混杂着若干噪音成分。银盐胶片的颗粒形状、CCD传感器的各种电噪音、在信号处理系统中附加的各种噪音是主要因素，但将这些噪音完全变为零实质上是不可能的。上述的清晰性强调处理也有强调这些噪音的性质，清晰的图像往往是或者颗粒形状显著，或者电噪音显著。
因此，提出并使用了使用能够抑制包含在图像中的噪音成分同时强调清晰性的各种图像处理方法。作为这样的图像处理方法的一例，在专利文献1中公开了在强调清晰性的效果上设置上限、做到不过分地增强强噪音的方法，以及通过在强调清晰性之前实施2种噪音滤波器来在清晰性强调处理之前除去噪音的方法等。
专利文献1特开2002-262094号公报但是，在通过噪音处理被除去的噪音成分中，偶尔也有时候包含细微的图像信号，因此如果加强噪音滤波器的效果，则存在着图像的细节不足的问题。尤其是脉冲噪音那样的孤立点噪音有时候作为非常强的噪音出现，在图像中引人注目地存在，但为了要除去这样的强噪音，必须有除去相应噪音效果强的噪音滤波器，因此图像的细节将受到很大损害。另外，如专利文献1那样，在强调清晰性的效果方面具有上限的方法存在着强调清晰性的效果变弱的问题。这样，在现有的图像处理中，虽然能得到抑制粒状感、提高清晰感的某种程度的效果，但是谈不上能够充分控制与粒状感的抑制和清晰感的提高的相反的要素。
发明内容
为克服上面提到的常规图像处理方法和装置中的缺陷，本发明的目的是提供能在抑制图像中包含的噪声的同时提高图像的清晰度的图像处理方法和装置。
因此，为克服上面提到的缺陷，通过下面描述的图像处理方法和装置及计算机程序能实现本发明的上述目的。
本发明的一种用于处理输入图像的方法，输出对所述输入图像进行了修正处理的图像，其特征在于包括从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和根据所述导出步骤导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
本发明的一种用于处理输入图像的方法，输出对所述输入图像进行了修正处理的图像，其特征在于包括步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和根据所述导出步骤中导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系，从多个彼此不同的空间过滤器中选择一个特定的空间过滤器；通过使用在所述选择步骤中选择的所述特定的空间过滤器，对所述图像处理目标像素进行提高清晰度的处理。
本发明的一种用于处理输入图像的装置，输出对所述输入图像进行了修正处理的图像，其特征在于包括导出部件，用于从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素，并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；图像处理部件，用于根据所述导出部件导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
本发明的一种用于处理输入图像的装置，输出从所述输入图像经修正的经过处理的图像，其特征在于包括导出部件，用于从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和过滤器选择部件，用于根据由所述导出部件导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器；图像处理部件，用于通过使用由所述过滤器选择部件选择的所述特定空间滤波器，对所述图像处理目标像素进行提高清晰度的处理。
本发明的一种用于执行处理输入图像的操作以便输出从所述输入图像修正的经过处理的图像的计算机程序，其特征在于包括功能步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近。所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和基于在所述导出步骤中导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
本发明的一种用于执行处理输入图像的操作的计算机程序，输出从所述输入图像修正的经过处理的图像，其特征在于包括功能步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中，基于所述导出步骤导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器，通过使用在所述选择步骤选择的所述特定的空间过滤器对所述图像处理目标像素进行提高清晰度的处理。
如果依据本发明，则能得到下述的效果。
(1)通过根据没有包含处理对象象素的周边区域的象素的状况进行清晰性强调处理，能够在孤立点等图像处理方面抑制容易引人注目的图像噪音的强调，并得到噪音感少的图像。
(2)在能容易导出图像特性信息的同时，能够实现高性能的图像处理。
(3)通过根据图像特性信息选择在清晰性强调中使用的空间滤波器，能够得到相应于图像中的各自的区域的更理想的清晰性强调效果。
(4)根据图像特性信息能够使用在清晰性强调中使用的空间滤波器，因此能够得到相应于图像中的各个区域的理想的清晰性强调效果。
(5)通过使用从多重分辨率变换生成的分解图像导出图像特性信息，能够得到考虑了图像整体构造的图像特性信息。
(6)通过作为多重分辨率变换使用二元子波变换，能够得到精度更高的图像特性信息，并能实现高性能的图像处理。
(7)不进行复杂的计算而能够得到图像特性信息，因此能够容易选择空间滤波器，并能够容易得到噪音感少的清晰性强调效果。
图1是表示涉及本发明的图像处理系统100的构成的方框图。
图2是用于说明在清晰性强调处理中所使用的空间滤波器的处理内容的图。
图3是用函数f{X}表示在清晰性强调处理中使用的LUT的图。
图4是用于说明本发明的实施例1中的滤波器选择法的一例(滤波器选择法①)的图。
图5是用于说明本发明的实施例1中的滤波器选择法的变形例(滤波器选择法②)的图。
图6是表示在图像处理系统100中被实行的整个图像处理流的流程图。
图7是表示在图6的步骤S7中的清晰性强调处理的流程图。
图8是用于说明在本发明中所使用的空间滤波器的特性的图。
图9是表示用图8表示的空间滤波器的适用例的图。
图10是表示本发明的实施例2中的清晰性强调处理的流程图。
图11是用于说明本发明的实施例2中的滤波器选择法的一例的图。
图12是用于说明本发明的实施例2中的滤波器选择法的一例的图。
图13是表示在实施例2的变形例中在图像信号的边缘检测中所使用的子波函数的图。
图14是表示1级别子波变换的滤波器处理的系统方框图。
图15是表示在2维信号中的1级别子波变换的滤波器处理的系统方框图。
图16是表示输入信号S0通过3级别子波变换被信号分解的过程的模式图。
图17是表示通过子波逆变换的滤波器处理再构成分解前的信号的方法的系统方框图。
图18是表示输入信号S0的波形和通过子波变换得到的各级别修正后的高频频带成分W·γ的波形的图。
图19是表示2维信号中的1级别的二元子波变换的滤波器处理的系统方框图。
图20是表示2维信号中的1级别的二元子波变换的滤波器处理的系统方框图。
图21是表示从对输入信号S0的二元子波变换到得到实施了图像处理的信号S0’为止的处理的系统方框图。
图22是表示实施例2的变形例中的清晰性强调处理的流程图。
具体实施例方式
以下，参照附图详细说明本发明的实施例。
首先，说明构成。
在图1中表示涉及本发明的实施例1的图像处理系统100的构成。图像处理系统100如图1所示那样，由图像处理部件1、图像取得部件2、指示输入部件3、显示部件4、银盐曝光打印机5、IJ(喷墨)打印机6、图像写入部件7、图像存储器部件8构成。
图像处理1由微型计算机构成，通过被存储在ROM(只读存储器)等存储部件(图示略)的图像处理程序等各种控制程序和CPU(中央处理单元)(图示略)的协同工作控制构成图像处理系统100的各部件的动作。以下，说明图像处理部件1的控制动作。
图像处理部件1根据来自指示输入部件3的输入信号(指令信息)，对由图像取得部件2所取得的图像信号实施各种图像处理。作为由图像处理部件1执行的图像处理有亮度调整、色调调整、对比度调整、色度调整、清晰性调整、粒状性调整、遮盖处理、曝光搭色修正等。
本发明中，图像处理部件1根据存在于位于处理对象象素附近没有包含该处理对象象素的规定区域中的多个象素信息求出该规定区域的图像特性，并根据该图像特性对处理对象象素实施清晰性强调处理(参照图7)。在图像特性中，包含所述规定区域中的象素间的信号值之差的绝对值的和、该规定区域中的各象素的信号值的分散、该各象素的信号值的标准偏差中的至少1个(参照图4和图5)。
图像处理部件1在清晰性强调处理时，根据规定区域的图像特性，从滤波器强度不同的多个空间滤波器中选择(决定)在清晰性强调处理中使用的空间滤波器。关于清晰性强调处理的详细情况和空间滤波器的选择法的详细情况将在后面说明。
另外，图像处理部件1对被图像处理的图像信号实施相应于输出形式的变换处理(颜色变换)并输出。作为图像处理部件1的输出目的地有显示部件4、银盐曝光打印机5、IJ打印机6、图像写入部件7、图像存储器部件8等。
图像取得部件2由反射原稿扫描器21、透射原稿扫描器22、介质驱动器23、信息通信I/F24构成。
反射原稿扫描器21由光源、CCD(电荷耦合器件)、A/D变换器等构成，通过将来自光源的光照射在被放置在原稿台上的原稿(照片打印、书画、各种印刷物)上，用CCD将该反射光变换成电信号(模拟信号)，并由A/D变换器将该模拟信号变换成数字信号，从而取得数字图像信号。透射原稿扫描器22读取显像后的负片、正片等透射原稿，取得数字图像信号。
介质驱动器23为可装载CD-R、存储棒(登录商标)、智能存储卡(登录商标)、微型快闪存储器(登录商标)、多媒体卡(登录商标)、SD存储卡(登录商标)、PC卡等各种介质的构成，并读入被记录在这些介质中的数字图像信号。
信息通信I/F24是用于将被连接到LAN(局域网)和因特网等通信网络的计算机、以及图像处理系统100连接起来的接口，从经由通信网络被连接的其它计算机接收表现摄像图像的图像信号和打印命令信号。
指示输入部件3具备键盘和鼠标等，将键盘、鼠标的操作所产生的操作信号输出到图像处理部件1的CPU。另外，指示输入部件3具备覆盖显示部件4的显示画面上而被重叠设置的触摸面板(接触传感器)。触摸面板利用电磁感应式、磁致伸缩式、压敏式等读取原理检测被触摸指示的坐标，并将检测到的坐标作为位置信号输出到图像处理部件1的CPU。
显示部件4具有由LCD(液晶显示器)等构成的显示画面，根据由图像处理部件1的CPU输入的显示控制信号进行所要的显示。
银盐曝光打印机5根据由图形处理部件1生成的图像信号生成曝光用的图像信息，根据被生成的曝光用的图像信息，在感光材料上进行图像的曝光，将被曝光的感光材料进行显像处理后干燥、输出。IJ打印机6根据由图像处理部件1生成的图像信号，通过喷墨方式进行打印输出。图像写入部件7为可装载各种介质的构成，并将由图像处理部件1生成的图像信号记录在被装载的介质上。
图像存储器部件8保存由图像处理部件1处理的图像信号。被保存在图像存储器部件8中的图像信号能作为图像源被再利用。
(清晰性强调处理)参照图2和图3说明由图像处理部件1执行的清晰性强调处理。在本实施例1(以及实施例2)中，设定为用于清晰性强调处理中的空间滤波器的计算区域的尺寸为5×5象素。在图2(a)中表示实际的图像信号的信号值(P11～P55)，在图2(b)中表示在清晰性强调处理中使用的空间滤波器的滤波器系数(f1～f6)。
如果将位于滤波器计算区域中央的象素(信号值＝P33)设定为清晰性强调处理对象的象素，则处理后的信号值P33′使用图2(b)所示的滤波器系数被表示如以下的式(1)那样。
数式1P33′＝P33+f{P33×f1+(P23+P32+P43+P34)×f2+(P22+P24+P42+P44)×f3+(P13+P31+P35+P53)×f4(1)+(P12+P14+P25+P45+P54+P52+P41+P21)×f5+(P11+P15+P51+P55)×f6}/Cdiv此处，Cdiv是调整空间滤波器的强度的系数，Cdiv的值越大，空间滤波器的效果变得越弱。另外，在滤波器系数f1～f6中，以下的式(2)所示的关系成立。
数式2f1+4×(f2+f3+f4+2×f5+f6)＝0 (2)如果在滤波器系数f1～f6中式(2)所示的关系成立，则在P11～P55的值完全相同的情况下，f{X}被设定使得变成f{X＝0}＝0(即，P33’＝P33)。
在清晰性强调处理中被使用的LUT(查寻表)被表示为式(1)所示的函数f{X}。图3是用坐标图表示函数f{X}的图。在图3中，横轴X是LUT的变换前的信号值的积和计算值(在式(1)的{}中)，纵轴f{X}是用LUT变换了X后的值。f{X}的正区域是处理对象象素因f{X}的作用而变得明亮的区域，f{X}的负区域是处理对象象素因f{X}的作用变得暗淡的区域。
在图3中，在X＝0附近的区域W1中，变换后的值变成0。这是因为在微小的原来信号的变化中没有出现清晰性强调的效果的缘故，例如，在滤波器对数字图像信号的最小坑变化没有感应，使计算机图形的层次表现变得平滑，并在存在若干噪音的情况下，具有不强调这些噪音的效果。
另外，在图3中，即使在X在X1以上的区域W2、X在X2以下的区域W3中，也有变化后的值f{X}没有变化的区域。这有防止极端增强电产生的孤立点噪音等强噪音的效果，在想得到强的清晰性强调效果的情况下尤其有效。
如果将区域W2中的f{X}的值设定为Z1，将区域W3中的f{X}的值设定为-Z2(Z1、Z2＞0)，则理想的是设定为Z1＞Z2。这尤其在对负型银盐感光材料进行数字曝光并进行图像形成的情况是理想的形式。即，在对感光材料曝光时，会产生因若干光的泄漏、散乱引起的渗出，在接收光并使色素显色后进行图像形成的类型的记录材料中有通过光渗出使白的细微构造比黑的细微构造容易破坏的性质。因此，如果将f{X}的正区域的限制值Z1设定得高，则对白的细微构造的强调效果将变大。另外，如果f{X}的负区域的限制值-Z2设定得低，则能够使黑的细微构造被抑制，得到取得平衡的清晰性强调效果。
(滤波器的强度)接着，说明在本实施例1的清晰性强调处理中使用的空间滤波器的强度。以下，在图2(b)中，设定f1＝24、f2～f6＝-1，将作为Cdiv＝20的滤波器设定为空间滤波器α。另外，设定f1＝24、f2～f6＝-1，将作为Cdiv＝10的滤波器设定为空间滤波器β。再，设定f1＝24、f2～f6＝-1，将作为Cdiv＝5的滤波器设定为空间滤波器γ。空间滤波器α、β、γ的滤波器系数是共同的，但Cdiv的值不同。另外，设定f1＝48、f2～f6＝-2，将作为Cdiv＝10的滤波器设定为空间滤波器δ。
由于空间滤波器β的Cdiv变成空间滤波器α的Cdiv的二分之一，因此在空间滤波器β的情况下，式(1)的右边第2项的值变成空间滤波器α的情况下的2倍。从而，空间滤波器β的滤波器强度变成空间滤波器α的2倍的强度。同样地，由于空间滤波器γ的Cdiv变成空间滤波器β的Cdiv的一半，因此空间滤波器γ的滤波器强度变成空间滤波器β的2倍。在空间滤波器δ的情况下，Cdiv的值与空间滤波器β相同，但滤波器系数已变成空间滤波器β的2倍。从而，在空间滤波器δ的情况下，式(1)的右边第2项的值变成空间滤波器β的情况下的2倍。因此，空间滤波器δ的滤波器强度变成空间滤波器β的2倍。
在本实施例1中的清晰性强调处理中，设定使用滤波器强度不同的3种(强、中、弱)空间滤波器，决定分别叫做“强滤波器”、“中等程度滤波器”、“弱滤波器”。例如，在滤波器系数共同、Cdiv不同的空间滤波器α、β、γ中，规定空间滤波器α与“弱滤波器”对应，空间滤波器β与中等程度滤波器”对应，空间滤波器γ与“强滤波器”对应。
(滤波器选择法)接着，说明本实施例1中的空间滤波器的选择法(滤波器强度的选择法)。在本实施例1中，根据没有包含处理对象象素、位于处理对象象素附近(周边)区域的特定的象素(以下，叫做“抽样点”)的信息，决定空间滤波器的强度。
首先，参照图4，说明滤波器选择法①。如图4(a)所示那样，将作为处理对象象素周边、没有包含处理对象象素的16个象素设定为抽样点，并将这些抽样点的信号值设定为P1～P16。另外，如图4(b)所示那样，作为成为选择空间滤波器的指标的图像特性信息(以下，叫做“周边评价”)，使用抽样点的邻接象素的信号值差的绝对值和Ia或抽样点的信号值的分散值Ib。即，Ia和Ib分别为式(3)、式(4)那样。
数式3Ia＝|P1-P2|+|P2-P3|+|P3-P4|+|P4-P5|+|P5-P6|+|P6-P7|+|P7-P8|+|P8-P1|(3)+|P9-P10|+|P10-P11|+|P11-P12|+|P12-P13|+|P13-P14|+|P14-P15|+|P15-P16|+|P16-P9|Ib=116Σi=116(Pi-P0)2···(4)]]>此处，式(4)中的P0是包含抽样点的区域内的象素的信号值的平均值。
按照被算出的Ia(或Ib)的值将周边评价的评价基准区分为4个阶段(A、B、C、D)，按照该评价值选择在清晰性强调处理中使用的空间滤波器。在图4(c)中，表示周边评价值和使用的空间滤波器的关系。如图4(c)所示那样，将周边评价的指标Ia(或Ib)是“非常小”的情况设定为评价A，将周边评价的指标是“少许小”的情况设定为评价B，将周边评价的指标是“少许大”的情况设定为评价C，将周边评价的指标是“非常大”的情况设定为评价D。例如，如果作为周边评价的指标，假定使用式(3)所示的Ia，将用于区分Ia的大小的值设定为g1、g2、g3(g1＜＜g2＜＜g3)，则能够在g1＞Ia的情况下，设定为评价A，在g1≤a＜g2的情况下，设定为评价B，在g2≤Ia＜g3的情况下，设定为评价C，g3≤Ia的情况下，设定为评价D。
如图4(c)所示那样，因为在周边评价是A(非常小)的情况下，处理对象象素的周边的信号几乎没有变化，所以使清晰性空间滤波器没有作用。在周边评价是B(少许小)的情况下，作为清晰性空间滤波器，选择弱滤波器(空间滤波器α)，在周边评价是C(少许大)的情况下，选择中等程度的滤波器(空间滤波器β)，在周边评价是D(非常大)的情况下，选择强滤波器(空间滤波器γ)。
此外，在图4所示的滤波器选择法①中，根据抽样点的邻接象素的信号值差的绝对值和Ia或抽样点的信号值的分散值Ib，决定周边评价值(A、B、C、D)，但也可以根据抽样点的信号值的标准偏差决定评价值。
另外，关于用来选择在清晰性强调处理中使用的空间滤波器的抽样点的采集方法、周边评价的评价基准并不限定于图4所示的滤波器选择法①。例如，可以按照与图像采集分辨率、打印时的打印输出分辨率、图像放大率、图像再现、与观察MTF(调制传递函数)有关的参数来决定抽样数和抽样点。以下，参照图5说明滤波器选择法的变形例(滤波器选择法②)。
如图5所示那样，将作为处理对象象素周边的、不包含处理对象象素的16个象素设定为抽样点，并将这些抽样点的信号值设定为P1～P16。另外，如图5(b)所示那样，将周边评价的指标分成3个(指标1～指标3)。
指标1使用16个抽样点中最接近处理对象象素的4个象素中的邻接象素的信号值差的绝对值和I1a或这4个象素的信号值的分散值I1b。指标2使用16个抽样点中第2接近处理对象象素的4个象素中的邻接象素的信号值差的绝对值和I2a或这4个象素的信号值的分散值I2b。指标3使用16个抽样点中离处理对象象素最远的4个象素中的邻接象素的信号值差的绝对值和I3a或这4个象素的信号值的分散值I3b。即，指标1的I1a、I1b，指标2的I2a、I2b，指标3的I3a、I3b，变成以下的式(5)～式(10)那样。
数式4指标1I1a＝|P1-P2|+|P2-P3|+|P3-P4|+|P4-P1| (5)I1b=14Σi=14(Pi-P0)2···(6)]]>指标2I2a＝|P5-P6|+|P6-P7|+|P7-P8|+|P8-P5| (7)I2b=14Σi=58(Pi-P0)2···(8)]]>指标3
I3a＝|P9-P10|+|P10-P11|+|P11-P12|+|P12-P13|(9)+|P13-P14|+|P14-P15|+|P15-P16|+|P16-P9|I3b=18Σi=916(Pi-P0)2···(10)]]>此处，式(6)、式(8)和式(10)中的P0是包含抽样点的区域内的象素的信号值的平均值。
在滤波器选择法②中，按照指标1～指标3的值，将周边评价的评价基准区分为4个阶段(A′、B′、C′、D′)，按照该评价值选择在清晰性强调处理中使用的空间滤波器。在图5(c)中，表示周边评价值和使用的空间滤波器的关系。如图5(c)所示那样，将指标1是未满阈值的情况设定为评价A′，将指标1是阈值以上、指标2、3是未满阈值的情况设定为评价B′，将指标1和指标2是阈值以上、指标3是未满阈值的情况设定为评价C′，将全部指标是阈值以上的情况设定为评价D′。
如图5(c)所示那样，在周边评价是A′的情况下，因为靠近处理对象象素的信号几乎没有变化，所以使清晰性空间滤波器不起作用。在周边评价是B′的情况下，作为清晰性空间滤波器，选择弱滤波器(空间滤波器α)，在周边评价是C′的情况下，选择中等程度的滤波器(空间滤波器β)，在周边评价是D′的情况下，选择强滤波器(空间滤波器γ)。
此外，在图5所示的滤波器选择法②中，也根据抽样点的邻接象素的信号值差的绝对值和I1a～I3a或抽样点的信号值的分散值I1b～I3b，决定周边评价(A′、B′、C′、D′)，但可以根据抽样点的信号值的标准偏差决定评价值。
接着，说明本实施例1的动作。
首先，参照图6的流程图，说明在图像处理系统100中被执行的整个图像处理流。
首先，对从反射原稿扫描器21、透射原稿扫描器(胶片扫描器)22、其它的介质设备等取得的图像信息(图像信号)实施与输入属性相应的输入颜色变换(步骤S1)。在步骤S1中的输入颜色变换，例如，包含将用传感器接收胶片透射光量并进行数字信号化后的信号值作为视觉信号值和光学浓度值等图像信号，变换为有意义的单位系列的处理，以及将按照各自的分光特性被表现的色调整合成标准的颜色空间的处理。
接着，对所取得的图像信号进行图像判定(步骤S2)。它是在所取得的图像信号具有与目的不相称的亮度、色调的情况下，进行以下处理预先自动地求出接近正确解释的灰度等级调整量，使得能容易地实施以后的用户调整。此处，将求出的灰度等级调整量与操作员追加的调整部分合并，并用颜色、亮度调整、对比度调整的参数表示。
通过自动和操作员操作调整了颜色、亮度、对比度的图像信号被显示在显示部件4的显示画面上，并由操作员实施画面显示的图像的评价(步骤S3)。在图像评价中，在按下了指示调整的键的情况下，判断为有必要再对图像信号进行调整(步骤S4；NO)，并返回到步骤S2，再一次通过自动和操作员操作对该图像信号实施颜色、亮度、对比度调整。
如果通过来自指示输入部件3的键操作等，判断图像评价为OK(步骤S4；YES)，则根据需要，对处理对象的图像信号实施图像的放大/缩小处理(步骤S5)、噪音除去处理(步骤S6)、清晰性强调处理(步骤S7，在图7中详述)。另外，对该图像信号实施图像旋转、粘贴合成处理等，得到加工完成图像信息(步骤S8)。
此外，图像的放大/缩小、噪音除去处理、图像旋转、粘贴合成处理等，根据其处理内容而处理顺序不相同。另外，在实际的图像处理系统100中，在将图像显示在显示画面上、并调整对比度等的阶段中，不使用大的原图像，而准备预览用的小图像，在成为了评价OK的情况下，重新进行对原图像的处理。
在实际上打印输出被加工的图像信号时，对该图像信号，实施向与打印输出设备的特性相应的彩色空间的灰度等级变换处理(步骤S9)，并输出到指示的输出设备(步骤S10)，然后结束本图像处理。
接着，参照图7的流程图，说明图6的步骤S7中的清晰性强调处理。此外，在以下的流程图中，表示适用图4所示的滤波器选择法①的情况，但使用图5所示的滤波器选择法②也能进行与图7相同的处理。
首先，如用图4所示的滤波器选择法①所示的那样，算出处理对象象素附近的Ia或Ib，根据算出的Ia或Ib，导出周边评价值(A、B、C、D)(步骤S101)。接着，根据在步骤S101中导出的评价值判定是否有必要对处理对象象素进行清晰性强调处理(步骤S102)。
在步骤S102中，在周边评价值是A的情况下，判定为不需要进行清晰性强调处理(步骤S102；NO)，现在，判定已成为处理对象的象素按处理顺序是否是最终的象素(终端部分的象素)(步骤S106)。
在步骤S106中，在处理对象象素被判定是最终象素的情况下(步骤S106；YES)，结束本清晰性强调处理。在步骤S106中，在处理对象象素被判定为不是最终象素的情况下(步骤S106；NO)，转移到步骤S101，接着导出针对作为处理对象的象素的周边评价值。
在步骤S102中，在周边评价值是B、C、D中任何一个的情况下，判定为有必要进行清晰性强调处理(步骤S102；YES)，并根据评价值决定在清晰性强调处理中使用的空间滤波器(强滤波器、中等程度的滤波器、弱滤波器)(步骤S103)。
接着，对处理对象象素进行在步骤S103中决定的空间滤波器的清晰性强调处理(步骤S104)。如果清晰性强调处理结束，则判定实施了该清晰性强调处理的象素按处理顺序是否是最终的象素，即，是否清晰性强调处理已全部结束(步骤S105)。
在步骤S105中，在判定为清晰性强调处理没有全部结束的情况下(步骤S105；NO)，转移到步骤S101，接着导出针对作为处理对象的象素的周边评价值。在步骤S105中，在判定为清晰性强调处理全部结束的情况下(步骤S105，YES)，结束本清晰性强调处理。
如以上那样，如果依据本实施例1的图像处理部件1，则通过根据没有包含处理对象象素的周边区域的象素的状况实施清晰性强调处理，能够在孤立点等图像处理上一边抑制容易引人注目的图像噪音的强调，一边强调清晰性。即，在处理对象象素自身是孤立点噪音的情况下，由于在其周边评价值中没有包含处理对象象素自身的值，因此用必要以上强的清晰性强调使噪音显著的可能性变得非常低。从而，例如，在对人物图像进行清晰性强调的情况下，通过将强的清晰性强调加在皮肤的平坦区域，在防止皮肤再现发皱的副作用的同时，在具有面部的轮廓、头发的毛等图像构造的部分中能得到充分的清晰性强调的效果。
接着，说明本发明的实施例2。在上述实施例1中，根据位于没有包含处理对象的周边区域的抽样象素中的邻接象素的信号值的差的绝对值和、以及抽样象素的信号值的分散值导出周边评价值，并根据该评价值选择空间滤波器，但在本实施例2中，通过在该绝对值和或分散值的基础上，进而评价周边区域的边缘的方向来选择空间滤波器。
首先，说明实施例2的构成。本实施例2中的图像处理系统的构成与在上述的实施例1中的图1所示的图像处理系统100相同，因此附加相同符号，并省略其图示。在以下的构成说明中，说明与实施例1中的图像处理系统100不同的部件(图像处理部件1)。
实施例2中的图像处理部件1检测处理对象象素附近的规定区域中包含的边缘，根据检测出的边缘选择(决定)在清晰性强调处理中使用的空间滤波器的特性(各向同性、各向异性)，并使用具有被选择的特性的空间滤波器，对处理对象象素实施清晰性强调处理(参照图10)。以下，说明空间滤波器的特性。
(滤波器的特性)接着，说明在本实施例2的清晰性强调处理中使用的空间滤波器的特性。图8中展示了在本实施例2中使用的空间滤波器的例子。
图8(a)是在图2(b)中设定了f1＝24、f2～f6＝-1的滤波器，表示在上述的实施例1中使用的空间滤波器α、β、γ。图8(a)所示的空间滤波器α、β、γ因为各方向的滤波器系数是相同的值，所以是均匀地(等方地)作用于处理对象象素的旋转的各方向。另一方面，图8(b)所示的空间滤波器ε和图8(c)所示的空间滤波器ζ，因为随着方向不同而滤波器系数的值不相同，所以具有随着方向不同而强调效果不同的各向异性。
在图8(d)、图8(e)和图8(f)中表示各空间滤波器的强调效果的概念图。在图8(d)～(f)中，各线的粗细表示强调效果的大小。例如，空间滤波器α、β、γ如图8(d)所示那样，强调效果在各方向是均匀的。另一方面，空间滤波器ε如图8(e)所示那样，特别强调在处理对象象素的上下方向延伸的边缘。另外，空间滤波器ζ特别强调在处理对象象素的斜方向延伸的边缘。空间滤波器ε和空间滤波器ζ因为能够特别强调一个方向，所以能够使用这些空间滤波器强调图像中的边缘。用图8(g)、(h)、(i)所示的图案分别表示空间滤波器α、β、γ的特性(各向同性、各向异性)。在图8(h)和图8(i)中，箭头的方向是与边缘方向正交的方向。
接着，参照图9所示的人物图像说明空间滤波器的使用例子。在图9中示出了按照图像的各区域被使用的滤波器。在图9中，针对头发的毛、脸部的轮廓等有明确的方向性的边缘，对与其方向正交的方向使用用来强调其边缘的各向异性的空间滤波器。另外，如衬衫的部分那样，对存在缺乏方向性的边缘的区域使用各向同性的空间滤波器。而且，针对脸颊的部分等局部平坦的区域使空间滤波器没有作用。
此外，在本实施例2中，也与实施例1相同，能够按照处理对象象素的周边评价决定空间滤波器的强度。如图4(c)和图5(c)所示那样，按照Cdiv的值设定“弱滤波器”、“中等程度滤波器”、“强滤波器”。例如，可以将具有图8(b)所示的滤波器系数的空间滤波器ε中Cdiv为20的滤波器设定为“弱滤波器”，将Cdiv为10的滤波器设定为“中等程度滤波器”，将Cdiv为5的滤波器设定为“强滤波器”。
接着，说明本实施例2的动作。本实施例2中的整个图像处理流与在实施例1中图6所示的流程图相同，因此省略其说明。以下，参照图10的流程图，说明本实施例2中的清晰性强调处理。此外，在以下的流程图中，表示在决定滤波器的强度时适用在实施例1中图4所示的滤波器选择法①的情况，但也使用图5所示的选择法②进行与图10同样的处理。
首先，如在图4的滤波器选择法①中所示的那样，算出处理对象象素附近的Ia或Ib，根据算出的Ia或Ib，导出周边评价值(A、B、C、D)(步骤S201)。接着，根据在步骤S201中导出的评价值判定是否有必要对处理对象象素进行清晰性强调处理(步骤S202)。
在步骤S202中，在周边评价值是A的情况下，判定为不需要进行清晰性强调处理(步骤S202；NO)，并判定当前已成为处理对象的象素按处理顺序是否是最终的象素(终端部分的象素)(步骤S209)。
在步骤S209中，在处理对象象素被判定为是最终象素的情况下(步骤S209；YES)，结束本清晰性强调处理。在步骤S209中，在处理对象象素被判定为不是最终象素的情况下(步骤S209；NO)，转移到步骤S201，接着导出针对作为处理对象的象素的周边的评价值。
在步骤S202中，在周边评价值是B、C、D中任何一个的情况下，判定为有必要进行清晰性强调处理(步骤S202；YES)，并根据评价值决定在清晰性强调处理中使用的空间滤波器的强度(强、中、弱)(步骤S203)。
接着，开始处理对象象素附近的边缘的检测操作(步骤S204)，实际上判定是否检测出了边缘(步骤S205)。边缘的检测方法可以利用现有的各种方法。例如，如果将空间滤波器的计算区域的尺寸设定是5×5象素，则在各方向准备比这更大的尺寸的具有各向异性的滤波器(例如，9×9象素的滤波器)。然后，可以对处理对象象素实行基于在其各方向准备的滤波器的运算，并将对应于强调效果最大的滤波器的方向设定为边缘的方向。
在步骤S205中，在没有检测出边缘的情况下(步骤S205；NO)，作为使用的空间滤波器，选择各向同性的滤波器(步骤S206)，并对该处理对象象素实施具有在步骤S203中决定的强度的各向同性的滤波器的清晰性强调处理(步骤S207)。
在步骤S205中，在检测出与处理对象行素对应的边缘的情况下(步骤S205；YES)，作为使用的空间滤波器，选择具有与检测出的该边缘的方向配合的各向异性的滤波器(步骤S210)，并对该处理对象象素实施具有在步骤S203中决定的强度、而且具有在步骤S210中选择的各向异性的滤波器的清晰性强调处理(步骤S207)。
如果清晰性强调处理结束，则判断实施该清晰性强调处理的象素按处理顺序是否是最终的象素，即清晰性强调处理是否已全部结束(步骤S208)。在步骤S208中，在清晰性强调处理被判定为没有全部结束的情况下(步骤S208；NO)，转移到步骤S201，接着导出针对作为处理对象的象素的周边评价值。在步骤S208中，在清晰性强调处理被判定为已全部结束的情况下(步骤S208；YES)，结束本清晰性强调处理。
此外，检测处理对象象素附近的边缘，选择滤波器特性(各向同性、各向异性)的方法并不只限定于上述方法。以下，参照图11和图12，说明滤波器特性选择法的其它例子。
如图11(a)所示那样，以滤波器处理的处理对象象素为中心，将位于大致等距离的16个象素设定为抽样点，将这些抽样点的信号值设定为P1～P16。另外，如图11(b)所示那样，设定4个用来选择滤波器特性的指标(指标1～指标4)。
如图11(b)所示那样，指标1的计算内容是P1～P3的邻接之间的差的绝对值和与P9～P11的邻接之间的差的绝对值和的和I1。指标2的计算内容是P3～P5的邻接之间的差的绝对值和与P11～P13的邻接之间的差的绝对值和的和I2。指标3的计算内容是P5～P7的邻接之间的差的绝对值和与P13～P15的邻接之间的差的绝对值和的和I3。指标4的计算内容是P7～P9的邻接之间的差的绝对值和与P15、P16、P1的邻接之间的差的绝对值和的和I4。即，指标1～指标4成为如以下的式(11)～式(14)那样。
数式5
指标1I1＝|P1-P2|+|P2-P3|+|P9-P10|+|P10-P11|(11)指标2I2＝|P3-P4|+|P4-P5|+|P11-P12|+|P12-P13| (12)指标3I3＝|P5-P6|+|P6-P7|+|P13-P14|+|P14-P15| (13)指标4I4＝|P7-P8|+|P8-P9|+|P15-P16|+|P16-P1|(14)按照指标1～指标4的值，选择在清晰性强调处理中使用的滤波器的特性(各向同性、各向异性)。在图12中表示指标的状态和表示滤波器特性的图案(参照图8(g)、(h)、(i))的关系。在指标1～指标4中只有指标1在预先设定的阈值以上的情况下，使用强调纵方向的各向异性滤波器，在指标1～指标4中只有指标2在预先设定的阈值以上的情况下，使用强调斜方向(向右上)的各向异性滤波器，在指标1～指标4中只有指标3在预先设定的阈值以上的情况下，使用强调横方向的各向异性滤波器，在指标1～指标4中只有指标4在预先设定的阈值以上的情况下，使用强调斜(向右下)方向的各向异性滤波器。在不存在阈值以上的指标的情况下，使用各向同性的滤波。作为其它的选择法，例如，也可以抽出指标1～指标4中最大的指标(设定为最大指标)，接着，算出剩余的3个指标的平均值，作为方向性指标值使用平均值除最大指标的指标值。在这种情况下，在方向性指标值比预先设定的阈值小的情况下，因为没有断定方向性，所以使用各向同性的滤波器，在方向性指标值比预先设定的阈值大的情况下，使用强调与最大指标对应的方向的各向异性滤波器。
此外，在图12中，表示在边缘检测中使用图11(b)所示的指标1～4的情况，但也可以与实施例1相同地在决定滤波器的强度时利用这些指标。如果这么做，则能够在滤波器强度的决定和边缘检测中使用同一指标，并使有效地实行图像处理变为可能。
如以上那样，如果依据本实施例2中的图像处理部件1，则检测处理对象象素周边的边缘，使用适合于边缘方向的空间滤波器进行清晰性强调处理，因此能够得到与图像中的各区域相应的、具有理想的线再现性的清晰性强调效果。
在存在边缘的情况下，通过使用各向异性滤波器进行清晰性强调处理，在与边缘正交的方向上更强地实施清晰性强调处理，因此能强烈地表现图像中的线构造。另外，如果通过边缘流动的方向的清晰性强调变弱，或滤波器系数的设定方法，例如，在图8(b)中，使中央部分的滤波器系数从20变成8，使其上下的滤波器系数从2变成8，则清晰性降低，即被平滑化，因此抑制了边缘流动的方向的粒状感，使平滑的图像表现变为可能。
另外，在存在边缘的情况下，由于确定清晰性强调的方向，所以能够将在边缘强调中必需的滤波器系数全体设定得比利用各向同性的滤波器的情况下小，因此进一步抑制了粒状感，能够得到平滑的图像。
特别，如图11所示那样，将从处理对象象素起位于大致相等距离的多个象素设定为抽样点，并通过根据抽样点的各方向的信号值的变化检测边缘，能够用简易的计算检测边缘。
此外，评价图像中的边缘方向的方法(边缘检测方法)并不只限于上述方法。作为解析评价边缘方向的方法，例如，可以使用多重分辨率变换。以下，说明多重分辨率变换。
(多重分辨率变换)所谓多重分辨率变换是指以子波变换、完全再构成滤波器组、拉普拉斯算符金字塔(角锥)等为代表的方法的总称，是通过1次变换操作将输入信号分解成低频频带成分信号和高频频带成分信号，对所得到的低频频带成分信号进行同样的变换操作，得到由频带不同的多个信号组成的多重分辨率信号。在对所得到的多重分辨率信号不加工，而照原样进行了逆多重分辨率变换的情况下，再构成原来的信号。关于这样的方法，例如，在G.斯特郎和T.古恩合著、培风馆翻译出版的“子波解析和滤波器组”(G.Srang and T.Nguyen，“Wavelet and FilterBanks”，Wellesley-Cambridge Press)一书(文献A)中作了详细的解说。
此处，作为多重分辨率变换的典型例子说明子波变换的概要。所谓子波变换是使用如图13所例示那样的有限范围内振动的子波函数(下列式(15))，通过下列式(16)那样求出针对输入信号f(x)的子波变换系数<f、ψa、b>，并分解成如下式(17)所示的子波函数的总和的变换。
数式6ψa,b(x)=ψ(x-ba)···(15)]]>数式7⟨f,ψa,b⟩≡1a∫f(x)·ψ(x-ba)dx···(16)]]>数式8f(x)=Σa,b⟨f,ψa,b⟩·ψa,b(x)···(17)]]>在上列式(15)～(17)中，a表示子波函数的换算，b表示子波函数的位置。如图13例示的那样，换算a的值越大，子波函数ψa、b(x)的频率变得越小，并按照位置b的值移动子波函数ψa、b(x)振动的位置。因此，上列式(17)意味着将输入信号f(x)分解成具有各种换算和位置的子波函数ψa、b(x)的总和。
在这样的子波变换中，作为本发明的“减小图像尺寸的方式的多重分辨率变换”，人们已知道有正交子波(orthogonal wavelet)变换、双正交子波(biorthogonal wavelet)变换。以下，说明正交子波和双正交子波的变换计算的概要。
正交子波变换和双正交子波变换的子波函数如下列式(18)那样被定义。
数式9ψi,j(x)=2-iψ(x-j·2i2i)···(18)]]>但是，i是自然数。
如果比较式(18)和式(15)，则可知，在正交子波变换、双正交子波变换中，换算a的值用2的i次方离散地被定义，另外，位置b的最小移动单位用2i离散地被定义。将该i的值叫做级别。
如果将级别i限制为有限的上限N，则输入信号f(x)如下列式(19)～(21)那样被表示。
数式10f(x)≡S0=Σj⟨S0,ψ1,j⟩·ψ1,j(x)+Σj⟨S0,φ1,j⟩·φ1,j(x)≡ΣjW1(j)·ψ1,j(x)+ΣjS1(j)·φ1,j(x)···(19)]]>数式11Si-1=Σj⟨Si-1,ψi,j⟩·ψi,j(x)+Σj⟨Si-1,φi,j⟩·φi,j(x)≡ΣjWi(j)ψi,j(x)+ΣjSi(j)·φi,j(x)···(20)]]>数式12f(x)≡S0=Σi=1NΣjWi(j)·ψi,j(x)+ΣjSN(j)·φi,j(x)···(21)]]>式(19)的第2项是将没有用级别1的子波函数ψ1、j(x)的总和表示的残差的低频频带成分用级别1的换算函数φ1、j(x)的总和表示。换算函数使用与子波函数对应的适当的函数(参照文献A)。通过式(19)所示的级别1的子波变换，输入信号f(x)＝S0就会被信号分解成级别1的高频频带成分W1和低频频带成分S1。
由于子波函数i、j(x)的最小移动单位是2i，因此对于输入信号S0的信号量，高频频带成分W1和低频频带成分S1的信号量各自变成1/2，高频频带成分W1和低频频带成分S1的信号量的总和等于输入信号S0的信号量。级别1的低频频带成分S1在式(20)中被分解成级别2的高频频带成分W2和低频频带成分S2，以下同样地通过重复到级别N的变换，输入信号S0如式(21)所示那样被分解成级别1～N的高频频带成分的总和和级别N的低频频带成分的和。
此处，已知在图14所示那样的滤波器处理中能进行式(20)所示的1级别的子波变换的计算。在图14中，LPF表示低通滤波器，HPF表示高通滤波器。低通滤波器LPF和高通滤波器HPF的滤波系数根据子波函数适当地被决定(参照文献A)。在图14中，2↓表示每隔一个地去掉信号的下降抽样。
如图14所示那样，通过在低通滤波器LPF和高通滤波器HPF中处理输入信号Sn-1，并每隔1个地去掉信号，能够将入信号Sn-1分解成高频频带成分Wn和低频频带成分Sn。
在图15所示那样的滤波器处理中，计算图像信号那样的2维原来信号的1级别的子波变换。在图15中，LPFx、HPFx、2↓x表示x方向的处理，LPFy、HPFy、2↓y表示y方向的处理。首先，通过x方向的低通滤波器LPFx、高通滤波器HPFx对输入信号Sn-1进行滤波器处理，在x方向进行下降抽样。因此，输入信号Sn-1被分解成低频频带成分SXn和高频频带成分WXn。对各个低频频带成分SXn和高频频带成分WXn通过y方向的低通滤波器LPFy、高通滤波器HPFy进行滤波器处理，在y方向进行下降抽样。
通过该1级别的子波变换，低频频带成分Sn-1被分解成3个高频频带成分Wvn、Whn、Wdn和1个低频频带成分Sn。在分解中生成的Wvn、Whn、Wdn、Sn的各个信号量与分解前的Sn-1比较，纵横轴都变成1/2，因此分解后的4个成分的信号量的总和等于分解前的Sn-1的信号。
图16模式地展示了输入信号S0在3级别的子波变换中被信号分解的过程。如图16所示那样，已知随着级别数变大，通过下降抽样间隔除去图像信号，并使分解图像变小。
另外，如图17所示的那样，已知通过对由分解生成的Wvn、Whn、Wdn、Sn，实施在滤波器处理中计算出的子波逆变换，能完全再构成分解前的信号Sn-1。在图17中，LPF’表示逆变换用的低通滤波器，HPF’表示逆变换用的高通滤波器。另外，2↑表示向信号中每隔1个插入零的上升抽样处理。另外，LPF’x、HPF’x、2↑x表示x方向的处理，LPF’y、HPF’y、2↑y表示y方向的处理。
如图17所示那样，如果将通过在y方向对Sn实施上升抽样处理和低通滤波器LPF’y的滤波器处理得到的信号和通过在y方向对Whn实施上升抽样处理和高通滤波器HPF’y的滤波器处理得到的信号相加得到SXn。与此相同，从Wvn和Wdn生成WXn。
而且，将通过在x方向对SXn实施上升抽样处理和低通滤波器LPF’x的滤波器处理得到的信号和通过在x方向对WXn实施上升抽样处理和高通滤波器HPF’x的滤波器处理得到的信号相加，能够再构成分解前的信号Sn-1。
在子波逆变换时使用的滤波器，在正交子波变换的情况下使用与在变换时使用的系数相同的系数的滤波器。在双正交子波变换的情况下，在逆变换时使用与变换时使用的系数不同的系数的滤波器(参照文献A)。
关于在本发明中利用的二元子波(Dyadic Wavelet)变换，在上述的非专利文献1“Chacterization of signal from multiscale edges”byS.Mallat and S.Zhong，IEEE Trans.Pattern Anal.machine Intel.14710(1992)“A wavelet tour of signal processing 2ed.”byS.Mallat，Academic Presss中有详细的说明。以下，说明二元子波变换的概要。
在二元子波变换中使用的子波函数如下列式(22)那样被定义。
数式13ψi,j(x)=2-iψ(x-j2i)···(22)]]>其中，i是自然数。
正交子波变换、双正交子波变换的子波函数如上述那样，级别i中的位置的最小移动单位用2i离散地定义，与此相对，二元子波变换与级别i无关，位置的最小移动单位是恒定的。由于这种不同，二元子波变换具有下列特征。
作为第1特征，在下列式(23)所示的1级别的二元子波变换中生成的、高频频带成分Wi和低频频带成分Si的各个信号量与变换前的信号Si-1相同。
数式14Si-1=Σj⟨Si-1,ψi,j⟩·ψi,j(x)+Σj⟨Si-1,φi,j⟩·φi,j(x)≡ΣjWi(j)·ψi,j(x)+ΣjS1(j)·φi,j(x)···(23)]]>这样，二元子波变换与双正交/正交子波变换不同，变换后的图像大小比原来图像没有减少。
作为二元子波变换的第2特征，在换算函数φi、j(x)和子波函数ψi、j(x)之间，下列关系式(24)成立。
数式15ψi,j(x)=∂∂xφi,j(x)---(24)]]>因此，用二元子波变换生成的高频频带成分Wi用低频频带成分Si的一阶微分(梯度)表示。
作为二元子波变换的第3特征，关于将按照子波变换的级别i决定的系数γi(参照有关上述的二元子波的参考文献)与高频频带成分相乘的Wi·γi(以下，将它称为修正后高频频带成分)，根据输入信号的信号变化的特异性(singularity)，该变换后的修正后高频频带成分Wi·γi的信号强度的级别间的关系遵从一定的法则。
在图18中表示输入信号S0的波形和由子波变换所得到的各级别的修正后高频频带成分的波形。在图18中，(a)表示输入信号S0，(b)表示由级别1的二元子波变换所得到的修正后高频频带成分W1·γ1，(c)表示由级别2的二元子波变换所得到的修正后高频频带成分W2·γ2，(d)表示由级别3的二元子波变换所得到的修正后高频频带成分W3·γ3，(e)表示由级别4的二元子波变换所得到的修正后高频频带成分W4·γ4。
如果观察各级别的信号强度的变化，则在(a)中，与“1”和“4”所示的平稳的(可微分的)信号变化对应的修正后高频频带成分Wi·γi，如(b)→(e)所示那样，级别数i越增大，信号强度越增大。
在输入信号S0中，与“2”所示的阶跃形状的信号变化对应的修正后高频频带成分Wi·γi与级别数i无关，信号强度变成恒定。在输入信号S0中，与“3”所示的δ函数形状的信号变化对应的修正后高频频带成分Wi·γi如(b)→(e)所示那样，级别数i越增大，信号强度越减小。
作为二元子波变换的第4特征，图像信号那样的2维原来信号的1级别的二元子波变换的方法与上述的正交子波变换和双正交子波变换不同，用图19所示的方法进行。
如图19所示那样，通过用1级别的二元子波变换，在x方向的低通滤波器和y方向的低通滤波器中处理输入信号Sn-1，得到低频频带成分Sn。另外，通过在x方向的低通滤波器中处理输入信号Sn-1，得到高频频带成分Wxn。而且，通过在y方向的低通滤波器中处理输入信号Sn-1，又得到一个高频频带成分Wyn。
这样，通过1级别的二元子波变换，输入信号Sn-1被分解成2个高频频带成分Wxn、Wyn和1个低频频带成分Sn。2个高频频带成分Wxn、Wyn相当于低频频带成分Sn的2维变化矢量Vn的x成分和y成分。变化矢量Vn的大小和偏角An在下列式(25)和(26)中给出。
数式16Mn=Wxn2+Wyn2---(25)]]>数式17An＝argument(Wxn+iWyn)(26)另外，通过对在二元子波变换中得到的2个高频频带成分Wxn、Wyn和1个低频频带成分Sn实施图20所示的二元子波逆变换，能够再构成变换前的信号Sn-1。即，通过将在x方向的低通滤波器LPFx和y方向的低通滤波器LPFy中处理Sn所得到的信号、在x方向的低通滤波器HPFx和y方向的低通滤波器LPFy中处理Wxn所得到的信号、以及在x方向的低通滤波器LPFx和高通滤波器HPFy中处理Wyn所得到的信号相加，能够得到二元子波变换前的信号Sn-1。
接着，根据图21的方框图，说明这样的方法，即，对输入信号S0进行n级别的二元子波变换，并在对所得到的高频频带成分、低频频带成分(在图21中记述为“编辑”)进行了任何图像处理后，进行n级别的二元子波逆变换得到输出信号S0’。
通过针对输入信号S0的级别1的二元子波变换，输入信号S0被分解成2个高频频带成分Wx1、Wy1和1个低频频带成分S1。通过级别2的子波变换，在级别1的二元子波变换中得到的低频频带成分S1再被分解成2个高频频带成分Wx2、Wy2和1个低频频带成分S2。通过使这样的分解操作重复直到级别n，输入信号S0被分解成多个高频频带成分Wx1、Wx2、…、Wxn、Wy1、Wy2、…、Wyn和1个低频频带成分Sn。
对这样得到的高频频带成分Wx1、Wx2、…、Wxn、Wy1、Wy2、…、Wyn、低频频带成分Sn进行图像处理(编辑)，得到高频频带成分Wx1’、Wx2’…、Wxn’、Wy1’、Wy2’、…、Wyn’、低频频带成分Sn’。
然后，对这些高频频带成分Wx1’、Wx2’…、Wxn’、Wy1’、Wy2’、…、Wyn’、低频频带成分Sn’实施二元子波逆变换。即，由图像处理(编辑)后的级别n的2个高频频带成分Wxn’、Wyn’和低频频带成分Sn’构成图像处理后的级别n-1的低频频带成分Sn-1’。重复这样的操作，由图像处理后的级别2的2个高频频带成分Wx2’、Wy2’和低频频带成分S2’构成图像处理后的级别1的低频频带成分S1’。并由该低频频带成分S1’和图像处理后的级别1的2个高频频带成分Wx1’、Wy1’构成图像信号S0’。
此外，在图21中使用的各滤波器的滤波器系数根据二元子波变换适当地被决定。另外在二元子波变换中，在每个级别中使用的滤波器的滤波器系数不同。在级别n中使用的滤波器系数是在级别1的滤波器的各系数之间插入2n-1-1个零的系数。
另外，在图21中，表示对由二元子波变换所得到的高频频带成分和最终级别的低频频带成分的图像进行图像处理(编辑)的例子，但也可以根据需要，对二元子波逆变换后合成的低频频带成分的图像进行图像处理。而且，可以对在二元子波变换过程中的低频频带成分的图像进行图像处理。
接着，参照图22的流程图，说明使用子波变换检测边缘的情况下的清晰性强调处理。
首先，评价清晰性处理对象的图像的尺寸(步骤S301)，并判定图像尺寸是否比预先设定的值(规定值)大(步骤S302)。评价图像尺寸是因为例如在将图像输出到高分别率的打印机的情况下，图像尺寸变得非常大，但在该情况下的图像构造的评价中，往往不太需要细节的构造，因而减少耗费在它上面的无用的图像处理时间的缘故。
在步骤S302中，在图像尺寸被判定为比规定值小的情况下(步骤S302；NO)，对处理对象的图像实施二元子波变换(步骤S303)。如果将二元子波所必需的级别设定为n级别，则在步骤S303中，按照级别1、级别2、…、级别n的顺序实施二元子波变换。从由在步骤S303中的各级别的二元子波变换生成的分解图像中取得并保存作为边缘信息的矢量数据(式(25)和式(26))。
根据在各级别中取得的矢量数据(式(25)和式(26))检测边缘(步骤S304)。此处，式(25)表示边缘的强度，式(26)表示边缘的方向。接着，根据由步骤S304中的边缘检测取得的边缘信息(边缘的强度、边缘的方向)，选择(决定)对图像内的各象素实施的空间滤波器(步骤S305)。基于边缘的空间滤波器的选择方法，例如，可以使用在图8～图12中所示的方法。
一方面进行边缘检测、滤波器的选择，另一方面对通过步骤S303的各级别的二元子波变换产生的高频成分和残差成分(级别n的低频成分)实施各种图像(编辑)处理(步骤S308)。接着，对在每个级别中被编辑的图像(分解图像)实施子波逆变换(步骤S309)，而成为原来尺寸的图像。
接着，针对子波逆变换后的图像，实施在步骤S305中选择的空间滤波器的清晰性强调处理(步骤S310)，并结束本清晰性强调处理。
在步骤S302中，在判定为比规定值大的情况(步骤S302；YES)下，对处理对象的图像实施级别1的双正交子波变换(步骤S306)。在图像尺寸过大的情况下，使用双正交子波变换是由于在双正交子波变换中，通过变换使图像的尺寸变小的缘故。
接着，对由级别1的双正交子波变换产生的低频成分实施从级别2到级别n的二元子波变换(步骤S307)。在级别2以后转换到二元子波变换是由于二元子波变换能取得高精度的信息的缘故。从通过在步骤S307的各级别中的二元子波变换生成的分解图像中取得并保存作为边缘信息的矢量数据(式(25)和式(26))。
从在各级别中取得的矢量数据中(式(25)和式(26))检测边缘(步骤S304)。此处，式(25)表示边缘的强度，式(26)表示边缘的方向。接着，根据通过步骤S304中的边缘检测取得的边缘信息(边缘的强度、边缘的方向)，选择(决定)对图像内的各象素实施的空间滤波器(步骤S305)。基于边缘的空间滤波器的选择方法，例如，使用在图8～图12中所示的方法。
一方面进行边缘检测、滤波器的选择，另一方面对通过步骤S307的各级别的二元子波变换产生的高频成分和残差成分(级别n的低频成分)实施各种图像(编辑)处理(步骤S308)。接着，针对在每个级别中被编辑的图像(分解图像)、通过级别1的双正交子波变换产生的高频成分实施子波逆变换(步骤S309)，而成为原来尺寸的图像。
接着，对子波逆变换后的图像实施在步骤S305中选择的空间滤波器的清晰性强调处理(步骤S310)，并结束本清晰性强调处理。
如在图22的流程图中所示的那样，通过使用二元子波变换，能够容易地取得边缘信息，但从上述的子波变换的说明所明白的那样，二元子波变换的计算量非常大，不适用于只用于检测边缘的利用。但是，从通过二元子波变换生成的分解图像得到的信息能够应用于各种高度的图像处理中。
例如，能够评价由二元子波变换得到的边缘的构造及其强度、性质，并用于场景分割、被摄物体图案抽出等作业中。另外，应用由二元子波变换得到的这些信息，能够实现主要被摄物体的判别、重要度的识别、高度的覆盖处理。如果是安装了这样高度的图像处理功能的图像处理系统，则作为副信息能够容易地得到边缘信息。
此外，上述各实施例中的记述内容在不脱离本发明的宗旨的范围能够作适当的变更。
权利要求
1.一种用于处理输入图像的方法，输出对所述输入图像进行了修正处理的图像，其特征在于包括从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和根据所述导出步骤导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
2.根据权利要求1的方法，其特征在于所述图像特征信息包括存在于所述预定区域的所述相邻像素之间的微分信号绝对值的总和、存在于所述预定区域的所述相邻像素的每一个信号值的残差以及存在于所述预定区域的所述相邻像素的每一个信号值的标准偏差中的至少一个。
3.根据权利要求1的方法，其特征在于进一步包括以下步骤根据所述导出步骤导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼引不同的空间过滤器中选择一个特定的空间过滤器，其中，在所述选择步骤中选择的所述特定的空间过滤器用于所述提高清晰度的处理。
4.一种用于处理输入图像的方法，输出对所述输入图像进行了修正处理的图像，其特征在于包括步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和根据所述导出步骤中导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系，从多个彼此不同的空间过滤器中选择一个特定的空间过滤器；通过使用在所述选择步骤中选择的所述特定的空间过滤器，对所述图像处理目标像素进行提高清晰度的处理。
5.根据权利要求4的方法，其特征在于在所述导出步骤中，对所述输入图像进行多分辨率的转换处理，从而将所述输入图像分解成多个分解图像，然后，从所述多分辨率转换处理产生的所述多个分解图像导出所述图像特征信息。
6.根据权利要求5的方法，其特征在于在所述导出步骤中，将二元子波变换用于至少比所述多分辨率转换处理的级别2更高的级别上的图像分解处理中，然后，从所述二元子波变换产生的所述多个分解图像导出边缘信息，作为关于包含于所述输入图像的边缘部分的所述图像特征信息。
7.根据权利要求4的方法，其特征在于在所述导出步骤中，导出代表多个像素信号值的分散值的信息作为所述图像特征信息，所述像素存在于与所述预定区域内的所述图像处理目标像素基本上距离相等的位置上。
8.一种用于处理输入图像的装置，输出对所述输入图像进行了修正处理的图像，其特征在于包括导出部件，用于从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素，并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；图像处理部件，用于根据所述导出部件导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
9.根据权利要求8的装置，其特征在于所述图像特征信息包括存在于所述预定区域的所述相邻像素之间的微分信号绝对值的总和、存在于所述预定区域的所述相邻像素的每一个信号值的残差以及存在于所述预定区域的所述相邻像素的每一个信号值的标准偏差中的至少一个。
10.根据权利要求8的装置，其特征在于进一步包括过滤器选择部件，用于根据由所述导出部件导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器；其中，所述图像处理部件使用由所述过滤器选择部件选择的所述特定的空间过滤器进行所述提高清晰度的处理。
11.一种用于处理输入图像的装置，输出从所述输入图像经修正的经过处理的图像，其特征在于包括导出部件，用于从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；过滤器选择部件，用于根据由所述导出部件导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器；和图像处理部件，用于通过使用由所述过滤器选择部件选择的所述特定空间滤波器，对所述图像处理目标像素进行提高清晰度的处理。
12.根据权利要求11的装置，其特征在于所述导出部件对所述输入图像进行多分辨率转换处理以便将所述输入图像分解成多个分解图像，然后，从通过使用所述多分辨率转换处理产生的所述多个分解图像中导出所述图像特征信息。
13.根据权利要求12的装置，其特征在于所述导出部件在图像分解处理中在至少比所述多分辨率处理的级别2更高的级别上使用二元子波变换，然后，从通过使用所述二元子波变换产生的所述多个分解图像中导出边缘信息，作为关于包含于所述输入图像的边缘部分的所述图像特征信息。
14.根据权利要求11的装置，其特征在于所述导出部件导出代表多个像素信号值的分散值的信息作为所述图像特征信息，所述像素存在于与所述预定区域内的所述图像处理目标像素基本上距离相等的位置上。
15.一种用于执行处理输入图像的操作以便输出从所述输入图像修正的经过处理的图像的计算机程序，其特征在于包括功能步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中；和基于在所述导出步骤中导出的所述图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。
16.根据要求15的计算机程序，其特征在于所述图像特征信息包括存在于所述预定区域的所述相邻像素之间的微分信号绝对值的总和、存在于所述预定区域的所述相邻像素的每一个信号值的残差以及存在于所述预定区域的所述相邻像素的每一个信号值的标准偏差中的至少一个。
17.根据要求1的计算机程序，其特征在于进一步包括以下功能步骤基于在所述导出步骤导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器，其中，在所述选择步骤中选择的所述特定的空间过滤器用于所述提高清晰度的处理。
18.一种用于执行处理输入图像的操作的计算机程序，输出从所述输入图像修正的经过处理的图像，其特征在于包括功能步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，所述预定区域包括相邻像素并且位于图像处理目标像素附近，而不是所述相邻像素附近，所述相邻像素和所述图像处理目标像素均包含于所述输入图像之中，基于所述导出步骤导出的所述图像特征信息，按照图像边缘方向和边缘增强度之间的关系从多个彼此不同的空间过滤器中选择一个特定的空间过滤器，通过使用在所述选择步骤选择的所述特定的空间过滤器对所述图像处理目标像素进行提高清晰度的处理。
19.根据权利要求18的计算机程序，其特征在于在所述导出步骤中，对所述输入图像进行多分辨率转换处理，以便将所述输入图像分解成多个被分解的图像，然后，从由所述多分辨率转换处理产生的所述多个分解图像中导出所述图像特征信息。
20.根据权利要求19的计算机程序，其特征在于在所述导出步骤中，二元子波变换被用于比所述多分辨率转换处理的至少级别2更高的级别上的图像分解处理，然后，从由所述二元子波变换产生的所述多个分解图像导出边缘信息，作为关于包含于所述输入图像的边缘部分的所述图像特征信息。
21.根据权利要求18的计算机程序，其特征在于在所述导出步骤中，导出代表多个像素信号值的分散值的信息作为所述图像特征信息，所述像素存在于与所述预定区域内的所述图像处理目标像素基本上距离相等的位置上。
全文摘要
本发明是一种用于处理输入图像的图像处理方法及装置，输出经过处理的图像。该方法包括以下步骤从存在于预定区域的相邻像素的信息中导出所述预定区域的图像特征信息，这个预定区域包括相邻像素并且位于图像处理目标像素附近，而不是相邻像素附近，相邻像素和图像处理目标像素均包含于输入图像之中；以及基于图像特征信息，对所述图像处理目标像素进行提高清晰度的处理。图像特征信息包括存在于预定区域的相邻像素之间的微分信号绝对值的总和，存在于预定区域的相邻像素的每一个信号值的残差以及存在于预定区域的相邻像素的每一个信号值的标准偏差中的至少一种。
文档编号G06T5/00GK1542693SQ20041003281
公开日2004年11月3日 申请日期2004年4月12日 优先权日2003年4月15日
发明者野村庄一 申请人:柯尼卡美能达影像株式会社