专利名称：图像处理装置和图像处理方法、图像处理方法的程序、以及具有记录在其上的图像处理方 ...的制作方法
技术领域：
本发明涉及一种图像处理装置、 一种图像处理方法、 一种图像处理方法 的程序以及具有记录在其上的图像处理方法的程序的一种记录介质，并且适 用于例如显示装置。本发明通过从输入图像提取紋理成分、减少紋理成分以 生成细微紋理成分、以及执行该细微紋理成分和输入图像的图像组合，与过 去相比改善了细节的紋理。
背景技术：
迄今为止，在诸如显示装置的各种视频图像装置中，已经提出通过增强 包括在亮度信号中的高频成分、边缘成分等来改善图像质量的各种方法。例
如，在日本未审专利申请公开号8-56316中提出了阻止噪声的增加并且增强 对比度的方法。
然而在这些常规的技术中，存在尽管显示图像的鲜艳度等能够增加，但 是不能改善如草、花、树叶以及岩石表面的细节的紋理的问题。
特別地，当基于SDTV (标准清晰度电视)系统的视频信号通过执行缩 放而格式转换成基于HDTV (高清晰度电视)系统的视频信号时，诸如草、 花、树叶、以及岩石表面的这些细节的紋理丢失。常规的技术存在不能改善 这些细节的紋理的问题。
专利引用1:日本未审专利申请公开号8-5631
发明内容
技术问题
已经考虑到前述的观点而做出本发明，本发明提供了能够改善细节的紋 理的一种图像处理装置、 一种图像处理方法、 一种图像处理方法的程序以及 具有记录在其上的图像处理方法的程序的一种记录介质。
为解决上述的问题，本发明权利要求1适用于一种图像处理装置，包括 紋理提取单元，其从输入图像提取紋理成分；细孩"丈理生成单元，其对通过分割输入图像形成的每个块，通过减少包括紋理成分的块生成基本块，并且 重复地在块中排列基本块，从而生成细微紋理成分，其中紋理成分的空间频
率已经增加；混合单元，其执行细微紋理成分和输入图像的图像组合；以及 紋理增加量控制单元，其在混合单元中设置图像组合比。
另外，本发明权利要求2适用于一种图像处理方法，包括紋理提取步 骤，从输入图像提取紋理成分；细微紋理生成步骤，对通过分割输入图像形 成的每个块，通过减少包括紋理成分的块生成基本块，并且重复地在块中排 列基本块，从而生成细微紋理成分，其中紋理成分的空间频率已经增加；混 合步骤，执行细微紋理成分和输入图像的图像组合；以及紋理增加量控制步 骤，在混合步骤中设置图像组合比。
另外，本发明权利要求13适用于一种图像处理方法的程序，包括紋理 提取步骤，从输入图像提取紋理成分；细微紋理生成步骤，对通过分割输入 图像形成的每个块，通过减少包括紋理成分的块生成基本块，并且重复地在 块中排列基本块，从而生成细微紋理成分，其中紋理成分的空间频率已经增 加；混合步骤，执行细^L紋理成分和输入图像的图像组合了以及紋理增加量 控制步骤，在混合步骤中设置图像组合比。
另外，权利要求14适用于具有记录在其上的图像处理方法的程序的一种 记录介质。该程序包括紋理提取步骤，从输入图像提取紋理成分；细微紋 理生成步骤，对通过分割输入图像形成的每个块，通过减少包括紋理成分的 块生成基本块，并且重复地在块中排列基本块，从而生成细微紋理成分，其 中紋理成分的空间频率已经增加；混合步骤，执行细微紋理成分和输入图像 的图像组合；以及紋理增加量控制步骤，在混合步骤中设置图像组合比。
使用权利要求l、权利要求2、权利要求13、或者权利要求14的结构， 通过减少包括从输入图像提取的紋理成分的块来生成基本块。在原始块中重 复地排列该基本块以生成细微紋理成分。在该细微紋理成分和输入图像上执 行图像组合以生成输出图像。这能够增加由于紋理成分的空间频率，并且改 善了细节的紋理。另外，使用图像组合比的设置，在边缘等中的不便的处理 能够被避免。
根据本发明，能够改善细节的紋理。
图l是示出本发明的实施例的视频信号处理装置的方框图。
图2是示出图1中的细微紋理生成单元的方框图。
图3包括提供来描述图2中的平铺(tiling)单元的操作的示意图。
图4是示出图2中的差别扩散单元中的误差滤波器的示意图。
图5是提供来描述图2中的差别扩散单元的操作的示意图。
图6是提供来描述图1中的峰值抑制单元的示意图。
图7是示出图1中的紋理增加量控制单元的方框图。
图8是示出图7中的波动增益计算单元的方框图。
图9是提供来描述图8中的波动增益计算单元的操作的特性曲线图。
图IO是提供来描述图7中的梯度分析单元的操作的示意图。
图ll是提供来给出从图IO继续的描述的示意图。
图12是提供来描述图7中的紋理度计算单元的操作的示意图。
图13是提供来给出从图12继续的描述的示意图。
图14是提供来描迷图7中的边缘分析单元的操作的示意图。
图15是提供来给出从图14继续的描述的示意图。
图16是提供来描述图7中的活度分析单元的操作的示意图。图17是提供来给出从图16继续的描述的示意图。
图18是提供来描述图7中的活度比分析单元的操作的示意图。
参照的解释
1:视频信号处理装置，2:紋理生成单元，3:紋理提取单元，4、 21: 低通滤波器，5、 12、 22:减法电路，6:细微紋理生成单元，7、 27、 28、 31: 平铺单元，8:不均匀性减少单元，9:差别扩散单元，10:减法单元，11: 误差滤波器，15:紋理组合单元，16:紋理增加量控制单元，17:混合单元， 18:峰值检测单元，19:峰值抑制单元，20:波动增益计算单元，23:增益 设置单元，25:梯度分析单元，26:紋理度计算单元，29:边缘分析单元， 30:活度计算单元，32:活度分析单元，33:活度比计算单元，34:活度比 分析单元，35:乘法电路
具体实施例方式
此后，将根据需要参照附图描述本发明的各实施例。 实施例1(1)实施例的结构 图1是示出本发明的实施例的图像处理装置的方框图。该视频信号处理
装置1包含在诸如显示装置的各种图像装置中，改善基于输入视频信号Sl输 入图像的图像质量，并且输出了输出视频信号S2。注意在此后，描述的是具 有该视频信号处理装置1的1个处理信道，并且只有输入视频信号Sl的亮度 信号要由该视频信号处理装置1处理。然而，具有该图像处理装置的处理可 以包括3个处理信道，并且亮度信号和色度信号的处理可以在独立的信道上 执行。或者，构成原色的颜色信号和补色的颜色信号的各个颜色信号的处理 可以在各个信道上执行。
此处在该实施例中，视频信号处理装置1配置为具有处理器，其通过执 行预定的程序来处理输入视频信号S1。在该实施例中，该程序通过提前安装 来提供。然而替代地，该程序可以通过将其记录在诸如光盘、磁盘或者存储 卡的记录介质上来提供，或者该程序可以通过经由诸如因特网的网络下载来 提供。或者，视频信号处理装置1可以配置为具有硬件。
该视频信号处理装置1在诸如草、花、树叶、或者岩石表面的背景、前 景等的均匀部分中，从输入视频信号Sl提取详细的结构成分(此后称为紋理 成分)。视频信号处理装置1减少该提取的紋理成分以生成具有更高空间频率 的细微紋理成分S3。另外，视频信号处理装置l执行图像组合，以便将该细 微紋理成分S3粘贴到原始的输入视频信号Sl,从而改善输入视频信号Sl的 细节的紋理，并且输出基于输出视频信号S2的输出图像。注意在此处，作为 该详细的结构成分的紋理成分是关于大规模的结构信号成分的相对成分，其 表现了视频图像的每个部分的特性。因此，频带根据要处理的输入视频信号 而变得不同、并且在基于输入视频信号的视频图像的每个部分中更加不同。 然而在该实施例中，通过使用具有固定的特性的滤波器从输入视频信号提取 高频成分，从输入^L频信号提取紋理成分。
因此，在^L频信号处理装置1中，紋理生成单元2通过从输入视频信号 Sl提取高频成分来提取紋理成分，并且通过减少该提取的紋理成分生成细微 紋理成分S3。也就是说，在紋理生成单元2中，紋理提取单元3将输入视频 信号Sl输入到二维的低通滤波器(LPF ) 4中，在此从输入一见频信号Sl提取 低频成分。紋理提取单元3用减法电路5从输入视频信号Sl减去该低频成分， 以乂人输入^L频信号Sl提取紋理成分S4。细微紋理生成单元6减少该紋理成分S4以生成细微紋理成分。也就是说， 如图2中所示，在细微紋理生成单元6中，平铺单元7对通过分割输入图像 形成的每个块，减少每个块的紋理成分，以形成基本块。另外，该基本块在 原始块中重新排列，从而减少了紋理成分S4，以生成细微紋理成分S5。
更具体地，例如如图3 (A)中所示，平铺单元7对紋理成分S4设置具 有水平方向中的8x2个像素和垂直方向中的8x2个像素的块BL。注意组成1 个块BL的像素数目能够根据需要而进行各种设置。另外，前述不限于将输 入图像平均分割的情况。例如，分割的尺寸可以根据输入视频信号S1的均匀 度等而变化。注意在分割的尺寸根据例如均匀度而变化的情况下，该部分越 均匀，块的尺寸就越大。另外，当用具有亮度信号和色度信号等的3个信道 执行处理时，块BL的位置可以基于逐一信道而偏移，使得边界在每个信道 中不与块BL重叠。
平铺单元7对每个块BL剪掉块BL的中央部分BLA，并且如图3(B) 中所示，通过执行缩放减少该剪掉部分BLA以形成基本块BBL。根据输入视 频信号Sl的均匀度或者紋理成分S4的均匀度，平铺单元7改变该剪掉部分 BLA的尺寸，从而改善图像质量。具体地，均勻度越高，剪掉部分BLA就 越大。注意在图3 (B)中的该实例中，16像素xl6像素块BL的中央部分、 具有水平方向中和垂直方向中的8xn/d像素的部分BLA被剪掉。该剪掉部分 BLA被缩放，以生成8像素x8像素的基本块BBL。
如图3 (C)中所示，平铺单元7将该基本块BBL重新排列在对应的原 始块BL中，从而生成细微紋理成分S5。
不均匀性减少单元8 (图2)减少了细微紋理成分S5之间的不均匀性， 并且输出细微紋理成分S6。此处如同通过图3(D)中阴影部分所指示，不 均匀性减少单元8只在邻近基本块BBL的边界的像素上基于低通滤波器的特 性执行滤波处理，从而尽可能多地减少高频成分的劣化，并且减少块边界中 的不均匀性。具体地，注意对只邻近在水平方向延伸的边界的像素(其由附 图标记Gl所示)使用垂直方向的低通滤波器来执行滤波处理，该低通滤波 器的抽头(tap)系数是l、 2和1。另外，对只邻近在垂直方向延伸的边界的 像素(其由附图标记G2所示)使用水平方向的低通滤波器来执行滤波处理， 该低通滤波器的抽头系数是1、 2和1。另外，对在邻近垂直方向和水平方向 延伸的边界的像素(其由附图标记G3所示)使用水平方向和垂直方向的低通滤波器来执行滤波处理，该低通滤波器的权重系数是l、 2和1。
始的紋理成分S4之间的差别值扩散到外围像素中，从而生成细微紋理成分 S7。也就是说，在差别扩散单元9中，减法单元10从不均匀性减少单元8输 出的细微紋理成分S6减去原始紋理成分S4,从而计算由以下等式指示的差 别err。注意在此处，g (i, j)是在位置(i, j)处目标像素的紋理成分S4的值， 而f (i,j)是从不均匀性减少单元8输出的细微紋理成分S6的值。 等式l:
err-f ( i , j )-g ( i , j ) ..........")
差别扩散单元9将该差别err输入到Floyd & Steinberg的误差滤波器11 中，其具有图4中示出的特性。在减法电路12中，从不均匀性减少单元8输 出的细微紋理成分S6减去该误差滤波器11的输出。因此，差别扩散单元9 将差别err扩散到外围像素中，如由以下等式所指示的。注意用于扩散差别值 的该滤波器不限于Floyd & Steinberg滤波器，而是各种滤波器可适用。
等式2:
f ( i + 1 ， j ) = f ( i + 1 j ) - 7/16 x err
f ( i-l ， j + 、) = f ( i-l , i + 1) - 3/16 x err
f ( i , j + 1) = f ( i . j + 1) _ 5/16 x err
f ( i + 1 , j + 1) = f ( i + 1 , j + 1) - 1/16 x err..........(2)
注意在此处，左边部分f (i+l，j)、 f(i-l,j+l)、 f (i，j+l)和f "+l,j+l) 是在位置(i, j)处的目标像素的差别err的差别扩散已经执行后邻近的像素的 细微紋理成分值，而右边部分f(i+l,j)、 f(i-l,j+l)、 f(i,j+l)和f(i+l,j+l) 是在差别扩散已经执行前邻近的像素的细微紋理成分值。另外，该目标像素 和邻近的像素之间的关系在图5中示出。
细微紋理生成单元6将从不均匀性减少单元8输出并且在误差扩散处理 之前的细微紋理成分S6、以及从减法电路12输出并且已经进行误差扩散处 理的细^f鼓紋理成分S7输出到紋理组合单元15 (图1 )。
紋理组合单元15使用从紋理增加量控制单元16输出的紋理度texness和texness tiling以及波动增益g加ct执行以下等式的处理，从而组合细微紋理成 分S6和S7以生成细微紋理成分S3。此处，Tex n。 eiT d欲是在误差扩散处理之
前的细微紋理成分S6的值，而TeX^diff是已经进行误差扩散处理的细微紋理
成分S7的值。另外，紋理度texness和texness t版g是分别指示作为紋理成分
的细微紋理成分S6和S7的概率的参数。另外，波动增益gfluet是用于阻止由 于基本块的序列导致的不自然性的增益。在该实施例中，波动增益gfluct根据
输入视频信号Sl的高频成分的量生成。另外，min (A，B)是用于从A和B 选择较小值的函数。 等式3:<formula>formula see original document page 11</formula>
因此，紋理组合单元15补充地改变还没有进行误差扩散的细微紋理成分 S6的成分量以及已经进行误差扩散的细微紋理成分S7的成分量，将这些细 微紋理成分S6和S7组合，并且基于已经进行更适宜地处理的细微紋理成分 S6和S7输出细微紋理成分S3 (合成紋理)。具体地，紋理组合单元15增加 还没有在诸如草、花、树叶、或者岩石表面的详细的结构部分中进行误差扩 散的细微紋理成分S6的成分量，并且增加在各种目标或者边缘之间的边界中 已经进行误差扩散的细微紋理成分S7的成分量。
混合单元17使用从紋理增加量控制单元16输出的增益tex gain和混合 比a、执行以下等式的算术处理，以便组合细微紋理成分S3 (紋理)和输入 视频信号Sl (入)，以便将从紋理生成单元2输出的细微紋理成分S3粘贴到 输入视频信号Sl,并且输出视频信号S9 (出)。注意在此处，增益tex gain 是限定在该视频信号处理装置1中的处理程度的参数。在该实施例中，增益 tex gain由用户操作来输入。然而，增益tex gain可以根据例如诸如动画或电 影的输入视频信号Sl的属性、根据输入视频信号Sl的原始源基于SDTV或 HDTV、或者进一步取决于输入视频信号S1的诸如均匀度的分析而自动设置。
等式4:
<formula>formula see original document page 11</formula>
峰值检测单元18接收从混合单元17输出的^L频信号S9,并且检测来自 邻近像素的亮度级的升高量。也就是说，如图6中所示，峰值检测单元18从外围的像素ul到ur、 1、 r和bl到br中间检测具有最高亮度值的像素，从目 标像素C的亮度值减去该检测像素的亮度值，并且输出差别值。
并且检测其亮度值相比于外围的像素突然升高的目标像素。峰值抑制单元19 将二维的低通滤波器施加于其亮度值与外围的像素相比突然地升高的该目标
像素，从而导致该亮度值下降。因此，局部升高的亮度值逐个像素被抑制， 并且输出了输出视频信号S2。注意对该已经局部升高的亮度值的抑制，诸如 用某个外围像素的像素值取代亮度值的各种技术能够适用。
通过处理输入视频信号Sl,紋理增加量控制单元16计算并且输出紋理 度texness和texness Wing、波动增益g fluct、以及混合比ot。也就是i兌，如图7 中所示，在紋理增加量控制单元16中，波动增益计算单元20处理输入视频 信号Sl，并且输出波动增益g fluct。此处如图8中所示，波动增益计算单元 20将输入视频信号Sl输入到低通滤波器(LPF) 21以提取低频成分。在减 法电路22中，从输入视频信号Sl减去该低频成分，以检测输入^f见频信号Sl 的高频成分。
增益设置单元23确定该高频成分的信号级。如图9中所示，增益设置单 元23设置波动增益gfluct，使得当与低通滤波器21的输出值有关的输入视频 信号Sl的信号级位于最大值fluct diff max和最小值-fluct diff min的范围内 时，增益与减法电路22的输出值成正比地增加，并且当输入视频信号S1的 信号级位于该最大值fluct diff max和该最小值-fluct diff min的范围之外时， 增益分别变成该最大值fluct diffmax和该最小值-fluct diff min。简言之，注意 波动增益g fluct细微地改变像素值，使得在基本块序列中的像素值的变化变得
更接近自然图像中的像素值的变化。因此，波动增益g fluct不限于由基于图9 中所示的特性来生成，并且波动增益g fluet能够根据各种输入视频信号Sl的
高频成分的量、输入视频信号Sl的信号级等来生成。例如，如同由图9中的 虚线所指示，波动增益g f!uct可以基于在最大值fluct diff max和最小值-fluct diff min之间前后偏移的特性来设置。
梯度分析单元25处理输入视频信号Sl,以计算亮度梯度矩阵的本征值 入1和人2，从而检测指示目标像素的边缘性的参数。也就是说，梯度分析单元 25对输入视频信号Sl的每个像素检测边缘梯度方向和垂直于该边缘梯度方 向的边缘方向，像素值的梯度在该边缘梯度方向最大。此处，如图IO中所示，梯度分析单元25使用围绕目标像素的范围W内 的像素值执行算术处理，从而生成由以下等式逐像素表示的亮度梯度矩阵G。 注意在此处，图IO对应于这样的实例，其中在该范围W中设置围绕目标像 素的x方向中和y方向中的土3个像素。
等式5:
<formula>formula see original document page 13</formula>
(5)
注意在此处，w"'J)是由等式(6)代表的高斯加权，并且g是由等式(7) 在图像亮度I的x方向中使用偏微分gx、并且在图像亮度I的y方向中使用 偏微分gy代表的亮度梯度
等式6:<formula>formula see original document page 13</formula>
(6)
等式7:
<formula>formula see original document page 13</formula>(7)
因此，梯度分析单元25通过对围绕目标像素的预定的范围w相对于目 标像素执行加权处理来检测亮度梯度。
通过处理亮度梯度矩阵G，如图11中所示，梯度分析单元25分别检测 指示作为其中像素值的梯度最大的方向的边缘梯度方向vl、以及其中垂直于
该边缘梯度方向vi的边缘方向v2中的像素值的梯度的扩散的本征值:u和X2。
具体地，梯度分析单元25通过执行以下等式的算术处理来检测本征值Xl 和X2 Ul 2X2):等式8:<formula>formula see original document page 14</formula>
注意a基于以下等式 等式10:
<formula>formula see original document page 14</formula>
如图12中所示，紋理度计算单元26计算对比度的参数f,由于在值1 处饱和的特性，f的值随着边缘梯度方向vl的本征值入l的值变小而增加。此 处，当该边缘梯度方向vl中的本征值 d的值大的时候，意^^未着该像素值在 其中像素值的梯度最大的方向中的梯度大。如此，能够说目标像素是具有强 对比度的部分。因此，能够说该目标像素作为涉及诸如草、花、树叶或者岩 石表面的详细的结构的部分的概率低，并且能够说紋理度低。因此在该情况
下，紋理度计算单元26计算对比度的参数f,使得随着该本征值;u增加，f
的值从值1接近到值0。
另外，如图13中所示，紋理度计算单元26将垂直于边缘梯度方向vl 的方向v2中的本征值X2除以边缘梯度方向vl中的本征值X1，从而计算商值 人2/人l。紋理度计算单元26生成边缘对齐度的参数g,使得该商值X2/人1变成 在预定值ave处具有值1的峰值，并且随着商值X2从1远离该预定值ave,商 值入2/入l的值下降。
此处，当目标像素是边缘时，对齐的方向越多，该商值人2/入l就变得越 小。另外，相反地，当存在更多的噪声成分和边缘交叉时，该值增加。因此， 当商值X2/人1的值相当小或者相当大时，能够说该目标像素作为涉及诸如草、 花、树叶、或者岩石表面的详细结构的部分的概率低，以及能够说紋理度低。 因此，紋理度计算单元26基于商值人2/;U计算边缘对齐度的参数g，使得随 着作为涉及详细结构的部分的概率增加，参数g的值从值0到值1。
紋理度计算单元26将这两个参数f和g相乘，并且输出紋理度texness。
如同在平铺单元7中一样，平铺单元27处理该紋理度texness,并且输入对应于从平铺单元7输出的细微紋理成分S5的紋理度texness tiling。注意在 该情况下，图像梯度单元和紋理计算单元可以另外提供，并且使用该图像梯 度单元和该紋理计算单元，可以处理从平铺单元7输出的细微紋理成分S5或 者从不均匀性减少单元8输出的细微紋理成分S6,以获得紋理度 tCJ016SS wing。
如同在平铺单元7 —样，平铺单元28处理从梯度分析单元25输出的本 征值人l和X2，并且计算对应于从平铺单元7输出的细微紋理成分S5的本征 值入lt和人2t。注意在该情况下，如同关于平铺单元27已经进行了以上的描述， 图像梯度单元可以另外提供，并且可以处理从平铺单元7输出的细微紋理成 分S5或者从不均匀性减少单元8输出的细微紋理成分S6,以获得对应于细 微紋理成分S5的本征值人lt和A2t。
边缘分析单元29处理这些入1、人2、人lt和入2t，以生成基于边缘的加^f又系 数OCtype.E，其值随着作为边缘的概率增加而下降。也就是说，如图14中所示， 边缘分析单元29基于本征值人l生成在从值1到值0的范围内的参数S，其中 参数S的值随着对比度在边缘梯度方向vl中增加、以及作为边缘的概率增加 而增加。另外，如图15中所示，边缘分析单元29基于本征值X2和人l的商值 入2从1生成参数t，其值随着亮度梯度变得对齐以及作为边缘的概率增加而增
加。边缘分析单元29将从这些本征值;u和入2生成的参数S和t相乘，以生
成指示在输入视频信号Sl中的目标像素的边缘性的参数edgeness。
另夕卜，边缘分析单元29类似地处理对应于细微紋理成分S5的本征值Xlt 和人2t,以在细微紋理成分S5中生成指示目标像素的边缘性的参数edgeness
tile。
边缘分析单元29通过执行以下等式的算术处理来处理这两个参数
edgeness和edgeness出e，以生成基于边缘的加权的系数a帥^,使得视频信号 S9的细微紋理成分S3的成分量在诸如边缘的部分中下降。 等式ll:
atyPe-E = 1 0 - max (edgeness. edgenessti le) ..........(i i)
活度计算单元30通过执行以下等式的算术处理来处理输入视频信号S1， 以计算关于邻近像素的差别act (x, y)的绝对值。注意在此处，d (x， y)是 在位置(x, y)处目标像素的像素值。另外，d (x+l，y)和d (x，y+l)是在 水平方向和垂直方向中邻近像素的像素值。等式12:
hect(x.Y) = ld(x.y)-d(x + 1.y)|
act(x,y) = hact +vact .........." 2)
对于每个目标像素，活度计算单元30在围绕目标像素的水平方向和垂直 方向中设置了具有m个像素和n个像素的区域，并且通过执行以下等式的算 术处理来处理该差别act(x，y)的绝对值，从而用在该区域内的最大值act,
和最小"f直act min之间的差另U亏直act max - act min "i十算活度act blk raw 和通过将该活度
act她raw标准化而获得的标准活度actwkn。，注意S的范围是该具有m个像素 和n个像素的区域。 等式13:
act blk ra,(x, y) = J] J]act (x + m, y + n)
actblknorm(x,y)=1xaCtblkrm>(x,y) .........U 3)
3"鹏it —aGlmin
如同在平铺单元7中一样，平铺单元31处理由活度计算单元30获得的 活度act blkraw,并且计算对应于从平铺单元7输出的细微紋理成分S5的活度 acttileraw。注意在该情况下，如同关于平铺单元27已经进行了描述，图像梯 度单元和活度计算单元可以另外提供，并且可以处理从平铺单元7输出的细 微紋理成分S5或者从不均匀性减少单元8输出的细微紋理单元，以计算活度
3Ct tile mw。
活度分析单元32接收由活度计算单元30获得的标准化活度act blknom,
并且如图16中所示，在从值1到值0的范围内生成参数(Xactn,，其值根据标 准化活度值act础n。加的增加而增加。因此活度分析单元32生成参数(X actn。，
其值随活度增加而增加。
另夕卜，活度分析单元32将活度act tile raw除以活度 act blk raw ， 以如图17中 所示，在从值l到值0的范围内生成参数OCactrati。，其值随商值增加而下:此处，当边缘、孤立点等存在于检测活度的区域中时，该商值在数值上增加。 相反，当如此的边缘、孤立点等不存在时、以及当在区域范围内的像素值的 变化均匀时，该商值根据涉及这些像素值的变化的频率成分变为小于值1的 值。因此，活度分析单元32生成参数(Xactrati。，其值随着存在于环境中的边缘、 孤立点等的概率增加而下降。
活度分析单元32将以此方式计算的两个参数Ot act加nn和a actrati。相乘，并 且从而输出基于活度的加权的系数(X activity,使得视频信号S9的细微紋理成分 S3的比率在像素值的变化是恒定的部分中增加。
通过执行以下等式的算术处理，活度比计算单元33在基本块中将目标像 素的活度acttue，除以各个像素的活度act他raw的平均值，以计算活度比ratio
pix vs blk-
等式14:
—目标像素的活度 M4)
加V—vs blk =块中活度的平均值
活度比分析单元34接收该活度比ratio pix vs blk,并且如图18中所示，在 从值1到值0的范围内生成加权的系数ot pix vs bik,其值随着该比ratio pix vs blk的 增加而下降。此处，当不同种类的紋理成分在基本块中存在时，该比ratiopixvs wk在数值上增加。具体地，该情况对应于这样的情况，例如，存在涉及草和 花的详细结构的部分以及涉及岩石等的详细结构的部分的混合。因此，活度 比分析单元34生成加权系数oc pixvsblk，其值随着不同种类的紋理成分的存在 的概率增加而下降，并且生成加权系数oc pixvsblk，使得视频信号S9的细微紋 理成分的比率在像素值的变化是恒定的部分中增加。
通过执行以下等式的算术处理，乘法电路35将由边缘分析单元29、活 度分析单元32、以及活度比分析单元34获得的加权的系数a type-E、 a actiVity以 及a pix vs blk相乘，以获得混合比a:
等式15:
a = atype—e x aactivity x Qfpix—vs—blk (15) (2)实施例的操作 在前述结构中，在紋理提取单元3中从输入视频信号SI (图1 )提取高 频成分，从而提取作为草、花、树叶、岩石表面等的详细结构成分的紋理成 分。此处，即使在其中颜色和亮度基本均匀的部分(如背景和前景)，以此方式提取的高频成分也在自然的图像中细微地变化。因为这些细微的变化，所 以诸如草、花、树叶、以及岩石表面的细节的紋理表现在自然的图像中。
因此，当这些紋理成分劣化时，诸如草、花、树叶、以及岩石表面的细 节缺失紋理。为了改善这些紋理，尽管紋理能够通过增强高频成分而得到一 定程度的改善，但是如果涉及这些诸如草、花、树叶、以及岩石表面的详细 结构的频率成分缺失，那么只有噪声量增加，而紋理根本不能^Nl改善。
特别地，例如当基于SDTV系统的视频信号通过执行缩放而格式转换为 基于HDTV系统的视频信号时，涉及这些紋理的高频成分由于分辨率的提高 而相对缺失。因而，紋理被显著破坏。
因此，在此实施例中，在细微紋理生成单元6 (图2和图3)中，该紋理 成分S4在块BLA的增量中减少以生成基本块BBL。另外，该基本块BBL 重复地粘贴到原始块BL以生成细^:紋理成分S5，其中空间频率与原始的紋 理成分S4相比增加。另外，该细樣史紋理成分S5由非均匀减少单元8、紋理 组合单元15等处理，以生成细微紋理成分S3。执^fr原始输入^L频图像Sl与 该细微紋理成分S3的图像组合。因此，在该视频图像处理装置l中，即使当 涉及诸如草、花、树叶、以及岩石表面的详细结构的频率成分自身缺失，高 频成分的空间频率也能被提高，以便补偿这些缺失的成分。这能够改善细节 的紋理。
然而，当细节的紋理要通过以此方式重复基本块BBL而提高时，除了诸 如草、花、以及树叶的详细结构之外的边缘成分等要被类似地处理。这导致
了各种不便的发生。
因此，在该视频信号处理装置1中，在输入视频信号Sl和细微紋理成分 S3之间的图像组合比由紋理增加量控制单元16控制。因此，避免在边缘等 的不^f更的处理，^^而改善紋理。
更具体地，在该视频信号处理装置1中，当要在平铺单元7中生成细微 紋理成分时(图3 ),选择性地减少块BL的中央部分BLA以生成基本块BBL。 也就是说，可以发现，当简单地减少块BL以生成基本块BBL时，由于块BBL 的重复而出现非自然性；相反地，当选择地减少块BL的中央部分BLA以便 以此方式生成基本块BBL时，印象(impression)能够更接近自然图像的印 象。因此，在该视频信号处理装置1中，能够改善紋理以更接近自然印象。
另外，该中央部分BLA设置为根据均匀度等在大小上变化。此处，最终
18该大小上的变化对应于用于生成基本块BBL的减少比的变化。这要改变在细 微紋理成分中增加的空间频率。因此，空间频率能够通过根据均匀度改变该 中央部分BLA的大小而足够增加，从而增强了高频。这还能能够改善紋理以 更接近自然印象。
另外，在不均匀减少单元8中，对由平铺单元7生成的细微紋理成分S5 执行滤波处理，从而抑制了在细微紋理成分S5的基本块BBL之间的不均匀 性。因此，在该视频信号处理装置1中，能够使得涉及基本块BBL的重复的 周期性成分不明显，并且由于这些周期性成分的非自然性能够被有效地避免。 在该处理中，不均匀性减少单元8通过只在邻近基本块BBL的边界的像素上 执行滤波处理而抑制不均匀性。这尽可能地阻止了高频成分的减少并且抑制 了不均匀性(图3)。
另外，在此后的差别值扩散单元9中，关于原始紋理成分S4的差别err 被扩散到目标像素的外围像素中。因此，通过重复基本块BBL以及校正像素 值来增加空间频率，生成细微紋理成分S7，使得像素值不变成与原始紋理成 分S4差别很大。因此，在其中该差别已经被扩散的细微紋理成分S7的情况 下，即使当细微紋理成分S7已经通过以此方式重复基本块而生成时，细微紋 理成分S7也具有原始紋理成分S4的变化趋势的像素值。这也能避免非自然 性以及改善纹理以更接近自然印象。
在该视频信号处理装置1中，其中该差别已经被扩散的细微紋理成分S7 和原始的细微紋理成分S6由紋理组合单元15组合。在该组合处理中，组合 比根据紋理度texness和texness仙ng而变化。因此，将这些细微紋理成分S6 和S7组合，使得原始的细微紋理成分S6在诸如草、花和树叶的详细结构部 分中增加，并且其中差别已经被扩散的细微紋理成分S7在诸如边缘的部分中 增加，因而能够改善紋理而不会不自然。
另外，增益使用波动增益gfluct而变化，使得在基本块的序列中的像素值
的变化能够更接近自然图像中的像素值的变化。这也能够改善紋理而不会不 自然。
相反地，在紋理增加量控制单元16中(图7),在输入视频信号Sl中， 在梯度分析单元25中检测其中像素值的梯度最大的边缘梯度方向vl以及垂 直于该边^^梯度方向vl的边缘方向v2。对这些梯度方向vl和v2,分别检测 指示像素值的梯度的扩散的本征值;U和X2 (图10和图11)。另外，这些本征值入l和X2由平铺单元28处理，从而获得对应于从平铺单元7输出的细微紋 理成分S5的本征值Xlt和入2t。因此，在输入视频信号Sl中逐像素检测指示 边缘的参数人l、入2、入lt和X2t。
关于输入视频信号Sl,在这些参数入l、人2、人lt和X2t当中，参数入l和 A2由紋理度计算单元26和平铺单元27依次处理(图12和图13 )，从而获得 纟丈理度texness和texness麵g。
另外，在边缘分析单元29中处理参数入l、入2、入lt和入2t(图14和图15), 从而生成加权系数OCtype.E,使得细微紋理成分S3的比率在边缘部分下降。基 于该加权系数OCtype.E,在混合单元17中设置细微紋理成分S3和输入视频信号 Sl之间的组合比。因此，在该视频信号处理装置1中，输入视频信号Sl的 比率在边缘部分增加，因此在诸如边缘的部分，不通过重复基本块来增强高 频成分成为可能。因此，能够有效地避免图像质量的劣化，并且改善能够紋 理。
另外，在活度计算单元30中获得输入视频信号Sl的活度。该活度由平 铺单元31处理，从而获得对应于从平铺单元7输出的细微紋理成分S5的活 度。关于该输入视频信号，这些活度由活度分析单元32 (图16和图17)处
理，从而生成基于活度的加权系数OCactiwty,使得细微紋理成分S3的比例在像 素值的变化是恒定的部分中增加。基于该加权系数OCactivity,比在混合单元17
中设置细微紋理成分S3和输入视频信号Sl之间的组合比。因此在该实施例 中，不通过在边缘、孤立点等中重复基本块来增强高频成分成为可能。因此， 能够有效地避免图像质量的劣化，并且改善能够紋理。
另外，关于输入视频信号S1，活度比计算单元33中获得输入视频信号 Sl的活度和对应于细微紋理成分S5的活度之间的比率。此后，基于该比率 在活度比分析单元34中生成加权系数apixvswk，使得细微紋理成分的比率在像
素值的变化是恒定的部分中增加(图18)。基于该加权系数(Xpixvsb,k，在混合
单元17中设置细微紋理成分S3和输入视频信号Sl之间的组合比。因此，在 该实施例中，当在基本块中存在不同种类的紋理成分时，不通过重复基本块 来增强高频成分成为可能。因此，能够有效地避免图像质量的劣化，并且改 善能够紋理。
基于这些加权系数atype-E、 aactivity、以及apixvs她，输入图^f象信号Sl与细 微紋理成分S3的图像组合在混合单元17中执行，从而生成视频信号S9。此处，即使当以此方式通过检测各种参数而改变组合比、以及生成细微紋理成
分S3的技术进一步改进时，亮度级显著增加的像素以点状方式分布在从该混 合单元17输出的视频信号S9中。因此，图像质量的劣化被察觉。
因此，在^L频信号处理装置1中，此后在峰值4佥测单元18中检测与附近 像素相比其亮度值已经升高的像素。另外，基于该冲佥测结果，此后在峰值抑 制单元19中抑制亮度值的升高。因此，在该视频信号处理装置1中，避免亮 度级显著提高的像素的点状分布，并且避免了图像质量的劣化。
(1)实施例的有益效果
根据前述的结构，通过从输入图像提取高频成分、减少高频成分以生成 细微紋理成分、以及执行该细微紋理成分和输入图像的图像组合，与过去相 比，能够改善细节的紋理。
另外，当提取和减少高频成分时，选择性地减少块的中央部分以生成基 本块。因此，能够生成更接近自然图像的细微紋理成分。这能够改善紋理以 更接近自然印象。
另夕卜，使用滤波处理，在细微紋理成分的基本块之间的不均匀性被抑制。 因此，能够有效地避免由于在基本块中的周期性的成分的非自然性。
另外，通过将相对于高频成分的细微紋理成分的差别值扩散到外围的像 素中，原始的紋理成分的像素值的变化能够反映在细微紋理成分中。这也能 够避免非自然性，并且改善纟丈理以更接近自然印象。
另外，通过组合和处理其中该差别已经被扩散的细微紋理成分和原始的 细微紋理成分，使用组合比的控制，能够将这些细微紋理成分组合，使得原 始的细微紋理成分在诸如草、花、或者树叶的详细结构部分中增加，以及其 中差别已经被扩散的细微紋理成分在诸如边缘的部分中增加。因此，能够改 善紋理而不会不自然。
具体地，根据指示作为紋理的概率的紋理度，通过改变组合比，能够改 善紋理而不会不自然。
另外，通过改变增益以及基于该增益校正细微紋理成分，能够使得像素 值的变化更靠近自然图像的像素值的变化。这也能够改善紋理而不会不自然。
另外，通过检测指示输入图像中的目标像素的边缘的参数、以及设置图 像组合比使得细微紋理成分的比率在边缘部分中下降，不通过重复在诸如边 缘的部分中的基本块来增强高频成分成变得可能。因此，能够有敢地避免图
21像质量的劣化，并且能够改善紋理。
另外，通过检测输入图像的活度、以及设置图像组合比，使得在像素值 的变化是恒定的部分中细微紋理成分的比率增加，不通过在边缘、孤立点等 重复基本块来增加高频成分变得可能。因此，能够有效地避免图像质量的劣 化，并且能够改善紋理。
另外，通过计算输入图像的活度和细微纹理成分的活度之间的比率、以 及基于该比率设置图像组合比，使得细微紋理成分的比率在4象素值的变化是 恒定的部分中增加，在不同种类的紋理成分存在的情况下，不通过重复基本 块来增加高频成分变得可能。因此，能够有效地避免图像质量的劣化，并且 能够改善紋理。
另外，通过抑制输出的图像中的亮度值的峰值，能够避免亮度级显著增 加的像素的点状分布，因此能够避免图像质量的劣化。 实施例2
在上述实施例中，注意已经描述了这样的情况，其中通过简单地从输入 视频信号提取高频成分来提取紋理成分。然而，本发明不限于此。各种技术 广泛地适用于提取紋理成分的技术，如提取高频成分的滤波器的特性动态变 化，并且提取紋理成分的情况。
也就是说，诸如草、花、树叶、或者岩石表面的在背景、前景等的均匀 部分中详细结构成分变成例如在缩小的视频图像中具有相当高频率的高频成 分。相反地，在放大的图像中，详细结构成分均匀地分布在低频段中。因此， 例如在像素值的变化小的相对均勻的部分中，紋理成分能够通过提取低频成 分来提取。相反，在像素值的变化大的部分中，紋理部分能够通过提取高频 段中的成分来提取。
因此，通过动态地改变滤波器的特性以及提取紋理成分，能够进一步改 善紋理。例如，这对应于通过在输入视频图像信号的每个部分中执行频率分
的情况，或者通过基于色调、亮度值、均匀度等确定每个部分的属性、以及 基于该属性在滤波器的截止频率的每个部分中切换来提取紋理成分的情况。
另外，在上述实施例中，已经描述了其中通过处理输入;f见频信号来处理 作为运动图像的输入图像的情况。但是，本发明不限于此。本发明广泛适用 于其中处理静止的图像的情况。
22另夕卜，在上述实施例中，已经描述了其中本发明应用于显示装置的情况。 但是，本发明不限于此。本发明广泛适用于用于各种视频图像信号的记录/再 现装置、处理装置、编辑装置、处理程序等。
产业可应用性
本发明适用于例如诸如显示装置的视频图像装置。
权利要求
1.一种图像处理装置，其特征在于包括纹理提取单元，其从输入图像提取纹理成分；细微纹理生成单元，其对于通过分割所述输入图像形成的每个块，通过减少包括所述纹理成分的块生成基本块，并且重复地在块中排列所述基本块，从而生成细微纹理成分，其中所述纹理成分的空间频率已经增加；混合单元，其执行所述细微纹理成分和所述输入图像的图像组合；以及纹理增加量控制单元，其在混合单元中设置图像组合比。
2. —种图像处理方法，其特征在于包括 紋理提取步骤，从输入图像提取紋理成分；细微紋理生成步骤，对于通过分割所述输入图像形成的每个块，通过减 少包括所述紋理成分的块生成基本块，并且重复地在块中排列所述基本块， 从而生成细^f效紋理成分，其中所述紋理成分的空间频率已经增加；混合步骤，执行所述细微紋理成分和所述输入图像的图像组合以生成输 出图l象；以及紋理增加量控制步骤，在混合步骤中设置图像组合比。
3. 根据权利要求2所述的图像处理方法，其特征在于 所述细微紋理生成步骤通过选择性地减少块的中央部分生成所述基本块。
4. 根据权利要氷2所述的图像处理方法，其特征在于 所述细^f效紋理生成步骤包括不均匀性抑制步骤，通过执行所述细微紋理成分的滤波处理，抑制在所 述细微紋理成分中的基本块之间的不均匀性。
5.根据权利要求2所述的图像处理方法，其特征在于 所述细^f鼓紋理生成步骤包括差别扩散步骤，将关于所述紋理成分的所述细微紋理成分的差别值扩散 到外围像素中。
6. 根据权利要求2所述的图像处理方法，其特征在于 所述细^:紋理生成步骤包括差别扩散步骤，将关于所述紋理成分的所述细微紋理成分的差别值扩散到外围像素中；以及组合步骤，组合所述细微纹理成分，其中所述差别已经在对所述细微紋 理成分的所述差别扩散步骤中被扩散，成的所述细微紋理成分。
7. 根据权利要求6所述的图像处理方法，其特征在于 所述组合步骤根据指示作为紋理的概率的紋理度改变组合比。
8. 根据权利要求2所述的图像处理方法，其特征在于 所述细微紋理生成步骤将所述细微紋理成分乘以波动增益，并且输出乘积。
9. 根据权利要求2所述的图像处理方法，其特征在于 所述紋理增加量控制步骤包括边缘检测步骤，检测指示所述输入图像中的目标像素的边缘性的参数；以及边缘分析步骤，分析在所述边缘检测步骤中检测的所述参数，并且设置 所迷图像組合比，使得所述细微紋理成分的比例在边缘部分中下降。
10. 根据权利要求2所述的图像处理方法，其特征在于 所述紋理增加量控制步骤包括活度检测步骤，检测所述输入图像的活度；以及 活度分析步骤，分析所述活度，并且设置所述图像组合比，使得所述细 微紋理成分的比例在像素值的变化是恒定的部分中增加。
11. 根据权利要求2所述的图像处理方法，其特征在于 所述紋理增加量控制步骤包括活度检测步骤，检测所述输入图像的活度；以及 细微紋理成分活度检测步骤，检测所述细微紋理成分的活度； 活度比计算步骤，计算所述输入图像的所述活度和所述细微紋理成分的所述活度之间的比率；以及活度比分析步骤，基于所述比率设置所述图像组合比，使得所述细微紋理成分的比例在像素值的变化是恒定的部分中增加。
12. 根据权利要求2所述的图像处理方法，其特征在于包括峰值抑制步骤，抑制所述输出图像中的像素值的峰值。
13. —种图像处理方法的程序，其特征在于包括 紋理提取步骤，从输入图像提取紋理成分；细微紋理生成步骤，对于通过分割所述输入图^f象形成的每个块，通过减 少包括所述紋理成分的块生成基本块，并且重复地在块中排列所述基本块， 从而生成细微紋理成分，其中所述紋理成分的空间频率已经增加；混合步骤，执行所述细微紋理成分和所述输入图像的图像组合以生成输 出图〗象；以及紋理增加量控制步骤，在混合步骤中设置图像组合比。
14. 一种具有记录在其上的图像处理方法的程序的记录介质， 所述程序特征在于包括紋理提取步骤，从输入图像提取紋理成分；细微紋理生成步骤，对于通过分割所述输入图像形成的每个块，通过减 少包括所述紋理成分的块生成基本块，并且重复地在块中排列所述基本块， 从而生成细^f鼓紋理成分，其中所述紋理成分的空间频率已经增加；混合步骤，执行所述细微紋理成分和所述输入图像的图像组合以生成输 出图〗象；以及紋理增加量控制步骤，在混合步骤中设置图像组合比。
全文摘要
本发明涉及一种图像处理装置、一种图像处理方法、一种图像处理方法的程序以及具有记录在其上的图像处理方法的程序的一种记录介质，并且本发明适用于例如显示装置，并且与过去相比改善了细节的纹理。本发明从输入图像(S1)提取纹理成分(S4)，减少纹理成分(S4)以生成细微纹理成分(S3)，并且执行该细微纹理成分(S3)和输入图像(S1)的图像组合。
文档编号H04N5/205GK101543041SQ20088000058
公开日2009年9月23日 申请日期2008年4月21日 优先权日2007年6月15日
发明者五味信一郎, 绪形昌美 申请人:索尼株式会社