图像增强装置、图像增强方法
【专利摘要】本发明提供一种图像增强装置，其以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像。本发明的图像增强装置(1)生成将输入图像锐化后的输出图像，所述图像增强装置(1)具备：非线性处理部(10)，其对表示所述输入图像的输入图像信号进行非线性处理而生成第一信号；滤波器部(20)，其通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二信号；限幅器(30)，其通过调整所述第二信号而生成第三信号；以及加法器(40)，其通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的输出图像信号。
【专利说明】图像增强装置、图像增强方法
[0001] 本申请主张日本专利申请2012-177476号（2012年8月9日提交）的优先权，在 此组入该申请的全部公开内容以便用于参照。
【技术领域】
[0002] 本发明涉及用于锐化图像来改善画质的图像增强装置以及图像增强方法，例如涉 及适用于电视（TV)接收机中实时显示的动态图像的锐化的图像增强装置以及图像增强方 法。
【背景技术】
[0003] 以往，广泛地公知有用于锐化图像来改善画质的图像增强处理。例如，在现有的电 视接收机中，进行使与显示的图像的轮廓部相当的影像信号的上升、下降急剧的轮廓补偿。 在该轮廓补偿中，提取输入图像信号（亮度信号）的高频成分，并将该高频成分放大而与输 入图像信号相加，由此来提高视觉上的画质。图1〇是表示由现有的图像增强处理带来的图 像的信号电平的波形变化的图。图10(A)是表示输入图像信号的水平方向的信号电平的波 形的图，特别是表示水平方向上的与信号电平变化的边缘相当的部分的波形的图。图10(B) 是从输入图像信号提取的高频成分，通过将该高频成分放大而与输入图像信号相加，从而 能够得到图10(C)所示的边缘的上升变化急剧的输出图像信号。
[0004] 另外，近年，尤其是也提出了将输入图像升频转换为更高分辨率的输出图像，并对 该升频转换后的图像进行增强处理的被称为超分辨率的技术（例如，参照非专利文献1)。
[0005]非专利文献 1 :S. Farsiu，D. Robinson，M. Elad, and P. Milanfar，" Fast and Robust Multi-frame Super-resolution，'， IEEE Transactions on Image Processing, vol. 13, no. 10,pp.1327-1344, October 2004.
[0006] 现有的图像增强处理是基于线性的数字信号处理的图像增强处理，因此，无法生 成比奈奎斯特频率高的频率成分、即无法生成比成为对象的图像的采样频率的1/2高的频 率成分。因此，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。
[0007]例如，在全高清（HDTV :High Definition Television, 1080X 1920像素）的电视接 收机中对分辨率不满足HDTV的图像信号进行放大显的情况下，图像被模糊地显示。另外， 在将具有HDTV的分辨率的图像信号放大为更高清晰度的分辨率（例如4000 X 2000像素左 右的4K分辨率）的情况下，图像也同样被模糊地显示。像这样图像模糊的原因是因为，在 放大处理后的图像信号中，仅包含到放大前的原始图像的奈奎斯特频率为止的频率成分， 不包含放大后的图像的奈奎斯特频率附近的频率成分。
[0008] 以下，根据图11对图像的放大、增强处理所带来的频率成分的变化进行说明。图 11 (A)表示采样频率为fs的数字图像信号的频谱，图11 (B)是对该数字图像信号进行升频 转换而将像素数在水平方向上放大了 2倍的情况下的频谱。放大处理后的采样频率Fbs为 原来的采样频率fs的2倍（Fsb = 2 *fs)。这里，如图11 (B)所示，在升频转换后的数字图 像信号中，在与原来的采样频率fs对应的奈奎斯特频率fs/2、和与新的采样频率Fbs对应 的新的奈奎斯特频率Fbs/2 = fs之间，不存在频率成分。
[0009] 图11 (C)表示对升频转换后的数字图像信号，进行使用现有的线性数字信号处理 的图像增强处理的情况下的频谱。如图所示，通过使用线性数字信号处理的图像增强处理， 使原来的奈奎斯特频率fs/2附近的频率成分增大。但是，在使用现有的线性数字信号处理 的图像增强处理中，不生成超过原来的奈奎斯特频率fs/2的频率成分。因此，在使用现有 的线性数字信号处理的图像增强处理中，不会如图11(D)所例示那样，超过原来的奈奎斯 特频率fs/2,而生成新的奈奎斯特频率Fbs/2附近的频率成分。即，针对升频转换后的数字 图像信号，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。
[0010] 另外，非专利文献1等所记载的现有的超分辨率技术对采样频率相同的多个帧反 复实施运算处理，从各帧选择分辨率较高的像素并对其进行合成，从而进行图像增强处理。 因此，对于图像而言有时无法正确地恢复，从而在动态图像中存在产生失真图像突然出现 那样的闪烁的可能性，另外，存在使用多个帧的运算的处理量非常繁重这一问题。
【发明内容】
[0011] 因此，本发明的目的在于，提供一种能够以不对多个帧反复进行运算的方式，利用 超过奈奎斯特频率的频率成分来锐化图像的图像增强装置以及图像增强方法。
[0012] 为了解决上述各课题，本发明的图像增强装置生成将输入图像锐化后的输出图 像，上述图像增强装置具备：非线性处理部，其是对表示上述输入图像的输入图像信号进行 非线性处理而生成第一信号的非线性处理部，该非线性处理部进行将上述第一信号相对于 上述输入图像信号表示为连续的非线性函数、且生成上述输入图像信号中未包含的频率成 分的非线性处理；滤波器部，其通过去除上述第一信号所包含的频率成分中的至少直流成 分而生成第二信号；限幅器，其通过调整上述第二信号而生成第三信号；以及加法器，其通 过将上述第三信号与上述输入图像信号相加而生成表示上述输出图像的输出图像信号。
[0013] 另外，优选上述非线性处理部生成上述输入图像信号的乘方来作为上述第一信 号。
[0014] 另外，优选上述非线性处理部生成上述输入图像信号的开方来作为上述第一信 号。
[0015] 如上所述那样将本发明的解决手段作为装置而进行了说明，但是应理解的是，本 发明也能够作为实际与上述解决手段相当、并且由装置所具备的处理器执行的方法、程序、 或者记录了程序的存储介质来实现，并且本发明的范围也包含上述方法、程序、或者记录了 程序的存储介质。
[0016] 例如，将本发明作为方法来实现的图像增强方法是生成将输入图像锐化后的输出 图像的图像增强装置中的图像增强方法，基于上述图像增强装置进行的处理顺序包括：非 线性处理步骤，该非线性处理步骤是对表示上述输入图像的输入图像信号进行非线性处理 而生成第一信号的非线性处理步骤，在该非线性处理步骤中，进行将上述第一信号相对于 上述输入图像信号表示为连续的非线性函数、且生成上述输入图像信号中未包含的频率成 分的非线性处理；通过去除上述第一信号所包含的频率成分中的至少直流成分而生成第二 信号的步骤；通过调整上述第二信号而生成第三信号的步骤；以及通过将上述第三信号与 上述输入图像信号相加而生成表示上述输出图像的输出图像信号的步骤。
[0017] 另外，优选在上述非线性处理步骤中，生成上述输入图像信号的乘方来作为上述 第一信号。
[0018] 另外，优选在上述非线性处理步骤中，生成上述输入图像信号的开方来作为上述 第一信号。
[0019] 根据本发明的图像增强装置以及图像增强方法，能够以不对多个帧反复进行运算 的方式，利用超过奈奎斯特频率的频率成分来锐化图像。
【专利附图】
【附图说明】
[0020] 图1是表示本发明的一实施方式的图像增强装置的结构的图。
[0021] 图2是表示图像的水平方向的信号电平的波形的图。
[0022] 图3是表示高通滤波器的结构的一个例子的图。
[0023] 图4是表示由低通滤波器构成的高通滤波器的一个例子的图。
[0024] 图5是用于使用伽玛处理的非线性处理的评价的原始图像。
[0025] 图6是伽玛处理前后的频谱。
[0026] 图7是表示进行了本发明的图像增强处理的图像的图。
[0027] 图8是表示进行了本发明的图像增强处理的图像的频谱。
[0028] 图9是表示本发明的图像增强处理与现有方法的图像的比较的图。
[0029] 图10是表示现有的图像增强处理所带来的图像的信号电平的波形变化的图。
[0030] 图11是表示图像的放大、增强处理所带来的频率成分的变化的图。
【具体实施方式】
[0031] 以下，参照各附图，对本发明的实施方式进行详细说明。
[0032] 图1是表示本发明的一实施方式的图像增强装置1的结构的框图。该图像增强 装置1是针对作为表示图像的数字信号而从外部输入的输入图像信号S in，实施用于将该输 入图像信号Sin所表示的图像锐化的处理（以下称为"图像增强处理"或者仅称为"增强处 理"）的装置，其具备非线性处理部10、高通滤波器（HPF) 20、限幅器30、以及加法器40。
[0033] 输入图像信号Sin所表示的图像可以是静止图像，也可以是动态图像，在输 入图像信号S in表示动态图像的情况下，该动态图像也可以是在例如标准画质电视 (SDTV:Standard Definition Television)或者高清晰度电视（HDTV :High Definition Television)的接收机中实时显示的动态图像。
[0034] 以下，以图2所示的图像的水平方向的信号电平（亮度值）的波形为例，对各构成 部的动作以及输出的波形进行说明。此外，在以下的说明中，针对图像的水平方向的信号电 平的波形，进行各构成部的说明，但是应留意即使针对图像的垂直方向的信号电平的波形、 动态图像的图像之间的时间方向的信号电平的波形，各构成部也能够以与水平方向同等的 处理进行图像增强处理这一点。
[0035] 图2(A)是表示输入图像信号Sin的水平方向的信号电平的波形的图，尤其是表示 与水平方向上信号电平变化的边缘相当的部分的波形的图。此外，输入图像信号S in的分辨 率是与输出图像信号Swt的分辨率对应的分辨率，在输出图像的分辨率比原来的输入图像 的分辨率高的情况下，输入图像信号S in是将原来的输入图像的分辨率升频转换为输出图 像信号swt的分辨率后的图像信号。例如，在利用图像增强装置1将SDTV的图像作为HDTV 的图像而输出的情况下，输入图像信号Sin成为通过现有的线性变换将原来的SDTV的图像 转换为HDTV的分辨率后的信号。
[0036] 非线性处理部10通过对输入图像信号Sin进行非线性处理而生成第一信号S1。由 非线性处理部10施行的非线性处理的目的在于锐化图像的轮廓，具体而言，使图2 (A)所示 的输入图像信号Sin成为图2(B)所示的第一信号S1，而进行在信号电平中使边缘的上升变 化急剧的处理。
[0037] 由非线性处理部10施行的从输入图像信号Sin生成第一信号S1的处理能够由公 式（1)概括。由非线性处理部10施行的非线性处理包含所有用p/q表示的一般有理数的 幂指数。
[0038]公式1
[0039]
【权利要求】
1. 一种图像增强装置，其生成将输入图像锐化后的输出图像， 所述图像增强装置具备： 非线性处理部，其是对表示所述输入图像的输入图像信号进行非线性处理而生成第一 信号的非线性处理部，该非线性处理部进行将所述第一信号相对于所述输入图像信号表示 为连续的非线性函数、且生成所述输入图像信号中未包含的频率成分的非线性处理； 滤波器部，其通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二 信号； 限幅器，其通过调整所述第二信号而生成第三信号；以及 加法器，其通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的 输出图像信号。
2. 根据权利要求1所述的图像增强装置，其中， 所述非线性处理部生成所述输入图像信号的乘方来作为所述第一信号。
3. 根据权利要求1所述的图像增强装置，其中， 所述非线性处理部生成所述输入图像信号的开方来作为所述第一信号。
4. 一种图像增强方法，其是生成将输入图像锐化后的输出图像的图像增强装置中的图 像增强方法， 基于所述图像增强装置进行的处理顺序包括： 非线性处理步骤，该非线性处理步骤是对表示所述输入图像的输入图像信号进行非线 性处理而生成第一信号的非线性处理步骤，在该非线性处理步骤中，进行将所述第一信号 相对于所述输入图像信号表示为连续的非线性函数、且生成所述输入图像信号中未包含的 频率成分的非线性处理； 通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二信号的步 骤； 通过调整所述第二信号而生成第三信号的步骤；以及 通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的输出图像 信号的步骤。
5. 根据权利要求4所述的图像增强方法，其中， 在所述非线性处理步骤中，生成所述输入图像信号的乘方来作为所述第一信号。
6. 根据权利要求4所述的图像增强方法，其中， 在所述非线性处理步骤中，生成所述输入图像信号的开方来作为所述第一信号。
【文档编号】G06T5/20GK104335568SQ201380029164
【公开日】2015年2月4日 申请日期:2013年8月7日 优先权日:2012年8月9日
【发明者】合志清一 申请人:株式会社计测技术研究所