图像放大装置、方法、集成电路及程序的制作方法

专利名称：图像放大装置、方法、集成电路及程序的制作方法
技术领域：
本发明涉及将被输入的低分辨率图像匹配于显示设备的分辨率而放大的显示装 置、将低分辨率的图像放大并输出的打印机等的图像输出装置、将运动图像中的一张图像 放大而生成静止图像的摄影装置等、由将低分辨率的图像高分辨率化的装置进行的图像放 大方法。
背景技术：
以往以来，作为将输入的低分辨率图像变换为高分辨率图像的插补放大方法，提 出了各种各样的方法。作为代表性的方法，有在非专利文献1中也公开的最邻近法、双线性 法、双三次卷积法等。在最邻近法中，在插补像素位置处选择最接近的低分辨率的像素来决 定插补像素值。在双线性法中，根据包围插补像素位置的低分辨率图像的像素4点与插补 像素位置的距离进行线性内插，决定插补像素值。在双三次卷积法中，根据包围插补像素位 置的、低分辨率图像的周边NXN像素，使用取样函数(f(x) = sine (χ))求出插补像素值。在这些方式中，有以下所示的缺点。在最邻近法中，由于插补像素值是处于插补像 素位置的附近的低分辨率的像素值，所以如果放大率上升，则视觉上的块变得醒目，成为在 画质上变差的感受。此外，在双线性法、双三次卷积法中，虽然能够抑制如最邻近法那样的 块的发生，但成为模糊(# * )的画质。作为用来解决该问题的方法，经常采用在插补放大的前后实施使用高频强调滤波 的边缘强调处理的方法。但是，在进行了边缘强调的情况下，在图像的边缘附近发生称作上 冲或下冲的不自然的部分。图8是通过边缘强调发生了上冲和下冲的例子的图。该图是将图像的水平行的一部分的电平(level)值切取而图示的，观察它可知， 在边缘周边的部分发生了上冲801和下冲802。这样，在实施了通过高频强调滤波的边缘强 调的情况下，图像变清楚，但另一方面，作为副作用，有成为图像的边缘周边发亮等的在视 觉上变差的图像的问题。图48是表示专利文献1的技术的图。在专利文献1中公开了解决分辨率变换中的边缘强调的副作用的方法。以下，使 用图48进行专利文献1的技术的说明。在图48中，2901是作为进行分辨率变换的对象的低分辨率图像的原图像(输入图 像)。此外，2902是插补的像素数等、关于与分辨率的变换相关的插补处理的信息。此外， 2903是基于信息四02决定用来进行边缘强调的滤波系数的强调系数决定部。此外，2904是 使用所决定的强调系数进行边缘强调的边缘强调图像生成部。此外，2905是从被边缘强调 的低分辨率图像、将指定位置的像素值进行内插插补而生成插补像素的插补像素生成部。 此外，2906是将输入图像四01的关注像素与插补像素生成部四05的输出值比较、根据该比 较的结果输出表示各像素值的加权的程度的值的比较部。此外，2909是用来指定检测像素 值的最大值和最小值的、关注像素的周边像素的范围的信息。这里，比较部四06基于该信
6息四09计算表示加权的程度的值。并且，加权合成部四07是根据作为比较部四06的输出 的加权、对从输入图像四01输入的低分辨率图像上的关注像素和插补像素生成部四05的 输出实行加权、进行合成的合成部。以下，对比较部四06和加权合成部四07的处理详细地说明。设输入到比较部四06 中的最大值、最小值检测像素范围(信息四09)为η。此时，在置于关注像素位置(i，j)的 情况下，从其附近像素位置(i-n+1，j-η+Ι) (i+n，j+n)的范围的像素中，检测作为最大的 电平的像素值、和作为最小的电平的像素值，将最大值和最小值作为加权系数传递给加权 合成部四07。在加权合成部四07中，基于作为比较部四06的输出的权重系数计算输出像 素。具体而言，分别在插补像素生成部四05的输出Pi、j是最大值与最小值的范围内的情 况下输出Pi、j，在Pi、j比最大值大的情况下输出最大值，在Pi、j比最小值小的情况下输 出最小值。由此，不发生边缘强调带来的上冲、下冲(过度修正)而实现抑制了边缘的模糊的 放大处理。先行技术文献专利文献1 日本特开2000-115526号公报非专利文献1 有关用于图像信号的几何学变换的插补滤波和画质的一个考察， 模並和雅他，电子通信学会论文志，vol. 45J69-D No. 11ρρ1617_1623，1986.

发明内容
发明的概要发明要解决的课题但是，在专利文献1的方式中有以下所示的缺点。一个是因为在由边缘强调图像 生成部四04实施边缘强调后由插补像素生成部四05进行放大插补、所以放大插补处理受 到由边缘强调强调的噪声成分等的影响的问题。另一个是因用关注像素周边的最大值-最 小值将值截止而发生的问题。图9是通过专利文献1的技术处理后的图像信号的象形图。在图9中，与图8同样，是将图像的水平行的一部分的水平值切取而图示的。在图 9中，不发生图8那样的上冲或下冲(过度修正)，边缘的角度也变得陡峭，但在自然图像的 情况下，该信号成为不自然的影像的情况较多。例如，在草果(芝目；gain)或树叶等的细 小的质地部分成为这样的信号的情况下，整面粗糙的油画似的画，在主观的评价中成为不 自然的图像。因此，在自然图像中采用专利文献1的技术的情况下，只能减小强调系数决定 部四03中的系数、使边缘强调的程度较小，以使得不会变得不自然。在此情况下，边缘部分 的倾斜不十分陡峭，放大带来的模糊减小的减小效果变小。本发明的第1目的是通过抑制在分辨率变换时发生的模糊、并且抑制边缘修正时 的不自然的边缘的生成，提供自然且模糊较少的放大处理。此外，但是在专利文献1的方式中还有以下所示的缺点。图49是通过专利文献1的技术处理后的图像信号的象形图。在图49中，上下表示信号的电平值，上为白色，下为黑色。此外，水平方向表示像 素位置。
图50是将与图49相同的部分通过线性插补实施了放大的情况的例子。在图49中，在与图50相比，在使边缘变得陡峭的同时，不发生上冲及下冲。但是， 由于边缘变得陡峭，所以在图50中有倾斜的部分成为白或黑，白和黑分别变粗。在信号电 平中，黑和白都变粗相同的宽度，但在人的感觉上受到白的变粗那样的印象。这是因为白是 膨胀色，人对于相同大小的白色和黑色的物体，感到白色的更大。这是作为人的视觉特性 普遍周知的现象，例如在围棋中使用的棋子中，为了看起来为相同的大小，使白子小0. 3mm。 这样，在较亮的颜色和较暗的颜色是相同的粗细度的情况下，受到较亮者更粗的印象。特别 是，在放大处理中，它变得显著。因此，在用专利文献1的技术处理的情况下，有在视觉上较亮的颜色、特别是白色 看起来变粗的问题。本发明是鉴于上述问题而做出的，第2目的是提供一种抑制在放大处理中将边缘 修正得陡峭的情况下发生的、白色在视觉上看起来变粗的放大处理。鉴于上述问题，本发明的图像放大装置是输入低分辨率图像，输出比上述低分辨 率图像高分辨率的高分辨率图像的图像放大装置，具备插补部，输入上述低分辨率图像， 生成上述高分辨率图像的像素数的插补图像；特征量分析部，分析上述低分辨率图像的特 征量，输出对于上述高分辨率图像的各像素的上述特征量；修正量计算部，输入由上述特征 量分析部输出的上述特征量、和上述低分辨率图像，输出对于上述高分辨率图像的各像素 的修正量；合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上 述插补图像合成，生成第1上述高分辨率图像；再修正部，将由上述合成部输出的第1上述 高分辨率图像使用由上述特征量分析部生成的上述特征量再次修正，生成修正后的第2上 述高分辨率图像，将所生成的第2上述高分辨率图像从该图像放大装置输出。该图像放大装置具体而言例如也可以具有以下的图像放大装置Al等的技术事项 的一部分或全部。为了达到上述第1目的，在图像放大装置Al中，在从低分辨率图像进行放大插补 而生成高分辨率图像的过程中，具备插补部，通过插补而生成临时的高分辨率图像；特征 量分析部，从低分辨率图像中提取对应于倾斜的强度的特征量，计算对应于高分辨率图像 的各像素的特征量；修正量计算部，通过特征量调整边缘成分的修正量，输出对应于高分辨 率图像的各像素的修正量；合成部，将由插补部生成的高分辨率图像、与由修正量计算部计 算出的修正量合成；通过特征量决定由合成部合成的高分辨率图像的各像素的修正值，将 再次进行修正的结果作为高分辨率图像输出。由此，对于由修正量计算部计算出的修正量过大、发生了边缘部分的上冲及下冲 的部分(过度修正的成分)能够再次调整，能够生成清晰且过冲的较少的自然的放大图像。在图像放大装置A2中，特征量分析部输出的特征量是倾斜量、上限的阈值、下限 的阈值。通过根据倾斜量进行在修正量计算部和再修正部中进行的修正量的调整，例如能 够进行在较小的倾斜量的部分、即噪声等的部分中减小修正量、在倾斜量中等的部分、例如 草果等的部分中增大修正量的调整。此外，通过将上限和下限的阈值作为特征量输出，容易 进行发生了上冲及下冲的部分(过度修正的部分)的确定，能够适当地修正这些过冲。在图像放大装置A3中，对修正量计算部输入的第1倾斜量与对再修正部输入的第 2倾斜量不同。由此，能够由决定边缘强调量的修正量计算部和抑制边缘部分的过冲的再修正部通过不同的基准进行动作。例如，通过使第1倾斜量成为对应于较窄的图像部分的边 缘的部分的倾斜、使第2倾斜量为对应于图像的较宽的部分的边缘的倾斜量的倾斜，对于 边缘的强调仅在边缘的附近进行，关于过冲抑制处理，能够在边缘周围的较宽的区中进行。为了达到上述第1目的，在图像放大装置Bl中，在从低分辨率图像放大插补而生 成高分辨率图像的过程中，具备插补部，通过插补生成临时的高分辨率图像；特征量分析 部，从低分辨率图像中提取对应于倾斜的强度的特征量，计算对应于高分辨率图像的各像 素的特征量；修正量计算部，通过特征量调整边缘成分的修正量，输出对应于高分辨率图像 的各像素的修正量；合成部，将由插补部生成的高分辨率图像与由修正量计算部计算出的 修正量合成；使用通过插补而插补生成的高分辨率图像的像素值、和根据特征量计算的阈 值，决定由合成部合成的高分辨率图像的各像素的修正值，将再次进行修正的结果作为高 分辨率图像输出。由此，对于由修正量计算部计算出的修正量过大、在边缘部分发生了上冲或下冲 等的部分(过度修正的成分)能够再次调整，能够生成清晰且过冲较少的自然的放大图像。在图像放大装置B2中，特征量分析部输出的特征量是倾斜量、上限的阈值、下限 的阈值。通过根据倾斜量进行由修正量计算部和再修正部进行的修正量的调整，例如，能够 进行在较小的倾斜量的部分、即噪声等的部分中减小修正量、在倾斜量中等的部分、例如草 果等的部分中增大修正量的调整。此外，通过输出上限和下限的阈值作为特征量，容易进行 发生上冲或下冲的部分(过度修正的成分)的确定，能够适当地修正这些过冲。在图像放大装置B3中，计算从特征量分析部输出的高分辨率图像的像素的上限 和下限的阈值与插补部输出的高分辨率图像的像素值的差，在合成部输出的像素值超过由 上限及下限各自的上述阈值与插补部的输出的像素值之间的差决定的阈值的情况下，进行 合成部输出的像素值的修正，输出结果。由此，能够从超过上限值或下限值之前进行边缘周 边处的修正，能够更细致地控制较强的边缘周边的边缘的倾斜变化。为了达到上述第2目的，在图像放大装置Cl中，在从低分辨率图像进行放大插补 而生成高分辨率图像的过程中，具备插补像素位置生成部，生成对应于高分辨率图像的各 像素的第1插补像素位置；插补部，生成对应于第1插补像素位置的插补像素；白细线化 部，根据低分辨率图像和第1插补像素位置，对应于插补像素位置周边的像素值的变化而 修正插补像素位置，生成第2插补像素位置；修正量计算部，计算对应于第2插补像素位置 的修正量；合成部，将由插补部插补的像素值与修正量合成，生成输出像素值。通过在修正量计算部中使用由白细线化部修正后的第2插补像素位置，插补像素 位置与第1插补像素位置相比变化，所以边缘强调的中心偏离，结果能够使较明亮的部分、 特别是白色变细。在图像放大装置C2中，在从低分辨率图像进行放大插补而生成高分辨率图像的 过程中，具备插补像素位置生成部，生成对应于高分辨率图像的各像素的第1插补像素位 置；插补部，生成对应于第1插补像素位置的插补像素；特征量分析部，计算对应于第1插 补像素位置的特征量；白细线化部，根据低分辨率图像和第1插补像素位置，对应于插补像 素位置周边的像素值的变化修正插补像素位置，生成第2插补像素位置；修正量计算部，计 算对应于第2插补像素位置的修正量；合成部，将由插补部插补的像素值与修正量合成，生 成合成后的像素值；在再修正部中，将合成部的输出结果使用特征量再次修正，生成修正后的第2高分辨率图像。通过进行基于特征量的再修正，在第2发明中，除了第1发明以外，还能够生成上 冲及下冲较少的图像。在将上冲及下冲再修正的情况下，边缘变得平坦，所以白线看起来更 粗，但通过利用由白细线化计算的第2插补像素位置计算修正量，使白色附近的颜色细线 化，所以能够抑制白色看起来变粗。在图像放大装置C3中，在特征量的计算中也使用由白细线化部修正后的第2插补 像素位置。由此，再修正处理的控制位置也随着第2插补像素位置而偏差，所以能够细致地 控制白线的粗细度。发明的效果首先，根据本发明，对于由修正量计算部计算出的修正量过大而在边缘部分发生 了上冲或下冲等的部分能够再次调整，能够生成清晰且过冲较少的自然的放大图像。此外，根据本发明，能够抑制在放大处理时因边缘的锐化处理而白色在视觉上看 起来较粗的现象。


图1是实施方式Al的图像放大部的结构图。
图2是搭载图像放大部的系统的结构图。
图3是表示实施方式Al的倾斜检测用滤波的系数的图。
图4是表示实施方式Al的倾斜检测用滤波的系数的图。
图5是表示在边缘提取中使用的拉普拉斯滤波的第1例的图。
图6是表示在边缘提取中使用的拉普拉斯滤波的第2例的图。
图7是表示实施方式Al的用于增益计算的曲线的图。
图8是表示发生了过冲的图像的图。
图9是表示通过以往技术抑制了过冲的发生的例子的图。
图10是表示抑制了过冲的发生的例子的图。
图IlA是表示实施方式Al的、被输出的图像的例子的图。
图IlB是表示实施方式Al的、被输出的图像的例子的图。
图lie是表示实施方式Al的、被输出的图像的例子的图。
图IlD是表示实施方式Al的、被输出的图像的例子的图。
图12是实施方式Al的输入YCbCr信号的情况的块图。
图13是实施方式Al的输入YCbCr信号的情况的块图。
图14是实施方式Al的输入RGB信号的情况的块图。
图15是实施方式A2的图像放大装置的结构图。
图16是实施方式A2的2倍放大时的像素位置的例图。
图17是实施方式A2的流程图。
图18是实施方式A2的图像放大部的结构图。
图19是实施方式A2的特征量分析部的结构图。
图20是表示实施方式A2的4X4像素的向2X2像素的块分割的图。
图21是说明实施方式A2的区域判断的图。
图22A是说明对于实施方式A2的区域判断的分区的图。图22B是说明对于实施方式A2的区域判断的分区的图。图22C是说明对于实施方式A2的区域判断的分区的图。图22D是说明对于实施方式A2的区域判断的分区的图。图23是实施方式A2的修正量计算部的结构图。图M是实施方式A2的插补位置px、py的说明图。图25是说明实施方式A2的插补的图。图沈是实施方式A2的gradO和增益的关系图。图27是实施方式A2的gradl和增益的关系图。图28是实施方式A2的gradl和剪除值(clipping value)的关系图。图四是实施方式Bl的图像放大部的结构图。图30A是表示实施方式Bl的再修正部的处理的例子的图。图30B是表示实施方式Bl的再修正部的处理的例子的图。图31是实施方式B2的图像放大部的结构图。图32A是说明常数E引起的输出波形的差异的图。图32B是说明常数E引起的输出波形的差异的图。图32C是说明常数E引起的输出波形的差异的图。图33是实施方式Cl的图像放大部的结构图。图34是实施方式Cl的插补像素位置生成部的处理的流程图。图35是实施方式Cl的白细线化部的处理的流程图。图36是表示实施方式Cl的、输出的图像的例子的第1图。图37是表示实施方式Cl的、输出的图像的例子的第2图。图38是实施方式C2的图像放大装置的结构图。图39是实施方式C2的图像放大部的结构图。图40是实施方式C2的白细线化部的结构图。图41是表示实施方式C2的白细线化部的修正方向的图。图42是表示实施方式C2的白细线化部的倾斜方向修正的图。图43是实施方式C2的特征量分析部的结构图。图44是实施方式C2的修正量计算部的结构图。图45是表示再修正部、和由再修正部处理的数据的图。图46是实施方式C中的处理的流程图。图47是表示在实施方式C中处理的数据的图。图48是以往的图像放大装置的结构图。图49是以往的图像放大装置的输出信号的例子的图。图50是通过线性插补处理放大的情况的输出信号的例子的图。
具体实施例方式以下，参照附图，对有关实施方式的图像放大装置(图像放大部)108进行说明。图 像放大装置108是有关实施方式A的图像放大装置108A (图1等)、有关实施方式B的图像放大装置108B(图四等)、和有关实施方式C的图像放大装置108C(图33等)的各图像放 大装置的上位概念。有关实施方式的图像放大装置108(图像放大装置108A等)是输入低分辨率图像 (输入图像101)、输出分辨率比上述低分辨率图像高的高分辨率图像(输出图像107)的图 像放大装置，具备插补部(插补部104等)，输入上述低分辨率图像，生成上述高分辨率图 像的像素数的插补图像(图18的插补图像OL等)；特征量分析部(特征量分析部102等)， 分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量(图 18的gradl、gradO、MIN、MAX等)；修正量计算部(修正量计算部103等)，输入由上述特征 量分析部输出的上述特征量、和上述低分辨率图像，计算对于上述高分辨率图像的各像素 的修正量；合成部(合成部105等)，将由上述修正量计算部计算出的上述修正量、和由上 述插补部生成的上述插补图像合成，生成第1上述高分辨率图像(图11B、图45下段的单点 划线的数据等)；再修正部(再修正部106等)，将由上述合成部输出的第1上述高分辨率 图像使用由上述特征量分析部生成的上述特征量再次修正，生成修正后的第2上述高分辨 率图像(图11D、图45下段的实线的数据等)，从该图像放大装置输出所生成的第2上述高 分辨率图像。《实施方式A》以下，参照

实施方式A。另外，实施方式A包括实施方式Al和实施方式 A2。(实施方式Al)图1是实施方式Al的图像放大部(图像放大装置)108A的块图。另外，图像放大部108A是图像放大装置108(上述)的下位概念之一。在图1中，101是低分辨率的输入图像(原图像、低分辨率图像)。此外，102是将 对应于图像放大部108A根据低分辨率的输入图像而输出的高分辨率图像(输出图像、第2 高分辨率图像)107的各像素的特征量分别输出的特征量分析部。103是根据特征量分析 部102输出的特征量而计算边缘成分的修正量、即输出的高分辨率图像107的各像素的修 正量、将计算出的各修正量输出的修正量计算部。104是输入低分辨率的输入图像101、生 成与输出的高分辨率图像107相同的像素数的图像(插补图像)的插补部。105是接受从 插补部104输出的高分辨率图像(插补图像)的像素、并且从修正量计算部103接受对应 于该像素的修正量、输出对该像素进行了用该修正量的修正(第1修正)的、第1修正后的 像素(第1高分辨率图像)的合成部。106是通过从特征量分析部102接受到的、对应于合 成部105输出的第1修正后的像素的特征量、对合成部105输出的合成结果(第1修正后 的像素)进行再修正(第2修正)、输出第2修正后的像素(第2高分辨率图像)的再修正 部。107是输出的高分辨率图像(第2高分辨率图像)，108A是输入低分辨率图像101、输 出将输入的低分辨率图像101放大后的高分辨率图像107(第2高分辨率图像)的图像放 大部。另外，图像放大部108A具体而言也可以是集成电路。并且，特征量分析部102等 也可以分别是安装在该集成电路中的功能块(电路)。此外，图像放大部108A也可以是计 算机。并且，各个功能块也可以是通过该计算机执行软件而实现的功能的功能块。图2是装入有该图像放大部108A的系统的例子。
在图2中，201是输入图像的输入部。202是对输入部201输入TV信号的调谐器。 203是对输入部201输入影像的外部端子。204是记录有运动图像或静止图像的SD卡等的 存储卡。205是作为该系统的一次存储装置使用的、DRAM等的存储器。206是控制该系统 的整体的处理器。207是在由输入部201输入的图像是压缩图像的情况下进行该图像的解 码的解码部。208是将解码后的图像输出给视频驱动器209的显示部。209是用来对液晶、 等离子、CRT等的显示设备211输出由显示部208输出的图像的视频驱动器。210是作为储 存图像等的二次存储装置的硬盘(HDD)。在该系统中，被从输入部201输入、或保存在硬盘210中的压缩图像通过处理器 206的控制，被发送给解码部207，在由解码部207解码后，被直接或经由存储器发送给显示 部208。在显示部208中，将接受到的解码后的图像(图1的输入图像101)的格式变换为 匹配于显示设备211的格式，将该变换后的图像(输出图像107)发送给视频驱动器209，视 频驱动器209在显示设备211上进行传送来的输出图像107的显示。在该系统中，图1所 示的图像放大部108A例如在显示部208内的、显示设备211的分辨率的输出图像107中， 被作为用来将输入图像101放大的处理(的功能块)安装，或者作为处理器206中的软件 处理(的功能块)安装。另外，在以哪个形式安装的情况下，都为也能够用于将放大后的图 像再次编码、将编码后的图像写回到硬盘210等中的用途的安装。以下，对图1的图像放大部108A的处理进行说明。(特征量分析部)在特征量分析部102中，分别计算对插补部104输出的、放大后的各像素的特征量 并输出(图46的S462)。即，分别计算放大后的高分辨率图像各自的像素的特征量。作为 特征量输出的数据，是高分辨率图像中的、对应于插补部104进行插补的插补像素位置(高 精细位置)的位置(低分辨率图像的位置、低精细位置)处的、该位置的周边的倾斜的强度 (例如图18的gradO及gradl)、和该位置的周边像素的上限值和下限值(MIN、MAX)。特征 量包括这些由低分辨率图像确定的倾斜的强度、以及上限值和下限值。图3是表示用来检测垂直的线的、水平方向上的微分的滤波的例子的图。图4是表示用来检测水平的线的、垂直方向上的微分的滤波的例子的图。作为如上述那样确定包含在特征量中的倾斜的强度的方法，有提取相邻于插补像 素位置(低精细位置)的、低分辨率图像的像素的2X2像素、根据所提取的2X2像素通 过图3及图4的滤波求出水平以及垂直的微分成分dx和dy、将较大者确定为作为特征量 的倾斜的强度等的方法。另外，作为倾斜的强度的计算方法，也可以是使用sobel滤波或 prewitt滤波等的方法等，并不限定于该方法。此外，作为上限值和下限值，将插补像素位置(低精细位置)的周边的、在低分辨 率图像nXn像素之中最大的像素值设定为上限值，将最小的值设定为下限值。通过以上，由特征量分析部102计算倾斜的强度、上限值、下限值的3个作为特征
量并输出。(修正量计算部)在修正量计算部103中，计算对应于插补像素位置的像素的边缘程度的修正量 (图46的S463)。在修正量计算部103中，首先，使用对应于插补像素位置(低精细位置) 的周边的、低分辨率的输入图像101的各像素值，计算该低精细位置的边缘成分。此时，从多个高精细位置之中，确定对应于低分辨率图像中的边缘的部分的高精细位置。图5是表示拉普拉斯滤波的第1例的图。图6是表示拉普拉斯滤波的第2例的图。作为边缘成分的提取方法，利用使用图5或图6所示的拉普拉斯滤波等的方法。另外，高分辨率图像中的插补像素位置(高精细位置、例如小数的坐标值的位置) 的像素在低分辨率图像(例如仅具有整数的坐标值的像素)中不存在。因此，在实施这些 滤波的情况下，进行以与插补像素位置(高精细位置)相同的位置(例如，低分辨率图像中 的小数的坐标的位置)的附近的像素(具有整数的坐标值的位置)为中心的3X3的滤波 处理。在提取了边缘成分、即确定了边缘的部分的高精细位置之后，使用由特征量分析 部102计算的倾斜的强度(特征量，例如图18的gradO)，计算所提取的边缘的强调程度。图7是表示根据倾斜的强度(特征量)调整对所提取的边缘成分乘以的增益的量 的情况下的增益的例子的图。在该例中，在倾斜较强的部分中使修正量变大，在倾斜较小的部分中使修正量变 小。通过进行这样的调整，能够减小作为倾斜较小的部分的、如噪声那样的较小的倾斜的信 号的修正量。以上，在修正量计算部103中，从低分辨率图像提取边缘成分，输出通过对应于倾 斜的强度的增益进行了倍率调整的、对应于高分辨率图像的各像素的修正量。即，对于各个高精细位置，分别由修正量计算部103计算通过加到该高精细位置 上来进行边缘的强调的、该高精细位置的修正量。(插补部)在插补部104中，使用双线性法或双三次卷积法等，由低分辨率图像(输入图像 101)通过插补放大而生成高分辨率的图像(例如，参照图18的插补图像0L、图IlA等)(图 46的S461)。另外，这些一般性的放大技术并不是实施方式的核心，所以省略详细的说明。 作为插补部104，可以利用以往以来使用的放大插补技术。S卩，由插补部104根据低分辨率图像计算被进行边缘强调前的高分辨率图像(插 补图像)。(合成部)在合成部105中，对由插补部104生成的高分辨率图像(插补图像、图11A)加上由 修正量计算部103计算出的、对应于高分辨率图像的各像素的修正量(差值)，生成被强调 了边缘的图像(第1高分辨率图像，图11B、图45下段的单点划线的数据)(图46的S464)。 在该时点，生成图8所示那样的、包含有上冲和下冲(边缘强调中的过度修正的成分)的图像。(再修正部)在再修正部106中，输入合成部105输出的、被实施了边缘强调的高分辨率图像 (图IlB等)、和特征量分析部102输出的、对应于高分辨率图像的各个像素的上限值、下限 值(特征量)，进行合成部105输出的高分辨率图像(图11B)的再修正(图46的S465)。S卩，对于进行了边缘强调后的高分辨率图像(图11B、图45的单点划线的数据)， 由再修正部106进行再修正(第2修正)，由再修正部106计算进行了第2修正后的高分辨率图像(图11D、图45的实线的数据)。以下，对再修正的次序进行说明。在设被进行了边缘强调后的高分辨率图像(图11B、图45的单点划线)的像素位 置(X，y)处的、合成部105的输出像素值为Xx，y、设上限值为Ux，y、设下限值为Lx，y时， 在再修正部106中，通过以下的(数式Al)的运算(图45上段参照)，计算第1修正值， y (虚线的数据)(图46的S465A(S465a、S465b)，图45上段的C倍值计算部1061)。另外， 在该数式(数式Al)中，C是预先对C倍值计算部1061设定的、0.0 1.0的范围内的常 数。另外，图45中的4条水平线(从上起依次为单点划线、虚线、实线、实线)分别作 为一例而表示Xx，y的极大点处的值。(数式Al)Xx, y > Ux, y 时，Px, y = Ux, y+ (Xx, y-Ux, y) XCXx, y < Lx, y 时，Px, y = Lx, y-(Lx, y-Xx, y) XC其他时，Px，y= Xx，y通过该计算，使超过上限值(Ux, y)和下限值(Lx, y)的部分(例如，图45中的极 大点的附近的部分)为C倍，计算C倍后的Px，y (图11C、图45的虚线的数据)。这里，由 于C设定为1.0以下，所以结果对超过上限和下限的部分(过度修正的成分)进行第2修 正而变小。接着，通过下述(数式似)的运算，再修正部106将第1修正值Px，y (图11C、图 45的虚线的数据)进一步修正，计算第2修正值P’ x，y (图11D、图45的实线的数据)(图 46的S465B(S465c)、图45的阈值剪除部1062)。另外，在该数式中，T是预先设定的常数。 此外，min(a，b)是选择a和b中的较小者的函数。另外，在图45的上段表示的再修正部106的结构、即具有C倍值计算部1061和阈 值剪除部1062的两个部分的结构是单纯的一例，也可以采用其他结构。(数式A2)Px, y > Ux, y 时，P，x，y = Ux, y+min(Px, y-Ux, y、T)Px, y < Lx, y 时，P' χ, y = Lx, y_min(Lx，y-Px, y、T)其他时，P，x，y= Px，y通过(数式A2)，将超过常数T的上冲和下冲的成分变换为Τ。S卩，将过冲(上冲 或下冲)的、超过常数T的部分剪除(裁剪)而除去。在再修正部106中，输出该第2修正值P，X，y (图11D、图45的实线的数据)(图 46的S465B的S465d、图45的阈值剪除部1062)。另外，再修正部106例如对由合成部105生成的、被强调了边缘后的高分辨率的 图像(第1高分辨率图像)的多个像素分别进行关于该像素(Xx，y)的该处理(图46的
S465d)。由此，生成将这些多个像素分别再修正后的、再修正后的高分辨率的图像 (第2高分辨率图像)。图IlA 图IlD是表示图像放大部108中的图像的图。通过以上的处理，根据实施方式Al，将抑制了下冲和上冲的放大图像(输出图像 107)通过图像放大部108A输出。以下，利用图IlA 图IlD说明处理的过程的信号的变化和处理的流程。另外，图11与图8、图9、图10同样，是观测图像的特定的水平方向的像素 值的图，横轴表示水平像素位置，纵轴表示各个水平像素位置处的像素值。图IlA是在插补部104中通过双三次卷积法插补放大后的图像(插补图像)。双三 次卷积法的处理包括边缘强调的成分，所以如图IlA那样在边缘附近发生一些过冲成分。图IlB是由合成部105加上了修正量计算部103的输出后的图像(第1高分辨率 图像、图45的单点划线以及)(X，y)。在该时点，与图IlA相比，在边缘周边发生较大的过冲。 另外，图45下段的单点划线、虚线、实线的曲线分别是示意地表示图11B、图11C、图IlD的 曲线的。关于图45下段的各曲线的详细情况请适当参照图IlB等。图IlC是设C为0.25、采用了(数式Al)的处理后的结果(图45的虚线的数据、 Px, y)。如图IlC所示，可知与图IlB相比过冲成分变小、并且边缘的陡峭度与图IlA相比 变大。图IlD是设T = 4而采用(数式A2)的处理后的结果(图45的实线的数据、P’x， y)。在图IlD中可知，仅将在图IlC中残留的过冲的剩余中的一部分剪除，没有将全部除去， 成为接近于图IlA的信号的图象。此外，可知通过与图IlA相比边缘的陡峭度变大而抑制 了边缘的模糊。此外，在图IlD中，还由于残留有过冲成分，所以不会成为不自然的粗糙画， 并且抑制了边缘周边的过冲。以上，根据实施方式Al，能够提供将因放大处理造成的模糊(参照图11A)通过边 缘强调进行缓和(参照图IlB 图11D、图45的单点划线、虚线、实线的数据)、并且抑制了 边缘强调造成的过冲的发生的自然的影像(图11D、图45的实线的数据，P’x，y)。由此，即 使是将低分辨率图像放大的情况，也能够不丧失影像的锐感而显示自然的影像。这样，图像放大装置108(图像放大装置108A)具备插补部(插补部104)、边缘强 调部(合成部105)、和再修正部(再修正部106)。插补部计算将低分辨率图像(输入图像101)放大后的高分辨率的插补图像(图 11A)。边缘强调部计算将计算出的插补图像的边缘强调后的第1高分辨率图像(图11B、 图45下段的单点划线，Xx，y)。再修正部在第1高分辨率图像中的、构成超过发生边缘的周边发亮的成分(例如， 图IlB的过冲的成分，Ux, y (图45下段等)的成分，过度修正的成分)的第1成分(被C 倍以及通过剪除除去的成分)及第2成分(其他成分)中，仅将上述第1成分除去。由此， 计算仅除去了该第1成分后的第2高分辨率图像(图11D、图45的实线的数据)。由此，通过边缘的强调来抑制边缘的模糊。另一方面，上述第1成分被除去，避免 边缘的周边看起来发亮。并且，尽管这样能够抑制边缘的模糊、并且抑制边缘的周边发亮， 也仅将第1成分除去，避免了过度除去。由此，如图45中的较窄的范围106x所示，第2高 分辨率图像的平坦的范围变得比以往例等的范围(例如范围106xC)窄等，能够避免产生粗 糙的不自然的图像。由此，能够同时实现模糊的抑制、边缘的周边发亮的抑制、和图像粗糙 的抑制，能够充分且可靠地提高画质。另外，上述合成部(合成部105、边缘强调部)也可以通过对上述插补图像(图 11A)中的像素值加上上述修正量、生成强调了上述插补图像中的边缘的第1上述高分辨率 图像(图11B、图45下段的单点划线的数据)。
并且，上述再修正部也可以将第1上述高分辨率图像中的、使上述边缘的周边发 亮的、上述边缘的强调中的过度修正的成分(例如，图IlB中的过冲的部分)设为C倍(图 45的C倍值计算部1061、图46的S465A、0 < C < 1)。并且，再修正部也可以通过对设为C 倍的该成分进行剪除(阈值剪除部1062、图46的S465B)、生成进行了 C倍及剪除的第2上 述高分辨率图像。此外，上述再修正部也可以是，由上述特征量分析部输出的上述特征量表示的上 述过度修正的成分的部位的斜率越大(图27、图观的横轴的更右侧)，则作为上述C (图27 的纵轴)将更小的值作为上述剪除的宽度T(图观的纵轴)而分别确定更小的宽度。进而，上述过度修正的成分也可以是在将该过度修正的成分的全部(过冲的成分 的全部)从第1上述高分辨率图像除去的情况下产生粗糙的成分。并且，由上述特征量分析部输出的上述特征量也可以确定在仅将上述过度修正的 成分中的、通过该值C下的C倍及该宽度T下的剪除除去的成分(上述的第1成分)除去 的情况下不产生上述粗糙的值C及宽度T。并且，上述再修正部也可以分别计算由上述特征量确定的上述值C及上述宽度 τ(参照图27、图观)，通过进行以计算出的上述值C进行的C倍、和以计算出的上述宽度T 进行的剪除，生成仅将基于该值C及该宽度T除去的上述成分除去后的第2上述高分辨率 图像。另外，在以往技术(图48)中，在由边缘强调图像生成部2904对图像进行了边缘 强调后，对进行了边缘强调的图像通过插补像素生成部2905进行插补。并且，在该插补的 处理中，也进行一些边缘强调，所以在边缘强调之后再进行边缘强调，所以画质变差。相对于此，在图像放大装置108中，在由合成部105加上修正量而进行边缘强调之 前，由插补部104进行插补，能够避免因在边缘强调之后进行插补造成的画质的变差，能够 得到更加充分高的画质。(实施方式Al的变形)在实施方式Al中，设各像素是1个像素值而进行了说明。但是，在彩色图像中，通 过红(R)、绿(G)、蓝(B)、或亮度(Y)、色差(Cb、Cr)等多维的颜色空间表示该图像的内容的 情况较多。这里，对在RGB或YCbCr等的颜色空间中采用本技术的方法进行说明。图12及图13是处理的图像的颜色空间是YCbCr的情况下的处理的例子。在图12中，各个插补部104与图1的插补部104是同样的，图像放大部108与图 1的图像放大部108是同样的。在图12的系统中，仅亮度成分Y实施通过图像放大部108 的处理，对于色差成分Cb及Cr实施以往的放大处理。这样，通过仅对在视觉上效果较高的 亮度成分实施本技术的处理，带来上述效果，并且通过对色差成分实施以往的处理，能够期 待处理量的削減。此外，图13是表示对yCbCr的全部成分实施图像放大部108的处理的例子的图。 在图像放大部108中，如图所示，能够独立处理各成分。图14是处理的图像的颜色空间是RGB空间的情况下的处理的例子。另外，在RGB空间的情况下，可以如图14那样对各成分都实施图像放大部108的 处理，但也可以例如仅对G成分这样的1个成分进行处理。以上，对于用多维的颜色空间定义的彩色图像，也通过将图像放大部108对各成分单独实施，能够带来与实施方式Al同样的效果。(实施方式A2)参照附图对实施方式A2进行说明。图15是实施方式A2的图像放大装置1500的块图。在图15中，101是输入图像，1501是插补位置x，y，1502是选择插补位置x，yl501 的周边6X6像素的像素选择部。此外，1503是将插补位置X，yl501的小数点部分px、py 取出的小数点位置计算部，1504是将输入图像的6x6像素和小数点位置px、py输入、计算 插补位置χ，yl501的像素值、将计算出的像素值输出的图像放大部。107是放大处理后的 高分辨率图像。另外，图像放大装置1500也是图像放大装置108(上述)的下位概念之一。此外， 图像放大部1504是实施方式A2的图像放大部1504A、B2的图像放大部1504B(图31)、C2 的图像放大部1504C(图38)的上位概念。图像放大部1504也对应于图像放大装置108的 下位概念之一。图16是表示插补位置x，yl501与低分辨率的输入图像101、高分辨率的输出图像 107的关系的图。在图16中，表示放大率在水平方向-垂直方向上都是2.0倍的情况的例子。在 图16中，O标记表示低分辨率图像的像素位置，X标记表示被作为高分辨率图像进行插补 的像素位置。即，在图16的例子中，输入像素由用〇标记表示的像素构成，被输出的高分辨 率图像成为由用〇标记和X标记两者表示的像素构成。图中的数字表示插补位置(x，y)， 存在于被输入的低分辨率图像中的〇标记的像素的位置成为(0、0) (UO) (2,0)- (UO) (1、 1)…等的整数位置。此外，X标记的像素的位置为(0.5、0) (1.5,0) · 等的包含小数点位 置的位置。图17是由图15的图像放大装置1500从低分辨率的输入图像101生成高分辨率 的输出图像107的处理的流程图(S1701 S1713)。在放大处理中，首先，例如像素选择部1502等计算作为放大图像的插补位置的增 加量的dx、dy(S1702)。它可以根据输入图像101和输出图像107的尺寸通过(数式A3)计 算。另外，式中的Sw、Sh是输入图像的宽度和高度，Dw, Dh是输出图像的宽度和高度。(数式A3)dx = Sw/Dwdy = Sh/Dh另外，通过(数式A3)计算dx、dy，但dx、dy的计算方法并不限定于此。例如，利 用由(数式A4)计算的dx、dy也能够期待同样的效果。(数式A4)特别在放大率是高倍率 的情况下是有效的。(数式A4)dx = (Sw-I)/Dwdy = (Sh-I)/Dh根据(数式A3)的计算，在放大率是2倍的情况下，叔=0.5、(^ = 0.5为计算结^ ο接着，例如像素选择部1502等将插补位置y初始化(S1703)，此外，将插补位置χ初始化(S1704)。进行初始化的初始化位置决定放大时的初始相位，这里假设设定χ = 0，y =0。另外，在想要使放大后的图像的中心不偏移的情况下，只要设定χ = -0. 25,y = "O. 25 就可以。接着，像素选择部1502从输入图像101取得以相邻于插补位置x，y的4像素为中 心包括的周边6X6像素(S1705)。如果以图16为例说明，则例如在插补位置是1601的位 置的情况下，取得处于用1602的虚线表示的范围中的、以与插补位置1601相邻的4像素为 中心的周边6X6像素的输入像素。接着，小数点位置计算部1503计算插补位置x，y的小数点位置px、py(S1706)。在 图16的1601是插补位置的情况下，是χ = 3.5,y = 2. 5，所以px、py为从其除去了整数部 分的 px = 0. 5、py = 0. 5。在取得插补位置周边的6X6像素的输入图像(S1705)、计算px、py后(S1706)，以 它们为输入，图像放大部1504A执行图像放大处理(S1707)。另外，关于图像放大处理在后 面详细地说明。图像放大处理的结果是输出对应于插补位置的输出像素值，所以图像放大 部1504A将其作为对应于插补位置的输出像素值保存(S1708)。接着，像素选择部1502等将插补位置在水平方向更新dx(S1709)。在输出的水平 方向的像素数不到输出像素数(宽度)的情况下，重复从S1705起的处理(S1710:否)。在水平方向的像素数是输出像素数的情况下(S1710 是)，例如像素选择部1502 等将垂直方向的插补位置更新dy(S1711)。在输出的行数不到输出行数(高度)的情况 下，重复从S1704起的处理(S1712:否)。在输出的行数是输出行数的情况下，结束处理 (S1712 是)。通过以上的处理，生成放大后的高分辨率图像。图18是表示进行S1707的图像放大处理的图像放大部1504A的处理的流程的图。 以下，使用图18对图像放大处理详细地说明。另外，实施方式Al的图像放大部108A的详细的情况例如是该图像放大部1504A那样。(特征量分析部)图19是表示图18的特征量分析部1803的处理的详细情况的图。在特征量分析部1803中，将输入图像101中的、插补位置的周边NXM像素(参照 图17的S1705等)、和px,py (参照S1706、图18的插补坐标px、pyl802)输入，作为特征量 而输出gradO、gradl、MIN、MAX。另外，这里，设作为输入的周边NXM像素为N = M = 4像 素的16像素进行说明，但也可以通过比其小或大的范围中的像素计算特征量。如果将输入到图像放大部1504A中的6X6像素1801(图18)中的、中央的4X4像 素输入，则在特征量分析部1803中，首先通过各块的MIN/MAX计算部1903计算各2X2像 素块的像素值的最大值和最小值。图20是表示向9个2X2像素块的分割的图。所谓2X2像素块，如图20所示，是将4X4像素按照2X2像素分割为9块的块。 在图20中，〇标记是像素，0 8的数字是块的号码。这里，设各块的最大值和最小值为 MINn, MAXn(n = 0、1、2、3、. . .、8，对应于图20的块号码)。在块差计算部1904中，计算各 块的差DHTn。DIFFn的计算式是(数式似)那样。(数式Α5)
DIFFn = MAXn-MINn此外，在区判断部1905中，根据插补坐标px、py(图17的S1706)，计算在MIN、MAX 的计算中使用的2X2像素块、和在插补中使用的DX、DY。图21是表示4X4像素、px、py、和插补像素的关系的图。插补位置X，y的小数点成分是px、py，所以为0. 0 ( px、py < 1. 0，px、py的位置 为图21斜线的范围内。根据px、py处于图21的a、b、c、d的哪个区中，将在插补中使用的MINn、MAXn如 图22那样改变。S卩，图22A的用斜线表示的块表示在图21的a区中有px、py的情况下选择的MINru MAfti。图22B的用斜线表示的块表示在图21的b区中有px、py的情况下选择的MINruMAXn。 图22C的用斜线表示的块表示在图21的c区中有px、py的情况下选择的MINn、MAfti。图 22D的用斜线表示的块表示在图21的d区中有px、py的情况下选择的MINn、MAfti。由此，选择插补位置X，y的附近的2X2像素块。(数式 A6)是求出 MI0、MI1、MI2、MI3、和 MA0、MA1、MA2、MA3、DX、DY 的式子。S卩，作 为MIO MI3而使用所选择的2X2像素块的MINn，作为MAO MA3而使用所选择的2X2 像素块的MMn。另外，在(数式A6)中，有“DX = 1^+0.5”，表示从插补位置X，y的χ坐标 到2X2像素块中的左列的两个块(例如0和3)的中心的χ坐标的距离、与从插补位置X， y的χ坐标到右列的两个块(1和4等)的中心的χ坐标的距离的两个距离的比。关于其他 DX,DY的式子也与该例是同样的。(数式A6)
a区的情况)
MIO=MINO
MIl=MINI
MI2=MIN3
MI3=MIN4
MAO=MAXO
MAl=MAXl
MA2=MAX3
MA3=MAX4
DX ==Px+0. 5
DY ==Py+0. 5
b区的情况)
MIO=MINI
MIl=MIN2
MI2=MIN4
MI3=MIN5
MAO=MAXl
MAl=MAX2
MA2=MAX4
MA3 = MAX5DX = Px-O. 5DY = Py+0. 5c区的情况)MIO = MIN3Mil = MIN4MI2 = MIN6MI3 = MIN7MAO = MAX3MAl = MAX4MA2 = MAX6MA3 = MAX7DX = Ρχ+0. 5DY = Py-O. 5d区的情况)
MIO = MIN4 Mil = MIN5 MI2 = MIN7 MI3 = MIN8 MAO = MAX4 MAl = MAX5 MA2 = MAX7 MA3 = MAX8 DX = Px-O. 5DY = Py-O. 5在特征量计算部1906中，根据由块差计算部1904计算的DIFFn、由区判断部计算 的 MIO 3、MAO 3、DX、DY，计算 gradO、gradl、MIN、MAX。在(数式A7)中表示计算式。另外，在(数式A7)中，max()为将“O”中的多个 要素的值之中的最大的值返回的函数，CO为常数。此外，gradO和gradl为被剪除到像素值 的范围内的值。(数式A7)MAX = (1-dy) ((l_dx) · MAO+dx · MAI)+dy ((1-dx) · MA2+dx · MA3)MIN = (1-dy) ((1-dx) · MIO+dx · Mil)+dy((1-dx) · MI2+dx · MI3)gradO = (MAX-MIN) · COgradl = ((MAX-MIN)+max (DIFFO、DIFFl、…、DIFF8)) · CO/2以上，在特征量分析部1803中，输出gradO、gradl、MIN、MAX(图46的S462)。这里，根据(数式A7)，gradl与gradO相比受到块内的最大的最大值和最小值的 影响。因此，如果在4X4像素内有较大的倾斜，则gradl表示较大的值。即，gradl容易取 比gradO大的值。
另外，作为特征量分析部1803的输出，并不限定于此，例如也可以将4X4像素中 (参照图22A 22D)的最大值设定为MAX、将最小值设定为MINjf MAX-MIN设定为gradl、 将MAX4-MIN4设定为gradO。在此情况下，在用于放大插补的参照像素相同的期间中，MAX、 MIN.gradO,gradl为固定，所以有在高倍率放大中块边界变得醒目的情况，但在2倍左右的 放大倍率中，能够期待与本实施方式同样的效果。(修正量计算部)图23是表示图18的修正量计算部1804的处理的详细情况的图。在修正量计算部1804中，将输入图像101(图15)的插补位置的周边NXM像素 2301 (图17的S1705)、和由特征量分析部1803计算的gradO (图23的grad023(^)输入， 输出修正量Oe。另外，这里设为N = M = 6像素而进行说明，但也可以利用比该N、M下的 范围小或大的范围计算Oe。在频带限制部2306中，使用输入像素6X6像素(图23的NXM像素2301)，生成 被频带限制的4X4像素。这里，假设在频带限制中利用水平-垂直3X3抽头的低通滤波 (LPF)。在利用3X3抽头的LPF的情况下，为了生成4X4像素的LPF结果，在上下左右需 要+1像素。因此，修正量计算部1804的输入为6X6像素。另外，作为频带限制的方法，并 不限定于3X3抽头，可以利用更多抽头的滤波器。在此情况下，输入的像素数增加，但能够 使频带限制滤波器的特性提高。另外，也可以不是2维的LPF滤波，而在沿水平方向进行LPF处理后沿垂直方向进 行LPF处理，或者相反，沿垂直方向进行LPF处理、然后沿水平方向实施LPF滤波。在哪种 情况下都能够期待同样的效果。在插补部2303和插补部2307中，通过插补计算求出与插补位置px、py离开士 1
像素的位置的像素值。图M是表示使4X4的输入像素值为vOO v33的情况下的、插补位置px、py的 像素的位置的图。图25是表示i00 i22的8个部位的图。相对于像素位置2308离开士1像素的位置是图25所示的100、101、102、110、112、 i20、i21、i22的8个部位。在插补部2303中，使用输入的4X4像素，计算包括px、py位置 的9点的像素值。此外，在插补部2307中，使用被频带限制部2306进行了频带限制的4X4 像素，通过插补计算包括px、py位置的9点的像素值。另外，作为插补的方法可以使用双线性法、双三次卷积法等，但在4X4像素的范 围中实施处理的情况下，双线性法是适当的。另外，在用双三次卷积法进行处理的情况下， 优选的是在比6X6像素大的像素范围中实施处理。在边缘提取部2304中，使用插补部2303或插补部2307的输出结果进行边缘成分 的提取。此时，通过表示倾斜的强度的gradO的值，切换利用插补部2303或插补部2307的 哪个的结果提取边缘成分。例如，在gradO较小、即倾斜较小的部分中，使用插补部2303的 结果进行边缘提取，在gradO较大的情况下，考虑使用被频带限制的插补部2307的结果进 行边缘提取等。通过这样，在较小的边缘部分也能够捕捉到较小的边缘，并且在较大的边缘 中，能够提取将噪声成分通过LPF除去后的边缘成分。另外，作为边缘成分的提取方法，只要将图6那样的系数与i00 i22相乘就可以。另外，通过图6的系数进行的边缘提取是处理的一例，也可以利用例如图5那样的系数、 或者其他系数进行边缘成分的提取。另外，通过变更该滤波系数，能够变更提取的边缘成分 的强度及频带。此外，为了将所提取的边缘成分的噪声成分除去，通过进行称作核化的、将 0附近的边缘成分圆化为0的非线性的处理，能够不强调噪声成分。在修正部2305中，使用由边缘提取部2304提取的边缘成分、和gradO，计算修正量 Oe (图 18)(图 46 的 S463)。这里，首先求出从gradO提取的、对边缘成分相乘的增益。图沈是由gradO求出增益的表的例子。在图沈中，横轴是gradO，纵轴是增益。在图沈的例子中，为在倾斜较小即gradO 较小的部分中使增益较小、在倾斜较大的部分中使增益变大那样的曲线。这里，倾斜较小的 部分是噪声成分的可能性较大。因此，如果增大该部分的增益，则强调了噪声。因此，在倾 斜较小的部分中，设为抑制性的设定。此外，在倾斜较大的部分中，作为边缘的可靠性较高， 所以设为较大地乘以增益、使倾斜更大的设定。另外，并不限定于此，gradO与增益的关系也可以自由地设定。例如也可以设为使 gradO为中游的部分最高、或者设为在某几个部位有波峰那样的设定。此外，gradO与增益 的关系既可以用数式表现，也可以用表保持。为了削减表的量，也可以仅保持一些点，通过 线性插补或曲线插补进行插补。在计算增益后，在修正量计算部1804中，将对所提取的边缘成分乘以增益倍后的 结果作为Oe输出。在修正量计算部1804中，如图25所示，插补计算相当于插补位置I^、Py的士1像 素的像素位置的像素的值，使用计算出的9像素提取边缘成分。相当于插补位置Px、Py的 士 1像素的像素位置的值如果放大率是2. O倍则为存在于放大后的高分辨率图像中的像素 位置，但根据放大率，为在高分辨率图像中不存在的像素位置。例如在2. 5倍的情况下，作 为放大后的像素的位置，将0,0. 4,0. 8,1. 2,1. 6、2、2· 4,2. 8…等像素位置的像素插补。但 是，对应于1. 6的插补位置的像素位置的士 1像素的、相当于0. 6和2. 6的像素位置的像素 不能通过放大而生成。在本实施方式中，通过在边缘成分的提取中插补生成士 1像素的位 置的像素，与使用放大前或放大后的图像的像素值进行边缘提取相比，对于插补位置能够 提取高精度的、良好的边缘成分。此外，在修正量计算部1804中，包含核化及查表等的非线性的处理。由于包含这 样的处理，所以与在边缘强调后进行放大的情况、或在放大后进行边缘强调的情况等结果 不一致。在边缘修正量的计算的情况下，虽然包含这样的非线性的处理的情况较多，但在依 次进行处理的情况下，非线性的处理的结果有可能给后面的处理带来不希望的影响。在本 实施方式中，通过根据低分辨率图像直接计算高分辨率图像的像素数的修正量，抑制了在 依次进行放大处理及边缘强调处理的情况下发生的、不希望的副作用。另外，在本实施方式 中，在将9像素插补生成后进行边缘提取，但也可以预先准备同时进行插补生成的式和边 缘提取那样的行列式而一起变换。在一起变换的情况下，能够省去无用的运算，能够通过小 规模的硬件结构或运算量来实现。(插补部)在插补部1805(图18)中，由输入的6 X 6像素1801和插补坐标I^、Pyl802，将像素位置Px、Py的像素值插补，输出插补图像OL(图46的S461)。插补部1805中的插补通 过双线性法或双三次卷积法等进行。另外，这些放大技术是一般性的技术，不是本实施方式 的核心，所以详细的说明省略。(合成部)在合成部1806中，对由插补部1805生成的高分辨率图像的像素值OL加入由修正 量计算部1804计算出的0e，将合成后的输出像素值0输出(图46的S464)。(数式A8)是该0的计算式。(数式A8)0 = 0L+0e(再修正部)在再修正部1807中，使用由合成部1806合成的像素值0、和由特征量分析部1803 计算出的特征量gradl、MIN、MAX，进行像素值的修正，将修正后的像素值0’输出(图46的 S465)。(数式A9)是输出值0的计算式。(数式A9)0 > MAX 时，0 = MAX+min ((O-MAX) · GAIN, LIMIT)0 < MIN 时，0 = MIN-min ((MIN-O) · GAIN, LIMIT)其他时，0，=0(数式A9)中的GAIN、LIMIT是根据gradl计算的参数。图27是表示gradl与GAIN的关系的图。在图27中，为在gradl较小的情况下使增益较大、gradl越大使增益越小的设定 (图46的S465b、图45的C倍值计算部1061)。图观是表示gradl与LIMIT的关系的图。在图观中，为在gradl较小的情况下LIMIT较大、在gradl较大的情况下LIMIT 较小的设定(图46的S465c、图45的阈值剪除部1062)。如果如上述那样设定，则在gradl较大的部分、即包含较强的边缘成分的部分中， 通过LIMIT进行的剪除变得清晰(变强)，所以成为清楚的影像。另一方面，在包含较小振 幅的部分中不怎么进行剪除，所以能够抑制因将过冲切除带来的不自然感。另夕卜，图27及观是设定的一例，gradl与GAIN、LIMIT的关系可以由使用者自由 地设定。以上，根据本实施方式A的图像放大装置，能够生成自然的、且没有较强的过冲而 边缘流畅地竖立的影像(图10)。此时，不会发生在放大前后进行边缘强调的情况下发生的 过冲(图8)，并且也不会成为因完全不发生过冲而造成的不自然的图像(图9)那样。如果进行概括，则为以下这样。即，在将低分辨率图像(图1、图15的输入图像 101)放大为高分辨率图像(图1、图15的输出图像107)而显示的情况下，有通过放大而成 为模糊的影像的问题。所以，在输入低分辨率的输入图像、输出高分辨率的输出图像的图像 放大装置(图像放大装置108、图像放大部1504、图像放大装置1500)中，具备特征量分 析部(特征量分析部102、特征量分析部1803)，分析输入图像的特征量，生成高分辨率图像 的像素数的特征量；修正量计算部(修正量计算部103、修正量计算部1804)，输入低分辨率的输入图像，基于特征量计算高分辨率的像素数的边缘修正量并输出；插补部(插补部 104、插补部1805)，通过插补生成放大后的图像(插补图像)；合成部(合成部105、合成部 1806)，将插补图像与修正量合成；再修正部(再修正部106、再修正部1807)，输入特征量和 合成后的像素值，通过再次进行修正，进行匹配于输入图像的修正，图像放大装置生成清晰 且抑制了过冲的放大图像。根据该图像放大装置，能够同时实现模糊的抑制、边缘的周边发亮的抑制、和图像 粗糙的避免，能够充分且可靠地提高画质。《实施方式B》以下，参照

实施方式B。实施方式B是将实施方式A变形的变形例。在实 施方式B中，关于与上述说明同样的点适当省略重复的说明。另外，以下适当参照上述的图 (图1 图四)。并且，关于实施方式B的结构中的、与上述的结构对应的结构，使用与上述 的结构的标号相同的标号、或使用与上述的结构的名称相同的名称。在有关实施方式B的图像放大装置(图像放大装置108B、图像放大部1504B等) 中，上述再修正部将由上述合成部输出的第1上述高分辨率图像(图32A、图30B及图47的 虚线)使用由上述特征量分析部生成的上述特征量、和根据上述插补部输出的上述插补图 像(图30A、图30B、图47的Ix，y)求出的阈值(参照图30A、图30B、图47的U，x,y)再次 修正，生成修正后的第2上述高分辨率图像(图30B的较粗的实线，图32C、图47的较宽间 距的较粗的虚线)的图像放大装置。(实施方式Bi)图四表示实施方式Bl的图像放大部108B (图像放大部108的下位概念(一例)) 的块图。在图四中，101是低分辨率的输入图像(原图像)，102是输出与根据低分辨率的 输入图像101输出的高分辨率图像(第1高分辨率图像、第2高分辨率图像)的各像素对 应的特征量的特征量分析部。103是根据特征量分析部102输出的特征量计算边缘成分的 修正量、计算输出的高分辨率图像(第2高分辨率图像)的各像素的修正量并输出的修正 量计算部。104是输入低分辨率的输入图像101、生成与输出的高分辨率图像的像素数相 同的像素数的图像(插补图像)的插补部。105是接受从插补部104输出的高分辨率图像 (插补图像)的像素、并且从修正量计算部103接受对应于像素的修正量、输出修正后的像 素(第1高分辨率图像)的合成部。106是使用从特征量分析部102接受到的对应于输出 像素的特征量、和根据插补部104生成的像素值计算的阈值、将合成部105输出的合成结果 (第1高分辨率图像)再修正并输出的再修正部。107是输出的高分辨率图像(第2高分 辨率图像)。108B是输入低分辨率图像、输出高分辨率图像(第2高分辨率图像)的图像 放大部。以下，对设在实施方式Bl的图像放大部108B(图29)中的再修正部106进行的再 修正的次序进行说明。设高分辨率图像(第1高分辨率图像)的、对应于像素位置(X，y)的合成部105 的输出像素值为Xx，y (图47的点线的数据)，设由特征量分析部102计算出的上限值为 te，y (图47的窄间距的细单点划线的数据)，设下限值为Lx，y，设插补部104生成的像素 值(插补图像)为Ix，y (图47的实线的数据)。此时，在再修正部106中，通过(数式Bi)的运算，计算上限的阈值U’ X，y (图47的窄间距的细虚线的数据)和下限的阈值L’ χ, y、 以及上限侧的极限值TU(参照图47中的、极大点处的U’ x，y+TU的值Ml)和下限侧的极限 值TL。另外，在(数式Bi)中，α、Τ是预先设定的常数，α取0.0 1.0的范围。(数式Bi)下限侧的计算Ix, y 彡 Lx, y 时，L' x, y = Lx, yTL = TIx, y > Lx, y 时，d0 = Ix, y-Lx, yd0' = dOX αL' x，y=Ix，y_d0'TL = T+d0-d0 ‘上限侧的计算Ux，y 彡 Ix，y 时，U' χ, y = Ux, yTU = TUx, y > Ix, y 时，u0 = Ux, y-Ix, yu0' = uOX αU' χ, y = Ix, y+u0'TU = T+u0-u0 ‘另外，这里，图47的β相对于上述α具有β = 1-α (O < β < 1)的关系。即，计算比上述te，y小(Ux，y-Ix，y)X β的值作为U' x，y (参照图47的窄间距 的虚线的细箭头线)。U' x，y作为到Ix，y的距离，具有从te，y减去从te，y到Ix，y的 距离(Ux，y-Ix, y)的比例β的部分((Ux，y-Ix, y) X β )的距离。另夕卜，图四中的、从插补部104向再修正部106的箭头线(图31的从插补部1805 向再修正部1807的箭头线)表示为了计算这样的U' χ, y而由再修正部106(再修正部 1807)从插补部104(插补部1805)取得Ix, y。在通过(数式Bi)计算U，χ, y、L，χ, y及TU、TL后，在再修正部106(图45的C 倍值计算部1061、图46的S465)中，通过(数式B2)的运算计算修正值I^，y。另外，这里， 计算的修正值Px，y在图47中被表示为修正值1^，y⑶1102 (宽间距的粗虚线的数据)。(数式B2)Xx, y > U' x，y 时，Px，y = U' x，y+(Xx，y_U' χ, y) XCXx, y < L' x，y 时，Px，y = L' χ, y-(L' χ, y-Xx, y) XC其他时，Px，y= Xx, y另外，在数式中，C是预先设定的0. 0 1. 0的范围的常数。另外，如上所述，Ux，y> Ix，y 时，是 U' x，y = Ux，y-(Ux，y_Ix，y) X β。因此，在 “te，y > Ix，y 且 Xx，y > U' x，y” 时，是 Px，y = Px，y (B) = U' x,y+(Xx,y-U' x，y) XC ={Ux, y+ (Xx, y-Ux, y) X C} - (Ux, y-Ix, y) X β X (I-C) = Px, y (A) - (Ux, y-Ix, y) X Y (参 照Y = β X (l-Ο,Ο < γ <1，图47)。另外，这里，Px，y(B)不是该实施方式Bl中的修 正值I^，y(PX，y(B))，而表示实施方式A中的上述修正值I^，y (图47的宽间距的粗单点划 线)。即，Px，y⑶是比上述I^，y(A)小上述的(Ux，y-Ix，y)X γ的值(参照图47的宽间距的粗虚线的箭头线)。通过该计算，使超过上限值U' x，y(<Ux，y)和下限值L' x，y(<Lx，y)的部 分为C倍(裁剪)。由于C被设定为1.0以下，所以结果超过了被U’ x，y和L’ x，y所夹的 范围的部分被修正而变小。接着，通过(数式B3)的运算将修正值Px，y进一步修正，计算第2修正值P’ χ, y(Px,y(B)的极大点附近的平坦部分)。此外，min(a，b)是选择a和b中的较小者的函数。(数式B3)Px, y > U' x，y 时，P' x, y = U' χ, y+min(Px, y-U' χ, y、TU)Px, y < L' x，y 时，P' χ, y = L' x，y_min(L' x，y_Px，y、TL)其他时，P'χ, y = Px, y通过(数式B3)，将超过TU、TL (值Ml)的上冲和下冲成分变换为TU或TL。在再修正部106中，将该第2修正值P，x，y (图47的Px，y(B))输出(图46的 S465d、图45的阈值剪除部1062)。图3(^是图示化，7、1^，7、11，7、化x，y、L，x，y、TU以及TL的关系的图。由于常数α是0.0 1.0的范围，所以各自的关系为图30Α那样。在图30Α中， U，χ, y和L’ X，y为比Ux，y及Lx，y更接近于Ix，y的值(参照图47)，合成部105的输出对 于超过了 U’x，y和L’x，y的部分进行(数式B2)以及(数式B3)的修正。另外，是U’ X， y+TU = Ux, y+T(参照图 47)，L，x, y-TL = Lx, y_T。图30B是进行了(数式B2)、(数式B3)的修正的例子。另外，图47表示将图30B示意表示的曲线。关于图47的详细情况，请适当参照图 30B。在图30B中，由虚线(圆)表示的折线1101(图47的虚线的数据)是合成部105 的输出，由粗实线表示的折线1102(图47的宽间距的粗虚线的数据)是再修正部106的输 出。此外，由细实线表示的折线(图47的实线的数据)是插补部104的输出Ix，y，虚线分 别是U' x，y、L，x，y、U，x，y+TU、L，x，y_TL(图47的窄间距的细单点划线的数据、值Ml的 双点划线的数据)。如图30B所示，在1101超过U，x，y的点1103 (参照图47)，根据常数C (C = 1_ γ / β (Y < β))，输出(Px，y(B))的斜率变化，在超过U’ χ, y+TU的点1104，被剪除为U’ χ, y+TU (图47的双点划线)。同样，从作为L’ χ, y以下的点1105改变输出的斜率，在作为L’ x, y-TL以下的点 1106被剪除为L，x，y-TL。如图30B所示，对于由1101表示的合成部105的信号(Xx，y，图 47的虚线的数据)，生成抑制了上冲和下冲、并且边缘的倾斜较强的图像。另外，由于边缘 的斜率的修正从上限值或下限值的跟前进行，所以也能够抑制使倾斜陡峭造成的不自然。以上，根据实施方式Bi，能够提供将放大处理造成的模糊通过边缘强调进行缓和、 并且抑制了边缘强调造成的过冲的发生的自然的影像。由此，即使在将低分辨率图像放大 的情况下，也能够不丧失影像的锐感而显示自然的影像。另外，图47的点1103x表示对应于实施方式Bl的点1103的、实施方式Al的Px， y(A)的点。并且，范围106y表示通过Px，y(B)中的修正而平坦化的范围，范围106yC表示通过I3Ly(A)中的修正而平坦化的范围。并且，如上所述，上述再修正部(再修正部106)作为进行除去的上述第1成分中 的至少一部分而将第3成分(图47的(Xx，y-Ix, y) X Y)从上述第1高分辨率图像(图 32A、图30B及图47的虚线)中除去。该第3成分是通过将该第3成分除去、生成具有比没 有除去该第3成分的情况下的第2高分辨率图像(参照图32B、图47的，y(A)等)的平 坦的范围(范围106yC)窄的平坦的范围(参照图32C、图47的I^，y (B)等)的范围106y) 的第2高分辨率图像(图32C、图47的I^y(B))的成分。由此，平坦的范围成为比原来的范围(范围106yC)更窄的范围(范围106y)，能够 更充分地抑制图像的粗糙而得到更高的画质。这样，上述合成部(合成部105、边缘强调部)也可以对由上述插补部生成的上述 插补图像(图30A及图47的Ix，y、图30B的细实线)的像素值加上上述修正量。并且由此 也可以生成强调了上述插补图像中的边缘的上述第1高分辨率图像(图30B及的图47的 虚线)。并且，上述再修正部也可以生成将第1上述高分辨率图像的使上述边缘的周边发 亮的上述边缘的强调中的过度修正的成分(过冲的成分)中的、根据基于上述差设定的上 述阈值(参照图30A、图30B、图47的U’ x,y)确定的成分除去后的第2上述高分辨率图像 (图30B的粗实线、图47的I^，y(B))。这里，再修正部也可以计算具有生成比在作为上述阈 值而确定了第1值(图30A及图47的Ux，y)的情况下生成的上述第2高分辨率图像(图 32B、图47的Px，y(A))的平坦部(范围106yC)窄的平坦部(范围106y)的第2上述高分 辨率图像(图30B的粗实线，图32C、图47的，y(B))的第2值(U’ x, y)作为上述阈值。(实施方式B2)参照附图对实施方式B2进行说明。图31是表示进行实施方式B2的S1707(图17)的图像放大处理的图像放大部 1504B(图15)的处理的流程的图。以下，使用图31对实施方式B2的图像放大处理详细地 说明。实施方式B2的图像放大装置1500(图15)作为图像放大部1504而具备图31的 图像放大部1504B。(再修正部)在再修正部1807中，使用由合成部1806合成后的像素值0 (第1高分辨率图像)、 由插补部1805计算出的像素值OL(插补图像)、和由特征量分析部1803计算出的特征量 gradl、MIN、MAX，进行由合成部1806合成的像素值0 (第1高分辨率图像)的修正，将修正 后的像素值0’(第2高分辨率图像)输出。以下，关于0’的计算方法，使用(数式B4)到(数式B6)进行说明。(数式B4)OL 彡 MIN 时，NMIN = MINLLIM = LIMITOL > MIN 时，NMIN = OL- (OL-MIN) X ELLIM = LIMIT+(I-E) (OL-MIN)(数式B5)
MAX ≤ OL 时，NMAX = MAXULIM = LIMITMAX > OL 时，NMAX = OL+ (MAX-OL) X EULIM = LIMIT+(I-E)(MAX-OL)(数式B6)0>ΜΑΧ 时，0' = NMAX+min ((O-NMAX) · GAIN、ULIM)0<MIN 时，0'=匪IN-min ((匪ΙΝ-0) · GAIN、LLIM)其他时，0'=0(数式B4) (数式B6)中的E(上述α)是常数。此外，GAIN (上述C)、LIMIT⑴ 是由图45的C倍值计算部1061或阈值剪除部1062根据gradl计算的参数。(数式B4)是再修正部1807使用MIN(Lx，y)、LIMIT和OL (Ix，y)及常数E，计算 使0的倾斜变化的点匪IN(L' χ, y)、和下限的剪除值LLIM(TL)的数式。(数式B5)是再修正部1807使用MAX(Ux，y)、LIMIT和0L、常数E、计算使0的倾 斜变化的NMAX(U' x，y)和上限的剪除值ULIM(TU)的数式。在该计算中，常数E是0. 0 1. 0。另外，如果使E较小，则只要稍稍存在与插补放大的像素值OL的差就进行倾斜的调整 (图47的Px，y (B))，如果将E设定为1. 0，则仅将超过了 MIN、MAX的部分进行修正(图47 的Px，y (A))。另外，作为常数E，如果设定为0.5以下，则倾斜的变化变快，能够进一步减小 通过使边缘陡峭带来的不自然度。这里，利用图32A 图32C说明常数E带来的输出波形的差异。图32A是表示合成部1806的输出(图47的Xx，y)的图。图32B是表示E = 1.0的再修正后的输出(图47的Px，y (A))的图。图32C是E = 0.25的再修正后的输出图像(图47的Px，y(B))的水平行的一部 分。在这些各图中，横轴表示图像的水平方向的像素位置，纵轴表示各像素位置的像素值。如图所示，可知图32B (图47的1^，y (A))、图32C (图47的，y (B))都抑制了在 图32A (图47的Xx，y)中发生的上冲或下冲成分，并且边缘变得陡峭。并且，在图32C(图47的，y⑶)中，与图32B(图47的，y (A))相比，在维持 边缘的倾斜的同时，如比图47的范围106yC窄的范围106yC所示，上部平坦化的影响变小。 因此，在图32C (图47的Px，y (B))中，与图32B (图47的Px，y (A))相比，边缘周边成为自 然的形状，成为清楚的影像。《实施方式C》以下，参照

实施方式C。实施方式C也是将实施方式A变形的变形例。另 外，实施方式C的细节部也可以与实施方式B是同样的。在有关实施方式C的图像放大装置(图像放大装置108C、图像放大部1504C等) 中，具备插补像素位置生成部(插补像素位置生成部110)，输入上述低分辨率图像及上述 高分辨率图像的图像尺寸、或放大率(输入放大率、和上述低分辨率图像及上述高分辨率图像的图像尺寸的至少一方)，生成用来从上述低分辨率图像生成上述高分辨率图像的、对 应于上述高分辨率图像的各像素的、对上述低分辨率图像的第1插补像素位置；白细线化 部(白细线化部109)，输入上述低分辨率图像(输入图像101)和上述第1插补像素位置， 根据上述第1插补像素位置的周边的像素值的变化修正上述第1插补像素位置，生成修正 了上述第1插补像素位置的第2插补像素位置；上述修正量计算部(修正量计算部103)输 入上述第2插补像素位置和上述低分辨率图像，计算输出的第2上述高分辨率图像的各像 素的修正量，上述插补部(插补部104)输入上述低分辨率图像和上述第1插补像素位置， 插补计算对应于输入的上述第1插补像素位置的像素值，生成在该第1插补像素位置具有 计算出的上述像素值的上述插补图像(图36及图37的(a))，上述合成部将由上述修正量 计算部根据上述第2插补像素位置计算的上述修正量(图36及图37的右栏的(b))、和由 上述插补部根据上述第1插补像素位置生成的上述像素值(图36及图37的(a))合成(图 36及图37的(c)的41106)，生成第2上述高分辨率图像(图37的(d)的1208)。另外，也可以如图33中的、从插补像素位置生成部110向特征量分析部102的箭 头线等所示，为以下这样。S卩，也可以是，上述特征量分析部分析上述第1插补像素位置(插补像素位置生成 部Iio的位置)处的上述低分辨率图像的特征量，输出对输出的第2上述高分辨率图像的 各像素的特征量，上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及 来自上述第1插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的 修正量。此外，也可以如图39中的、从白细线化部41909向特征量分析部41903的箭头线 等所示，为以下这样。S卩，也可以是，上述特征量分析部分析上述第2插补像素位置(白细线化部41909 的位置)处的上述低分辨率图像的特征量，输出对输出的第2上述高分辨率图像的各像素 的特征量，上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上 述第2插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。(实施方式Cl)图33表示实施方式Cl的图像放大部108C (图像放大部108的下位概念(一例)) 的块图。在图33中，101是低分辨率的输入图像(原图像)，102是输出与根据低分辨率的 输入图像101输出的高分辨率图像(第1高分辨率图像、第2分辨率图像)的各像素对应 的特征量的特征量分析部。110是输入放大率、或者输入图像101和输出图像107的图像尺 寸、生成对应于尺寸的、用来插补高分辨率图像的各像素的第1插补像素位置的插补像素 位置生成部。并且，109是根据输入图像101、和由插补像素位置生成部110生成的第1插补像 素位置、修正计算将第1插补像素位置修正的第2插补像素位置的白细线化部。此外，103 是根据特征量分析部102输出的特征量、计算对应于由白细线化部109计算出的第2插补 像素位置的边缘成分的修正量、将输出的高分辨率图像(第2高分辨率图像)的各像素的 修正量输出的修正量计算部。并且，104是输入低分辨率的输入图像101、和进行通过白细线化部109的修正之前的上述第1插补像素位置、生成与输出的高分辨率图像相同像素数的图像(插补图像) 的插补部。105是接受从插补部104输出的高分辨率图像(插补图像)的像素、并且从修正 量计算部103接受对应于该像素的修正量、将修正后的像素(第1高分辨率图像)输出的合 成部。106是通过从特征量分析部102接受到的、对应于输出像素的特征量、将合成部105 输出的合成结果(第1高分辨率图像)进行再修正并输出的再修正部。107是输出的高分 辨率图像(输出图像、第2高分辨率图像)，108C是输入低分辨率图像(输入图像101)、输 出高分辨率图像(输出图像107、第2高分辨率图像)的图像放大部。(插补像素位置生成部)在插补像素位置生成部110中，接受放大率、或者输入图像的尺寸和输出图像的 尺寸作为参数，使用它进行插补像素位置(第1插补像素位置)的计算。另外，在输入是输 入图像尺寸和输出图像尺寸的情况下，通过图像尺寸的比率计算放大率。另一方面，在输入 了放大率的情况下，原样利用输入的放大率。另外，此时，在水平-垂直的放大率不同的情况下，输入的放大率为水平和垂直的 放大率两个。在两者相同的情况下，作为放大率仅1个就可以，但在这里的说明中，设为接 受水平方向的放大率和垂直方向的放大率的两个而进行说明。图34表示根据水平-垂直的放大率进行插补像素位置的计算的流程(S3401 S3410)。在插补像素位置生成部110中，首先，计算水平-垂直方向的移动幅度dx、 dy(S3402)。dx、dy可以根据放大率计算。具体而言，dx、dy为放大率的倒数。例如，如果 放大率是水平-垂直各2倍，则dx、dy为1/2 = 0. 5。接着，将插补像素位置(X，y)初始化为初始值(0、0) (S3403)。作为该初始值，这 里设定为0，但在不想改变放大时的图像的中心的情况下，只要设定-0. 25、-0. 25就可以。 这样，初始值根据想要作为高分辨率图像生成的图像的相位改变设定。接着，将(x，y)作为第1插补像素位置输出(S3404)。另外，在第1插补像素位置 (X，y)是负值的情况下，剪除为0而进行输出。接着，将水平方向的插补位置χ错移dx(S3405)。在错移了 dx的结果χ比输入 图像的水平尺寸小的情况下，回到S3404的处理(S3406 是)。在超过水平尺寸的情况下 (S3406 否)，将χ初始化为初始值(S3407)，对y加上dy而更新(S3408)。并且，在垂直位置y比输入图像的垂直尺寸小的情况下(S3409 是)，回到S3404 的处理(S3409)。在超过垂直尺寸的情况下(S3409 否)，将全部的像素的插补像素位置输 出后结束ο以上，生成高分辨率图像的尺寸量的第1插补像素位置。另外，这里的第1插补像素位置的计算方法是一例，如果使用一般的在放大处理 中使用的插补位置的计算方法，也能够期待与本实施方式同样的效果。此外，也可以通过适 当设定输入图像的初始值及移动宽度dx、dy、仅将输入图像的一部分匹配于输出图像的尺 寸而放大。在此情况下，只要将S3406、S3409的条件分别设为输出的插补像素位置的个数 超过输出图像的水平尺寸、以及超过垂直尺寸就可以。(白细线化部)在白细线化部109中，输入低分辨率图像(输入图像101)、和由插补像素位置生成部110生成的第1插补像素位置，输出修正了第1插补像素位置的第2插补像素位置。图35是白细线化处理的流程(S3501 S3512)。在白细线化中，首先，输入第1插补像素位置(X，y) (S3502)。接着，计算相邻于第1插补像素位置(x，y)的、输入图像101的像素位置(S3503)。 如前面说明，如果第1插补像素位置是小数位置、例如(χ，y) = (10.5、12.5)，则相邻的输 入图像101的像素为处于(10,12) (11,12) (10,13) (11,13)的4个位置的像素。接着，检查计算出的多个相邻像素中的、具有最大及最小的像素值者(S3504)。在 具有最大和最小的像素值的像素的位置是沿水平方向错移的两个位置的情况下(S3505 是)，计算χ方向的修正量而修正x(S3506、S3507)。该修正是将χ向具有最小值的像素位 置的方向错移的修正。另外，错移多少通过最大值与最小值的差决定。例如，进行在差较大的情况下将χ 更大地错移，在差较小的情况下几乎不移动那样的处理。同样，关于y方向，也对于具有最大和最小的像素值的像素的位置沿垂直方向错 移的情况(S3508:是)计算y方向的修正量，进行y的修正(S3509、S3510)。并且，将修正后的(x，y)作为修正后的第2插补像素位置(x’，y’)输出(S3511)。S卩，通过确定最大的像素值的像素和最小的像素值的像素的两个像素，确定输入 图像101中的、第1插补像素位置处的倾斜的方向。并且，确定从第1插补像素位置向所 确定的方向中的、朝向最小值的像素侧的方向、即朝向较暗侧的方向移动后的位置作为第2 插补像素位置。通过进行以上的处理，在相邻像素的最大值与最小值的差较大的情况下，即对明 亮度的差较大的部分，将第2插补像素位置(X，y)向较暗的方向修正。通过利用该修正的 插补像素位置进行插补计算，如在下述中详细说明那样，明亮的部分的区域变窄，结果能够 使白色的部分变细。另外，在第1插补像素位置处的斜率较平坦的情况下等，也可以将与第1插补像素 位置相同的位置确定为第2插补像素位置。(特征量分析部)在特征量分析部102中，计算对于插补部104输出的放大后的各像素的特征量并 输出。作为特征量输出的是对应于插补像素位置(例如第1插补像素位置)的、低分辨率 图像的位置周边的倾斜的强度、和周边像素的上限值与下限值。倾斜的强度有将相邻于插 补像素位置的低分辨率图像的像素提取2X2像素、通过图3及图4的滤波求出水平及垂直 的微分成分dx和dy、将较大者作为倾斜的强度等的方法。另外，作为倾斜的强度的计算方 法也可以采用sobel滤波或prewitt滤波等，并不限定于该方法。此外，作为上限值和下 限值，在插补像素位置的周边的低分辨率图像nXn像素之中，将最大的像素值设定为上限 值，将最小的值设定为下限值。通过以上，计算倾斜的强度和上限值、下限值作为特征量并输出。另外，在本实施方式中，作为对特征量分析部102输入的插补像素位置而输入修 正前的第1插补像素位置，但也可以输入由白细线化部109修正后的第2插补像素位置。在 此情况下，下限值和上限值也向修正后的第2插补像素位置方向错移，所以能够进行更强 的修正。
(修正量计算部)在修正量计算部103中，计算与对应于第2插补像素位置的像素的边缘程度相应 的修正量。在修正量计算部103中，首先，使用由白细线化部109修正后的第2插补像素位 置、和低分辨率的输入图像的像素值计算边缘成分。作为边缘成分的提取方法，使用例如 上述图5或图6所示的拉普拉斯滤波等。另外，插补像素位置(例如小数位置)的像素由 于不存在于低分辨率图像(例如，仅由整数位置的像素构成)，所以在实施这些滤波的情况 下，通过一次插补运算，在计算对应的各像素位置(例如整数位置)的像素值后，进行3X3 的滤波处理。在提取边缘成分后，使用由特征量分析部102计算出的倾斜的强度，计算修正量 计算部103提取的边缘的强调程度。通过对修正量计算部103输入由白细线化部109修正后的第2插补像素位置，输 出的修正量在较亮的方向和较暗的方向上变得不均等。由此，能够改变白和黑的修正量的 平衡。S卩，作为较亮的第1插补像素位置的修正量，不是在第1插补像素位置计算的修正 量，而确定修正后的较暗的第2插补像素位置计算的修正量。(插补部)在插补部104中，使用双线性法或双三次卷积法等，由低分辨率图像(输入图像 101)通过插补放大生成高分辨率的图像(插补图像)。另外，这些一般的放大技术并不是 本实施方式的核心，所以省略详细的说明。作为插补部104的技术，能够使用以往以来使用 的放大插补技术。另外，在插补部104中，不使用由白细线化部109修正的第2插补像素位置。这是 因为，如果作为插补部104的像素位置而使用修正后的结果，则在从白变化为黑的边缘部 分强调了锯齿感。因而，插补部104利用由插补像素位置生成部110生成的、修正前的第1 插补像素位置。(再修正部)在再修正部106中，输入合成部105输出的、实施了边缘强调的第1高分辨率图 像、和特征量分析部102输出的、对应于第1高分辨率图像的上限值、下限值，进行合成部 105输出的第1高分辨率图像的再修正。以下，对再修正的次序进行说明。在设对应于第1高分辨率图像的像素位置(X，y)的、合成部105的输出像素值为 )(x，y、上限值为te，y、下限值为Lx，y时，在再修正部106中，通过上述(数式Al)的运算来 计算第1修正值Μ，y。接着，通过上述(数式A2)的运算，将第1修正值I^，y进一步修正，计算第2修正 值 P，x，y。在再修正部106中，将该第2修正值P，x，y输出。通过以上的处理，根据实施方式Cl，输出使白色的部分变细、并且抑制了下冲和上 冲的放大图像。图36是表示到合成为止的处理中的数据的图。图37是表示到再修正为止的处理中的数据的图。
以下，利用图36和图37，对处理的过程和信号的流程进行说明。图36及图37的 修正前(左栏)表示没有通过白细线化处理进行了插补像素位置的修正的情况的数据，修 正后(右栏)表示修正了插补像素位置的情况的数据。在图36、图37各自中，表示插补部104的输出(a)、修正量计算部103的输出(b)、 合成部105的输出(C)、以及再修正部106的输出(图37(d))。另外，再修正部106的输出 (d)是设T为0的情况的结果。另外，图的水平方向表示像素位置，垂直方向表示像素值。 像素值越向上行进用越亮的颜色、越向下行进用越暗的颜色表示。在图37中，表示到合成部105的输出(c)为止的例子。这里，在进行像素位置修正的情况下，也由于对插补部104输入修正前的第1插补 像素位置，所以在(a)的行中，41101和41102(插补图像)两者相同。(b)是修正量计算部103的输出，但在进行了像素位置修正的情况下(右栏)，通 过在没有进行像素位置修正的左栏的情况下确定较亮的修正量的第1插补像素位置处确 定第2插补像素位置的较暗的修正量，较亮的修正量的部分变窄。由于进行这样的像素位 置修正，所以与(b)的左栏的41103相比，在右栏的41104之上凸的部分变窄。(c)是将(a)与(b)合成的结果，可知与上段的左栏的41105中的较亮的部分 41105R相比，右栏的41106的较亮的部分41106R变窄(参照下段的41107)。因此，白色的 部分看起来变细。在图37(d)中，表示通过再修正部106再修正后的结果。观察图37(d)可知，再修 正后的信号1207和1208的较亮的部分的宽度在进行了像素位置修正的情况(右栏)的部 分1208R中，变得比另一部分1207R窄(1209)。这样，在再修正后(右栏)中，输出没有下冲和上冲、并且白色变细的、放大后的数 据。以上，根据实施方式Cl，能够实现使放大后的较亮的成分变细的边缘修正，以消除 特别在匹配于放大处理进行边缘修正的情况下容易发生的白色变粗那样的印象。由此，能 够生成在视觉上取得平衡的放大图像(输出图像107)。另外，如果不进行下冲及上冲的修正，则在到合成部105为止的处理中，也可以结 束放大处理。在此情况下，也能够得到白线不会看起来变粗的效果。这样，图像放大装置108(图像放大装置108C)具备白细线化部(白细线化部 109)。白细线化部通过将第1插补像素位置修正为第2插补像素位置，使边缘强调部 (合成部105)计算根据修正后的第2插补像素位置计算的进行了修正量(图36的41104) 的边缘强调的第1高分辨率图像，控制边缘强调部的动作。通过该控制，由边缘强调部计 算包含的白色的部分(图36的部分41106R)比没有被控制的情况下的白色的部分(部分 41105R)窄的第1高分辨率图像(信号41106)。并且，白细线化部通过该控制，还使再修正部106进行这样的、对缩窄了白色的部 分的第1高分辨率图像的再修正，控制再修正部106的动作。通过该控制，由再修正部106 计算包含的白色的部分(图37的部分1208R)比没有被控制的情况下的白色的部分(部分 1207R)窄的第2高分辨率图像(图37(d)的信号1208)。(实施方式C2)
参照附图对实施方式C2进行说明。图38是实施方式C2的、设有图像放大部1504C的图像放大装置1500的块图。在图38中，101是输入图像，1601是第1插补像素位置x，y，1602是选择第1插补 像素位置X，y的周边6x6像素的像素选择部。1603是取出第1插补像素位置x，y的小数点 部分px、PY的小数点位置计算部，1504C是输入输入图像的6x6像素和小数点位置px、py、 计算第1插补像素位置x，y的像素值(第2高分辨率图像)并输出的图像放大部。107是 放大处理后的第2高分辨率图像。图39是表示实施方式C2的、进行图17的S1707的图像放大处理的图像放大部 1504C(图38)的处理的流程的图。以下，使用图39对实施方式C2的图像放大处理详细地 说明。(白细线化部)图40是表示图39的白细线化部41909的处理的详细情况的图。在白细线化部41909中，由倾斜方向判断部2003根据输入像素计算倾斜方向。图41是说明倾斜方向的检测方法的图。在图41中，白圆是第1插补像素位置的相邻像素，黑圆是在相邻像素之中为最大 值的像素，带网格的圆是在相邻像素之中为最小值的像素(参照图35的S3504等)。在4 像素的值都相同的图案(a) (f) (k) (ρ)中，在所有的像素中设为白圆。图41的箭头标记表示从最小值朝向最大值的方向，在箭头标记是水平的情况下 进行仅横向的修正，在垂直的情况下进行仅纵向的修正，在倾斜的情况下进行水平-垂直 两者的修正。另外，这里所示的倾斜方向判断部2003是一例，也可以根据对相邻像素实施 图3或图4所示的滤波的结果来判断倾斜方向。在插补位置修正量计算部2004中，根据最大值与最小值的差进行修正量的计算。 另外，在修正量的计算中，在倾斜方向判断部2003的结果是仅进行水平方向的修正的情况 下仅计算χ的修正量，在是垂直方向的修正的情况下仅计算y的修正量，在是倾斜的情况下 计算χ、y两者的修正量(参照图35的S3505 S3510)。作为修正量计算，例如有(数式Cl)、(数式C2)那样的方法。(数式Cl)AX = CLIP(0,(最大值 _ 最小值)XK、L)(数式C2)AY = CLIP (0，(最大值-最小值)X K、L)在(数式Cl)、(数式C2)中，AX是水平方向的修正量，AY是垂直方向的修正量， K、L分别是常数。此外，CLIP表示将运算结果剪除为0 L的范围。如前面说明那样，仅在 进行各方向的修正的情况下进行通过(数式Cl)、(数式C2)的计算，关于不进行修正的方 向的修正量为0。例如，在进行仅垂直方向的修正的情况下，为AX = 0。另外，也可以通过 将K设定为负的值，不仅使白色变细、使黑色也变细。在图像放大装置1500中，在想要故意 使白色看起来粗的情况下，也能够通过K的设定使白色变粗。另外，关于图41(d) (g)(j)(m)的倾斜方向的移动，在通过(数式Cl)、(数式C2) 的计算式计算修正量的情况下，发生以下这样的问题。图42是表示在修正量的计算中发生的问题的图。
图42 (a)是基于(数式Cl)、(数式C2)设定修正量AX、AY的情况的例子。如图 42(a)所示，修正量为以原点为中心的正方形的形状，在倾斜方向O201)的修正的情况下， 与仅水平、垂直的修正时相比变长为约1. 414倍。由此，有将图像中的倾斜线等过度地修正 而摇摆的情况。所以，在插补位置修正量计算部2004中，根据AX、AY的长度，如图42(b)的 2202那样进行AX、AY的调整，以来到圆周上的位置。由此，防止过度施加向倾斜方向的修 正。在该修正中需要使用三角函数的运算，但作为更简单的方法，在与图41(d) (g) (j) (m) 的4图案一致的情况下，也可以将AX、AY设为 Τ 倍等。接着，在插补位置修正部2005中，对插补坐标Px、Py分别加上AX、AY而进行修正 (数式C3)。(数式C3)Px' = CLIP(0, Px+AXU. 0)Py' = CLIP(0, Py+AYU. 0)另外，在(数式C3)中，Px、Py分别被标准化为0 1的范围。例如，在I3X取0 255的值的情况下，计算Px'的数式为Px' = CLIP(0, Px+AX,255)。通过以上，计算修正后的第2插补坐标’和Py’(第2插补像素位置、图40的插 补坐标2006)。(特征量分析部)图43是表示图39的特征量分析部41903的处理的详细情况的图。在特征量分析部41903中，将输入图像101(图38)的插补位置的周边NXM像 素42301、和通过白细线化部41909计算的第2插补像素位置px，、py，(图43的插补坐标 42302)输入，作为特征量而输出gradO、gradl、MIN、MAX。另外，这里，设输入为N = M = 4 中的16像素而进行说明，但也可以通过比其小或大的范围计算特征量。如果对图像放大部1504C输入的6 X 6像素中的、中央的4 X 4像素被输入，则在特 征量分析部41903中，首先通过各块的MIN/MAX计算部42303计算各2 X 2像素块的像素值 的最大值和最小值。所谓2X2像素块，如上述图20所示，是将4X4像素按照2X2像素分 割为9块的块。在图20中，〇标记是像素，0 8的数字是块的号码。这里，将各块的最大 值和最小值设为MINruMAXn(是η = 0、1、2、3、· · ·、8，对应于图20的块号码。在块差计算部42304中，计算各块的差DHTn。DIFFn的计算式是上述(数式Α5) 那样的。此外，在区判断部42305中，根据修正后的插补坐标(第2插补像素位置)px’、 py’，计算在MIN、MAX的计算中使用的块、和用于插补的DX、DY。通过上述图21，表示4X4 像素、px’、py’、与插补像素的关系。由于第2插补像素位置的小数点成分是px’、py’，所以 为0.0彡px、py< 1.0，px’、py’为图21斜线的范围。根据px，、py，处于图21的a、b、c、d的哪个区，如图22A 22D那样改变用于插 补的MINn、MAfti。图22A的由斜线表示的块表示在图21的a的区中有px，、py，的情况下 选择的MINn、MAfti。图22B的由斜线表示的块表示在图21的b的区中有px，、py，的情况 下选择的MINn、MAfti。图22C的由斜线表示的块表示在图21的c的区中有px’、py’的情 况下被选择的MINn、MAfti。图22D的由斜线表示的块表示在图21的d的区中有px’、py’ 的情况下被选择的MINn、MA)(n。
(数式 C4)是求出 MI0、MI1、MI2、MI3 和 MA0、MA1、MA2、MA4、DX、DY 的式子。(数式C4)a的区的情况)MIO = MINOMil = MINIMI2 = MIN3MI3 = MIN4MAO = MAXOMAl = MAXlMA2 = MAX3MA3 = MAX4DX = Px' +0. 5DY = Py' +0. 5b的区的情况)MIO = MINIMil = MIN2MI2 = MIN4MI3 = MIN5ΜΑΟ = MAXlMAl = MAX2MA2 = MAX4MA3 = MAX5DX = Px' -0.5DY = Py' +0.5c的区的情况)MIO = MIN3Mil = MIN4MI2 = MIN6MI3 = MIN7ΜΑΟ = MAX3MAl = MAX4MA2 = MAX6MA3 = MAX7DX = Px' +0.5DY = Py' _0· 5d的区的情况)MIO = MIN4Mil = MIN5MI2 = MIN7
MI3 = MIN8MAO = MAX4MAl = MAX5MA2 = MAX7MA3 = MAX8DX = Px' -0.5DY = Py' —0.5在特征量计算部42306中，根据由块差计算部42304计算出的DIFFn、由区判断部 计算出的 MIO 3、MAO 3、DX、DY，计算 gradO、gradl、MIN、MAX。通过上述(数式A7)表示计算式。另外，这里，在特征量分析中输入修正后的第2插补坐标(第2插补像素位置) Px’、Py’，但也可以输入插补前的第1插补坐标(第1插补像素位置)的小数点成分Px、Py。(修正量计算部)图44是表示图39的修正量计算部41904的处理的详细情况的图(参照图23)。在插补部2703和插补部2707中，通过插补计算求出与修正后的插补位置(第2 插补像素位置)Px'Py'像素的位置的像素值。通过上述图对，表示设4x4的输入 像素值为vOO v33的情况下的插补位置px’、py’的像素的位置。相对于作为第2插补像 素位置的插补位置px’、py’的像素位置2308离开了 士 1像素的位置为图25所示的iOO、 i0、i02、i10l2、i20、i21、i2的8个部位。在插补部2703中，使用输入的4X4像素， 通过插补来计算包含px’、py’位置的9点的像素值，在插补部2707中，使用由频带限制部 2706进行了频带限制的4X4像素，通过插补来计算包含px’、py’位置的9点的像素值。以上，在修正量计算部41904中，通过使用修正后的第2像素位置(第2插补像素 位置)进行边缘成分的计算，能够进行对应于边缘的明亮度的、粗细的调整。由此，能够变 更白色的部分和黑色的部分中的边缘的修正量的平衡，能够控制粗细度。(插补部)在插补部41905(图39)中，使用输入的6X6像素41901、和修正前的第1像素位 置(第1插补像素位置)的小数点位置I^、Py41902，对像素值进行插补而输出插补图像0L。(再修正部)在再修正部41907中，使用由合成部41906合成的像素值O (第1高分辨率图像)、 和由特征量分析部计算出的特征量gradl、MIN、MAX进行像素值的修正，将修正后的像素值 O’(第2高分辨率图像)输出。通过上述(数式A9)表示输出值O的计算式。(数式A9)中的GAIN、LIMIT是由gradl计算的参数。图27是表示gradl与GAIN 的关系的图。在图中，为在gradl较小的情况下使增益较大、gradl越大使增益越小的设定。图28是表示gradl与LIMIT的关系的图。在图观中，为在gradl较小的情况下 LIMIT较大、在gradl较大的情况下LIMIT变小的设定。另外，与上述图27、图28的说明同样，也可以为在再修正部41907中使用对应于 特征量的常数(GAIN及LIMIT的至少一方)的设定。例如，也可以为使用对应于特征量的 LIMIT的设定。如果如上述那样设定，则在gradl较大的部分、即包含较强的边缘成分的部分中，通过LIMIT进行的剪除(々U 7 / )变强(变为合适)，所以成为清晰的影像。另一 方面，由于在包含较小的振幅的部分中不怎么进行剪除，所以能够抑制切掉过冲造成的不 自然感。以上，根据实施方式C的图像放大装置108C(图像放大部1504C、实施方式C的 图像放大装置1500)，能够生成自然且没有较强的过冲、边缘流畅地竖立的影像(图37的 1208)。此外，通过使用修正后的第2插补像素位置计算特征量和修正量，能够如图37(d) 的修正后(右栏的信号1208)那样使白色的部分变细。由此，能够将在通常进行边缘的倾 斜修正、黑色和白色变粗相同宽度的情况下发生的、因错视效应而白色变粗的现象缓和，保 持放大后的视觉上的黑白的平衡。如果进行概括，则为以下这样。在将低分辨率图像(输入图像101)放大为高分辨 率图像(输出图像107)的情况下，如果同时进行边缘的锐化(合成部105的、通过修正量 的加入进行的边缘强调)，则由因错视效应而白色看起来变粗的问题(参照图49、图50、图 36、图37等)。所以，在输入低分辨率的输入图像、输出高分辨率的输出图像的图像放大装 置(图像放大装置108C、图像放大部1504C)中，具备分析输入图像的特征量、生成高分辨 率图像的像素数的特征量的功能(特征量分析部10 ；根据放大率计算第1插补像素位置 的功能(插补像素位置生成部110)；根据输入图像和第1插补像素位置、生成通过第1插 补像素位置的多个相邻图像(图41参照)的像素值的差来修正的第2插补像素位置的功 能(白细线化部109)；输入低分辨率的输入图像和修正后的第2插补像素位置、基于特征 量计算高分辨率的像素数的边缘修正量并输出的功能(修正量计算部103)；通过使用第1 插补像素位置的插补、生成放大后的图像(插补图像)的功能(插补部104)；将插补图像 与修正量合成的功能(合成部10 ；通过输入特征量和合成后的像素值(第1高分辨率图 像)而再次进行修正、进行匹配于输入图像的修正的功能(再修正部106)。工业实用性有关实施方式的图像放大装置、图像放大方法以及程序在输出设备的分辨率是比 输入的图像的分辨率高的分辨率的情况下可以采用。例如，在将DVD显示在高清电视的情 况、将低分辨率的图像放大打印到具有高分辨率的输出功能的打印机等中的情况、数字照 相机或电影的数字缩放等中可以采用。并且，在这些情况下，能够抑制放大造成的模糊并提供具有清晰感的图像。此外，在同时进行放大和边缘强调的情况下，能够缓和在视觉上白色看起来较粗 的现象而提供在视觉上平衡良好的影像。符号说明101输入图像102、1803、41903 特征量分析部103、1804、41904 修正量计算部104、1805、2303、2307、2703、2707、41905 插补部105、1806、41906 合成部106、1807、41907 再修正部107输出图像108、1504图像放大部
39
109,41909 细线化部110插补像素位置生成部201输入部202调谐器203外部端子204存储卡205存储器206处理器207解码部208显示部209视频驱动器210 硬盘211显示设备1501、1601 插补位置1502、1602像素选择部1503、1603小数点位置计算部I8OL4I9Ol 输入像素(6X6 像素)1802、1902、2708、41902 插补坐标1808、41908 输出像素1901、2001、2301、2701、42301 输入像素(NXM 像素)1903、42303 各块的 MIN/MAX 计算部1904、42304±夬差计算部1905、42305 区判断部1906、42306特征量计算部2002 插补坐标 Px、Py2003倾斜方向判断部2004插补位置修正量计算部2005插补位置修正部2006修正后的插补坐标I3X'、Py，2304、2704边缘提取部2305、2705 修正部2306、2706频带限制部2702grad02903强调系数决定部四04边缘强调图像生成部2905插补像素生成部2906 比较部2907加权合成部42302 插补坐标 Px，、Py，
权利要求
1.一种图像放大装置，输入低分辨率图像，输出分辨率比上述低分辨率图像高的高分 辨率图像，其特征在于，具备插补部，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像；特征量分析部，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像 素的上述特征量；修正量计算部，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，输 出对于上述高分辨率图像的各像素的修正量；合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插 补图像合成，生成第1上述高分辨率图像；以及再修正部，使用由上述特征量分析部生成的上述特征量对由上述合成部输出的第1上 述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述 高分辨率图像从该图像放大装置输出。
2.如权利要求1所述的图像放大装置，其特征在于，由上述特征量分析部输出的上述特征量是根据插补像素位置与该插补像素位置的周 边位置的像素的像素值的倾斜程度计算的倾斜量、和作为插补像素输出的上述高分辨率图 像的像素的上限的阈值及下限的阈值。
3.如权利要求2所述的图像放大装置，其特征在于，由上述特征量分析部计算的上述倾斜量是对上述修正量计算部输入的第1倾斜量、和 对上述再修正部输入的第2倾斜量，上述第1倾斜量与上述第2倾斜量不同。
4.如权利要求1所述的图像放大装置，其特征在于，上述合成部通过对上述插补图像中的像素值加上上述修正量，生成强调了上述插补图 像中的边缘的第1上述高分辨率图像；上述再修正部通过将第1上述高分辨率图像中的、使上述边缘的周边发亮的、上述边 缘的强调中的过度修正的成分设为C倍、并且对设定为C倍的该成分进行剪除，生成设定为 C倍及剪除的第2上述高分辨率图像，其中，0 < C < 1。
5.如权利要求4所述的图像放大装置，其特征在于，由通过上述特征量分析部输出的上述特征量表示的、上述过度修正的成分的部位的倾 斜越大，上述再修正部将越小的值确定为上述C，将越小的宽度确定为上述剪除的宽度T。
6.如权利要求4所述的图像放大装置，其特征在于，上述过度修正的成分是在该过度修正的成分都被从第1上述高分辨率图像中除去的 情况下产生粗糙的成分；在上述过度修正的成分中的、仅通过由该值C得到的C倍以及用该宽度T的剪除而除 去的成分被除去的情况下，由上述特征量分析部输出的上述特征量确定不产生上述粗糙的 值C及宽度T ；上述再修正部分别计算通过上述特征量确定的上述值C及上述宽度T，通过进行用计 算出的由上述值C得到的C倍、和用计算出的上述宽度T的剪除，生成仅将基于该值C及该 宽度τ而除去的上述成分除去后的第2上述高分辨率图像。
7.如权利要求1所述的图像放大装置，其特征在于，上述再修正部使用由上述特征量分析部生成的上述特征量、和根据上述插补部输出的上述插补图像求出的阈值，对由上述合成部输出的第1上述高分辨率图像再次进行修正， 生成修正后的第2上述高分辨率图像。
8.如权利要求7所述的图像放大装置，其特征在于，在上述再修正部中，计算从上述特征量分析部输出的上述高分辨率图像的像素值的上 限的阈值及下限的阈值中的各个阈值、与上述插补部输出的上述插补图像的像素值的差， 在上述合成部输出的第1上述高分辨率图像的像素值超过根据计算出的上述差设定的阈 值的情况下，进行该像素值的修正。
9.如权利要求7所述的图像放大装置，其特征在于，上述合成部通过对由上述插补部生成的上述插补图像的像素值加上上述修正量，生成 强调了上述插补图像中的边缘的上述第1高分辨率图像；上述再修正部生成将第1上述高分辨率图像中的、使上述边缘的周边发亮的、上述边 缘的强调中的过度修正的成分中的、根据从上述插补图像求出的上述阈值而确定的成分除 去后的第2上述高分辨率图像，对生成具有比在确定第1值作为上述阈值的情况下生成的 上述第2高分辨率图像的平坦部窄的平坦部的第2上述高分辨率图像的第2值进行计算， 作为上述阈值。
10.如权利要求1所述的图像放大装置，其特征在于，具备插补像素位置生成部，输入上述低分辨率图像及上述高分辨率图像的图像尺寸、或者 放大率，生成对于上述低分辨率图像的第1插补像素位置，该第1插补像素位置用于从上述 低分辨率图像生成上述高分辨率图像，对应于上述高分辨率图像的各像素；以及白细线化部，输入上述低分辨率图像和上述第1插补像素位置，根据上述第1插补像素 位置的周边的像素值的变化来修正上述第1插补像素位置，生成修正了上述第1插补像素 位置的第2插补像素位置；上述修正量计算部输入上述第2插补像素位置和上述低分辨率图像，计算输出的第2 上述高分辨率图像的各像素的修正量；上述插补部输入上述低分辨率图像和上述第1插补像素位置，插补计算对应于所输入 的上述第1插补像素位置的像素值，生成在该第1插补像素位置具有计算出的上述像素值 的上述插补图像；上述合成部将由上述修正量计算部根据上述第2插补像素位置计算出的上述修正量、 和由上述插补部根据上述第1插补像素位置生成的上述像素值合成，生成第2上述高分辨 率图像。
11.如权利要求10所述的图像放大装置，其特征在于，上述特征量分析部分析上述第1插补像素位置的上述低分辨率图像的特征量，输出对 于输出的第2上述高分辨率图像的各像素的特征量；上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第1 插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。
12.如权利要求10所述的图像放大装置，其特征在于，上述特征量分析部分析上述第2插补像素位置处的上述低分辨率图像的特征量，输出 对于输出的第2上述高分辨率图像的各像素的特征量；上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第2 插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。
13.如权利要求10所述的图像放大装置，其特征在于，上述白细线化部将上述第1插补像素位置修正为上述第2插补像素位置，以使通过放 大而生成的第1上述高分辨率图像的亮度值大于阈值的范围变小。
14.如权利要求10所述的图像放大装置，其特征在于，上述白细线化部将上述第1插补像素位置修正为上述第2插补像素位置，其中，上述修 正量计算部根据上述第1插补像素位置计算了上述修正量的情况下生成的第1上述高分辨 率图像中的、亮度值大于阈值的范围，比上述修正量计算部根据上述第2插补像素位置计 算了上述修正量的情况下生成的第1上述高分辨率图像中的、亮度值大于阈值的范围宽。
15.一种图像放大方法，由图像放大装置输入低分辨率图像，输出分辨率比上述低分辨 率图像高的高分辨率图像，其特征在于，包括插补步骤，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像； 特征量分析步骤，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各 像素的上述特征量；修正量计算步骤，输入在上述特征量分析步骤中输出的上述特征量、和上述低分辨率 图像，计算对于上述高分辨率图像的各像素的修正量；合成步骤，将在上述修正量计算步骤中计算出的上述修正量、和在上述插补部中生成 的上述插补图像合成，生成第1上述高分辨率图像；以及再修正步骤，使用在上述特征量分析步骤中生成的上述特征量对在上述合成步骤中输 出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成 的第2上述高分辨率图像从该图像放大装置输出。
16.一种集成电路，输入低分辨率图像，输出分辨率比上述低分辨率图像高的高分辨率 图像，其特征在于，具备插补部，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像； 特征量分析部，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像 素的上述特征量；修正量计算部，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，输 出对于上述高分辨率图像的各像素的修正量；合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插 补图像合成，生成第1上述高分辨率图像；以及再修正部，使用由上述特征量分析部生成的上述特征量对由上述合成部输出的第1上 述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述 高分辨率图像从该图像放大装置输出。
17.一种图像放大程序，用来使计算机执行输入低分辨率图像、输出分辨率比上述低分 辨率图像高的高分辨率图像的处理，其特征在于，用来使上述计算机执行插补步骤，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像； 特征量分析步骤，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各 像素的上述特征量；修正量计算步骤，输入在上述特征量分析步骤中输出的上述特征量、和上述低分辨率 图像，计算对于上述高分辨率图像的各像素的修正量；合成步骤，将在上述修正量计算步骤中计算出的上述修正量、和在上述插补部中生成 的上述插补图像合成，生成第1上述高分辨率图像；以及再修正步骤，使用在上述特征量分析步骤中生成的上述特征量对在上述合成步骤中输 出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成 的第2上述高分辨率图像从该图像放大装置输出。
全文摘要
构建具备从低分辨率图像(101)生成高分辨率的插补图像(OL)的插补部(104等)、将修正量与上述插补图像合成而生成第1高分辨率图像(图11B、图45下段的单点划线的数据等)的合成部(105)、和生成将第1上述高分辨率图像使用所生成的特征量再次修正的第2高分辨率图像(图11D、图45下段的实线的数据等)的再修正部(106)的图像放大装置(108)。
文档编号H04N7/01GK102150418SQ20098013571
公开日2011年8月10日 申请日期2009年12月21日 优先权日2008年12月22日
发明者手塚忠则 申请人:松下电器产业株式会社