图像显示装置的制作方法

文档序号:7936010阅读:381来源:国知局
专利名称:图像显示装置的制作方法
技术领域
图像显示装置,
的保持型
背景技术
作为用于改善电视接收器、DVD播放器等的画面质量的视频信号处理之 一,存在有使用运动补偿的帧速转换。
将关于用于电视广播的、由摄像机捕获的视频信号(以下称为摄像机信 号)和通过将电影电视电影转换到电视系统而获得的视频信号(以下称为电 影信号或影院信号),使用图1至图3来描述帧速转换的原理。
图1 (a)示出NTSC系统的摄像机信号的原始帧A、 B、 C和D。如图1 (b)所示,在转换摄像机信号的帧速到120Hz的情况下,在相邻原始帧之间 (在帧A和B之间、在帧B和C之间和在帧C和D之间),以每1/120秒的 定时添加内插帧。
图2 U)示出被电视电影转换(2: 2折叠(pulldown))到PAL系统的 电影信号的原始帧A、 B、 C和D。每个原始帧被重复两次。如图2 (b)所 示,在转换2: 2折叠电影信号的帧速到100Hz的情况下,在以25Hz周期相 邻的原始帧之间(在帧A和B之间、在帧B和C之间和在帧C和D之间), 以1/100秒的间隔添加三个内插帧。
图3 (a)示出被电视电影转换(3: 2折叠(pulldown))到NTSC系统 的电影信号的原始帧A、 B、 C和D。奇数号原始帧A和C被重复三次,而 偶数号原始帧B被重复两次。如图3(b)所示,在转换3: 2折叠电影信号 的帧速到120Hz的情况下,在以24Hz周期相邻的原始帧之间(在帧A和B 之间和在帧B和C之间),以1/120秒的间隔添加四个内插帧。
通过内4翁前原始帧(earlier original frame )和后原始帧(following original frame)的视频图像来产生每个内插帧。通过这样的方法来执行内插,该方法 基于每个内插帧中视频图像的内插位置的参数以及前原始帧和后原始帧之间的运动矢量的参数计算前原始帧和后原始帧的像素的地址,而该像素地址用 于计算内插帧的像素值,然后根据内插位置将权重放置该地址的像素值上。
帧速转换产生消除摄像机信号中的运动模糊的效果,以及减小电影信号 中的颤动(视频图像中的运动的不流畅)的效果。
图1至图3还示出了在常规帧速转换下内插帧中的视频图像的内插位置。
如图1 (b)所示,在将NTSC摄像机信号的帧速转换到120Hz的时候,内插 帧中的视频图像的内插位置通常被设置到通过将前原始帧和后原始帧之间的 视频图像的运动量值(通过运动矢量检测确定的大小)等分为两部分而获得 的位置,也就是,运动量值的50%的位置。
如图2 (b)所示,将2: 2折叠电影信号的帧速转换到100Hz的时候的 三个内插帧中的视频图像的内插位置通常被设置到通过将前原始帧和后原始 帧之间的视频图像的运动量值等分为四部分而获得的位置,也就是,运动量 值的25%、 50%和75%的位置。
如图3(b)所示,将3: 2折叠电影信号的帧速转换到120Hz的时候的 四个内插帧中的视频图像的内插位置通常被设置到通过将前原始帧和后原始 帧之间的视频图像的运动量等分为五部分而获得的位置,也就是,运动量的 20%、 40%、 60%和80%的位置。
图4示出相关技术中在内插位置上经历了帧速转换的3: 2折叠电影信号 的视频信号的示例的图。飞机的视频图像在相邻原始帧A和B之间移动。在 四个内插帧中,飞机的视频图像被内插在通过将运动量等分为五部分而获得 的位置中。
除此而外,例如,在专利文献l中提出了有关于这样的帧速转换的技术。 专利文献l:日本待审专利申请公开号2003-189257。

发明内容
如上所述,在使用运动补偿的帧速转换中,通常,内插帧中的视频图像 的内插位置被设置到通过平均划分前原始帧和后原始帧之间的视频图像的道 动量而获得的位置。
然而,在电影信号的情况下,当在通过平均划分图4中所示范的原始帧 之间的视频图像的运动量而获得的内插位置上执行内插时,大大减小颤动, 并且视频图像的运动变得平滑。结果,习惯于电影信号的颤动的人觉得电影信号的感觉丢失。
此外,在使用运动补偿的帧速转换中,在相邻原始帧中的视频图像的运 动变得快的情况下,运动矢量位于运动矢量搜索范围(块匹配范围)之外, 并且出现大的颤动。在这种情况下,存在这样的问题由于在用户观看运动 平滑的视频图像时突然出现大的颤动,因此用户觉得不舒服。
除此而外,到目前为此,为了使得转换电影信号(影院信号)的帧速的 时候的视频图像的运动更平滑,已经提出了在运动矢量的方向上移动帧转换
之后的半帧(field)的像素位置的技术(参考专利文献l)。然而,没有提出
在减小转换电影信号的帧速的时候的颤动的同时减弱颤动的减小程度的技术。
顺便提一下,在利用运动矢量执行用于改善画面质量的视频信号处理(诸 如帧速转换)的情况下,当如上所述那样运动矢量位于运动矢量搜索范围(块 匹配范围)之外时,运动矢量可能不能很好地被检测。在这种情况下,如果 原样地使用运动矢量,则不能很好地执行视频信号处理。发生另一问题,使 得画面质量恶化。
此外,在在固定像素(保持)型显示设备(诸如液晶显示器)上显示经 历了视频信号处理的视频信号的情况下,出现另一问题,使得由于其配置而 出现所谓保持模糊(holdblur)。需要尽量减小保持模糊。由于这种保持模糊 的可观看性根据环境而变化,所以需要根据环境的改善方法。
本发明已经从这些问题出发来进行,其第一个目的是提供能够在减小使 用运动补偿转换电影信号(影院信号)的帧速的时候的颤动的同时减弱颤动 的减小程度的图像显示装置、视频信号处理器和视频信号处理方法。
本发明的第二个目的是提供能够在执行用于改善画面质量的预定视频信' 号处理的时候,抑制由于运动矢量的检测精度而引起的画面质量恶化的图像 显示装置、视频信号处理器和视频信号处理方法。
此外,本发明的第三个目的是提供能够根据环境减小保持模糊的图像显 示装置。
本发明的图像显示装置具有视频信号处理部件,用于对沿时基(time base)的多个原始帧执行预定视频信号处理;以及显示部件,用于基于经历 了视频信号处理的视频信号显示视频图像。在这种情况下,显示部件是保持 型显示部件(hold-type display means )。除此而外,将图像显示装置配置成根据原始帧中的视频信号的本体(substance)和用户观看环境的亮度中至少^ 一,执行将黑显示区域插入显示部件中的显示屏幕的黑插入处理。
在本发明的图像显示装置中,对沿时基的多个原始帧执行预定视频信号 处理,并且基于经历了这种视频信号处理的视频信号显示视频图像。除此而 外,根据原始帧中的视频信号的本体和用户观看环境的亮度中至少之一,执 行将黑显示区域插入显示部件的显示屏幕的黑插入处理。
在本发明的图像显示装置中,根据原始帧中的视频信号的本体和用户观 看环境的亮度中至少之一,执行将黑显示区域插入显示部件的显示屏幕的黑 插入处理。因此,保持模糊能够根据环境被减小。


图1示出相关技术中摄像机信号的帧速转换的原理和内插位置的图; 图2示出相关技术中电影信号的帧速转换的原理和内插位置的图; 图3示出相关技术中电影信号的帧速转换的原理和内插位置的图; 图4是示范相关技术中在内插位置上经历了帧速转换的电影信号的视频 图像的图5示出根据该发明第一实施方式的视频信号处理器的电路配置的示例 的块图6示出通过内插器的地址计算的原理的图7示出从CPU供给的内插位置参数的图8示出在3: 2折叠电影信号的情况下内插位置参数的值的图9示出在2: 2折叠电影信号的情况下内插位置参数的值的图IO示出经历了使用图5的设备的帧速转换的电影信号的视频图像的
图11示出根据第一实施方式的改进示例的视频信号处理器的电路配置 的示例的块图12示出摄像机信号向240Hz的帧速转换的图13示出根据本发明第二实施方式的视频信号处理器的配置的示例的 块图14示出形成在人类的视网膜上的图像中模糊的频率特性的示例的图; 图15说明由图13的视频信号处理器执行的图像处理处理的示例的流程图16示出根据行进矢量(行进速度、运动矢量)的成像模糊(imaging blur) 的频率特性的示例的图17示出图13的视频信号处理器中成像模糊抑制处理器的功能配置的 示例的块图18示出图17的成像模糊抑制处理器中的高频分量去除单元的功能配 置的示例的块图19示出图18的高频分量去除单元中的高频限制器的特性的示例的图; 图20示出图17的成像模糊抑制处理器中的滤波单元的功能配置的示例 的块图21示出图20的滤波单元中的增益控制器的功能配置的示例的块图; 图22示出图21中增益控制器中的调节量确定单元的特性的示例的图; 图23示出图17的成像模糊抑制处理器中的成像模糊补偿单元的功能配 置的示例的块图24示出图23中成像模糊补偿单元中的ALTI单元的功能配置的示例的 块图25是图解用以说明在计算连续地排列在目标像素右边的像素组的像 素值的平均的情况下校正像素值的方法的、图24的ALTI单元的待处理对象 的示例的图26是补充说明在计算连续地排列在目标像素右边的像素组的像素值
的平均的情况下的像素值校正方法的图27说明图24的ALTI单元的处理的示例的流程图28示出图24的ALTI单元中的调节量值计算器的特性的示例的图29示出图23的成像模糊补偿单元中的ALTI单元的功能配置的、不同
于图12的另一示例的块图30示出图23的成像模糊补偿单元中的增益控制器的功能配置的示例
的块图31示出图30的增益调节单元中的调节量确定单元的特性的示例的图; 图32示出图13的视频信号处理器中的成像模糊抑制处理器的功能配置 的、不同于图17的示例的块图33示出图13的视频信号处理器中的成像模糊抑制处理器的功能配置的、不同于图17和图32的示例的块图34图解摄像机的快门速度和成像模糊的特性的图35示出根据第二实施方式的视频信号处理器的一部分的配置的、不同 于图13的示例的块图36示出根据第二实施方式的视频信号处理器的一部分的配置的、不同 于图13和图35的示例的块图37示出根据第二实施方式的视频信号处理器的一部分的配置的、不同 于图13、图35和图36的示例的块图38示出根据第二实施方式的视频信号处理器的一部分的配置的、不同 于图13、图35、图36和图37的示例的块图39示出图13中的视频信号处理器中的成像模糊抑制处理器的功能配 置的、不同于图17、图32和图33的示例的块图40示出图13的视频信号处理器中的成像模糊抑制处理器的功能配置 的、不同于图17、图32、图33和图39的示例的块图41示出图13的视频信号处理器中的成像模糊抑制处理器的功能配置 的、不同于图17、图32、图33、图39和图40的示例的块图42示出根据第二实施方式的改进示例的视频信号处理器的配置的块
图43示出根据本发明第三实施方式的改进示例的视频信号处理器的配 置的示例的块图44示出运动矢量的检测的存在/不存在和可靠性之间的关系的示例的
图45示出运动矢量的检测的存在/不存在和可靠性之间的关系的示例的 定时波形图46示出在根据可靠性与运动矢量相乘的增益中的变化的示例的定时
图47示出在根据可靠性与运动矢量相乘的增益中的变化的另一示例的 定时图48示出根据本发明第四实施方式的图像显示装置的配置的示例的块
图49示出通过图解在图48中的背光驱动单元基于帧单元的黑插入处理(消隐处理)的示例的定时图50示出通过图解在图48中的背光驱动单元基于黑插入线单元的黑插 入处理(消隐处理)的示例的定时图51示出通过图解在图48中的背光驱动单元基于黑插入线单元和帧单 元的组合的黑插入处理(消隐处理)的示例的定时图52示出在基于帧单元的黑插入处理中的黑插入比的示例的定时图53示出在基于帧单元的黑插入处理中的黑插入比的另一示例的定时
图54示出在基于黑插入线单元和帧单元的组合的黑插入处理中的黑插 入比的示例的定时图55示出在基于黑插入线单元和帧单元的組合的黑插入处理中的黑插 入比的另 一 示例的定时图56示出整个屏幕的亮度直方图分布的示例的特性图57示出根据第四实施方式的改进示例的图像显示装置的配置的示例 的块图;以及
图58示出本发明应用到的视频信号处理器的全部或部分的硬件配置的 示例的块图。
具体实施例方式
下面将参考附图详细描述本发明的实施方式。 [第一实施方式]
图5是示出根据本发明第一实施方式的视频信号处理器(视频信号处理 器4)的电路配置的示例的块图。视频信号处理器4内置于电视接收器中。 将经历了诸如通过未示出的调谐器、解码器的调谐和解码之类的处理的数字 分量信号YUV供给视频信号处理器4。
供给视频信号处理器4的数字分量信号YUV被输入到预处理器41 ,并 经由存储器控制器42顺序写入存储器43。
预处理器41执行从数字分量信号YUV分离亮度信号Y的处理。由预处 理器41分离出来的亮度信号Y也经由存储器控制器42顺序写入存储器43。
写入存储器43的亮度信号Y由存储器控制器42顺序读取(如图2和3 所示,在相同原始帧重复两次或三次的电影信号的情况下,该相同原始帧仅仅被读取一次)并发送到运动矢量检测器44。运动矢量检测器44使用当前 帧的亮度信号Y和紧接着的在前帧和在后帧的亮度信号Y,通过块匹配执行 运动矢量^r测处理。
将由运动矢量检测器44检测到的每帧的运动矢量mv经由存储器控制器 42写入存储器43。之后,从存储器43读取运动矢量mv并再次发送到运动 矢量检测器44,以便在后帧的运动矢量检测中参考。
此外,存储器控制器42在将信号相互偏离一帧的同时,以两个序列按倍 速读取写入存储器43中的数字分量信号YUV (如图2和3所示,在相同原 始帧重复两次或三次的电影信号的情况下,该相同原始帧仅仅被读取一次)。 此外,存储器控制器42按倍速读取指示两帧之间的运动的运动矢量mv。将 以这样的方式读取的两个序列的数字分量信号2YUV和运动矢量mv传送到 内插部分45。
内插部分45配备有两个序列的搜索范围存储器451和452以及内插器 453。来自存储器控制器42的两个序列的数字分量信号2YUV之一被写入搜 索范围存储器451,而另一序列被写入搜索范围存储器452。来自存储器控制 器42的运动矢量rm^皮输入内插器453。
此外,从电视接收器中的CPU 46将指示内插帧中视频图像的内插位置的 内插位置参数Relpos经由I2C总线40 (作为串行总线)供应给内插部分45' 以及用于并行转换该串行信号的解码器47 (后面将描述内插位置参数Relpos 的细节)。也将内插位置参数Relpos输入到内插器453。
内插器453基于运动矢量mv和内插位置参数Relpos计算用于计算内插 帧的像素值的、搜索范围存储器451和452中的原始帧中的像素的地址。
图6是概念性地示出地址计算的原理的图。n-l表示在垂直轴方向上写入 搜索范围存储器451和452中的、偏离一帧的两个原始帧中先产生的原始帧 的每个像素的地址(在屏幕上的x方向上和y方向上的位置)。n表示在垂直 轴方向上该两个原始帧中的后原始帧的每个像素的地址。
i指示在垂直轴方向上、内插帧中每个像素的地址。水平轴指示时间,并 示出原始帧n-l和n之间的内插帧i的定时(这里,作为示例,为对应于图2 (b)中的三个内插帧中位于中心的内插帧的定时)。Relpos指示为内插帧i 的产生而供给的内插位置参数。
mv (x,y) int示出关于内插帧i的每个像素中当前正在产生的像素(称为参考像素)的地址(x,y ),原始帧n-l和n之间的运动矢量mv。 zeroPelPrev (x,y )指示在原始帧n-l中的参考地址(x,y )上的像素的值。zeroPelSucc( x,y ) 指示在原始帧n中的参考地址(x,y)上的像素的值。
内插器453基于参考地址(x,y)、运动矢量mv (x,y) 1111的x方向上的分 量mvX、运动矢量mv( x,y )int的y方向上的分量mvY和内插位置参数Relpos, 通过下述公式(1)获得用于计算参考地址(x,y)的像素值的、在原始帧n-l 和n中的像素的地址。 [数学公式1]
原始帧n-l中的像素的地址
=(x+mvX.Relpos, y+mvY.Relpos )
原始帧n中的像素的地址
=(x舊X.( 1-Relpos), y-mvY'(l-Relpos)) ......(1)
内插器453将如上所获得的地址发送到搜索范围存储器451和452,并 读取该地址的像素值prev和succ。然后,使用像素值prev和succ以及内插 位置参数Relpos,通过下述公式(2)计算内插帧i的参考地址(x,y )的像素 值Out。
Out=prev( 1 -Relpos)+succ'Relpos ......(2)
通过对内插帧i的每个像素顺序执行这样的计算(顺序更新参考地址的 值(x,y)),产生内插帧i。
接下来,将描述从CPU46供给内插部分45的内插位置参数Relpos。图 7是示出从CPU46供给的内插位置参数Relpos的图。在2: 2折叠电影信号 (参考图2 (a))作为数字分量信号YUV供应给图5的视频信号处理器4的 情况下,CPU 46每1/100秒(即,以1/25秒周期)供应四相的参数Relpos—22_0、 Relpos_22J、 Relpos—22—2以及Relpos—22—3。每相参数由六位构成(图中的 [5: O]表达六位)。
Relpos_22—0是用于从内插器453输出在搜索范围存储器451和452中相 互偏离 一帧的两个原始帧中的在前帧的参数。Relpos—22_l至Relpos一22—3是 用于在该两个原始帧之间以如图2(b)所示的1/100秒间隔产生三个内插帧 的参数。
在供给2: 2折叠电影信号的情况下,相同原始帧在搜索范围存储器451和452中保持l/25秒(图5)。然后,在l/25秒期间,内插器453基于每一 个相应相的参数Relpos—22—0、 Relpos—22—1、 Relpos—22—2以及Relpos—22—3, 通过公式(1)和(2)计算内插帧。通过以1/25秒周期重复该处理,2: 2折 叠电影信号一皮帧速转换(frame-rate-convert )。
另一方面,在3: 2折叠电影信号(参考图3U))作为数字分量信号YUV 供应给图5的视频信号处理器4的情况下,CPU 46每1/120秒(即,以1/24 秒周期)供应五相的内插位置参数Relpos—32—0、 Relpos—32—1、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4。
Relpos—32_0是用于从内插器453输出在搜索范围存储器451和452中相 互偏离 一帧的两个原始帧中的在前帧的参数。Relpos—32 J至Relpos—32_4是 用于在该两个原始帧之间以如图3(b)所示的1/120秒间隔产生四个内插帧 的参数。
在供给3: 2折叠电影信号的情况下,相同原始帧在搜索范围存储器451 和452中保持1/24秒。然后,在1/24秒期间,内插器453基于每一个相应相 的参数Relpos一32—0、 Relpos—32—1、 Relpos一32一2、 Relpos一32一3以及 Relpos—32—4,通过^^式(1 )和(2)计算内插帧。通过以1/24秒周期重复该 处理,3: 2折叠电影信号被帧速转换。
由用户选择内插位置参数Relpos的值。具体地说,如图5所示,附连到 电视接收机的遥控器400配备有用于在"强、中、弱,,三个级别中切换和选择 内插位置参数Relpos的值的内插位置调节按钮401 。
通过电视接收机中的红外光接收单元48从遥控器400中接收指示内插位 置调节按钮401的选择结果的信号。当该信号经由I2C总线40传送到CPU46 时,CPU 46根据选择结果设置内插位置参数Relpos的值。
图8是示出在供给3: 2折叠电影信号的情况下CPU46根据内插位置调 节按钮401的选择结果设置的内插位置参数Relpos的值的图。在内插位置调 节按钮401选择了 "强"的情况下,分别将Relpos—32—0、 Relpos—32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4的值设置到0、 0.2、 0.4、 0.6和 0.8。 -
由于第一相的参数Relpos—32—0的值是0,因此,由公式(1 )和(2 ), 从内插器453原样输出在搜索范围存储器451和452中的两个原始帧中的在 前原始帧。此外,从公式(1)和(2),由于第二、第三、第四和第五相的参数
Relpos—32—1、 Relpos_32—2、 Relpos—32—3以及Relpos_32_4的值均匀地按0.2 (像0.2、 0.4、 0.6和0.8)改变,因此,在搜索范围存储器451和452中的 两个原始帧之间产生的四个内插帧中的视频图像的内插位置与如图3 (b)所 示的相关技术中的内插位置相同。通过均匀地将两个原始帧之间的视频图像 的运动量划分为五个部分(即,根据该运动量的20%、 40%、 60%和80%的 位置),来获得该位置。
在内插位置调节按钮401选择了"中"的情况下,分别将Relpos一32一0、 Relpos一32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32—4的值设置到0、 0.15 、 0.3、 0.7和0.85。由于第一相的参数Relpos—32—0的值是O,因此,与"强,,的 情况下一样,从内插器453原样输出在搜索范围存储器451和452中的两个 原始帧中的在前原始帧。
另一方面,如图3 (b)所示的第二和第三相的参数Relpos—32—1和 Relpos—32—2的值0.15和0.3比"强,,的情况下的值0.2和0.4更小,是用于产 生在相邻的原始帧之间的四个内插帧中更接近于在前原始帧的内插帧的参 数。
如图3 (b)所示的第四和第五相的参数Relpos一32—3和Relpos—32—4的 值0.7和0.85比"强,,的情况下的值0,6和0.8更大,是用于产生相邻的原始帧 之间的四个内插帧中更接近于后原始帧的内插帧的参数。
通过参数Relpos—32—1至RelposJ32—4的值,在"中"的情况下,在搜索范 围存储器451和452中的两个原始帧之间产生的四个内插帧中的视频图像的 内插位置是根据该两个原始帧之间的视频图像的运动量的15%、 30%、 70% 和85%的位置。即,四个内插帧中的视频图像的内插位置不是像在"强"的情 况下那样,通过将两个原始帧之间的视频图像的运动量均匀地划分而获得的 位置(与相关技术的位置相同的内插位置),而是比均匀划分出来的位置更接 近于接近到内插帧的原始帧中的视频图像的位置。
在内插位置调节按钮401选择了"弱"的情况下,分别将Relpos—32—0、 Relpos—32—1 、 Relpos—32—2、 Relpos—32—3以及Relpos—32_4的值设置到0、 0.1 、 0.2、 0.8和0.9。第二和第三相的参^:(用于在相邻的原始帧之间的四个内插 帧中,产生更接近于前面原始帧的内插帧的参数)的值O.l和0.2还小于"中,, 的情况下的值0.15和0.3。此外,第四和第五相的参数(用于在相邻的原始帧之间的四个内插帧中,
产生更接近于后面原始帧的内插帧的参数)的值0.8和0.9大于,,中"的情况下 的值0.7和0.85。
通过参数Relpos—32—1至Relpos—32—4的值,在"弱"的情况下,在搜索 范围存储器451和452中的两个原始帧之间产生的四个内插帧中的视频图像 的内插位置是根据该两个原始帧之间的视频图像的运动量的10%、 20%、 80% 和90%的位置。即,四个内插帧中的视频图像的内插位置是与"中,,的情况相 比,更邻近于更接近到内插帧的原始帧中的视频图像的位置。 -
图9是示出在供给2: 2折叠电影信号的情况下CPU46根据内插位置调 节按钮401的选择结果设置的内插位置参数Relpos的值的图。在内插位置调 节按钮401选择了"强,,的情况下,分别将Relpos—22—0、 Relpos—22—1、 Relpos—22—2和Relpos—22—3的值设置到0、 0.25、 0.5和0.75。
由于第一相的参数Relpo^22J)的值是0,因此从内插器453原样输出—在 搜索范围存储器451和452中的两个原始帧中的在前原始帧。
此外,从公式(1)和(2),由于第二、第三和第四相的参数Relpos—22—1、 Relpos—22—2和Relpos—22—3的值均匀地按0,25 (像0.25、 0.5和0.75 )改变, 因此在搜索范围存储器451和452中的两个原始帧之间产生的三个内插帧中 的视频图像的内插位置与如图2 (b)所示的相关技术中的内插位置相同。通 过均匀地将两个原始帧之间的视频图像的运动量划分为四个部分(即,根据 该运动量的25%、 50%和75%的位置),来获得该位置。
在内插位置调节按钮401选择了"中,,的情况下,分别将Relpos—22_0、 Relpos_22—1、 Relpos—22—2和Relpos—22—3的值设置到0、 0.15、 0.3和0.85。 由于第一相的参数Relpos—22—0的值是0,因此与"强,,的情况一样,从内插器 453原样输出在搜索范围存储器451和452中的两个原始帧中的在前原始帧。
另一方面,第二相的参数Relpos—22J (如图2 (b)所示,这是用于产: 生在相邻的原始帧之间的三个内插帧中更接近于在前原始帧的内插帧的参 数)的值0.15比"强,,的情况下的值0.25更小。
此外,如图2(b)所示,第三相的参数Relpos—22_2是用于在相邻的原 始帧之间的三个内插帧中产生正好在前面原始帧与后面原始帧的中间的内插 帧的参数。这里,通过将该中间内插帧分类为更邻近前面原始帧的内插帧, 参数Relpos_22—2的值变成比"强,,的情况的值0.5更小的值0.3。第四相的参数Relpos—22—3 (如图2 (b)所示,这是用于产生在相邻的 原始帧之间的三个内插帧中更接近于后面原始帧的内插帧的参数)的值0.85 比"强,,的情况下的值0.75更大。 .
通过参数Relpos—22_1至Relpos—22—3的值,在"中,,的情况下,在搜索范 围存储器451和452中的两个原始帧之间产生的三个内插帧中的视频图像的 内插位置是根据该两个原始帧之间的视频图像的运动量的15%、 30%和85% 的位置。即,三个内插帧中的视频图像的内插位置不是像在"强"的情况下那 样,通过将两个原始帧之间的视频图像的运动量均匀地划分而获得的位置(与 相关技术的位置相同的内插位置),而是比均匀划分的位置更接近于更邻近到 内插帧的原始帧中的视频图像的位置。
在内插位置调节按钮401选择了"弱"的情况下,分别将Relpos—22—0、 Relpos—22—1、 Relpos—22—2和Relpos—22—3的值设置到0、 0.1、 0.2和0.9。第 二和第三相的参数(用于在相邻的原始帧之间的三个内插帧中,产生更接近 于前面原始帧的内插帧的参数)的值O.l和0.2还小于"中"的情况下的值0.15 和0.3。
此外,第四相的参数(用于在相邻的原始帧之间的三个内插帧中,产'生 更接近于后面原始帧的内插帧的参数)的值0.9大于"中"的情况下的值0.85。
通过参数Relpos—22—1至Relpos—22—3的值,在"弱"的情况下,在搜索 范围存储器451和452中的两个原始帧之间产生的三个内插帧中的视频图像 的内插位置是根据该两个原始帧之间的视频图像的运动量的10%、 20%和 90%的位置。即,三个内插帧中的视频图像的内插位置是与"中,,的情况相比, 更邻近于更接近到内插帧的原始帧中的视频图像的位置。
图10是使用与图4中的原始帧相同的原始帧的视频图像作为示例,与相 关技术中的内插位置中的视频图像(图10 (a))相比较地示出在3: 2折叠电 影信号被供给图5的视频信号处理器4并且内插位置调节按钮401选择了"弱" 的情况下经历了帧速转换的视频图像(图10 (b))的图。
如图10(b)所示,在更接近于前面原始帧A的两个内插帧中,与相关 技术的情况相比,飞机的图像定位得更邻近于原始帧A。另一方面,在更接 近于后面原始帧B的两个内插帧中,与相关技术的情况相比,飞机图像定位 得更邻近于原始帧B。因此,第二和第三内插帧的飞机图像的位置之间的间 隔大于相关技术的飞机图像的位置之间的间隔。如上所述,在视频信号处理器4中,当内插位置调节按钮401选择了"弱"
或"中"时,在前原始帧和后原始帧中更邻近于前原始帧的内插帧中的内插位 置朝向前面原始帧的视频图像移动。更邻近于后面原始帧的内插帧中的内插 位置朝向后面原始帧的视频图像移动。
结果,也如图IO所示,在更邻近于前面原始帧的内插帧与更邻近于后面
原始帧的内插帧之间,所内插的视频图像的位置的间隔大于相关技术的情况 下的视频图像的位置的间隔。
如上所述,视频图像中的内插帧彼此分开得比相关技术的情况下更多。 结果,内插帧之间的视频图像的运动不平滑性比相关技术的情况更突出。因 此,在执行电影信号的帧速转换的时候,当利用帧速转换减小了颤动时,减 小的程度能够被降低得比相关技术的情况更多。
除此而外,在用户通过电视接收器观看电影信号的视频图像的情况下, 某些用户偏好颤动被大大减小以使得视频图像的运动更平滑的情况,而某些 用户由于他们喜欢电影信号的图像而偏好在一定范围内保留颤动。结果,偏
好视频图像的更平滑运动的用户利用内插位置调节按钮401选择"强"。偏好 在一定范围内保留颤动的情况下的图像的用户利用内插位置调节按钮401选 择"弱,,或"中"。因此,可以根据每个用户的偏好来选择颤动的降低程度。''
如在上述"背景技术"部分描述的那样,在使用运动补偿的帧速转换中,' 在相邻原始帧之间的视频图像的运动变得快的情况下,运动矢量位于运动矢 量搜索范围之外,从而出现大颤动。也在这种情况下,通过利用内插位置调 节按钮401选择"弱"或"中"来减少减小颤动的程度,即使当在用户观看包括 一些颤动的视频图像的同时出现大颤动,与大颤动突然出现在运动平滑的视 频图像中的通常情况相比,用户也会4艮少觉得生疏。
除此而外,在使用运动补偿的帧速转换中,作为副作用,知道会出现一 种现象(称为晕圈(Halo)),使得在运动的人等的视频图像的轮廓中看见像 闪烁那样的噪声。随着要内插的视频图像的位置离开原始帧中的视频图像的 位置,暈圈变得更加明显。相反,当利用内插位置调节按钮401选择"弱"或"中" 时,要内插的视频图像的位置变成邻近于原始帧中的视频图像,从而晕圈能
够被抑制。
在图5的示例中,遥控器400配备有内插位置调节按钮401,用于在"强、 中和弱"三个级别中切换和选择内插位置参数Relpos的值。然而,作为另一个示例,可以为遥控器400或电视接收器本体配备诸如音量开关的操作部件, 用于连续(步进)地在图8和图9中的"强,,到"弱,,的范围内改变值的同时, 选择内插位置参数Relpos的值。在这种情况下,为了进一步减少内插位置参 数Relpos的值的最小变化量,从CPU46供应的内插位置参数Relpos的位数 可以被设置成大于六位(例如,约八位)。
接下来,图11是示出根据本实施方式的改进示例的视频信号处理器(视 频信号处理器4A)的电路配置的示例的块图。相同的标记指示与图5所示的 视频信号处理器4的组件相同的组件,并且将不重复它们的描述。
在视频信号处理器4A中,由S/N电平检测器49 ^^测供应给视频信号处 理器4A的数字分量信号YUV的S/N电平。然后,将指示检测信号的信号经 由I2C总线40发送到CPU 46。
在使用运动补偿的帧速转换中,如上所述,出现现象(晕圈)使得在运 动的人等的视频图像的轮廓中出现像闪烁那样的噪声。随着视频图像的内插 位置离开原始帧中的视频图像的位置,暈圈变得更加明显。除此而外,随着 视频信号的S/N电平减少(噪声电平增加),更多地出现晕圈。
在CPU 46中的存储器中,预先存储指示预设为是否容易出现晕圈的界线 的预定值的S/N电平的信息。在S/N电平检测器49的检测结果比预定电平高 的情况下,CPU46将供应给内插部分45的内插位置参数Relpos设置成图8 和图9中的"强"值。另一方面,当S/N电平检测器49的检测结果等于或小于 预定电平时,CPU46将供应给内插部分45的内插位置参数Repos设置成图 8和图9中的"弱"(或"中")值。
从而,在要供给的数字分量信号YUV的S/N电平高的情况下(在不容 易出现晕圈的情况下),视频图像的运动能够被进行平滑。在S/N电平低的情 况下(在容易出现晕圈的情况下),通过设置邻近原始帧的视频图像的视频图 像的内插位置,暈圏能够被抑制。
除此而外,在本实施方式中示范帧速转换电影信号的情况。然而,例如, 在如图12所示将NTSC系统的摄像机信号的帧速转换到240Hz的情况下, 在相邻原始帕之间(帧A和B之间、帧B和C之间以及帧C和D之间)以 1/240秒间隔添加三个内插帧。虽然没有示出,但在将PAL系统的摄像机信-号的帧速转换到200Hz的情况下,在相邻原始帧之间以1/200秒间隔添加'三' 个内插帧。如上所述,本发明也可以应用到将摄像机信号转换到高帧速的情况。
在该实施方式中,已经描述了通过选择用户操作设置内插位置参数
Relpos的值的示例,以及根据视频信号的S/N电平设置内插位置参数Relpos 的值的示例。然而,作为设置内插位置参数Relpos的值的再另一方法,例如, 从EPG (电子节目指南)获得当前接收的电视广播节目的类型信息,并且可 以根据该类型来设置内插位置参数Relpos的值(例如,在视频图像的运动慢 的类型中设置图8和图9中的"强"值,而在视频图像的运动快的类型中设置 图8和图9中的"中"值)。
作为替换,内插位置参数Relpos的值可以按重置的事实被设置到图8和 图9中的"弱"或"中"值。
此外,图8和图9中所示的"弱"和"中,,值仅仅是一个示例。很明显,通 过另 一值,也可以将每个内插帧中的视频图像的内插位置设置到更邻近于更 接近于内插帧的原始帧的视频图像的位置。
而且,在该实施方式中,已经描述了应用本发明到电视接收器中的视频 信号处理器的示例。然而,本发明也可应用到诸如DVD播放器中的视频信号 处理器之类的、用于使用运动补偿转换视频信号的帧速的任何视频信号处理 器。
现在描述本发明的第二实施方式。
图13示出第二实施方式的视频信号处理器(视频信号处理器4B)的配 置的示例。相同的标记指示与前一实施方式的组件相同的组件,并且将不重 复它们的描述。
视频信号处理器4B基于存取单元对运动图像数据执行各种图像处理。这 种存取单元是诸如帧或半帧之类的运动图像的单元,例如,具体指构成运动 图像的整个帧或帧的一部分。在这种情况下,这里的帧表示单一静止图像。 因此,整个帧相当于一帧。然而,此后,为了解释起来简单,假设视频信号 处理器4B基于帧单元对运动图像数据执行各种图像处理。
如图13所示,通过进一步给在第一实施方式中描述过的视频信号处理器 4A (包括内插部分45 (高帧速转换单元))配备成像模糊特性检测器12和成 像模糊抑制处理器13来获得视频信号处理器4B。
对于内插部分45,像在第一实施方式中所描述的那样,例如,可以以帧单元输入诸如电视广播信号之类的运动图像信号作为运动图像数据。
在下面,在运动图像和与运动图像对应的运动图像数据不必相互区别的 情况下,将把运动图像和与运动图像对应的运动图像数据简单地总称为运动 图像。类似地,在帧和与帧对应的帧数据不必相互区别的情况下,将它们简 称为帧。
在输入处于第一帧速的运动图像的情况下,内插部分45对运动图像执行 高帧速转换处理'并提供作为该处理的结果而获得的、高于第一帧速的第二 帧速的运动图像到成像模糊特性检测器12和成像模糊抑制处理器13。
高幀速转换处理是在输入的时候的第 一帧速低于在输出(显示)的时候 的第二帧速的情况下执行的处理。它是通过在输入的时候创建新帧并将其插 入构成运动图像的每个帧之间来将第一帧速转换到高于第一帧速的第二帧速 的处理。
在这种情况下,第一帧速指的是在运动图像被输入到内插部分45的时间 点处运动图像的帧速。因此,第一帧速可以是任意帧速。例如,在这种情况 下,它是未示出的成像设备捕获运动图像时的帧速,即,成像帧速。
此外,在该实施方式中,作为用于执行这种高帧速转换处理的高帧速转 换器的示例,将描述在第一实施方式中的内插部分45 (在在相邻原始帧之间 添加N片内插帧的情况下,作为内插帧中的视频图像的内插位置,设置比均 匀划分的位置更接近于更邻近于内插帧的原始帧的视频图像的位置,而非通 过等分前原始帧和后原始帧之间的视频图像的运动量而获得的位置)。代替内 插部分45,可以配备通常的高帧速转换器(其设置通过均匀划分前原始帧和 后原始帧之间的视频图像的运动量而获得的位置作为内插帧中的视频图像内' 插位置)。
关于构成从内插部分45供给的运动图像的每一帧,成像模糊特性检测器 12检测指示成像模糊的特性的参数的值。成像模糊特性检测器12的检测结 果,即,指示成像模糊的特性的参数的值,被提供给成像模糊抑制处理器13。
除此而外,不限于指示成像模糊的特性的参数,而是能够采用各种参数。 后面将描述指示这种成像模糊的特性的参数的具体示例。例如,在使用行进 矢量(运动矢量)的绝对值作为指示成像模糊的特性的参数的情况下,成像 模糊特性检测器12可以包括在第 一实施方式中描述过的运动矢量检测器44。
不特别地限制指示在一帧中的成像模糊的特性的参数的所检测到的值的数量。例如,每一帧可以检测指示成像模糊的特性的参数的仅仅一个值。可以对构成帧的每一个像素检测指示成像模糊的特性的参数的值。也可以将一帧划分为 一些块,并对每个所划分出来的块检测指示成像模糊的特性的参数的值。
成像模糊抑制处理器13关于构成从内插部分45供给的运动图像的每一
帧,在成像模糊特性检测器12所检测到的参数的值中,基于与要进行处理的
帧对应的值,校正构成要进行处理的帧的每个像素的值。即,根据要处理的
帧中的成像模糊的特性(参数的值),成像模糊抑制处理器13校正要处理的
帧的每个像素值,以抑制成像模糊。也就是说,使用所检测到的参数的值,
执行抑制从内插部分45供给的每一帧中所包括的成像模糊所引起的画面质量的恶化的成像模糊抑制处理。
从而,将通过校正每一帧的每个像素值来抑制了成像模糊并且转换到高于在输入的时候的第 一 帧速的第二帧速的运动图像,从成像模糊抑制处理器13输出到视频信号处理器4B的外部。
在图13的示例中,将成像模糊特性检测器12和成像模糊抑制处理器13的套件(set)与内插部分45组合在一起使用。然而,自然,该套件可以自己单独使用,也可以与未示出的另一功能块(用于执行预定图像处理的另一一见频图像信号处理器)组合起来使用。
也就是说,仅仅通过成像模糊特性检测器12和成像模糊抑制处理器13的套件,就可以产生抑制成像模糊的效果。然而,为了使得效果更明显,最好如上所述地将成像模糊特性检测器12和成像模糊抑制处理器13的套件与内插部分45组合起来。其原因在下面描述。 ;'
当将在未示出的显示设备上显示的运动图像形成人的视网膜上的图像时人所辨认出的模糊,是人跟踪和看见包括在运动图像中的运动物体时出现的保持模糊与在运动图像的捕获的时间添加的成像模糊的组合。
如后面将参考图16等进行描述的那样,成像模糊的特性被表达成低通滤波器。具体地说,成像模糊之后的图像信号是等价于通过传递成像模糊之前的图像信号(理想图像信号)通过低通滤波器而获得的信号的信号。因此,-具有成像模糊的图像信号的频率特性比没有成像模糊的图像信号的频率特性更差。也就是说,通常,频率越高,则具有成像模糊的图像信号的增益与没有成像模糊的图像信号的增益相比越低。像成像模糊的特性一样,保持模糊的特性也被表达成低通滤波器。也就是说,具有保持模糊的图像信号是等价于通过传递没有保持模糊的图像信号
(具有成像模糊的图像信号)通过低通滤波器而获得的信号的信号。因此,具有保持模糊的图像信号的频率特性比没有保持模糊的图像信号的频率特性更差。也就是说,通常,频率越高,则具有保持模糊的图像信号的增益与没有保持模糊的图像信号的增益相比越低。然而,保持模糊仅仅出现在显示设备是固定像素(保持)显示设备的情况下。
因此,通过对其频率特性由于成像模糊而已经被恶化的、具有成像模糊的图像信号执行高帧速转换处理,能够抑制保持模糊。然而,即使执行高帧速转换处理,也不会改变成像模糊的恶化,并且最终使抑制人的视网膜上的模糊的效果减半。这将参考图14描述。
图14示出在在图像捕获设备(这以下称为摄像机)的图像捕获范围内捕获以行进速度4[像素/每帧]移动的实际物体的图像的情况下,形成在人的视网膜上的图像中的模糊的频率特性。在图14中,水平轴表示频率,而垂直轴指
示增益。然而,在水平轴上的每个值表示在Nyquist频率为1的情况下的相对值。
在图14中,由交替的长短虛线指示的曲线hO示出在不执行减小模糊(包括成像模糊和保持模糊)的处理的情况下,形成在人的视网膜上的图像中的模糊的频率特性。具体地说,在图13的示例中被输入到视频信号处理器4B的运动图像被直接提供给显示设备并且不用被输入到视频信号处理器4B就显示(不用被处理)的情况下,形成在看见运动图像的人的视网膜上的图像中的模糊的频率特性是曲线h0。
相反,例如,当显示速度通过高帧速转换处理加倍时,只减小了保持模
糊。结果,形成在人的视网膜上的图像中的模糊的频率特性变成由图中的li
线所示的曲线hl。具体地说,在被输入到图13的视频信号处理器4B的运动图像在内插部分45中经历高帧速转换处理,然后提供给显示设备并且不用被输入到成像模糊抑制处理器13就显示(不用减小成像模糊)的情况下,形成在看见运动图像的人的视网膜上的图像中的模糊的频率特性是曲线hl。
例如,当显示速度通过高帧速转换处理加倍(减小保持模糊),并且通过使用本发明来改善成像模糊的程度时,形成在人的视网膜上的图像中的模糊的频率特性变成由图中的实线所示的曲线h2。具体地说,在被输入到图13'的视频信号处理器4B的运动图像在内插部分45中经历高帧速转换处理,接受成像模糊抑制处理器13的成像模糊抑制,然后提供给显示设备并显示的情况下,形成在看见运动图像的人的视网膜上的图像中的模糊的频率特性是'#7线h2。
从曲线hl和h2之间的比较能理解,通过高帧速转换处理仅在保持模糊中的减小对于人的视网膜上的模糊的频率方面的减小是不够的,而需要成像模糊方面的进一步减小。然而,如上所述,在相关技术中,简单执行高帧速转换处理,而不用特别地考虑成^象模糊方面的减小的必要性。
因此,在图13的实施方式和将在后面描述的图35和图36等的实施方式中的本发明的视频信号处理器,不仅配备有内插部分45,而且配备有成像模糊特性检测器12和成像模糊抑制处理器13,以减小成像模糊,也就是说,将人的视网膜上的模糊的特性从图14中的曲线hO改善到曲线hl。然而,如在图37和图38的实施方式中所描述的那样,对于本发明的视频信号处理器来说,成像模糊特性检测器12不是基本元件。
也就是说,成像模糊抑制处理器13基于指示由成像模糊特性检测器l'2检测到的成像模糊的特性的参数的值中与要处理的帧对应的值,校正要处理的每一帧的每一个像素值,从而抑制在经历了高帧速转换处理的帧中由成像模糊引起的、图像中的恶化。换句话说,通过将诸如视频信号处理器4B之类的、本发明的视频信号处理器输出的图像信号提供给未示出的显示设备,显示设备能够显示图像恶化(模糊图像)被抑制的清晰图像作为与图像信号对应的图像。
如上所述,最好将成像模糊特性检测器12和成像模糊抑制处理器13的套件与内插部分45组合起来。
接下来,将参考图15的流程图描述具有图13的功能配置的视频信号处理器4B的图像处理。
在步骤S1,内插部分45输入第一帧速的运动图像。
在步骤S2,内插部分45将运动图像的第一帧速转换到比第 一帧速高第二帧速。 '
当将从第一帧速转换到第二帧速的运动图像从内插部分45提供给成像模糊特性检测器12和成像模糊抑制处理器13时,处理前进到步骤S3。
在步骤S3,成像模糊特性检测器12检测指示构成运动图像的每个帧中成像模糊的特性的参数的一个或多个值。
当将指示构成运动图像的每个帧中成像模糊的特性的参数的 一个或多个
值从成像模糊特性检测器12提供给成像模糊抑制处理器13时,处理前进到步骤S4。
在步骤S4,关于从内插部分45供给的、构成运动图像的每一帧,成像模糊抑制处理器13基于由成像模糊特性检测器12检测到的参数的值之中与要处理的帧对应的一个或多个值,校正要处理的帧的每一个像素值。
在步骤S5,成像模糊抑制处理器13输出通过校正每一帧的像素值并改变第一帧速到第二帧速而获得的运动图像。
之后,结束图15的图像处理。
在上述描述中,为了解释的筒单,基于运动图像单元执行步骤S1至步骤S5中的每一步中的处理。然而,实际上,帧时常是处理单元。
在图15的图像处理中,每一步的处理单元是运动图像的事实等价于将在步骤S1至步骤S5中要处理的步骤移动到下一步骤的条件为对整个运动图像执行要处理的步骤的处理的条件的事实。
另一方面,在图15的图像处理中,每一步中的处理单元是帧的事实等价于将在步骤Sl至步骤S5中要处理的步骤移动到下一步骤的条件为对整个帧执行要处理的步骤的处理的条件的事实。换句话说,每一步中的处理单元是帧的状态等价于与其它帧相互独立地(并行地)执行关于每一帧的、在步骤Sl至步骤S5中的连续处理的状态。在这种情况下,例如,当对第一帧执行在步骤S3中的处理时,可以并行地执行关于不同于上述帧的第二帧的、在步骤S2中的处理。
此外,实际上,时常发生这样的事,构成将要被处理的帧的每一个像素被顺序地设置为要被作为处理的物体(这以下称为目标像素)加以注意的像素,并且至少对目标像素顺序和单独地执行步骤S3和步骤S4中的处理。也就是说,步骤S3和步骤S4中的处理单元通常是像素。
因此,在下面的描述中,也将假设基于像素单元执行步骤S3和步骤S4中的处理。具体来说,步骤S3中的处理是成像模糊特性检测器12的处理.。步骤S4中的处理是成像模糊抑制处理器13的处理。因此,将在成像模糊特性检测器12和成像模糊抑制处理器13的处理单元为像素的假设下给出以下描述。接下来,将描述图13中的视频信号处理器4B中的成像模糊抑制处理器
13的细节。具体地说,例如,将描述在使用行进矢量(运动矢量)的绝对值作为指示成像模糊的特性的参数的情况下的成像模糊抑制处理器13的实施方式。
在以下,行进矢量(运动矢量)的绝对值将被称为行进速度,而行进矢量(运动矢量)的方向将被称为行进方向。行进方向可以是两维平面上的任何方向。自然,在两维平面上的任何方向变成行进方向的情况下,图13的4见频信号处理器4B可以类似地执行将在后面描述的各种处理。然而,在以下,为了解释起来简单,假设行进方向是横向方向。
在将行进速度用作指示成像模糊的特性的参数的情况下,例如,对于构成运动图像的每个帧,成像模糊特性检测器12将构成要处理的帧的每个像素设置为目标像素,顺序地检测目标像素中的行进矢量,并且顺序地将作为指示在目标像素中的成像模糊的特性的参数的值的行进矢量提供给成像模糊抑制处理器13。
因此,例如,对于构成运动图像的每个帧,成像模糊抑制处理器13将构成要处理的帧的每个像素设置为目标像素,并基于从成像模糊特性检测器12供给的目标像素中的行进速度,顺序地校正目标像素的像素值。
这里,将描述为什么可以将行进速度采用为指示成像模糊的特性的参数的原因。
一般可以以依赖于物体的行进速度的形式来表达成像模糊的特性。除此而外,在物体自身在真实空间中移动而摄像机固定的情况下,当由摄像机捕获物体时,物体的行进速度自然包括帧中的物体(图像)的行进速度。此外,在物体固定在真实空间中而摄像机由于手抖动等而移动的情况下,或物体和摄像机两者都在真实空间中移动的情况下,当由摄像机捕获物体时,
这里的物体的行进速度包括相对于帧中的物体(图像)的行进速度。
因此,可以以依赖于构成物体的图像的每个像素的行进速度的形式来表达成像模糊的特性。
像素的行进速度涉及要处理的帧中的像素与之前帧中的对应像素(对应点)之间的空间距离。例如,在要处理的帧中的像素与紧接的在前帧(时间上之前的一帧)中的对应像素(对应点)之间的空间距离为v个像素的情况下(v表示等于或大于O的任意整数值),像素中的行进速度是v[像素/帧]。在这种情况下,如果将构成物体的图像的每个像素中的预定一个设置为目标像素,则可以以依赖于目标像素中的行进速度V[像素/帧]的形式来表达目标像素中的成像模糊的特性。
更具体地说,例如,在图16中,在目标的行进速度为2、 3和4[像素/帧]的情况下,可以分别用曲线H2、 H3和H4来表达目标像素中的成像模糊的频率特性。
也就是说,图16示出在目标像素的行进速度为2、 3和4[像素/帧]的情况下目标像素中的成像模糊的频率特性。在图16中,水平轴示出频率,而垂直轴示出增益。然而,水平轴上的每个值示出在Nyquist频率为1的情况下的相对值。
上面已经描述了为什么可以将行进速度采用为指示成像模糊的特性的参凄t的原因。
顺便提一下,像从图16中的频率特性H2至H4所理解的那样,当在空间区域中表达目标像素中的成像模糊的特性时,其可以由运动平均滤波器(低通滤波器)来表达。
具体地说,当指示运动平均滤波器(低通滤波器)的传递函数(以下称为成像模糊的传递函数)被写成H,在频率区域中将推测不出现成像模糊的情况下的理想图像信号(以下称为无成像模糊的信号)表达为F,而在频率区域中将从摄像机输出的实际图像信号即出现成像模糊的图像信号(以下称为具有成像模糊的信号)表达为G时,具有成像模糊的信号G被表达为下述公式(3 )。
G=HxF ……(3)
本发明的目的是去除(抑制)成像模糊。为了实现该目的,根据已知的具有成像模糊的信号G以及已知的成像模糊的传递函数H预测地计算不具有成像模糊的信号F就足够了。也就是说,执行预测计算的以下公式(4)就足够了。
F=inv (H) xG ......(4)
在公式(4)中,inv (H)指示成像模糊的传递函数H的反函数。由于成像模糊的传递函数H具有如上所述的低通滤波器的特性,所以传递函数H的反函数inv(H)自然具有高通滤波器的特性。
如上所述,成像模糊的传递函数H的特性根据行进速度变化。具体地说,例如,在图16中,当目标像素中的行进速度为2、 3和4[像素/帧]时,目标像素中的成像模糊的传递函数H的频率特性分别变成如由曲线H2、 H3和H4所示的不同的特性。 .;-
从而,成像模糊抑制处理器13可以实现本发明的目的,也就是通过按照行进速度改变成像模糊的传递函数H的特性而去除(抑制)成像模糊的目的,获得其特性被改变了的传递函数H的反函数inv ( H ),并使用反函数inv ( H )执行公式(4)的计算处理。
替换地,由于公式(4)的计算是频率区域的计算,为了实现本发明的目的,成像模糊抑制处理器13可以执行等价于公式(4)的计算处理的空间.区域中的处理。具体来说,例如,成像模糊抑制处理器13可以执行下述第一至第三处理。
在第一处理中,根据从成像模糊特性检测器12供给的目标像素中的行进速度,转换表达目标像素中的成像模糊的运动平均滤波器(低通滤波器)的特性。具体来说,例如,以一对一的对应方式为多个行进速度准备运动平均滤波器。在多个运动平均滤波器中选择与目标像素中的行进速度对应的一个滤波器的处理是第 一处理的示例。
第二处理是由下述处理2-1至2-3组成的处理。
处理2-1是通过关于其特性由第一处理转换过的运动平均滤波器上执行Fourier变换来在频率下显示运动平均滤波器的处理。具体地说,例如,在目标像素的传递速度为2、 3和4[像素/帧]的情况下,获得图16中的曲线H2、H3和H4的处理为处理2-1。即,从频率区域的观点来看,获得目标像素中的成像模糊的传递函数的处理是处理2-1。
处理2-2是计算作为由处理2-l所指示的频率的运动平均滤波器的逆的处理。即,从频率区域的观点来看,产生由上述公式(4)表达的成像模糊的传递函数H的反函数kw (H)的处理是处理2-2。
处理2-3是关于由处理2-2计算出来并且作为所指示的频率的运动平均滤波器的逆执行Fourier变换的处理。即,产生与反函数inv ( H )对应的高通滤波器(Wiener滤波器等)的处理为处理2-3。换句话说,产生运动平均滤波器的逆滤波器的处理为处理2-3。在以下,由处理2-3所产生的高通滤波器将被称为逆运动平均滤波器。
第三个处理是输入与具有成像模糊的、频率范围中的、公式(4)中的信号G对应的空间区域中的图像信号g作为输入图像,以及将处理2-3所产生的逆运动平均滤波器应用在图像信号g上的处理。通过第三处理,重构(预
测地计算)与不具有成像模糊的、频率区域中的、公式(4)中的信号F对应的空间区域中的图像信号f。具体地说,例如,通过逆运动平均滤波器应用在包括要处理的帧中的目标像素的预定块上来校正目标像素的像素值的处理为第三处理。
能够执行第一至第三处理的成像模糊抑制处理器13的功能配置的实施方式已经由本发明的发明人发明,并公开在与日本专利申请号2004-234051的申请一起提交的图17中。
然而,在成像模糊抑制处理器13具有与日本专利申请号2004-234051的申请一起呈现的图17的配置的情况下,会新出现下述第一问题。即,如也.由图16中的频率特性H2至H4所示,指示成像模糊的运动平均滤波器(其频率特性)包括在其上增益成为零的频率。结果,成像模糊抑制处理器13产生运动平均滤波器的完全逆滤波器(完全逆运动平均滤波器)很困难。结果,新出现噪声增加的第 一 问题。
此外,像第三处理一样将高通滤波器(逆运动平均滤波器)应用在图像信号的处理也可以被说成使得边缘清晰(sharp )的处理。作为"使得边缘清晰,,的意义下的成像技术,在过去存在诸如LTI和清晰度之类的技术。明显,这样的常规技术可以应用到成像模糊抑制处理器13 。
然而,在将这种常规技术应用到成像模糊抑制处理器13的情况下,新出现下述第二至第五问题。
即,LTI是公开在日本待审专利申请公告号2000-324364等中的相关技术的技术。在日本待审专利申请公告号2000-324364中,通过硬开关(hardswitch)以邻近目标像素的像素的亮度(像素值)代替目标像素的亮度(像素值)来校正目标像素的亮度从而清晰化边缘的技术为LTI。因此,由于特性的缘故,LTI具有第二问题,使得对噪声的耐力低,而处理图像可能由于噪声而损坏。也存在不管在LTI之前的图像数据如何都清晰化所有边缘的第三问题。
除此而外,由于相关技术的技术被用于图像形成,所以该技术具有对在其中不出现成像模糊的静止画面也类似地执行该处理的第四问题,以及不管成像模糊量如何都统一执行该处理的第五问题。相应地,本发明的发明人已经发明了具有例如本发明的图17中所示的功
能配置的成像模糊抑制处理器13,来解决在"发明内容,,部分中所述的问题以及上述第一至第五问题。即,图17示出本发明被应用到的成像模糊抑制处理器13的功能配置的示例。
在图17的示例中,将成像模糊抑制处理器13配置成具有高频分量去除单元21、滤波器单元22和成像模糊补偿单元23。
至少在成像模糊抑制处理器13的描述中,输入到构成成像模糊抑制处理器13的每个功能块(包括诸如加法器之类的计算单元)的信号以下统称为输入信号,而不管诸如运动图像、构成运动图像的每一帧和构成每一帧的每一像素的像素值之类的输入单元。类似地,从每个功能块输出的信号以下统称为输出信号,而不管输出单元。换句话说,在输入单元和输出单元必须相互区分的情况下,将使用单元(主要是像素值)给出描述。在其他情况下,将简单地使用输入信号或输出信号给出描述。
如图17所示,内插部分45的输出信号被提供给高频分量去除单元21作为给成像模糊抑制处理器13的输入信号。成像模糊特性检测器12的输出信号被提供给滤波器单元22和成像模糊补偿单元23。高频分量去除单元21的输出信号被提供给滤波器单元22。滤波器单元22的输出信号被提供给成像模糊补偿单元23。成像模糊补偿单元23的输出信号被输出到外部,作为指示成像模糊抑制处理器13的最终处理结果的输出信号。
在下面,将依次描述高频分量去除单元21、滤波器单元22和成像模糊补偿单元23的细节。
首先,参考图18和图19,描述高频分量去除单元21的细节。
图18示出高频分量去除单元21的详细功能配置的示例。图19示出图18中的高频分量去除单元21中的后述高频限制器32的特性。
在图18的示例中,将高频分量去除单元21配置成具有高通滤波器31、高频限制器32和减法器33。
如图18所示,内插部分45的输出信号被作为给高频分量去除单元21的输入信号提供给高通滤波器31和减法器33。
高通滤波器31具有HPF (高通滤波器)的功能。因此,高通滤波器31从高频分量去除单元21的输入信号中提取高频分量,并将其提供给高频限制器32。高频限制器32具有由图19中的曲线Pl所示出的函数,将作为输入参数的、从高通滤波器31供给的高频分量赋值给该函数,并且将该函数的输出(图19的输出)提供给减法器33。即,如从图19中的曲线P1的形状中容易理解的那样,在从高通滤波器31供给的高频分量(输入)的值为预定值或大于预定值,或者预定值或小于预定值的情况下,高频限制器32限制该值。换句话说,高频限制器32具有图19中的曲线P1所示的特性。
再参考图18,减法器33计算高频分量去除单元21的输入信号与经由高频限制器32限制过的高频分量之间的差值,并将所导出的差值信号作为高频分量去除单元21的输出信号提供给滤波器单元22。
按照这样的方式,从高频分量去除单元21中的输入信号中去除诸如噪声之类的高频分量,并且将作为结果而获得的信号作为输出信号提供给滤波器单元22。
接下来,将参考图20至图22描述滤波器单元22的细节。图20示出滤波器单元22的详细功能配置的示例。图21示出在图20的':滤波器单元22中的、后面将要描述的增益控制器53的详细功能配置的示例。图22示出在图21的增益控制器53中的、后面将要描述的调节量确定单元64的特性。
在图20的示例中,滤波器单元22包括运动平均滤波器51至加法器54。如图20所示,将高频分量去除单元21的输出信号作为滤波器单元22的输入信号提供给运动平均滤波器51、减法器52和加法器54中的每一个。"此外,将成像模糊特性检测器12的输出信号提供给运动平均滤波器51和增益控制器53中的每一个。
运动平均滤波器51将运动平均滤波应用到滤波器单元22的输入信号。更具体地说,运动平均滤波器51将运动平均滤波器应用在包括滤波器单元22的输入信号中要被处理的帧中的目标像素的预定块的每个像素值上,从而校正目标像素的像素值。此时,运动平均滤波器51根据成像模糊特性检测器12的输出信号中目标像素的行进速度来转换运动平均滤波器的特性。具体地说,例如,在目标像素的行进速度为2、 3和4[像素/帧]的情况下,考虑频率区域,运动平均滤波器51将运动平均滤波器的特性转换成在图16中分别由曲线H2、 H3和H4所示的特性。经由运动平均滤波器51校正过的目标像素的像素值被提供给减法器52。此时,运动平均滤波器51也可以根据成像模糊特性检测器12的输出信 号中目标像素的行进速度,改变用在应用运动平均滤波器在目标像素上的情 况下使用的抽头(目标像素和邻近目标像素的预定像素)的数量。具体地说, 例如,运动平均滤波器51应该改变抽头的数量以便随着行进速度增加而增加
(即,以便随着行进速度增加而增加要平均的宽度)。成像模糊补偿单元23
利用使用根据行进速度的数量的抽头的运动平均滤波器的结果,从而使得能 够进行更高精度的校正,即,要执行的、能够更多地抑制成像模糊的校正。
减法器52获得滤波器单元22的输入信号中的目标像素的校正之前的像 素值与由运动平均滤波器51校正过的目标像素的像素值之间的差值,并将该 差值提供给增益控制器53。以下将减法器52的输出信号称为运动平均滤波 器之前与之后信号之间的差值。
增益控制器53调节运动平均滤波器之前与之后信号之间的差值,并将运 动平均滤波器之前与之后信号之间的经过调节的差值作为输出信号提供给加 法器54。后面将参考图21描述增益控制器53的细节。
加法器54将滤波器单元22的输入信号与增益控制器53的输出信号相 加,并将相加信号作为输出信号提供给成像模糊补偿单元23。具体地说,当 关注目标像素时,加法器54将目标像素的运动平均滤波器之前与之后信号之 间的经调节的差值的值作为校正量加到校正之前的目标像素的像素值,并且 将相加值作为经校正目标像素的像素值提供给处于外部的成像模糊补偿单元 23。
考虑到频率区域来按照如下方式执行如上所述的滤波器单元22中的空 间区域中的处理。
也就是说,在在频率区域中考虑作为减法器52的输出信号的、运动平均 滤波器之前与之后信号之间的差值的情况下,当关注预定频率时,减法器52 的输出信号的增益变成如下。具体来说,在所注意的频率处,滤波器单元22 的输入信号的增益与通过运动平均滤波器的输入信号的增益之间差分增益变 成减法器52的输出信号的增益。以下将减法器52的输出信号的增益称为运 动平均滤波器之前与之后的增益之间的差分增益。
此外,通过增益控制器53调节运动平均滤波器之前与之后的增益之间的 差分增益。后面将描述增益调节。
因此,在在频率区域中考虑图20的示例中的滤波器单元22 (加法器54)的输出信号的情况下,当关注预定频率时,输出信号的增益为通过将输入信 号的增益与增益调节之后运动平均滤波器之前与之后的增益之间的差分增益 相加而获得相加增益。即,在每个频率处,输出信号的增益高出输入信号的 增益仅仅增益调节之后运动平均滤波器之前与之后的信号的差分增益的量。
换句话说,滤波器单元22作为整体来执行基本上等效于应用高通滤波器 的处理的处理。
参考图21,描述增益控制器53的细节。
在图21的示例中,增益控制器53具有延迟单元61-1至61-n(以下称为 对应于图21的DL单元61-1至61-n)、 MAX/MIN计算器62、减法器63、调 节量确定单元64和乘法器65。 .
如图21所示,将作为减法器52的输出信号的运动平均滤波器之前与之 后的信号之间的差值作为给增益控制器53的输入信号提供给DL单元61-I。 成像模糊特性检测器12的输出信号被提供给MAX/MIN计算器62。
利用这样的配置,增益控制器53可以抑制信号电平高的地方出现的振铃 信号(ringing )。
下面将描述增益控制器53的详细功能配置(每个功能块的连接模式)及 其操作。
依次连接DL单元61-1至61-n。当将在前DL单元的输出信号作为输入 信号提供给DL单元时,DL单元将输入信号延迟预定延迟时间,并将作为输 出信号的产生信号提供给在后DL单元。还将DL单元61-1至61-n的每个输 出信号提供给MAX/MIN计算器62。此外,还将DL单元61- (n/2)的输出 提供给乘法器65。
在从右向左的像素排列顺序下,将在作为增益控制器53的输入信号的—运 动平均滤波器之前与之后的信号之间的差值中、与使用目标像素作为中心连 续排列在行进方向(在这种情况下,横向方向)上的n个像素对应的值(以 下称为邻近像素的差分值)顺序输入到DL单元61-1。因此,在从那以后过 去n倍于延迟时间的时间之后,从DL单元61 -1至61 -n的每一个中逐一输出 使用目标像素作为中心在才黄向上连续排列的n个像素中的相邻像素之间的一: 个差分值,并提供给MAX/MIN计算器62。此外,从DL单元61- (n/2)输 出目标值的相邻像素之间的差分值,并将该差分值如上所述那样提供给 MAX/MIN计算器62,并且还提供给乘法器65。除此而外,虽然不特别限定,但在这种情况下DL单元61-1至61-n的数 量n是行进速度的最高值[像素/帧]。还假设从成像模糊特性检测器12供给的 目标像素中的行进速度为v[像素/帧]。然而,v是0或大于0的任意整数。
MAX/MIN计算器62确定包括作为中心的目标像素并且包括在与行进速 度对应的量的v个像素中的相邻像素的差分值的范围,作为计算范围。 MAX/MIN计算器62从来自DL单元61-1至61-n供给的相邻的n个差分值 中的、包括在计算范围中的相邻像素的v个差分值,获得最大值MAX和'最 小值MIN,并将它们提供给减法器63。
除此而外,包括作为中心的目标像素并且包括在与行进速度对应的量的 v个像素中的相邻像素的差分值的范围因为后面的原因而被设置为计算范围。 即,振铃信号仅仅依靠高通滤波器的抽头的数量(换句话说,仅仅^泉靠与行 进速度对应的量)发挥影响。
减法器63获得从MAX/MIN计算器62供给的最大值MAX和最小值MIN 之间的差,并将差分值(=MAX-MIN)提供给调节量确定单元64。
知道差分值(=MAX - MIN )变得越大,则目标像素周围的振铃信号变得 越大。也就是说,差分值(=MAX - MIN )为作为目标像素周围的振铃信号的 量值的指标的值。
然后,调节量确定单元64基于减法器63供给的差分值(=MAX-MIN) 确定关于邻近目标像素的像素的差分值的调节量,并将其提供给乘法器65 。
具体地说,例如,调节量确定单元64保持图22中的曲线P2所指示的函 数,将作为输入参数的、从减法器63提供给差分值(二MAX - MIN )赋值给 该函数,并且将作为关于邻近目标像素的像素的差分值的调节量的、函数的 输出(图22的输出)提供给乘法器65。也就是说,如从图22中的曲线P2 的形状容易理解的那样,在从减法器63供给的差分值(=MAX-MIN)超过 预定值之后,调节量(输出)降低以便抑制振铃信号的出现。换句话说,调' 节量确定单元64具有由图22中的曲线P2所示出的特性。
再参考图21,乘法器65将从DL单元61- (n/2)供给的邻近目标像素的 像素的差分值与调节量确定单元64供给的调节量(在图22的示例中,为在 0至1的范围中的值)相乘,并将产生的值提供为邻近目标像素的经调节信 号之间的差分值。即,被调节的相邻像素之间的差分值被作为增益控制器53 的输出信号顺序提供给加法器54。
34如上所述,当作为减法器63的输出信号的差分值(=MAX-MIN)超过 预定值时,随着差分值(=MAX-MIN)增加,调节量(输出)也逐渐从1 向0下降。因此,在作为减法器63的输出信号的差分值(-MAX-MIN)等 于或大于预定值时,将把小于l的调节量乘到邻近目标像素的像素的差分量 上。因此,调节了邻近目标像素的像素的差值以便被降低。结果,抑制了目 标像素周围的振铃信号。
考虑到频率区域,作为结果,可以说如上所述的增益控制器53中的空间 区域中的处理为调节运动平均滤波器之前和之后的增益之间的差分增益以使 抑制振铃信号的处理。
接下来,将参考图23至图31描述成^象模糊补偿单元23的细节。
图23示出成像模糊补偿单元23的详细功能配置的示例。
在图23的示例中,将成像模糊补偿单元23配置成具有ALTI单元81、 减法器82、增益控制器83和加法器84。
如图23所示,将滤波器单元22的输出信号作为成像模糊补偿单元23的 输入信号输入到ALTI单元81、减法器82和加法器84。将成像模糊特性检测 器12的输出信号提供给ALTI单元81和增益控制器83。
注意成像模糊补偿单元23的输入信号中的目标像素的像素值,以下将描 述ALTI单元81至加法器84中的每一个。
如上所述,处于被提供给成像模糊补偿单元23时的阶段的目标像素的像 素值通常不同于处于被输入到图17中的成像模糊抑制处理器13时的阶段的 目标像素的像素值,因为前者已经由高频分量去除单元21和滤波器单元22 校正。此外,如后所述,目标像素的像素值还在成像;漠糊补偿单元23中被适 当地校正。然后,为了避免混淆,在成像模糊补偿单元23的解释期间,处于 被输入每个功能块时的阶段的每个像素值将被称为输入像素值,而处于从每 个功能块输出时的阶段的像素值将被称为输出像素值。此外,存在这样的情 况,关于相同像素,从多个在前功能块输入多个不同像素值到某功能块。在 这种情况下,更接近原始的像素值(主要是校正之前的像素值)将被称为输 入像素值,而其他像素值将被称为在后功能块的输出像素值。例如,虽然后 面将描述细节,但不同值将被作为目标像素的像素值,从ALTI单元81和外 部滤波器单元22提供给减法器82。因此,从外部滤波器单元22供给的像素 值将被称为输入像素值,而从ALTI单元81供给的像素值将被称为ALTI单元81的输出像素值。
ALTI单元81根据从成像模糊特性检测器12供给的目标像素的行进速度 确定校正量,将该校正量加到目标像素的输入像素值,并将所加出的值作为 目标像素的输出像素值提供给减法器82。后面将参考图24描述ALTI单元81 的更多细节。
减法器82计算ALTI单元81的目标像素的输出像素值与目标像素的输入 像素值之间的差,并将该差值(以下称为目标像素差分值)提供给增益控制 器83。
增益控制器83根据从成像模糊特性检测器12供给的目标像素中的行进 速度调节从减法器82供给的目标像素差分值,并将经调整的目标像素差分值 作为关于目标像素的最终校正量提供给加法器84。
加法器84将来自增益控制器83的最终校正量加到目标像素的输入像素 值上,并将加出的值作为目标像素的输出像素值输出到外部。即,将加法器 84的目标像素的输出像素值作为最终由成像模糊补偿单元23校正了的目标 像素的像素相加值输出到外部。
下面将依次描述成像模糊补偿单元23中的ALTI单元81和增益控制器 83中的每一个的细节。
首先,将参考图24至29描述ALTI单元81的细节。
图24示出ALTI单元81的详细功能配置的示例。
在图24的示例中,将ALTI单元81配置成具有延迟单元91-1至91-n(以 下称为DL单元91-1至91-n,如图24所示)、平均值计算器92至94、校正 量确定单元95和加法器96。 ''
下面将描述ALTI单元81的详细功能配置(每个功能块的连接模式)及 其操作。
依次连接DL单元91-1至91-n。 DL单元91-1至91-n中的每一个将从在 前DL单元输出的每一个像素值仅仅延迟预定延迟时间,并将产生的信号输 出到在后DL单元。将从DL单元91-1至91- ( n/2-l )输出的每个像素值提供 给平均值计算器93。将从DL单元91- (n/2-l )、 91- ( n/2 )和91- ( n/2+l ) 输出的像素值提供给平均值计算器92。将从DL单元91- (n/2+l)至91-n输 出的像素值提供给平均值计算器94。将从DL单元91- (n/2)输出的像素值 提供给校正量确定单元95和加法器96。在从右向左的像素排列顺序下,将使用目标像素作为中心连续排列在^
进方向(在这种情况下为横向方向)上的n个像素的每一个像素值顺序输入 到DL单元91-1。因此,在从那以后几乎过去n倍于延迟时间的时间之后, 从DL单元91-1至91-n的每一个中逐一输出使用目标像素作为中心在横向上 连续排列的n个像素的每一个的像素值。
除此而外,将在处于它们从DL单元91-1至91-n的每一个中时的阶段的 像素值中的每一个是给ALTI单元81的输入像素值的假设下,给出描述。
具体地说,从DL单元91- ( n/2 )输出目标像素的输入像素值N。从DL 单元91-1至91-(n/2-l )中的每一个中输出连续排列在目标像素的左边的n/2-l 个像素中的每一个的输入像素值。另一方面,从DL单元91-(n/2+l )至91-n 中的每一个中输出连续排列在目标像素的右边的n/2-1个像素中的每一个的 输入像素值。
除此而外,虽然不特别限定,但在这情况下DL单元91-1至91-n的数量 n是行进速度的最高值[像素/帧]。也以类似于上述示例的方式假设从成像^t糊 特性检测器12供给的目标像素中的行进速度为v[像素/帧]。
因此,向平均值计算器92输入目标像素的输入像素值N、目标像素左边 的像素的输入像素值和目标像素右边的像素的输入像素值。然后,平均值计 算器92计算目标像素的输入像素值N、目标像素左边的像素的输入像素值和 目标像素右边的像素的输入像素值的平均值Na(以下称为目标像素的平均像 素值Na),并将该平均值Na提供给校正量确定单元95。
如后面将要详细描述那样,校正量确定单元95确定的目标像素的校正量 ADD被调节预定调节量c。调节量c不是固定值,而是由预定处理(在下文 中称为调节量确定处理)确定的可变值。在该实施方式中,在调节量确定处 理中,由于下述原因而使用目标像素的平均像素值Na。在这种情况下,虽然 可以原样地在调节量确定处理中使用目标像素的输入像素值N,但如果在目 标像素中包括噪声,则可能破坏要处理的图像。即,该原因是防止要处理的 图像的破损。
向平均值计算器93提供连续排列在目标像素的左边的n/2-l个像素的输 入像素值。然后,平均值计算器93在目标像素的左边的像素的左方向上依次 选择约为行进速度的 一半的k个像素(其中k约为v/2 ),并确定包括所选择 的k个像素的输入像素值的范围作为计算范围。然后,平均值计算器93计算在所供给的n/2-l个输入像素值中包含在计算范围中的k输入像素值的平均值 La (以下称为左像素的平均像素值La),并将其提供给校正量确定单元95。
另 一方面,向平均值计算器94提供连续排列在目标像素的右边的n/2-1 个像素的输入像素值。然后,平均值计算器94在目标像素的右边的像素的右 方向上依次选择k个像素,并确定包括所选择的k个像素的输入像素值的范 围作为计算范围。然后,平均值计算器94计算在所供给的n/2-l个输入像素 值中包含在计算范围中的k输入像素值的平均值Ra (以下称为右像素的平均 像素值Ra),并将其提供给校正量确定单元95。 '
如后面将要详细描述那样,左像素的平均像素值La和右像素的平均像素 值Ra用于调节量确定处理和确定校正量的候选对象的处理(以下称为候选对 象确定处理)。
也就是说,在公开在日本待审专利申请公告第2000-324364号中的相关 技术的LTI中,在左方向上远离目标像素仅仅预定距离的一个像素(以下浙 为左像素)的输入像素值与目标像素的输入像素值之间的差分值被确定为校 正量的第一候选对象。此外,在右方向上远离目标像素仅仅预定距离的一个 像素(以下称为右像素)的输入像素值与目标像素的输入像素值之间的差分 值被确定为校正量的第二候选对象。然后,将第一和第二候选对象之一原样 地确定为校正量,而不用进行调节。结果,相关技术的LTI具有一个问题, 使得如果在左像素或右像素的输入像素值中包括噪声,则可能不能恰当地确 定校正量(两个候选对象)。
因此,为了解决这个问题,即,为了恰当地确定校正量的候选对象,在 该实施方式的候选对象确定处理中,不是简单地使用诸如左像素或右像素之 类的一个像素的输入像素值,而是使用左像素的平均像素值La和右像素的平
均像素值Ra。
然而,存在这样的情况,即包含在计算范围中的每个输入像素值的变化 方向不是恒定不变的,也就是说,增加然后减少,或减少然后增加。换句话 说,存在这样的情况下,即连接指示包含在计算范围中的每个输入像素值的 点(后面将描述的图25的点131至134等)的线的梯度的极性(polarity of gradient)在使用水平方向上的像素位置作为水平轴并使用像素值作为垂直轴 的平面(例如,后面将描述的图25的平面)上被反转。在这样的情况下,出 现新问题,使得即使包含在计算范围中的输入像素值的简单平均值被采用为
38左像素的平均像素值La或右像素的平均像素值Ra,也可能不能恰当地确定 校正量(候选对象)。
因此,为了解决该新问题,在该实施方式中,平均值计算器93和94郭 通过使用由极性反转之前的第二点指示的输入像素值a计算下述公式(5 )的 右边,将包含在计算范围中的输入像素值中由极性反转之后的第一点指示的 输入像素值(3更新到输入像素值y。平均值计算器93和94都将第一点所指示 的像素的输入像素值看作更新后的像素值y,并计算左像素的平均像素值La 或右像素的平均像素值Ra。
戸-Hxf(H) ......(5)
在公式(5)中,如图25所示,H表示极性反转之前的第二点(图中的 点133)的像素值a与极性反转之后的第一点(图中的点134)的像素值(3之 间的差分值(=a-(3)。
即,图25示出包括目标像素131连续排列在水平方向上的12个像素的 像素值的示例。在图25中,水平轴指示"水平方向上的像素位置",而垂直轴 指示"像素值"。在图25的示例中,平均值计算器94的计算范围,即右像素' 的平均像素值Ra的计算范围,是包括指示目标像素的点131的右边的三个点 132至134所指示的像素值a、 a和卩的范围D。
从图25的示例,可以理解确定从点133到点134的梯度的极性。具体来 说,点134是极性反转之后的第一点,而点133是极性确定之前的第二点。 因此,在图25的示例中,平均值计算器94通过向公式(5)的右边赋值并计 算在点133所指示的输入像素值a与输入像素值a和点134所指示的输入像 素值卩之间的差分值H ( =a-(3 ),将点134所指示的输入像素值从像素值(3改
变到像素值y。然后,平均值计算器94使用被更新了的像素值y作为计算范 围D中的点134所指示的像素的输入像素值,并原样地使用原始像素值a作 为其他点132和133的每一个输入像素值,计算右像素的平均像素值Ra。即, 计算Ra^ ( a+a+y ) /3。
在该实施方式中,在公式(5)的右边的计算中,具有像图26的线141 一样的特性的函数被用作函数f ( H )。
如图26所示,在极性反转之前的像素值a与极性反转之后的像素值(3之 间的差分值H等于值H2或更大的情况下,函数f(H)的输出是零。除此而 外,当差分值H大时,其意味着极性反转之后的梯度陡。因此,在极性反转之后的梯度陡到一定程度以上的情况下,即,在差分值H是值H2或更大的
情况下,由公式(5)更新过的像素值Y变成像素值ou即,如图25所示, 在极性反转之后的梯度陡到一定程度以上的情况下,使用像素值a代替像素 值卩作为极性反转之后的点134所指示的像素的输入像素值,计算计算范围 D中的右像素的平均像素值Ra。即,计算Ra- U+a+a) /3=01并将右像素'的 平均像素值Ra确定为像素值a。
另一方面,如图26所示,在极性反转之前的像素值a与极性反转之后的 像素值(3之间的差分值H等于值H1或更小的情况下,函凄tf (H)的输出变 成l。除此而外,当差分值H小时,其意味着极性反转之后的梯度平緩。因 此,在极性反转之后的梯度平緩到一定程度以上的情况下,即,在差分值H 是值H1或更小的情况下,由公式(5)更新过的像素值Y保持为像素值P。 即,在极性反转之后的梯度平緩到一定程度以上的情况下,虽然未示出,但 原样地使用像素值P作为极性反转之后的点134所指示的输入像素值,来计 算计算范围D中的右像素的平均像素值Ra。即,计算Ra二 ( a+a+p ) /3并将 右像素的平均像素值Ra确定为像素值((a+a+卩)/3}。
除此而外,由于下述原因,当极性反转之后的梯度平缓到一定程度之上 时,原样地使用原始像素值P,而不用更新极性反转之后的点134所指示的 像素值。即,在极性反转之后的梯度平緩到一定程度之上的情况下,由于下 述原因,噪声引起的极性反转的可能性高。通过获得平均而不用更新输入像 素值,可以获得没有噪声情况下右像素的适当平均像素值Ra。
以上已经使用图25的具体示例描述了计算右像素的平均像素值Ra的情 况。在其他情况下,例如,在计算左像素的平均像素值La的情况下,也类似 地通过公式(5),将极性反转之后的点所指示的像素的输入像素值从像素值 卩更新到像素值丫。
再参考图24,在上述示例中,用于在上述平均值计算器92至94中的每 一个中计算平均值的情况的抽头的数量(像素值的数量)是固定的。然而, 它可以根据成像模糊特性检测器12的输出信号中的目标像素中的行进速度 而变化。具体地说,例如,它可以变化,以随行进速度增加而增加抽头的数 量(即,增加平均的宽度)。使用根据如上所述的行进速度的数量的抽头的平 均值计算器92至94的结果可以被后面将描述的校正量确定单元95使用,从 而使得能够确定用于执行更高精度的校正,即能够进一步抑制成像模糊的校正的校正量。
校正量确定单元95利用来自DL单元91- (n/2)的目标像素的输入像素 值N、来自平均值计算器92的目标像素的平均像素值Na、来自平均值计算 器93的左像素的平均像素值La以及来自平均值计算器94的右像素的平均像 素值Ra,确定校正量ADD,并将其提供给加法器96。
这里,加法器96将来自校正量确定单元95的校正量ADD加到来自DL 单元91- ( n/2 )的目标像素的输入像素值N,并将相加结果作为目标像素的 输出像素值,即目标像素的经校正像素值,提供给处于ALTI单元81的外部 的减法器82。
在解释校正量确定单元95的详细功能配置的示例之前,将参考图27的 流程图描述ALTI单元81的处理。
在步骤S21, ALTI单元81设置目标像素。
在步骤S22, ALTI单元81的DL单元91-1至91-n获得作为中心的目标 像素的输入像素值N附近的n片(piece )相邻输入像素值。
在步骤S23,如上所述,ALTI单元81的平均值计算器92计算目标像素 的平均像素值Na,并将其提供给校正量确定单元95。
在步骤S24,如上所述,ALTI单元81中的平均值计算器93计算左像素 的平均像素值La,并将其提供给校正量确定单元95。 '
在步骤S25,如上所述,ALTI单元81中的平均值计算器94计算右像素 的平均像素值Ra,并将其提供给校正量确定单元95。
除此而外,从图24明显看出,平均值计算器92至94中的每一个相互独 立地执行该处理。因此,步骤S23至步骤S25中的处理的顺序不限于图27 中的示例,而可以是任何顺序。即,实际上,步骤S23至步骤S25中的处理 被并行和相互独立地执行。
在步骤S26, ALTI单元81中的校正量确定单元95利用来自DL单元91-(n/2 )的目标像素的输入像素值N、来自平均值计算器93的左像素的平均 像素值La以及来自平均值计算器94的右像素的平均像素值Ra,确定校正量 的两个候选对象ADDL和ADDR。即,步骤S26的处理为上述候选对象确定 处理。校正量的两个候选对象ADDL和ADDR是来自后面将描述的减法器 101和102的相应输出信号。除此而外,后面将描述步骤26中的候选对象确 定处理的细节以及才交正量的候选对象ADDL和ADDR。
41在步骤S27,校正量确定单元95利用来自平均值计算器92的目标像素 的平均像素值Na、来自平均值计算器93的左像素的平均像素值La以及来自 平均值计算器94的右像素的平均像素值Ra,确定调节量c。即,在步骤S27 中的处理是上述调节量确定处理。调节量c表示后面将描述的调节量值计算 器109的输出信号。后面将描述步骤S27中的调节量确定处理以及调节量c。
除此而外,如后面将描述的那样,实际上,步骤S26和步骤S27中的处 理被并行和相互独立地执行。即,步骤S26和步骤S27中的处理的顺序不限 于图27中的示例,而可以是任何顺序。
在步骤S28,校正量确定单元95利用调节量c调节候选对象ADDL和 ADDR的每一个值。在以下,将步骤S28中的处理称为调节处理。后面将描 述该调节处理的细节。
在步骤S29,校正量确定单元95根据预定判别条件确定(选择)用调节 量c调节了其值的候选对象ADDL和ADDR中的预定一个作为校正量ADD, 并将其提供给加法器96。在以下,将步骤S29中的处理称为校正量选择处理。 后面将描述该校正量选择处理的细节(包括判别条件)。
在步骤S30, ALTI单元81中的加法器96将校正量ADD加到目标像素 的输入像素值N,并将产生的相加值作为目标像素的输出像素值输出到在外 部的减法器82。
在步骤S31, ALTI单元81确定是否已经对所有像素完成了该处理。
在在步骤S31中确定还没有对所有像素完成该处理的情况下,该处理返 回到步骤S21,并重复以下处理。具体来说,将另一像素设置成目标像素, 将校正量ADD加到目标像素的输入像素值N,并将产生的相加值作为目标像 素的输出像素值输出到在外部的减法器82。自然,在像素之间输入像素值N 和校正量ADD时常都变化。
在将所有像素设置为目标像素并像如上那样对每一个所设置的目标像素 重复执行步骤S21至步骤S31中的循环处理之后,在步骤S31中确定对所有 像素的处理被完成,并且完成ALTI单元81的处理。
除此而外,由于ALTI单元81是图13中的成像模糊抑制处理器13的组 件,所以将图27中的ALTI单元81的处理作为图15中的步骤S4的处理的 一部分来执行。
如上所述,校正量确定单元95执行步骤S26至步骤S29中的处理。在以下,再参考图24,在描述校正量确定单元95的详细功能配置的示例的同时, 也将描述步骤S26至步骤S29中的处理的细节。
如图24所示,校正量确定单元95配备有减法器101和102,以便执行 图27中的步骤S26中的上述候选对象确定处理。换句话说,由减法器101和 102构成的候选对象确定单元121执行步骤S26中的候选对象确定处理。
减法器101计算来自平均值计算器93的左像素的平均像素值La以及来 自DL单元9" (n/2)的目标像素的输入像素值N之间的差分值(=La-N), 并将该差分值作为校正量的候选对象ADDL提供给乘法器110 。
除此而外,如后面所述的那样,在校正量的候选对象ADDL被确定为校 正量ADD而不用进行调节(与调节量el相乘)的情况下,加法器96将才1 正量ADD ( =La-N )加到目标像素的输入像素值N,并将产生的相加值(=La) 输出到外部。即,在原样地将校正量的候选对象ADDL (=La-N)用作校正量 ADD的情况下,目标像素的像素值被从原始像素值N校正(替换)为左像素 的平均像素值La。
减法器102计算来自平均值计算器94的右像素的平均像素值Ra以及来 自DL单元91- (n/2)的目标像素的输入像素值N之间的差分值(=Ra-N), 并将该差分值作为校正量的候选对象ADDR提供给乘法器111 。
除此而外,如后面所述的那样,在校正量的候选对象ADDR被确定为校 正量ADD而不用进行调节(与调节量c4相乘)的情况下,加法器96将校 正量ADD ( =Ra-N)加到目标像素的输入像素值N,并将产生的相加值(=Ra) 输出到外部。即,在原样地将校正量的候选对象ADDR (=Ra-N)用作校JE' 量ADD的情况下,目标像素的像素值被从原始像素值N校正(替换)为右 像素的平均像素值Ra。
除此而外,如图24所示,校正量确定单元95配备有从减法器103到调 节量值计算器109的组件以便执行在图27中的步骤S27中的调节量确定处 理。换句话说,由减法器103到调节量值计算器109构成的调节量确定单元 122执行步骤S27中的调节量确定处理。 '-
减法器103计算在来自平均值计算器92的目标像素的平均像素值Na与 来自平均值计算器93的左像素的平均像素值La之间的差分值(=Na-La)并 将该差分值提供给加法器105。
减法器104计算在来自平均值计算器92的目标像素的平均像素值Na与来自平均值计算器94的右像素的平均像素值Ra之间的差分值(-Na-Ra)并 将该差分值提供给加法器105。
加法器105计算减法器103和104的输出信号的总和,并将计算结果输 出到ABS单元106。
ABS单元106计算加法器105的输出信号的绝对值b,并将绝对值b提 供给除法器108。
换句话说,在使用像素值作为垂直轴并使用水平方向上的像素位置作为 水平轴的平面上,在顺序连接指示左像素的平均像素值La的第一点、指示目 标像素的平均像素值Na的第二点和指示右像素的平均像素值Ra的第三点的 线上的第二点上的二次微分值通过减法器103和104以及加法器105进行计 算。通过ABS单元106计算该二次微分值的绝对值b,并将其提供给除法器 108。因此,下面将从ABS单元106输出的绝对值b称为二次微分绝对值b。
在该平面上,连接指示左像素的平均像素值La的第一点和指示右像素的 平均像素值Ra的第三点的直线用作边界线的情况下,二次微分绝对值b为指 示目标像素的平均像素值Na的第二点在垂直轴方向上离边界线的距离的值。
结果,校正量确定单元95根据二次微分绝对值b的量值来调节校正量的 候选对象ADDL和ADDR的每一个值,并确定经调节后的候选对象ADDL 和ADDR之一作为校正量ADD。即,加法器96将目标像素的输入像素值N 与根据二次微分绝对值b的量值调节过的校正量ADD之间的相加值输出作为 目标像素的输出像素值。结果,可以使得加法器96的输出信号(要处理的帧) 中的边缘部分平緩。
然而,即使二次微分绝对值b相同,当左像素的平均像素值La和右像素 的平均像素值Ra之间的差的绝对值h,即上述平面上的垂直轴方向中的第一 和第三点之间的距离h (以下称为高h)变化时,二次微分绝对值b的含义也 变化。具体地说,即使二次微分绝对值b相同,在量值比高h小得多的情况 下,换句话说,在通过将二次微分绝对值b除以高h获得的商值(=b/h)小 的情况下,也可以确定在目标像素周围出现噪声的可能性高。另一方面,即 使二次微分绝对值b相同,在与高h相比量值不是小的情况下,换句话说, 在商值(=b/h)具有一定量值以上的情况下,也可以确定在目标像素周围出 现噪声的可能性低。
因此,如果根据二次微分绝对值b的量值简单地调节候选对象ADDL和ADDR的值,则目标像素的输入像素值N的^^正量ADD变成相同值,而不 管是否出现噪声。出现新问题,使得可能不能恰当地校正目标像素的输入像 素值N。
然后,为了解决该新问题,该实施方式的校正量确定单元95的调节量确 定单元122配备有从减法器103至ABS单元106的组件,除此而外还有差绝 对值计算器107、除法器(b/h计算器)108以及调节量值计算器109。
差绝对值计算器107计算来自平均值计算器93的左像素的平均像素值 La与来自平均值计算器94的右像素的平均像素值Ra之间的差值,还计算该 差值的绝对值h ( h=|La-Na| ),即高h,并将高h提供给除法器108。
除法器108将来自ABS单元106的二次微分绝对值b除以来自差绝对值 计算器107的高h,并将商值(=b/h)提供给调节量值计算器109。即,商值 (=b/h )可以被说成是通过以高h规范化二次微分绝对值b所获得的值。因 此,将商值(=b/h)称为规范化二次微分绝对值(=b/h)。 '
调节量值计算器109基于来自除法器108的规范化二次微分值(=b/h )、 关于候选对象ADDL和ADDR计算调节量c,并将其提供给乘法器110和111 。
具体地说,例如,调节量值计算器109拥有(hold)由图28中的曲线151 表达的特性的函数,将来自除法器108的规范化二次微分值(=b/h)作为输 入参数赋值给该函数,并将该函数的输出(图28的输出)作为调节量c提供 给乘法器110和111。
即,如容易从图28的曲线151的形状理解的那样,当规范化二次微分值 (=b/h)小于预定值bl时,噪声的可能性高,并且调节量c (输出)变成零。 在这种情况下,如后面将描述的那样,通过将候选对象ADDL和ADDR乘以 作为调节量c的零来调节候选对象ADDL和ADDR,使得候选对象ADDL和 ADDR都变成了零。因此,校正量ADD也变成零,并且不校正目标像素的 输入像素值N。
此外,当规范化二次微分值(=b/h)超过预定值bl并且增加时,调节量 c(输出)也逐渐增加。在这种情况下,如后面将描述的那样,通过将候选对 象ADDL和ADDR都乘以小于1的调节量c来调节候选对象ADDL和ADDR, 使得候选对象ADDL和ADDR都变成小于原始值。因此,校正量ADD变成 小于原始值的候选对象ADDL和ADDR之一。目标像素的经;f交正像素值变成 大于左像素的平均像素值La或小于右像素的平均像素值Ra。
45此外,当规范化二次微分值(-b/h)变成预定值b2或者在那以后更大时, 调节量C(输出)变成1。在这种情况下,如后面将描述的那样,通过将候选
对象ADDL和ADDR都乘以作为调节量c的1来调节候选对象ADDL和 ADDR,使得候选对象ADDL和ADDR都保持原始值(即,不调节)。因此, 校正量ADD变成保持为原始值的候选对象ADDL和ADDR之一。如上所述, 目标像素的经校正像素值变成左像素的平均像素值La或右像素的平均像素 值Ra。
如上所述,在本实施方式中,使用规范化二次微分值(=b/h)作为参数 输入到的、由图28中的线151表达的特性的函数来确定调节量c。因此,通 过用调节量c来调节校正量ADD (为了精确起见,通过调节校正量的候选对 象ADDL和ADDR),可以使得加法器96的输出信号(要处理的帧)中的边 缘部分变平缓。具体地说,在相关技术的LTI中,通过硬开关的切换(像素 值的简单替换)来校正目标像素的像素值。结果存在这样的问题,即输出信 号中的边缘部分可能不能被变平緩。然而,通过采用该实施方式的ALTI单元 81,可以解决该问题。
将再次参考图24来继续校正量确定单元95的详细描述。具体来说,校 正量确定单元95配备有乘法器110和111以便执行图27中的步骤S28中的 调节处理。换句话说,由乘法器110和111构成的调节单元123执行步骤S28 中的调节处理。
乘法器110将来自减法器101的候选对象ADDL乘以来自调节量值计算 器109的调节量c,并将产生的乘积值作为经调节的候选对象ADDL提供给 判别器113。
乘法器111将来自减法器102的候选对象ADDR乘以来自调节量值计算 器109的调节量c,并将产生的乘积值作为经调节的候选对象ADDR提供给 判别器113。
除此而外,校正量确定单元95还配备有固定值产生器112和判别器113, 以便执行图27中的步骤S29中的校正量选择处理。换句话说,由固定值产生 器112和判别器113构成的校正量选择单元124执行步骤S29中的校正量选 择处理。
在该实施方式中,如图24所示,固定值产生器112通常产生"0",并将 其提供给判别器113。将减法器103和104、加法器105、乘法器110和111以及固定值产生器 112的输出信号提供给判别器113。判别器113使用减法器103和104以及加 法器105的输出信号,基于预定选择条件,选择(确定)来自固定值产生器 112的"0"、来自乘法器110的经校正的候选对象ADDL和来自乘法器111的 经校正的候选对象ADDR中的预定一个作为校正量ADD,并将其提供给加 法器96。
具体地说,例如,在使用像素值作为垂直轴并且使用水平方向上的像素 位置作为水平轴的上述平面中,连接指示左像素的平均像素值La的第一点和 指示右像素的平均像素值Ra的第三点的直线被设置为边界线。在边界线的改 变方向是朝上方向并且指示目标像素的平均像素值Na的第二点处于边界线 上边的情况下,该实施方式的选择条件被指定为将经校正的候选对象ADDR 选择为校正量ADD。相反,在边界线的改变方向是朝上方向并且第二点处于 边界线下边的情况下,该实施方式的选择条件被指定为将经校正的候选对象 ADDL选择为校正量ADD。
在这种情况下,判别器113可以基于减法器103和104以及加法器105 的输出信号,辨识边界线的改变方向和边界线与第二点之间的位置关系。"
然后,例如,在判别器113基于减法器103和104以及加法器105的输 出信号,辨识出边界线的改变方向是朝上方向并且第二点处于边界线上边的 情况下,判别器H3选择(确定)来自乘法器111的经校正的候选对象ADDR 作为校正量ADD,并将其提供给加法器96。
另一方面,例如,在判别器113基于减法器i03和104以及加法器105 的输出信号,辨识出边界线的改变方向是朝上方向并且第二点处于边界线下 边的情况下,判别器113选择(确定)来自乘法器IIO的经校正的候选对象 ADDL作为校正量ADD,并将其提供给加法器96。
还假设在例如目标像素位于非边缘部分的位置的情况下,0作为校正量 ADD的选择被指定为该实施方式的选择条件。在这种情况下,例如,当判別 器113辨识出减法器103和104以及加法器105的所有输出信号几乎都是零 时,即当左像素的平均像素值La、目标像素的输入像素值N和右像素的平均 像素值Ra几乎相同或相似时,判别器113辨识目标像素位于非边缘部分的位 置,选择(确定)来自固定像素值产生器112的"0"作为校正量ADD,并将 其提供给加法器96。如ALTI单元81的实施方式的那样,上面已经描述了具有图24的功能配 置的ALTI单元81。只要可以执行等价于上述处理序列的处理,任何功能配 置都可以用作ALTI单元81的功能配置。具体地说,例如,ALTI单元81可 以具有图29中所示的功能配置。即,图29示出ALTI单元81的不同于图24 的详细功能配置的示例。
在图29的示例中,将ALTI单元81配置成具有掩蔽(masking )信号产 生器161、 LTI处理单元162和平均单元163。
掩蔽信号产生器161接收滤波器单元22的输出信号作为自己的输入信 号,并将构成输入信号中要处理的帧的每一个像素设置为目标像素。掩蔽信 号产生器161按与来自目标像素的行进速度的一半对应的像素的数量,在目 标像素的左边和右边搜索像素,并对指示与行进速度对应的像素的数量的像 素值的每个信号进行掩蔽处理(maskingprocess )。如上所述,目标像素的行 进速度从成像模糊特性检测器12提供。经掩蔽的信号被从掩蔽信号产生器 161提供给LTI处理单元162。
LTI处理单元162对每个经掩蔽的信号进行LTI处理,并将产生的信号作 为输出信号提供给平均单元163。
平均单元163平均在LTI处理单元162的输出信号中、与在掩蔽信号产 生器161中的搜索次数对应的数量的信号,并将产生的信号作为ALTI单元 81的输出信号提供给外部的减法器82。
上面已经参考图24至图29描述了在图23中的成像模糊补偿单元23中 的ALTI单元81的细节。
接下来,将参考图30和图31描述在图23中的成像模糊补偿单元23中 的增益控制器83的细节。
图30示出增益控制器83的详细功能配置的示例。图31示出图30中的 增益控制器83中的、后面将要描述的调节量确定单元171的特性。
在图30的示例中,将增益控制器83配置成具有调节量确定单元171和 乘法器172。
调节量确定单元171拥有由图31中的曲线181所表达的函数,将成像模 糊特性检测器12供给的目标像素中的行进速度作为输入参数赋值给该函数, 并且将该函数的输出(图31的输出)作为调节量提供给乘法器172。换句话 说,调节量确定单元171具有由图31中的曲线181所表达的特性。除了来自调节量确定单元171的调节量外,还将减法器82的输出信号提
供给乘法器172。从图23的功能配置可以明显看出,在加法器84中,减法 器82的输出信号是用于成像模糊补偿单元23的、被加到目标像素的输入像 素值的最终校正量的候选对象。具体地说,乘法器172将最终校正量的候选 对象乘以来自调节量确定单元171的调节量,并将产生的乘积值作为最终调 节量提供给加法器84。 -'
即,从图31中的线181的形状和成像模糊补偿单元23的图23的功能配 置容易理解的那样,增益控制器83控制,以使得当行进速度低时ALTI单元 81的处理结果(以下称为ALTI)对目标像素的像素值的最终校正量不发挥很 大影响。当行进速度低时,由于成像模糊引起的增益的恶化很小,并且足以 由图17和图20中的滤波器单元22增加被衰减的增益。即,足以输出滤波器 单元22的输出信号作为成像模糊补偿单元23的最终输出信号,而不用对输 出信号执行很多校正。
上面已经参考图17至图31描述了图13中的视频信号处理器4B中的成 像模糊抑制处理器13的示例。
然而,成像模糊抑制处理器13的功能配置不限于图17的示例,而可以 是各种变型。具体地说,例如,图32和图33示出本发明应用到的成像模糊 抑制处理器13的功能配置的两个示例,这两个示例与图17的示例不同。
在图32的示例中,以类似于图17的示例的方式,配置成像模糊抑制处 理器13具有高频分量去除单元21、滤波器单元22和成像模糊补偿单元23。
在图32的示例中,也以类似于图17的示例的方式,将内插部分45的输 出信号作为对成像模糊抑制处理器13的输入信号提供给高频分量去除单元
21。 成像模糊特性检测器12的输出信号被提供给滤波器单元22和成像模糊 补偿单元23。
然而,在图32的示例中,高频分量去除单元21的输出信号被提供给成 像模糊补偿单元23。成像模糊补偿单元23的输出信号被提供给滤波器单元
22。 滤波器单元22的输出信号被作为指示成像模糊抑制处理器13的最终处 理结果的输出信号输出到外部。
换句话说,在图32的示例中,滤波器单元22和成像模糊补偿单元23的 布置位置与图17中的滤波器单元22和成像模糊补偿单元23的布置位置是相 对的。即,滤波器单元22和成像模糊补偿单元23的布置位置的顺序(处理
49顺序)不进行特殊限定。这些单元中的任何一个都可以布置在前面。
此外,在图33的示例中,类似于图17和图32的示例,成像模糊抑制处 理器13配备有高频分量去除单元21 、滤波器单元22和成像模糊补偿单元23, 其除了这些功能块外还配备有加法器24。
在图33的示例中,也类似于图17和图32的示例,将内插部分45的输 出信号作为关于成像模糊抑制处理器13的输入信号提供给高频分量去除单 元21。此外,将成像模糊特性检测器12的输出信号提供给滤波器单元22和 成像模糊补偿单元23中的每一个。
然而,在图33的示例中,将高频分量去除单元21的输出信号提供给滤 波器单元22和成像模糊补偿单元23中的每一个。滤波器单元22和成像模糊 补偿单元23的输出信号被提供给加法器24。加法器24将滤波器单元22的 输出信号与成像模糊补偿单元23的输出信号相加,并将产生的相加信号作为 指示成像模糊抑制处理器13的最终处理结果的输出信号输出到外部。
换句话说,在图17和图32的示例中串行地排列滤波器单元22和成像冲莫 糊补偿单元23,而在图33的示例中并行地排列滤波器单元22和成像模糊补 偿单元23。即,滤波器单元22和成像模糊补偿单元23可以并行或串行地进 行排列。然而,如果滤波器单元22和成像模糊补偿单元23两者都使用线存 储器(linememory),则通过如图33的示例所示那样并行地排列滤波器单元 22和成像模糊补偿单元23,可以共享该线存储器。结果,产生使得减小电路 规模(据线存储器的量)的效果。
如上所述,在用图像处理减小图像捕获(成像模糊)时的运动体的模糊 的时候,在常规技术中,不管静止状态和模糊量的程度如何,都统一地执行 处理。相反,在本发明中,例如,通过利用成像模糊抑制处理器13,计算行 进矢量(行进速度),并根据运动图像的状态改变增强量。因此,可以减小模 糊而不会使得振铃信号出现。此外,在相关技术的LTI中,以硬开关切换信 号,因此时常破坏被处理的图像。然而,成像模糊抑制处理器13具有ALTI 单元81作为组件。因此,以软件切换信号,结果可以抑制被处理的图像的破 坏。
除此而外,在上述示例中,为了解释的简单,行进矢量的方向(行进方 向)是水平方向。然而,即使当行进方向是另一方向时,成像模糊抑制处理 器13也可以基本上执行像上述处理序列那样的类似处理。具体地说,不管行进方向如何,成像模糊抑制处理器13可以校正目标像素的像素值,以便抑制
成像模糊。具体地说,例如,图24的功能配置中的ALTI单元81将使用目标 像素作为中心的行进方向上连续排列的n个像素的像素值以其排列顺序输入 DL单元91-1就足够了 。也在其他功能块中类似地执行操作。
顺便提一下,在上述示例中,在校正像素值的时候,成像;漠糊抑制处理 器13将行进速度(行进矢量的绝对值)用作参数。然而,除了行进速度,只 要参数示出成像模糊的特性,任何参数都可以被使用。
具体来说,例如,成像模糊抑制处理器13可以使用在捕获要处理的运动 图像的时候的摄像机的快门速度作为示出成像模糊的特性的参数。原因是, 例如,如图34所示,当快门速度变化时,成像模糊的程度也仅仅变化图中的 时间Ts的量。
具体地说,在图34中,上图示出快门速度是与帧速相同的1/30秒的情 况。下图示出快门速度是快于帧速的(l/30-Ts)秒的情况。在图34的两个图 中,水平轴表达时基(time base),而垂直轴表达快门开启时间的比。例如, 快门开启时间的比被表达为(Ts/Vs) xl00[%],其中快门速度是Va[秒](Va 是O或更大的任意值),快门处于开启的第一时间的比被设置为0%,而从第 一时间经过V[秒]之后并且快门关闭的第二时间的比被设置为100%,而从第 一时间到当前时间的时间被表达为Ta[秒](Ta是从0或更大到V或更小的任 意正值)。在这种情况下,在图23的图中的垂直轴中,与时基相接的值是 100[%],而最大值(每条直线上的最高值)是0[%]。即,快门开启时间的比 朝着在图34的图中的垂直方向上的底部增加。
现在假设,例如,摄像机上的一个检测元件对应于帧中的一个像素。在 这种情况下,如图34的上图所示,当快门速度为1/30秒时,快门处于开启 的1/30秒中入射光的积分值被作为对应像素的像素值从摄像机中的一个检测 元件输出。另一方面,当快门速度为(1/30-Ts)秒时,快门处于开启的(l/30-Ts) 秒中入射光的积分值被作为对应像素的像素值从摄像机中的 一个检测元件输 出。
即,快门速度对应于检测元件中的光累积时间(曝光时间)。因此,例如, 当穿过预定元件的运动对象存在于真实空间时,不同于与对象对应的光的光, 例如,以1/30秒的快门速度入射在检测元件上的背景的光仅仅大于以 (l/30-Ts)秒的快门速度入射在检测元件上的背景的光时间Ts[秒]的量。在
511/30秒的快门速度下从一个检测元件中输出的混合在像素值中与对象不同的
背景等的光累积值的比,高于在(l/30-Ts)秒的快门速度下从一个检测元件 中输出的混合在像素值中与对象不同的背景等的光累积值的比。因此,成像 模糊的程度增加。
上述总结如下。快门速度变得越低,图像模糊的程度变得越高。即,因 此可以说快门速度表达了成像模糊的特性。因此,快门速度可以用作表达成 像模糊的特性以及行进速度的参数。
除此而外,在快门速度用作示出成#^莫糊的特性的参数的情况下,例如, 图13中的成像模糊特性检测器12可以通过分析添加到内插部分45等供给的 运动图像(数据)的首标信息来检测每一帧的快门速度,并将快门速度作为 表达成像模糊的特性的参数提供给成像模糊抑制处理器13。成像模糊抑制处 理器13可以恰当地例如通过使用快门速度代替行进速度执行该处理序列,来 校正每个像素值。在使用快门速度的情况下的成像模糊抑制处理器13的功能 配置基本上可以与使用行进速度的情况下的成像模糊抑制处理器13的功能 配置相同。即,参考图17至图31描述的成像模糊抑制处理器13通过使用快 门速度作为参数值执行该处理序列,来恰当地校正每个像素值。
上面已经作为该实施方式的视频信号处理器的示例描述了具有图13所 示的配置的视频信号处理器4B。该实施方式的视频信号处理器不限于图13 的示例,而是可以具有其他各种配置。
具体来说,例如,图35至图38中的每一个都是根据该实施方式的改进 示例的视频信号处理器的 一部分的块图。
例如,与图13的视频信号处理器4B类似,图35的视频信号处理器被配 置成具有内插部分45、成像模糊特性检测器12和成像模糊抑制处理器13'。'
然而,在图35的视频信号处理器中,成像模糊抑制处理器13的校正处 理的对象是被输入到视频信号处理器中的运动图像,即,其经历内插部分45 的高帧速转换处理之前的运动图像。结果,成像模糊特性检测器12检测示出 在内插部分45的高帧速转换处理之前的运动图像中的成像模糊的特性的参 数的值,并将检测结果提供给成像模糊抑制处理器13。
因此,作为图35的视频信号处理器的图像处理,依次执行图15中的图 像处理中的步骤S1、步骤S3、步骤S4、步骤S2和步骤S5中的处理。
除此而外,例如,与图13的视频信号处理器4B和图35的视频信号处理器类似,图36的视频信号处理器被配置成具有内插部分45、成像模糊特性-检测器12和成像模糊抑制处理器13。 .
在图36的视频信号处理器中,成像模糊抑制处理器13的校正处理的对 象是通过像在图13的视频信号处理器4B那样对输入运动图像执行内插部分 45的高帧速转换处理所获得的运动图像。结果,成像模糊抑制处理器13对 经历了高帧速转换处理的运动图像执行校正处理。
然而,在图36的视频信号处理器中的成像模糊特性检测器12检测示出 输入运动图像(即在内插部分45的高帧速转换处理之前的运动图像)中的成 像模糊的特性的参数,并将检测结果提供给成像模糊抑制处理器13。即,图 36的视频信号处理器的成像模糊抑制处理器13使用在高帧速转换处理之前 的运动图像中检测到的参数的值校正每个像素值。
因此,作为图36的视频信号处理器的图像处理,依次执行在类似于图 15的图像处理流程中的步骤的流程中所执行的处理,即,步骤S1、步骤S2、 步骤S3、步骤S4和步骤S5中的处理。然而,在步骤S3中的处理是这样的 处理"从高帧速转换处理之前的运动图像,即,构成由步骤S1中的处理输 入的运动图像的每一 帧,检测示出成像模糊的特性的参数的值"。
与图35和图36的视频信号处理器相反,图37和图38中的每一个视频 信号处理器都被配置成具有内插部分45和成像模糊抑制处理器13,但不包 括成像模糊特性检测器12作为组件。
具体地说,如图37和图38所示,在另一视频信号处理器211 (如在附' 图中所描述的那样,以下称为图像信号产生设备211)中与成像模糊特性检 测器12—起提供叠加单元221。输入图像信号产生设备211的运动图像被提 供给成像模糊特性检测器12和叠加单元221。成像模糊特性检测器12从运 动图像中检测表达成像模糊的特性的参数的值,并将其提供给叠加单元221。 叠加单元221将指示成像模糊的特性的参数的值叠加到运动图像上,并输出 产生的信号。
因此,从图像信号产生设备211向图37的视频信号处理器和图38的视 频信号处理器提供表达成像模糊的特性的参数的值叠加到的运动图像(信 号)。
然后,在图37的视频信号处理器中,成像模糊抑制处理器13将表达成 像模糊的特性的参数的值与运动图像相互分离,并关于构成所分离出的运动图像的每个帧,基于所分离出的表达成像模糊的特性的参数的值,来校正每 个像素值。
接下来,内插部分45对经成像模糊抑制处理器13校正过的运动图像执
行高帧速转换处理,并将产生的运动图像(即,被转换成高帧速并被校正过 的运动图像)输出。
因此,作为图37的视频信号处理器的图像处理,依次执行图15中的图 像处理中的步骤S1、步骤S4、步骤S2和步骤S5中的处理。
相反,例如,在图38的视频信号处理器中,内插部分45将表达成像模 糊的特性的参数的值与运动图像相互分离,并对所分离出的运动图像执行高 帧速转换处理,并将产生的运动图像(即被转换成高帧速的运动图像)提供 给成像模糊抑制处理器13。此时,由内插部分45所分离出的示出成像模糊 的特性的参数的值也被提供给成像模糊抑制处理器13 。
接下来,成像模糊抑制处理器13关于构成转换到高帧速的运动图像的每 个帧,基于表达成像模糊的特性的参数的值,来校正每个像素值,并输出产 生的运动图像(即校正并转换成高帧速的运动图像)。
顺便提一下,在关于成像模糊抑制处理器13的上述描述中,为了解释的 简单,行进方向(行进矢量的方向)是水平方向。因此,将水平方向上邻近 目标像素的像素用作用于对目标像素执行上述各种处理(诸如滤波和校正) 的情况的像素。除此而外,使用预定方向上邻近目标像素的像素的处理将被 称为预定方向上的处理。即,上述示例涉及水平方向上的处理。
然而,如上所述,两维平面上的任何方向可以是行进方向。自然,成像 模糊抑制处理器13可以以同样的方式执行在两维平面上的作为行进方向的 任何方向(诸如垂直方向)上的各种处理。然而,为了执行行进方向是垂直 方向的情况下的处理(或者行进方向是斜方向的情况下的处理,即垂直方向 上的处理与水平方向上的处理的组合处理),成像模糊抑制处理器13必须采 用例如图39的配置代替图17的配置、图40的配置代替图32的配置以及图 41的配置代替图33的配置。
即,图39至图41示出本发明要应用到的成像模糊抑制处理器13的功能 配置的三个示例,它们不同于上述示例。
在图39、图40和图41中,与图17、图32和图33相同的附图标记^皮指 定到对应的部分(块)。它们的描述将是相同,因此不用重复。在图39的成像模糊抑制处理器13中,为了在图17的示例的配置中启动 垂直方向上的处理,进一步在滤波器单元22的前级(ante stage)上配备线存 储器261-1,并在成像模糊补偿单元23的前级上配备线存储器261-2。
类似地,在图40的成像模糊抑制处理器13中,为了在图32的示例的配 置中启动垂直方向上的处理,进一步在成像模糊补偿单元23的前级上配备线 存储器261-1,而在滤波器单元22的前级上配备线存储器261-2。
另一方面,在图41的成像模糊抑制处理器13中,为了在图33的示例的 配置中启动垂直方向上的处理,进一步在成像模糊补偿单元23和滤波器单元 22的前级上仅配备一个公共线存储器261。
如上所述,通过采用图41的示例中的成像模糊抑制处理器13,与采用 图39或图40的配置示例的情况相比,可以减少线存储器的数量,而不会恶 化图像模糊抑制的效果。即,通过采用图41的示例的配置作为成像模糊抑制 处理器13的配置,与采用图39或图40的配置示例的情况相比,可以减小成 像模糊抑制处理器13的电路规模,而且可以减小图13的视频信号处理器4B 的电路规模。
除此而外,在该实施方式中,例如,像在图42所示的视频信号处理器 4C中一样,从解码器47输出的内插位置参数Relpos可以不仅被提供给内插 器453,而且还提供给成像模糊抑制处理器13。在这样的配置中,成像模糊 抑制处理器13可以根据每个内插帧中更接近于原始帧的视频图像的内插位 置的距离来改变由内插部分45设置的、成像模糊抑制处理的处理量。因此, 减少成像模糊的程度可以根据内插帧的排列的不均匀性(颤抖的强度)进行 改变。通过精细地调节显示图像中的保持模糊的抑制的程度以及成像模糊的 抑制的程度,可以改善观看电影等的时候的画面质量。
在各种实施方式中执行的高帧速转换处理中,输入视频信号的第 一帧速 (帧频)与输出视频信号的第二帧速(帧频)的组合不被特别地限定,而可 以是任何组合。具体地说,例如,采用60 (或30) [Hz]作为输入视频信号的 第一帧速,而可以采用120[Hz]作为输出视频信号的第二帧速。例如,采用 60 (或30) [Hz]作为输入视频信号的第一帧速,而可以采用240[Hz]作为输出 视频信号的第二帧速。例如,采用对应于PAL (逐行倒相)系统的50[Hz]作 为输入视频信号的第一帧速,而可以采用100[Hz]或200[Hz]作为输出视频信 号的第二帧速。例如,采用对应于电视电影的48[Hz]作为输入视频信号的第一帧速,而可以采用等于或高于48[Hz]的预定频率作为输出视频信号的第二 帧速。
除此而外,通过对从现有电视系统等产生的输入视频信号执行在各个实
施方式下的高帧速转换处理,可以高级别(high grade )显示现有内容。 [第三实施方式]
现在描述本发明的第三实施方式。
图43示出根据该实施方式的视频信号处理器(视频信号处理器4D)的 配置的示例。除此而外,相同的标记指示与前述实施方式中的组件相同的组 件,并且将不重复它们的描述。
视频信号处理器4D通过向第二实施方式中描述的视频信号处理器4B进 一步提供超速处理器10而获得,并在考虑到运动矢量检测器44中的运动矢 量mv的检测中的可靠性的情况下,执行内插部分45、成像模糊抑制处理器 13和超速处理器10 (overdriverprocessor)中的处理。除此而外,在也在成 像模糊特性检测器12中检测运动矢量的情况下,可以考虑运动矢量的检测的 可靠性。在该实施方式中,下面将描述成像模糊抑制处理器13和超速处理器 10使用运动矢量检测器44检测到的运动矢量mv执行视频信号处理的情况。
超速处理器10利用运动矢量检测器44检测到的运动矢量mv,对从成像 模糊抑制处理器13供给的视频信号执行超速驱动处理。具体地说,超速处理 器10使得超速驱动处理的处理量随运动矢量mv增加而增加,并使得超速驱 动处理的处理量随运动矢量mv减少而减少。通过这样的超速驱动处理,可 以抑制显示图像中的运动模糊和保持模糊。
这里,参考图45和图46,详细地描述运动矢量mv的检测中的可靠性。 图44和图45示出运动矢量mv的检测中的存在/不存在(MC 0N/0FF信号) 与可靠性之间的关系的示例。
在图44,在MC ON/OFF信号的值为"0" ( ON:可以卩险测运动矢量的情 况)并且不改变的情况下以及该值从"l" (OFF:检测不到任何运动矢量的情 况,诸如该值在运动矢量的搜索范围(块匹配范围)之外的情况)改变到"0" 的情况下,可靠性的值增加到"P (之前值)+Y (改变量)"。另一方面,MC ON/OFF信号的值从"O,,改变到'T,的情况下以及该值为"l"并且不改变的情况 下,可靠性的值降低到"P-Y"。
利用该配置,例如,如图45所示,在MC ON/OFF信号的值为"0"的时
56间段期间,可靠性从0%逐渐增加到100%。另一方面,在MC ON/OFF信号 的值为'T,的时间段期间,可靠性从100%逐渐降低到0%。
通过考虑运动矢量mv的检测中的可靠性,在内插部分45、成像冲莫糊抑 制处理器13和超速处理器10中,设置成使得视频信号处理的处理量随着可 靠性的增加而增加,而另一方面,视频信号处理的处理量随着可靠性的减小 而减小。
具体地说,超速处理器IO设置以使得随着可靠性的增加,超速处理 _ (overdriveprocess)的处理量增加,而另一方面,随着可靠性的减小,超ii 处理的处理量也减小。同时,也可以根据内插位置朝向由内插部分45设置在 每个内插帧中的、更接近的原始帧的视频图像的距离来改变超速处理的处理 量(以根据内插帧的位置的非均匀(颤动的强度)改变减小运动模糊和保持 模糊的降低程度),并且还在考虑到可靠性的情况下执行超速处理。
此外,成像模糊抑制处理器13设置使得成像模糊抑制处理的处理量随着 可靠性增加而增加,而另一方面,成像模糊抑制处理的处理量随着可靠性减 小而减小。例如,与在第二实施方式中的图42中所示的视频信号处理器4C 一样,成像模糊抑制处理的处理量可以根据内插位置朝向由内插部分45设置 的内插帧中更接近的原始帧的视频图像的距离来改变(根据内插帧的位置的 非均匀(颤动的强度)改变减小成像模糊的程度),此外,还考虑到可靠性来 执行成像模糊抑制处理。
此外,在考虑到运动矢量mv的检测中的可靠性的情况下,内插部分45 改变设置内插位置朝向每个内插帧中更接近的原始帧的视频图像的距离。从 而,可以在考虑到运动矢量mv的检测中的可靠性下,改变内插帧的位置的 非均匀(颤动的强度)。
同时,在通过相加通过在沿时基彼此相邻的原始帧之间使用运动补偿代 替内插部分45内插原始帧的视频图像而获得的M个内插帧(M是1或大于 1的整数)转换视频信号的帧速的情况下,例如,可以如图46(在3: 2折叠 信号的情况下)和图47 (在24Hz电影源信号的情况下)所示那样执行考虑 到可靠性的帧速转换处理。
具体地说,可以设置成使得随着可靠性增加,帧速转换时与运动矢量 MV1至MV3相乘的增益增加,而另一方面,随着可靠性减小,帧速转换时 与运动矢量MV1至MV3相乘的增益减小。以这样的方式,在该实施方式中,在考虑到借助运动矢量检测器44的运
动矢量mv的检测中的可靠性下,执行内插部分45、成像模糊抑制处理器13 和超速处理器10中的视频信号处理。被设置成使得随着可靠性增加,视频信 号处理的处理量增加,而另一方面,随着可靠性减小,视频信号处理的处理 量减小。结果,在使用运动矢量执行视频信号处理的情况下,即使当运动矢 量位于运动矢量搜索范围(块匹配范围)之外,也可以执行根据运动矢量的 检测精度的视频信号处理。因此,在执行预定视频信号处理的时候,可以抑 制由于运动矢量检测精度而引起的画面质量的恶化。 [第四实施方式]
现在描述本发明的第四实施方式。
图48示出根据该实施方式的图像显示装置(液晶显示器7)的配置的示 例。此外,相同的标记指示与前述实施方式中的组件相同的组件,并且将不 重复它们的描述。
液晶显示器7基于经历了在第一至第三实施方式中所述的视频信号处理 器4 (或视频信号处理器4A至4D中的任何一个)中的视频信号处理的视频 信号显示视频图像,为保持型显示设备。具体地说,液晶显示器7具有视频 信号处理器4 (4A至4D)、液晶显示板70、背光驱动单元71、背光72、定 时控制器73、选通驱动器74和数据驱动器75。 ''
背光72是向液晶显示板70发光的光源,例如包括CCFL (冷阴极荧光 灯)和LED (发光二极管)。
液晶显示板70基于视频信号调制来自背光72的辐射光。液晶显示板70 包括透射型液晶层(未示出)、夹液晶层的一对衬底(未示出的TFT衬底和 相反电极衬底)以及在与液晶层相反的面上层叠在TFT衬底和相对电极衬底 中每一个上的极化板(未示出)。
数据驱动器75基于视频信号向液晶显示板2中的每个像素电极提供驱动 电压。选通驱动器74以线顺序沿未示出的水平扫描线驱动液晶显示板2中的 像素电极。定时控制器73基于从视频信号处理器4 ( 4A至4D )供给的视频 信号控制数据驱动器75和选通驱动器74。背光驱动单元71根据提供给视频 信号处理器4 (4A至4D)的视频信号控制背光72的开启和关闭操作(对背 光72执4于开启驱动)。
将该实施方式的液晶显示器7构造成根据原始帧中的视频信号本体(substance )和用户观看环境的亮度之一来执行将黑显示区域插入液晶显示 板2的显示屏幕的黑插入处理。具体地说,例如,当原始帧中的视频信号为 影院信号(电影信号)时,执行用于将黑显示区域插入液晶显示板2的显示 屏幕的黑插入处理。更具体地说,背光驱动单元71在背光72的开启和关闭 之间切换,以便执行将黑显示区域插入液晶显示板2的显示屏幕的处理。此 外,例如,背光驱动单元71利用包括在EPG (电子节目指南)的原始帧的目 录信息或者基于原始帧的帧速,确定原始帧中的视频信号是否为影院信号。
像如下那样执行黑插入方法。例如,如图49 (A)和图49 (B)那样, 基于帧单元执行黑插入处理。如图50 (A)和图50 (B)那样,以由原始帧 中的预定数量的水平扫描线构成的黑插入线单元执行黑插入处理。例如,如 图51 (A)和图51 (B)所示,基于黑插入线单元和帧单元的组合执行黑插 入处理。在图49至图51 (以及后面描述的图52至图55)中,(A)示出液 晶显示板2 ( LCD )中的视频图像的本体(原始帧A至C和内插帧A,至C,), 而(B)示出背光72的发光状态(light-on state )。图中的水平轴示出时间。
在图49所示的基于帧单元的黑插入处理的情况下,整个帧发光或不发 光,以便保持改善效果增加。在图50所示的基于黑插入线单元的黑插入处理 的情况下,可以通过设置将在后面描述的黑插入比来调节显示亮度,并且帧 速不实地增加。结果,与基于帧单元的情况下相比,很少见到闪烁。在图51 所示的帧单元和黑插入线单元的组合的情况下,运动图像响应变成最高。
除此而外,在包括如图50和图51所示的基于黑插入线单元的黑插入处 理的情况下,可以以相互远离的多条黑插入线执行黑插入处理。以这样的配 置,便于下面描述的黑插入比和显示亮度的调节。
此外,例如,如图52至图55所示,当执行黑插入处理时,背光驱动单 元71可以执行切换驱动,以便整个显示屏幕中黑显示区域的面积比(=黑插 入比)可以通过改变黑插入线的厚度(构成黑插入线的水平扫描线的数量) 而变化。以这样的配置,产生减小保持模糊的效果并调节显示亮度。
此外,背光驱动单元71可以执行切换驱动,以便执行黑插入处理时改变 黑显示区域的亮度。以这样的配置,当减小保持模糊时,可以调节显示亮度。 而且,可以改变黑插入比和黑显示区域的亮度两者。
除此而外,在使得黑插入比和黑显示区域的亮度中至少 一个可变的情况 下,可以以多个阶段改变黑插入比和黑显示区域的亮度,也可以连续改变。在进行这样的改变的情况下,便于保持模糊的减小和显示亮度的调节。
以这样的方式,在该实施方式中,根据原始帧中的视频信号的本体和用 户观看环境的亮度中至少之一来执行插入黑显示区域到液晶板2中的显示屏 幕的黑插入处理。因此,可以根据环境减小保持模糊。
除此而外,例如,如图56所示,根据原始帧中的亮度直方图分布,可以 确定是否执行黑插入处理,并且可以改变黑显示区域的亮度。以这样的配置, 调节变成可能。例如,确定以这样的情况下执行黑插入处理,以使得显示亮 度的增加在黑图像中不明显。通过增加黑插入比或降低黑显示区域的亮度, 减小保持模糊的效果优先。
此外,根据由运动矢量检测器44等所检测到原始帧中的运动矢量的量
值,可以改变黑插入比和黑显示区域的亮度。以这样的配置,例如,在使得 视频图像的运动大的情况下,可以通过增加黑插入比或降低黑显示区域的亮 度来执行诸如颤动的抑制之类的调节。
此外,例如,与图57所示的液晶显示器7A—样,通过提供用于检测用 户观看环境的亮度的亮度检测器76 (例如由亮度传感器构造)等,可以如上 所述地确定是否执行黑插入处理或者可以根据用户观看环境的所检测到的亮 度改变黑插入比和黑显示区域的亮度。以这样的配置,存在这样的情况显 示亮度的降低不明显依赖于观看环境的亮度(例如,在观看环境是黑状态的 情况下)。在这种情况下,可以通过确定是否执行黑插入处理或者增加黑插入 比或降低黑显示区域的亮度,来执行对减小保持模糊的效果放置优先权的调

除此而外,在提供亮度检测器76的情况下,例如,根据用户观看环境中 被检测到的亮度,可以改变成像模糊抑制处理器13的成像模糊抑制处理的处 理量以及由内插部分45在每个内插帧中设置更邻近于更接近的原始帧的视 频图像的内插位置的程度。在改变成像模糊抑制处理器13的成像模糊抑制处 理的处理量的情况下,存在这样的情况成像模糊不明显依赖于观看环境的 亮度(例如,在观看环境是黑状态的情况下)。在这种情况下,可以执行降低 成像模糊抑制处理的处理量的调节。在改变由内插部分45在每个内插帧中设 置更邻近于更接近的原始帧的视频图像的内插位置的程度的情况下,当颤动 不明显依赖于观看环境的亮度(例如,在观看环境是黑状态的情况下),通过 设置邻近于原始帧的内插位置,留下颤动。以这种方式,实现创建电影特有的真实感的调节。
除此而外,已经在保持型图像显示装置为液晶显示器而且通过背光驱,7、 电路71的开关驱动执行黑插入处理(闪烁处理)的情况下描述了该实施方式。
例如,在显示设备为发光显示设备(诸如有机EL显示设备)而不是液晶显
执行黑插入处理的黑插入处理器(未示出)并且利用该黑插入处理器执行视 频信号处理来执行黑插入处理。
同时,在该实施方式中,例如通过提供预定操作部件(设置部件),可以 通过用户操作设置是否执行黑插入处理、黑插入比的变化、黑显示区域中的 亮度变化等。
此外,该实施方式中的视频信号处理器不限于在第一至第三实施方式中
描述的视频信号处理器4 (或视频信号处理器4A至4D中的任何一个)。其它 视频信号处理器也可以被釆用,只要它对沿时基的多个原始帧执行预定视频 信号处理。
此外,可以以硬件或软件执行在第一至第四实施方式中描述的处理序別 (或一部分处理)。
在这种情况下,在第一至第四实施方式中描述的视频信号处理器4以及 4A至4D、背光驱动单元71和定时控制器73全部或它们的一部分(例如, 成像模糊抑制处理器13等)可以由例如图58所示的计算机构造。
在图58中,CPU (中央处理单元)301根据记录在ROM (只读存储器) 302上的程序或从存储器308装载到RAM (随机存取存储器)303的程序。 在RAM 303中,还适当地存储CPU301执行各种处理所需的数据等。
CPU 301 、 ROM 302和RAM 303经由总线304相互连接。输入/输出接 口 305也连接到总线304。
包括键盘、鼠标等的输入单元306、输入显示器之类的输出单元307、有 硬盘等构造而成的存储器308以及包括调制解调器、终端适配器等的通信单 元309连接到输入/输出接口 305。通信单元309经由包括因特网的网络与其 他装置进行通信处理。
按照需要,驱动器310也连接到输入/输出接口 305。适当地在输入/输出 接口 305上安装诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸记录 介质311。按照需要,在存储器308中安装从可拆卸记录介质311读取的计算
示器的情况下,机程序。
在由硬件执行处理序列的情况下,构成软件的程序从网络或记录介质安 装到例如能够通过安装各种程序来执行各种功能的以专用硬件组装的计算才;l 或通用个人计算等。 '
包括这样的程序的记录介质不限于诸如磁盘(包括软盘)、光盘(包括
CD-ROM (只读光盘存储器))和DVD (数字多功能盘)、磁光盘(包括MD (微型盘)或半导体存储器)之类的可拆卸记录介质(封装介质)311。可以 是以预先组装在设备主体中的状态提供给用户的、其中记录了程序的ROM 302、包括在存储器308的硬盘等。
同时,在说明书中,显然,描述记录在记录介质上的程序的步骤不仅包 括以时间顺序执行的处理,也包括不总是以时间顺序而是并行或独立4丸行的 处理。
此外,如上所述,在该说明书中,系统指的是由多个处理设备和处理器 构造而成的整体设备。
此外,在前面的实施方式和改进的示例中描述过的配置等不限于上述组 合,而可以是任意组合。
权利要求
1、一种图像显示装置,其特征在于包括视频信号处理部件,用于对沿时基的多个原始帧执行预定视频信号处理以改善画面质量;以及显示部件,用于基于经历了该视频信号处理的视频信号显示视频图像,其中,该显示部件是保持型显示部件,并且根据原始帧中的视频信号的本体和用户观看环境的亮度中至少之一,执行将黑显示区域插入该显示部件中的显示屏幕的黑插入处理。
2、 根据权利要求1的图像显示装置,其特征在于该显示部件具有 光源;以及液晶显示板,用于基于该原始帧中的该视频信号调制来自该光源的光。
3、 根据权利要求2的图像显示装置,其特征在于进一步包括光源驱动部 件,用于执行在该光源的开启和关闭之间的切换驱动,以便在该液晶显示板 中的该显示屏幕上执行该黑插入处理。
4、 根据权利要求3的图像显示装置,其特征在于该光源驱动部件执行该 切换驱动,以便当对该原始帧执行该黑插入处理时该黑区域与整个显示屏幕 的面积比(=黑插入比)可变。
5、 根据权利要求4的图像显示装置,其特征在于该光源驱动部件执行该 切换驱动,以便该黑插入比以多个级别改变。
6、 根据权利要求4的图像显示装置,其特征在于该光源驱动部件执行该 切换驱动,以便该黑插入比连续改变。
7、 根据权利要求4至6之一的图像显示装置,其特征在于进一步包括设 置部件,用于允许用户改变该黑插入比。
8、 根据权利要求4至7之一的图像显示装置,其特征在于该光源驱动部 件执行该切换驱动,以便该黑插入比根据原始帧中的亮度直方图分布改变。
9、 根据权利要求4至8之一的图像显示装置,其特征在于该光源驱动部 件执行该切换驱动,以便该黑插入比根据用户观看环境的亮度改变。
10、 根据权利要求4至9之一的图像显示装置,其特征在于该光源驱动 部件执行该切换驱动,以便该黑插入比根据原始帧中的运动矢量的量值改变。
11、 根据权利要求4至IO之一的图像显示装置,其特征在于该光源驱动部件执行该切换驱动,以便该黑显示区域的亮度也可变。
12、 根据权利要求3的图像显示装置,其特征在于该光源驱动部件执行 该切换驱动,以便当对该原始帧执行该黑插入处理时该黑显示区域的亮度可变
13、 根据权利要求12的图像显示装置,其特征在于该光源驱动部件执行 该切换驱动,以便该黑显示区域的亮度以多个级别变化。
14、 根据权利要求12的图像显示装置,其特征在于该光源驱动部件执行 该切换驱动,以便该黑显示区域的亮度连续变化。
15、 根据权利要求12至14之一的图像显示装置,其特征在于进一步包 括设置部件,用于允许用户改变该黑显示区域的亮度。
16、 根据权利要求12至15之一的图像显示装置,其特征在于该光源驱 动部件执行该切换驱动,以便该黑显示区域的亮度根据原始帧中的亮度直方 图分布改变。
17、 根据权利要求12至16之一的图像显示装置,其特征在于该光源驱 动部件执行该切换驱动,以便该黑显示区域的亮度根据用户观看环境的亮度 改变。
18、 根据权利要求12至17之一的图像显示装置,其特征在于该光源驱 动部件执行该切换驱动,以便该黑显示区域的亮度根据原始帧中的运动矢量 的量值改变。
19、 根据权利要求3至18之一的图像显示装置,其特征在于该光源驱动 部件执行该切换驱动,以便按帧执行该黑插入处理。
20、 根据权利要求3至18之一的图像显示装置,其特征在于该光源驱动 部件执行该切换驱动,以便按黑插入线单元执行该黑插入处理,该单元由该 原始帧中的预定数量的水平扫描线组成。
21、 根据权利要求20的图像显示装置,其特征在于该显示部件或该视频 信号处理部件执行该切换驱动,以便按黑插入线单元和帧执行该黑插入处理。
22、 根据权利要求20的图像显示装置,其特征在于该显示部件或该视频 信号处理部件执行该切换驱动,以便通过插入相互远离的多条黑插入线来执 行该黑插入处理。
23、 根据权利要求2至22之一的图像显示装置,其特征在于该光源包括 LED。
24、 根据权利要求1的图像显示装置,其特征在于该视频信号处理部件 包括黑插入处理部件,用于对该原始帧的视频信号执行黑插入处理。
25、 根据权利要求1至24之一的图像显示装置,其特征在于该视频信号 处理部件包括帧速转换部件,用于通过将M个内插帧添加到沿时基彼此相邻 的原始帧之间来转换视频信号的帧速,该内插帧是利用运动补偿而从该原始 帧的视频图像中获得的,而该M是1或更大的整数。
26、 根据权利要求1至24之一的图像显示装置,其特征在于该视频信号 处理部件包括内插位置设置部件,用于通过将N个内插帧添加到沿时基彼此 相邻的原始帧之间来转换视频信号的帧速,该N个内插帧是利用运动补偿而 从该原始帧的视频图像中获得的,以便将该N个内插帧中的视频图像的内插 位置设置到非等分位置的、更接近于原始帧中最近的视频图像的被偏离的位 置,该等分位置是通过等分沿时基的前原始帧与后原始帧之间的视频图像运 动的量值为(N+l)部分而获得的,而该N是整数2或更大。
27、 根据权利要求1至26之一的图像显示装置,其特征在于进一步包括 设置部件,用于允许用户执行该黑插入处理。
28、 根据权利要求1至27之一的图像显示装置,其特征在于当该视频信 号为影院信号时执行黑插入处理。
29、 根据权利要求28的图像显示装置,其特征在于利用原始帧的目录信 息确定原始帧中的视频信号是否为影院信号,该目录信息被包括在电子节目 指南EPG中。
30、 根据权利要求28的图像显示装置,其特征在于基于该原始帧的帧速 确定原始帧中的视频信号是否为影院信号。
31、 根据权利要求1至27之一的图像显示装置,其特征在于根据该原始 帧中的亮度直方图分布执行该黑插入处理。
全文摘要
提供能够响应环境改善保持模糊的图像显示装置。该图像显示装置被配置成执行黑插入处理,该黑插入处理被执行来根据原始帧中视频信号的内容和用户观看环境的亮度中至少之一将黑显示区域插入液晶显示板(2)的显示屏幕。具体地说,例如,当原始帧中的视频信号为影院信号(电影信号)时,执行该黑插入处理,以将黑显示区域插入液晶显示板(2)的显示屏幕。更具体地说,例如,背光驱动单元(71)执行切换驱动,以开启或关闭背光源(72),以便执行将黑显示区域插入液晶显示板(2)的显示屏幕上的黑插入处理。
文档编号H04N5/44GK101543064SQ200880000258
公开日2009年9月23日 申请日期2008年2月20日 优先权日2007年2月20日
发明者宫崎慎一郎, 村上一郎, 亨 西 申请人:索尼株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1