专利名称：图像处理的方法、装置以及程序的制作方法
技术领域：
本发明涉及图像处理的方法、装置及程序。更具体地，本发明涉及图像处理的方法、装置及程序，利用它们，在图像被输出之前，基于运动量在每个预定大小的块中对图像的分辨率进行转换。
背景技术：
近来，数码摄像机经常包括其分辨率比用于记录运动图像的分辨率更高的成像设备，主要是用于捕获高清晰度的静止图像。在这种数码摄像机中，当记录运动图像时，需要将成像分辨率转换为记录分辨率，即降低了分辨率。
至于用于降低诸如电荷耦合器件(CCD)成像设备或互补金属氧化物半导体(CMOS)成像设备之类的固态成像设备中分辨率的方法，例如已知有在日本待审查专利申请公开No.11-331706和日本待审查专利申请公开No.2003-78919中所公开的通过控制驱动方法来抽取(decimate)用于读取的成像像素的方法和累计多个用于读取的像素的信号的方法。
已知当CCD成像设备或CMOS成像设备被高速驱动时，这些设备允许以较高的帧速率成像。
至于用于允许显示屏上所显示图像的观察者以超过该图像实际分辨率的分辨率感知该图像的方法，根据日本待审查专利申请公开No.6-18836中所公开的第一方法，多个液晶显示单元被用到，并且在利用半透明镜等光学上移动位置的同时，图像被组合。根据日本待审查专利申请公开No.6-324320中所公开的第二方法，进行了所谓的摆动，即来自液晶显示单元的光的光轴光学上被振动以移动像素位置。观察者感知到的图像分辨率超过该图像实际分辨率的现象以下将称之为超分辨率效应。
但是，通过抽取来转换分辨率会造成采样速率的降低，从而造成混叠(aliasing)现象，以致运动图像的质量变差。而且，通过累计像素信号来转换分辨率会由于输出分辨率而限制了分辨率。
至于前面提到的第一方法，为了实现高分辨率，需要多个显示单元和用于组合从该多个显示单元所输出的光的光学元件。这样，装置的成本高，结构复杂，并且阻碍了实现紧凑的设计。
至于前面提到的第二方法，为了实现高分辨率，需要用于光学上移动光轴的光学元件。由于用于摆动的光学元件，这导致成本增加，并需要复杂的驱动方法。
发明内容
鉴于上述情形，已经完成了本发明。根据本发明，当输出运动图像时，通过进行自适应图像处理，有可能将输入图像转换为输出图像，使得输出图像的观察者不会感知到由于分辨率减小而引起图像质量的变差。
根据本发明的一方面，提供了一种图像处理方法。该图像处理方法包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将图像输入步骤中输入的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有第二分辨率的图像信号的图像。所述分辨率转换步骤检测在对应于图像输入步骤中输入的图像信号的图像至少部分区域中的运动量，并基于检测到的运动量来转换所述区域的分辨率。
根据本发明的另一方面，提供了一种图像处理方法。该图像处理方法包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将图像输入步骤中获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有第二分辨率的图像信号的图像。所述分辨率转换步骤将在图像输入步骤中获得的图像信号分割成多个区域，检测各个区域中的运动量，并基于所检测到的运动量为各个区域设定空间抽取量，其中在基于为各个区域所设定的空间抽取量而将空间抽取作用到各个区域之前，所述分辨率转换步骤将空间滤波作用到图像输入步骤中获得的图像信号的各个区域上。
根据本发明的另一方面，提供了一种图像处理装置。该图像处理装置包括图像输入单元，用于输入具有第一分辨率的图像信号；分辨率转换单元，用于将由图像输入单元获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出单元，用于以预定帧速率输出具有第二分辨率的图像信号。所述分辨率转换单元包括运动量检测器和分辨率转换器，所述运动量检测器用于检测在对应于由图像输入单元所获得的图像信号的图像至少部分区域中的运动量，所述分辨率转换器用于基于检测到的运动量来转换所述区域的分辨率。
根据本发明的另一方面，提供了一种图像处理装置。该图像处理装置包括图像输入单元，用于输入具有第一分辨率的图像信号；分辨率转换单元，用于将由图像输入单元获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出单元，用于以预定帧速率输出具有第二分辨率的图像信号。所述分辨率转换单元包括运动量检测器和分辨率转换器，所述运动量检测器用于将由图像输入单元获得的图像信号分割成多个区域，并检测各个区域中的运动量，所述分辨率转换器用于基于所检测到的运动量为各个区域设定空间抽取量，并且在基于为各个区域所设定的空间抽取量而将空间抽取作用到各个区域之前，将空间滤波作用到由图像输入单元获得的图像信号的各个区域上。
根据本发明的另一方面，提供了一种成像程序。该成像程序包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将图像输入步骤中输入的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有第二分辨率的图像信号的图像。所述分辨率转换步骤检测在对应于图像输入步骤中输入的图像信号的图像至少部分区域中的运动量，并基于检测到的运动量来转换所述区域的分辨率。
根据本发明，可以将所捕获的图像转换为输出图像，使得被再现的输出图像的观察者被允许感知到其分辨率超过最大输出分辨率的输出图像。
图1是解释Bloch法则的示意图；图2A-2C是解释分辨率转换原理的示意图；图3是解释采样位置的示意图；图4是解释混叠分量的示意图；图5是解释混叠分量相位中的变化的示意图；图6是解释混叠分量相位中的变化的另一幅示意图；图7是解释混叠分量相位中的变化的另一幅示意图；图8是解释混叠分量相位中的变化的另一幅示意图；图9是解释混叠分量相位中的变化的另一幅图；图10是解释混叠分量的相位旋转间隔的示意图；图11是解释混叠分量的相位旋转间隔的另一幅示意图；图12是解释混叠分量的另一幅示意图；图13是解释混叠分量的相位旋转间隔的另一幅示意图；图14是解释可实现超分辨率效应的混叠分量相位的示意图；图15是表示其中没有实现超分辨率效应的速度范围的示意图；图16是表示其中没有实现超分辨率效应的速度范围的另一幅示意图；图17是表示其中没有实现超分辨率效应的速度范围的另一幅示意图；图18A和18B是表示根据本发明实施例的成像设备和图像显示设备的示例性结构的示意图；图19是表示图18A和18B中所示运动量检测器和分辨率转换器的结构示例性的方框图；图20是解释图18A和18B中所示的分辨率转换器的操作的示意图；图21是表示在没有实现超分辨率效应的情况下图像的运动速度和抽取量之间关系的示意图；图22是表示在没有实现超分辨率效应的情况下图像的运动速度和抽取量之间关系的另一幅示意图；
图23是表示图19中所示的图像转换器的操作的流程图；图24A和24B是表示根据本发明另一实施例的成像设备和图像显示设备的示例性结构的方框图；图25是表示个人计算机的示例性结构的方框图。
具体实施例方式
现在将描述本发明的实施例。在本说明书中所描述的本发明的各个方面对应于例如以下描述的本发明的多个实施例。
该描述意在确保本说明书中描述了支持本说明书中所描述的本发明各个方面的实施例。
这样，即使下面描述中的实施例没有被描述为涉及本发明的一个方面，但并不意味着该实施例没有涉及本发明的这个方面。
相反，即使这里描述的实施例涉及本发明的一方面，但并不意味着该实施例没有涉及本发明的其他方面。
而且，该描述没有表示本说明书中描述了本发明所有的方面。也就是说，该描述没有否定本发明存在在本申请文件中没有要求保护的方面，即本发明存在可以通过分案申请而递交的方面，或者可以通过修改给出或添加的方面。
在根据本发明实施例的成像设备中，通过成像所捕获的运动图像在被输出之前被转换为具有输出分辨率的图像。此时，利用基于某种视觉特性的超分辨率效应来转换分辨率，使得观察者将不会感知到由于分辨率的转换而引起的图像质量的变差。
在根据本发明实施例的图像显示设备中，输入图像被转换为其分辨率比该输入图像的分辨率更低的显示图像，并且显示该显示图像。此时，基于某种视觉特性来转换分辨率，使得观察者感知到的图像的分辨率超过了显示图像的分辨率，即实现了超分辨率效应。
首先，将描述视觉特性和超分辨率效应。
人的视觉具有当所接收的光学刺激总和已达到某个阈值时即能感知到光的功能(以下称之为时域综合功能(temporal integration function))。也就是说，光学感知基于光的时域综合之和，而与光学刺激在提供该光学刺激的时段中的分布无关。随着刺激提供的时段变得更长，光学感知成为可能的刺激阈值下降，并且该阈值随着提供时间变短而增加。
这种关系被称为“Bloch法则”，并且下面的方程式成立，其中I指代刺激的阈值强度，T指代刺激提供的时间，k为常数。
I×T＝k这种关系也可以表达为如图1中所示，其中水平轴代表刺激提供的时间T，竖直轴代表阈值强度I。图1中所示的曲线被称为阈值-提供时间曲线。
根据图1中所示的阈值-提供时间曲线，当强度为Ia、光脉冲提供时间为Ta时，人所感知到的亮度与当强度Ib为Ia/n、光持续提供时间Tb是Ta的n倍长时所感知到的亮度相同。
虽然Bloch法则直到刺激提供时间高达某个时间(图1所示实例中的时间TL)处成立(如向右下降的直线到时间TL为止所表示的)，但是时间TL之后，该阈值仅取决于刺激的强度(即阈值不会随提供时间而变化)。这样，阈值-提供时间曲线呈现出由弯折的直线表示的特性。
Bloch法则适用的最大刺激提供时间TL被称之为临界提供时间。
时间TL根据提供刺激的条件而变化(例如背景光的强度)，但据报道是在25-100ms的量级。
Bloch法则例如在“Shikaku jouhoushori handobukku”，the VisionSociety of Japan，pp.219-220中有详细的描述。
人的视觉还具有一旦感知到刺激即将该刺激保持某个时段的功能，甚至在已经结束了提供该刺激之后(以下称之为感知记忆功能)。许多报道证实了保持刺激的时间是在10-200ms量级。该功能也被称为映象记忆或视觉持续，例如在“Shikaku jouhoushori handobukku”，the Vision Societyof Japan，pp.229-230中有所描述。
接下来将描述基于视觉特性而实现的超分辨率效应。
在这个实施例中，超分辨率效应基于观察者感知到某个时段内多个图像总和的视觉特性。这可以被认为是由于上述时域综合功能和感知记忆功能之间的复杂关系。但是，在下面的描述中，这被认为是由于时域综合功能。
例如，如图2A所示，当以预定的帧速率(以下称之为输入图像帧速率)和预定的采样速率(以下称之为输入图像采样速率)对水平运动的物体成像时，获得其中物体图像Wa如图2A所示的、以速度v(像素/帧)(在X轴的方向上)向右运动的输入帧Fa。图2A示出了4个连续的输入帧Fa1-Fa4。
输入帧Fa被相对于X轴方向(即物体图像Wa的运动方向)以输入图像采样速率1/m的采样速率(以下称之为显示图像采样速率)采样。也就是说，输入帧Fa以抽取数m而被抽取。在图2A所示的实例中，由于输入帧Fa以抽取数为4被抽取，所以获得了其相对于X轴方向的分辨率减小到1/4(即相对于X轴方向更粗糙，或者图像质量变差)的显示帧Fb，如图2B所示。显示帧Fb包括以抽取数为4抽取输入帧Fa的物体图像Wa而获得的图像(以下称之为显示物体图像Wb)。
然后显示帧Fb被以预定的帧速率(以下称之为显示图像帧速率)显示。这样，观察者感知到通过将在前述时域综合功能的综合时段中所显示的多个显示帧Fb进行综合而获得的图像。
这里假定观察者的视觉追踪在显示帧Fb中的显示物体图像Wb。在这种情况下，由于观察者的视点保持定位在显示物体图像Wb的中心，所以观察者视网膜上的显示物体图像Wb基本是静止的。
在图2B中，坐标轴Vx和Vy代表视网膜上的坐标，坐标轴X和Y代表帧上的坐标。(二者都表示在图2B的显示帧Fb1上，但没有表示在显示帧Fb2-Fb4上)。由于真实图像的倒像形成在视网膜上，所以由坐标轴Vx和Vy所定义的坐标系的指向与由坐标轴X和Y所定义的坐标系的指向相反。
如图3中的虚线所指示的，显示帧Fb在帧的预定位置处被采样，在这个实例中，每间隔4个像素被采样。这样，当运动量不是采样间隔的整数倍时，物体图像Wa的被采样位置每帧会移动v，使得显示帧Fb中的显示物体图像Wb由物体图像Wa的与采样位置移动一致的部分形成。
例如，当物体图像Wa的运动速度v为1像素/帧时，帧与帧之间的运动量(即1个像素)不是采样间隔(即4个像素)的倍数，使得物体图像Wa的被采样位置相对于X轴方向移动1个像素。这样，在这种情况下，显示帧Fb的显示物体图像Wb由物体图像Wa的与该移动一致的部分形成。
当显示物体图像Wb由物体图像Wa的与采样位置移动一致的部分形成时，多个帧上的显示物体图像Wb被视觉综合，由此感知到比显示物体图像Wb具有更多像素的图像，即比显示物体图像Wb具有更高的分辨率(以下称之为超分辨率)。
例如，视觉特性的综合时间对应图2B的4个显示帧Fb的显示时段，使得显示帧Fb1-Fb4的4个显示物体图像Wb被综合，并感知到分辨率接近于显示物体图像Wb分辨率的4倍的图像，即其分辨率基本等于物体图像Wa的分辨率，如图2C所示。
通过上述原理实现了超分辨率效应。但是，抽取造成混叠分量，而它们又转化为混叠噪声，从而造成图像质量的变差。
本实施例试图去除混叠分量，如以下描述的。
表达式(1)表示通过以间隔X对第一级原始信号f(x)进行采样所获得的信号fs(x)。在表达式(1)中，δ(x)指代δ函数。
表达式(2)表示对被采样的信号fs(x)进行的傅立叶变换Fs(ω)。在表达式(2)中，F(ω)指代对原始信号f(x)进行的傅立叶变换，ωs指代采样角频率。
fs(x)=Σk=-∞∞f(kX)δ(x-kX)---(1)]]>Fs(ω)=1XΣk=-∞∞F(ω-kωs)---(2)]]>表达式(3)表示对通过以间隔X对在实空间中移动φ的原始信号f(x)进行采样所获得的信号fsφ(x)进行的傅立叶变换Fsφ(ω)。
Fsφ(ω)=1XΣk=-∞∞F(ω-kωs)e-j2πkφ--(3)]]>表达式(3)表明k＝0的基波对应于原始信号，k＝n的第n级谐波移动了2πnφ。
如上所述，假定物体图像Wa正以某个速度v水平运动，并且假定物体图像Wa相对于该运动方向被抽取了1/m，原始信号的带宽是显示帧Fb的尼奎斯特(Nyquist)频率的m倍。这样，以1/m抽取的采样信号fsφ(x)具有混叠分量。在表达式(3)中，k＝0得到原始信号分量，k＝1、2……和(m-1)得到混叠分量。
图4示出了在抽取量m＝2的情况下的傅立叶变换Fsφ(ω)。在这种情况下，原始信号的带宽是Nyquist频率的2倍，以1/m抽取的采样信号fsφ(x)具有第一级谐波混叠分量。如从图4将理解到的，采样信号fsφ(x)保持原始信号f(x)的傅立叶变换分量F(ω)。k＝1的第一级谐波F(ω·ωs)和F(ω+ωs)分别被混叠有-2πφ和2πφ的相移。
当抽取的间隔为1/m时，以1/m抽取的采样信号fsφ(x)具有第一级到第(m-1)级的混叠分量，并且混叠分量的相位被移动2πkφ。通过以1/m抽取如移动φ的原始信号f(x)来获得采样信号fsφ(x)，使得采样信号fsφ(x)可以被认为是对应图2B中的任意单个显示帧Fb。
现在将考虑图2B中不同时间的显示帧Fb的信号。
当物体(用原始信号f(x)表示)正以速度v水平运动时，采样点的相位在帧中变化，如图3所示。这样，表达式(3)中采样点的移动量φ是时间t的函数，并且取决于速度v(像素/帧)和抽取量m(像素)，如表达式(4)所表示。在表达式(4)中，T指代时间间隔，其是帧速率的倒数。
φt=vmtT---(4)]]>如从表达式(4)中将理解到的，t＝0时的移动量φ0＝0，并且随着时间t按t＝T、2T、3T、……变化时，移动量以v/m增加。
将表达式(4)代入表达式(3)，即得到各个定时处混叠分量的相位。
图5示出了时间t＝0、T、2T、3T、……处第一级混叠分量的相位。
类似地，图6示出了时间t＝0、T、2T、3T、……处第二级混叠分量的相位，图7示出了时间t＝0、T、2T、3T、……处第三级混叠分量的相位，图8示出了时间t＝0、T、2T、3T、……处第四级混叠分量的相位。
如上所述，第k级混叠分量随着时间前进(即随着帧前进)而以规则的间隔(2πkφT)旋转，并在时间t＝(m/v)T处返回到相位0。而且，随着混叠分量的级数增加，相位旋转的间隔倍乘。
如上所述，以抽取量m抽取(减量采样)而生成的第k(k＝1、2、……、(m-1))级混叠分量的相位旋转2πkφT。这样，根据相位的方向和被综合的图像的数量(即被组合的混叠分量的数量)，混叠分量彼此抵消。也就是说，由于φt取决于运动速度v和抽取量m，所以混叠分量根据运动速度v、抽取量m和所综合的图像数量而彼此抵消。
例如，当v＝1，m＝4时，显示帧Fb的图像具有第一级混叠分量，其相位以π/2的间隔变化，如0(＝2π×1×[1/4×0/T])、π/2(＝2π×1×[1/4×T/T])、π(＝2π×1×[1/4×2T/T])、3π/2(＝2π×1×[1/4×3T/T])等，如图9所示。
在图9和随后描述的图10和11中，没有示出t＝4T时及其以后的混叠分量。
显示帧Fb的图像还具有第二级混叠分量，其相位以π的间隔变化，如0(＝2π×2×[1/4×0/T])、π(＝2π×2×[1/4×T/T])、2π(＝2π×2×[1/4×2T/T])、3π(＝2π×2×[1/4×3T/T])等，如图10所示。而且，显示帧Fb的图像还具有第三级混叠分量，其相位以3π/2的间隔变化，如0(＝2π×3×[1/4×0/T])、3π/2(＝2π×3×[1/4×T/T])、3π(＝2π×3×[1/4×2T/T])、9π/2(＝2π×3×[1/4×3T/T])等，如图11所示。
在这种情况下，第一级到第三级混叠分量在t＝0、T、2T、3T时的矢量被引导(direct)以彼此抵消，如图9到图11中所示。这样，当视觉综合这4个显示帧Fb时，所有的混叠分量被抵消。
第k级混叠分量要被抵消的条件可以用表达式(5)表示。用欧拉(Euler)公式展开方程(5)，得到表达式(6)和(7)。
Σtej2πkφt=0---(5)]]>Σtcos(2πkφt)=0---(6)]]>∑sin(2πkφt)＝0 (7)也就是说，在这个实施例中，根据物体图像Wa的运动速度v确定抽取量m，使得混叠分量彼此抵消，从而去除混叠分量。
考虑采样信号fsφ(x)被频带限制数字滤波器(band-limiting digitalfilter)减小到1/m的这种情况，移动φ的原始信号f(x)被限制在Nyquist频率以内，使得混叠不会出现。例如，当m＝2时，傅立叶空间如图12所示，与被减小到1/m的信号相对应的帧图像是不含有混叠分量的低分辨率图像。
在这种情况下，被减小信号的基波不同于原始信号，从而不可能表示Nyquist频率以上的频率分量，但是多个帧图像被累计，从而不可能实现超分辨率效应。
因此，为了实现超分辨率效应，重要的是对原始信号的带宽不进行限制，并且最佳的是抽取具有空间频率分量频带较宽的原始信号。
虽然为了简化，以上已经结合第一级原始信号进行了描述，但是其同样适用于二维图像。
而且，虽然已经参照图2结合对物体Wa相对于X轴方向上的运动进行了描述，但是其同样适用于相对于Y轴方向上的运动。
接下来，将描述混叠分量被彼此抵消的条件，即实现超分辨率效应的条件。
实现超分辨率效应的条件是满足表达式(5)，即也就是满足表达式(6)和(7)。也就是说，矢量Zk(t)在视觉综合时段的和必须为0，其中矢量Zk(t)指代时间t时的第k级混叠分量，如图13所示。
该条件是否得以满足取决于综合时段。但是，由于已知综合时段根据观察环境而变化，并且难以准确地测量出综合时段，所以难以确定其中该条件得以满足的综合时段范围。
已发现当帧速率较高时，即被综合的图像数量较大时，即使抽取量m较大，仍能实现超分辨率效应。这是在实验中发现的，在该实验中，例如在X轴方向上或Y轴方向上、以预定运动速度v运动的物体图像Wa被以预定抽取量m采样，并且所得显示物体图像Wb被以预定的帧速率显示，从而检查该图像是否被观察者以超分辨率实际观测。
要实现超分辨率的条件取决于运动速度v，并且可由表达式(8)近似表示。
2πn+α≤2πkφT≤2π(n+1)-α(8)如前所述，混叠分量的相位以2πkφT的间隔旋转。表达式(8)表明当混叠分量的相位旋转间隔接近2π的倍数时，即可实现超分辨率效应。
如图14所示，当相位旋转间隔接近2π的倍数时，混叠分量的相位基本不会变化，即使当时间t变化时，并且混叠分量没有被抵消，仍然保留着。
例如，考虑关于以m＝4产生的第一级到第三级混叠分量满足表达式(8)的条件，表达式(8)在图15中运动速度v(像素/帧)的阴影范围内没有得到满足，使得在这个范围中不会实现超分辨率效应。
至于第一级混叠分量，例如当v＝4时，混叠分量的相位旋转间隔是2π×1×(4/4)(2πkφT)，使得混叠分量的相位旋转间隔是2π×1。这样，第一级混叠分量在以速度v＝4为中心的某个范围(其中相位旋转间隔在以2π的倍数为中心的2α范围内的速度范围)内不会被抵消。也就是说，当v＝4n(n＝0、1、2、3……)时，相位旋转间隔是2π×n，使得第一级混叠分量在以速度v＝4n为中心的某个范围内不会被抵消。
至于第二级混叠分量，例如当v＝2时，相位旋转间隔是2π×2×(2/4)，即2π×1，并且当v＝4时，相位旋转间隔是2π×2×(4/4)，即2π×2。这样，第二级混叠分量在以速度v＝2、4为中心的某个范围(其中相位旋转间隔在以2π的倍数为中心的2α范围内的速度范围)内不会被抵消。也就是说，当v＝2n时，相位旋转间隔是2π×n，使得第二级混叠分量在以速度v＝2n为中心的某个范围内不会被抵消。
至于第三级混叠分量，例如当v＝4/3时，相位旋转间隔是2π×3×(4/3)/4，即2π×1，当v＝8/3时，相位旋转间隔是2π×3×(8/3)/4，即2π×2，并且当v＝4时，相位旋转间隔是2π×3×4/4，即2π×3。这样，第三级混叠分量在以速度v＝4/3、8/3、4为中心的某个范围(其中相位旋转间隔在以2π的倍数为中心的2α范围内的速度范围)内不会被抵消。也就是说，当v＝(4/3)n时，相位旋转间隔是2π×n，使得第三级混叠分量在以速度v＝(4/3)n为中心的某个范围内不会被抵消。
当速度v＝0时，相位旋转间隔2πkφ＝0，使得第一级到第三级混叠分量在v＝0附近的某个范围(0-vα1、0-vα2和0-vα3)内不会被抵消。
而且，随m＝3出现的第一级和第二级混叠分量(图16)以及随m＝2出现的第一级混叠分量(图17)在其中相位旋转间隔在以2π的倍数为中心的2α范围内的速度范围中不会被抵消，类似于上述m＝4的情况。
而且，如图13所示，随着混叠分量的级数增加，相位旋转间隔会增至两倍、增至三倍，增至其他倍数。
令相位旋转间隔用θ表示，当物体图像Wa的运动速度v较低并且相位旋转间隔θ小于α时，表达式(8)没有得到满足，使得超分辨率效应无法实现。当物体图像Wa的运动速度v增加并且相位旋转间隔θ达到α时，超分辨率效应得以实现。
这表明α是实现超分辨率效应的临界点(相位旋转间隔)。α根据显示图像帧速率而变化，并且随显示帧速率增加，它趋向于减小。
令物体Wa在临界点时的运动速度用vα表示，即可推导出表达式(9)，并且重新整理表达式(9)，可得到表达式(10)。
α=2πkvαm---(9)]]>vα=α2πmk---(10)]]>这样，当显示图像帧速率增加，并且α减小时，速度vα(图15中所示的vα1、vα2和vα3)变得更低，使得当运动量较小时即可实现超分辨率效应。
如从表达式(10)中将理解到的，临界点时的vα取决于抽取量m和混叠分量的级数k。临界点时的速度vα随抽取量m的增加而增加。而且，临界点时的速度vα随级数k的减小而增加。在图15所示的示例中，vα2小于vα1，vα3小于vα2。这样，应该理解到，由于高级数的混叠分量不能实现超分辨率效应的区域较窄。
视觉的超分辨率效应可以概括如下。
用于实现超分辨率效应的临界点α随帧速率增加而变得更小。
当抽取量为m时，第一级到第(m-1)级混叠分量必须满足表达式(8)。
当抽取量m减小时，物体Wa在临界点时的运动速度vα变得更低。也就是说，当抽取量m较小时，即使运动量较小，仍能实现超分辨率效应。
从上述描述中应该理解到，根据物体的运动速度(大小和方向)，通过进行抽取可以实现超分辨率效应。
为了实现超分辨率效应，增大显示图像帧速率是有益的，并且例如为了抑制图像质量变差(例如，运动模糊或不平稳)，增大显示图像帧速率也是有益的。
现在将参照图18A来描述根据本发明实施例的运动图像转换设备1A的结构。利用基于上述超分辨率效应的分辨率转换，运动图像转换设备1A能够将所捕获的图像转换为具有输出分辨率的图像，使得观察者不会感知到由于这种向输出分辨率的转换而引起的图像质量变差。
成像单元11A包括固态成像设备，例如CCD成像设备或CMOS成像设备，其能够以比输出单元13A能够输出的图像分辨率更高的分辨率来成像。
成像单元11A以预定帧速率和预定空间采样速率(以下简称为采样速率)来捕获运动图像，并将所捕获的图像转换为内部数据格式。例如，当输出单元13A能够输出的图像的帧速率为F并且其分辨率为x×y像素时，以帧速率F和分辨率ix×jy像素来进行成像，并且所捕获的图像被转换为内部数据格式的成像帧Fa。i、j、x和y都为正数。
成像单元11A将成像帧Fa(ix×jy像素)提供给图像转换器12。
当从固态成像设备输出的图像信号是模拟信号时，成像单元11A通过未示出的模数转换器将模拟信号转换为内部数据格式的数字信号。
因为帧速率越高，越容易实现超分辨率效应，所以成像单元11A被调整以能够在较高的帧速率下工作。至于固态成像设备，由于CMOS成像设备更适合以较高的帧速率成像，所以在这个实施例中成像单元11A包括CMOS成像设备。
图像转换器12将成像单元11A或图像输入单元11B所提供的成像帧Fa(ix×jy像素)转换为其分辨率可以由输出单元13A输出的输出帧Fb(x×y像素)。
此时，图像转换器12基于前述超分辨率效应而通过每个都具有预定大小的块进行分辨率转换。这样，超分辨率效应即得以实现，即观察者感知到以预定帧速率、以超过输出帧Fb分辨率的超分辨率显示的输出帧Fb的视觉效应。
图像转换器12将输出帧Fb提供给输出单元13A。
输出单元13A输出运动图像信号。由于如前所述帧速率越高，越容易实现超分辨率效应，所以输出单元13A被调整来能够以较高的帧速率来输出图像。
接下来，将参照图18B来描述根据本发明实施例的图像显示设备1B。
图像输入单元11B接收具有预定帧速率和预定空间采样速率(以下简称为采样速率)的图像输入，并将该图像转换为内部数据格式。例如，当图像显示单元13B的显示设备的帧速率为F，显示分辨率为x×y像素时，帧速率为F、分辨率为ix×jy像素的图像被输入，并且该图像被转换为内部数据格式的输入帧Fa。i、j、x和y都为正数。图像输入单元11B将输入帧Fa(ix×jy像素)提供给图像转换器12。
当被输入的是模拟信号时，图像输入单元11B通过内部模数转换器(未示出)将该模拟信号转换为内部数据格式的数字信号。
图像输入单元11B也能够处理图像信号，例如经SMPTE(Society ofMotion Picture and Television Engineers)标准化的电视信号、经VESA(Video Electronics Standards Association)标准化的模拟视频信号或经DDWG(Digital Display Working Group)标准化的DVI(Digital VisualInterface)信号。
而且，由于如前所述帧速率越高，越容易实现超分辨率效应，所以当输入帧Fa的帧速率较高时，图像输入单元11B被调整来能够以较高的帧速率工作。
图像转换器12与运动图像转换设备1A中图像转换器12的结构相同，并且它将显示帧Fb提供给图像显示单元13B。
图像显示单元13B由具有x×y像素的显示设备来实现。图像显示单元13B以预定帧速率显示由图像转换器12提供的图像。由于如前所述帧速率越高，越容易实现超分辨率效应，所以图像显示单元13B被调整以能够以较高的帧速率显示图像。
接下来，将描述图像转换器12的结构。
图像转换器12接收由ix×jy像素组成的内部数据格式的图像信号输入。
图像转换器12的运动量检测器21在由成像单元11A或图像输入单元11B目前提供的当前成像帧Fa与在一个帧之前或几个帧之前被输入的先前成像帧Fa之间进行块匹配，从而检测当前帧Fa块图像(ip×jq像素)的运动矢量。p和q均为正数。在这种情况下，成像帧Fa的块总数为x/p×y/q。
运动量检测器21逐块地将成像帧Fa与所检测到的运动矢量一起提供给分辨率转换器22。
根据从运动矢量所确定的每个帧相对于X轴方向和Y轴方向的运动量v(像素)或运动速度v(像素/帧)，分辨率转换器22对由运动量检测器21提供的成像帧Fa的块图像(ip×jq像素)相对于X轴方向和Y轴方向进行滤波或采样(即抽取)。
分辨率转换器22采集与总块数(x/p×y/q像素)相同数量的所得到的输出帧Fb的块图像(p×q像素)，从而生成单个输出帧Fb(x×y像素)，并将输出帧Fb输出到输出单元13A或图像显示单元13B。
接下来，将参照图19描述图像转换器12的运动量检测器21和分辨率转换器22。
运动量检测器21的帧存储器31存储从成像单元11A或图像输入单元11B接收到的成像帧Fa(当前成像帧Fa)。
延迟电路32延迟在当前帧Fa之前输入的先前帧Fa一个帧时段或多个帧时段，使得先前帧的相位与当前帧Fa的相位相匹配。延迟电路32将被延迟的先前帧Fa提供给帧存储器33。
帧存储器33存储延迟电路32所提供的先前帧Fa。
块匹配电路34在帧存储器31中所存储的当前帧Fa与帧存储器33中所存储的先前帧Fa之间为每个由ip×jq像素组成的块进行块匹配，从而检测当前帧Fa块图像(ip×jq像素)的运动矢量。块匹配电路34将当前帧Fa的块图像提供给分辨率转换器22的空间滤波单元41，并将块图像的运动矢量提供给分辨率转换器22的控制器44。
运动量检测器21的上述结构仅是示例，只要有可能检测到成像帧Fa的每个块的运动矢量，可以应用其他结构。
分辨率转换器22的空间滤波单元41从运动量检测器21的块匹配电路34接收成像帧Fa的块图像(ip×jq像素)输入(参照图20的左侧部分)。空间滤波单元41是用于限制空间分辨率带宽的数字滤波器。空间滤波单元41抑制混叠分量以获得所期望的由控制器44给定的分辨率。
更具体地，在控制器44的控制下，空间滤波单元41在空间上对成像帧Fa的块图像(ip×jq像素)进行滤波，使得通过在随后的空间抽取单元42中、通过抽取量为mx和my的抽取而获得输出帧Fb的块图像(p×q像素)，从而获得具有mxp×myq像素的图像(参照图20的左侧部分)。
空间滤波单元41将具有mxp×myq像素的图像提供给空间抽取单元42。mx和my均是正整数。
空间滤波单元41不会限制空间分辨率的带宽，但它抽取原始图像以将原始图像转换为具有所期望的由控制器44给定的分辨率。
更具体地，以相对于X轴方向的抽取量mx和相对于Y轴方向的抽取量my、相对于X轴方向和Y轴方向抽取由空间滤波单元41提供的、具有mxp×myq像素的图像(参照图20的右侧部分)，从而生成具有p×q像素的图像，即输出帧Fb的块图像(参照图20的右侧部分)，抽取量mx和my均由控制器44给定。空间抽取单元42将具有p×q像素的图像提供给帧存储器43。
当如在图20所示的示例中mx＜i，my＜j时，抽取量是控制器44给定的mx和my。当mx＞i，my＞j时，抽取量是i和j。
返回去参照图19，帧存储器43存储由空间抽取单元42提供的、具有p×q像素的块图像，并生成单个具有x×y像素的输出帧Fb。
控制器44从运动量检测器21接收块图像的运动矢量输入。控制器44基于相对于X轴方向和Y轴方向的运动速度v确定混叠分量的相位旋转间隔满足表达式(8)的最大抽取量mx和my。也就是说，控制器44确定满足用于实现超分辨率效应的条件的抽取量。
由于如前所述表达式(8)中的α根据视觉在综合时段内所综合的图像数量而变化，所以难以适当地确定α值。
这样，在这个实施例中，预先进行实验，在该实验中，例如以预定的抽取量m对正以预定的运动速度v在X轴方向上或Y轴方向上运动的物体图像Wa进行采样，并且检查观察者是否能够在超分辨率下实际感知到所得的显示物体图像Wb。抽取量m是基于该实验中实现超分辨率效应的运动速度v与抽取量m之间的关系而确定的。
图21示出了用水平运动的物体图像Wa进行的上述实验的结果。
图21表明在抽取量m＝4、以速度v＝4/3、2、8/3、4为中心的某个运动速度范围内，在抽取量m＝3、以速度v＝3/2、3为中心的某个运动速度范围内，在抽取量m＝2、以速度v＝2、4为中心的某个运动速度范围内没有实现超分辨率效应。
图21还表明当运动速度v在从起始点0的预定范围P0中时(即当速度v没有超过图21中所示的速度v0时)，对于m＝2、3、4，没有实现超分辨率效应。
参照图15-17，这对应于表达式(8)没有得到满足的运动速度v的范围。
例如，图22示出了图21中与图15相对应的m＝4的区域。第一级混叠分量在以v＝4n为中心的某个范围中没有被抵消。第二级混叠分量在以v＝2n为中心的某个范围中没有被抵消。第三级混叠分量在以v＝(4/3)n为中心的某个范围中没有被抵消。而且，第一级到第三级混叠分量在v＝0附近的某些范围中没有被抵消。
也就是说，当第一级到第三级混叠分量其中甚至有一个没有被抵消时，在运动速度v的范围中以m＝4抽取，没有实现超分辨率效应。
图22示出了没有实现超分辨率效应的这种范围，如范围U4a-U4d。而且，图22示出了m＝4时实现超分辨率效应的范围，如范围P4a-P4d。
图21还示出了m＝4时实现超分辨率效应的范围，如范围P4a-P4d。类似地，图21还示出了m＝3时实现超分辨率效应的范围，如范围P3a-P3c，以及m＝2时实现超分辨率效应的范围，如范围P2a-P2b。
这样，在这个示例中，例如当成像帧Fa的块图像相对于X轴方向的运动速度v是图21中所示的0-4/3范围内的速度va时，抽取量被选择为2个像素，使得超分辨率效应将得以实现，并且块图像在X轴方向上以抽取量2被抽取。
作为另一示例，当成像帧Fa的块图像相对于X轴方向的运动速度v是0-4/3范围内的速度vb时，速度vb大于速度va，抽取量被选择为4，这是实现超分辨率效应的m＝2、3、4中最大的。由此块图像在X轴方向上以抽取量4被抽取。
当成像帧Fa的块图像相对于X轴方向的运动速度v在范围P0内时，即当以速度v没有实现超分辨率效应时，抽取量被选择为1，使得分辨率转换全部都进行空间滤波。
也就是说，在这个实施例中，至于其中物体图像Wa的运动速度v较高的区域，进行抽取以在实现超分辨率效应的情况下不去除混叠分量。另一方面，至于其中运动速度v较小的区域，即P0范围中，在没有实现超分辨率效应的情况下，通过空间滤波来限制带宽，以致不会造成混叠。
而且，当帧速率较高时，其中没有实现超分辨率效应的范围变得更小，即其中实现超分辨率效应的范围变得更大，使得允许以更大抽取量进行抽取。
抽取量的选择可以被概括成图21中所示的表。也就是说，控制器44基于图21所示的表来确定相对于X轴方向的抽取量，并基于类似的表来确定相对于Y轴方向的抽取量。
控制器44例如将图21中所示的表存储在存储单元44A中，并检测表中与运动速度v相关的抽取量m(mx和my)。
控制器44控制空间滤波单元41将成像帧Fa的块图像(ip×jq像素)转换为具有mxp×myq像素的图像，从而通过空间滤波进行抽取，使得带宽将得到限制。而且，控制器44控制空间抽取单元42以抽取量mx和my并且不限制带宽地对由空间滤波单元41所提供的、具有mxp×myq像素的图像进行抽取。
当运动速度v在P0范围中时，对于m＝2、3、4，都没有实现超分辨率效应，使得控制器44选择抽取量1，从而分辨率转换全部都经过空间滤波单元41滤波。
接下来，将参照图23所示的流程图来描述图像转换器12的操作。
在步骤S1，图像转换器12的运动量检测器21的块匹配电路34初始化块数(例如到1)。在步骤S2，块匹配电路34判断是否已经检测到成像帧Fa所有块的运动矢量。
如果步骤S2中判断出并没有检测到所有块的运动矢量，则过程继续步骤S3。在步骤S3，运动量检测器21的块匹配电路34对由块数表示的块进行块匹配，从而检测块图像的运动矢量。
块的总数为x/p×y/q，并且成像帧Fa的各个块图像可以用块数1到x/p×y/q标识。
更具体地，块匹配电路34将当前帧Fa的对象块图像与先前帧Fa的搜索区域中的任意块图像进行比较，以检测均方差达到最小的块，并判断出将当前帧Fa的对象块与先前帧Fa的被检测块相联系的矢量作为运动矢量。块匹配电路34将当前帧Fa的块图像提供给分辨率转换器22的空间滤波单元41，并将块图像的运动矢量提供给控制器44。
接着在步骤S4，分辨率转换器22的控制器44基于由运动量检测器21的块匹配电路34所提供的运动矢量来计算相对于X轴方向的运动速度(运动量v)。接着，控制器44参照图21中所示的、定义运动速度v和抽取量m之间关系的内部表来检测与运动速度(运动量)v相关的抽取量mx。
在步骤S5，控制器44基于由运动量检测器21的块匹配电路34所提供的运动矢量来确定相对于Y轴方向的运动速度(运动量v)。接着，控制器44参照定义相对于Y轴方向的运动速度v和抽取量m之间关系的内部表来检测与运动速度(运动量)v相关的抽取量my。
接着，在步骤S6，分辨率转换器22的控制器44控制空间滤波单元41将由运动量检测器21所提供的成像帧Fa的块图像(ip×jq像素)转换为分辨率为mxp×myq像素的图像(参照图20的右侧部分)。也就是说，空间滤波单元41在空间上将块图像进行滤波。
例如当抽取量m＝4时，控制器44控制空间滤波单元41进行空间滤波，从而将获得具有4p×q像素的图像。当抽取量mx＝3时，控制器44控制空间滤波单元41进行空间滤波，从而将获得具有3p×q像素的图像。虽然已经结合对沿X轴方向的像素作为示例进行了描述，但同样适用于沿Y轴方向的像素。
接着在步骤S7，控制器44根据步骤S4和S5中确定的抽取量mx和my来控制空间抽取单元42对由空间滤波单元41所提供的、具有mxp×myq像素的图像进行抽取。这样，空间抽取单元42以相对于X轴方向为mx的抽取量和相对于Y轴方向为my的抽取量对由空间滤波单元41所提供的、具有mxp×myq像素的块图像进行抽取。这样，获得了具有p×q像素的块图像(参照图20的右侧部分)。
例如，当抽取量mx＝4时，相对于X轴方向以4的抽取量对由空间滤波单元41所提供的4p×q个像素进行抽取，从而生成具有p×q像素的块图像。当抽取量mx＝3时，相对于X轴方向以3的抽取量对由空间滤波单元41所提供的3p×q个像素进行抽取，从而生成具有p×q像素的块图像。
虽然当进行空间抽取时会出现混叠分量，但由于抽取量mx和my满足表达式(8)，所以混叠分量彼此抵消。
空间抽取单元42将具有p×q像素的经抽取的块图像提供给帧存储器43。帧存储器43将块图像存储在特定位置处，并将块图像组合成单个输出帧Fb。
在步骤S8，运动量检测器21的块匹配电路34将块数加1。
接着过程即返回到步骤S2，并执行随后的处理。
当步骤S2判断出已经检测了所有块的运动矢量，则退出该过程。
如上所述，通过步骤S3-步骤S7的处理逐块地转换单个成像帧Fa的分辨率，从而生成单个输出帧Fb，并且以预定的帧速率从输出单元13A输出输出帧。
这样，当显示从输出单元13A输出的图像时，允许观察者感知到在分辨率超过可以由实际像素数表示的分辨率下(即在分辨率超过显示物体图像Wb的分辨率下)具有大量运动的图像。通过超分辨率效应，由观察者感知到的空间分辨率对应相对于X轴方向是输出帧Fb的块图像(p×q像素)的mx倍、相对于Y轴方向是输出帧Fb的块图像的my倍的分辨率(mxp×myq像素)。
如上所述，检测在图像的每个块中的运动，并通过空间滤波单元41和空间抽取单元42适当地进行空间滤波和空间抽取。这样，在具有某个运动量的块中都实现了超分辨率效应，并且在运动较小的块中抑制了混叠噪声，使得能感知到整体质量良好的图像。
图24A示出了根据本发明另一实施例的成像设备。成像设备内部具有转换图像的功能。
该成像设备包括成像单元51A和输出单元52A。成像单元51A由CMOS设备来实现。CMOS成像设备允许光电传感器元件和处理元件同时安装在其上。
成像单元51A包括光电传感器61、运动量检测器62和分辨率转换器63。
光电传感器61包括光电传感器元件的二维阵列，其接收光并将光转换为电信号。光电传感器61将通过光电转换获得的模拟信号转换为内部数据格式的数字信号。
运动量检测器62由成像单元51A上的电路实现，该电路类似地配置成图18A中所示的示例中的运动量检测器21。
分辨率转换器63由成像单元51A上的电路实现，该电路类似地配置成图18A中所示的示例中的分辨率转换器22。
由于根据这个实施例的成像设备有利于以较高的帧速率显示图像，所以光电传感器61中的成像元件被调整以能够以较高的帧速率成像。
输出单元52A具有与图18A中所示的示例中的输出单元13A相同的功能。
上述系列过程可以在硬件或软件中实现。当在软件中实现该系列过程时，该软件的程序被安装在计算机上，使得该程序可以由计算机执行，从而实现上述运动图像转换设备1A的功能。
图24B示出了根据本发明实施例的图像处理装置51B的结构。与图18B中所示的图像显示装置1B相比，图像处理装置51B包括取代图像显示单元13B的图像输出单元71。图像处理装置51B的其他部分与图像显示装置1B的相应部分相同，从而将忽略对其的描述。
与图18B中所示的示例相类似地，图像处理装置51B的图像转换器12将从图像输入单元11B输入的输入帧Fa转换为具有可以由显示单元52B表达的分辨率的显示帧Fb。图像转换器12将显示帧Fb输出到图像输出单元71。
图像输出单元71将由图像转换器12提供的显示帧Fb的图像信号转换为显示单元52B可接受格式的图像信号，并将该图像信号输出到显示单元52B。显示单元52B被构造成与图18B所示图像显示单元13B基本相同，并且它显示对应于由图像处理装置51B的图像输出单元71所提供的图像信号。
如上所述，本发明可以适用于不包括显示部分的图像处理装置。
上述系列过程可以在硬件或软件中实现。当在软件中实现该系列过程时，该软件的程序被安装在计算机上，使得该程序可以由计算机执行，从而实现上述运动图像转换设备1A的功能。
图25是表示本发明实施例的方框图，其中计算机101起成像设备1A、成像设备51A、图像显示单元1B或图像显示单元51B的作用。
中央处理单元(CPU)通过总线115被连接到输入/输出接口116。CPU 111一旦接收到用户从包括键盘和鼠标的输入单元118输入的命令，即将例如存储在只读存储器(ROM)112、硬盘114或加载到驱动器120上记录介质(例如磁盘131、光盘132、磁光盘133或半导体存储器134)中的程序加载到随机访问存储器(RAM)113内。
这样，即可执行上述各种过程，例如在图23的流程图中所示的过程。
而且，CPU 111根据需要将处理结果通过输入/输出接口116输出到例如由液晶显示(LCD)实现的显示单元117。
该程序可以预先存储在硬盘114或ROM 112中，并随同计算机101被提供给用户。或者，该程序可以例如以磁盘131、光盘132、磁光盘133或半导体存储器134的封装介质形式提供。或者，该程序可以从卫星或通过网络经由通信单元119提供到硬盘114。
在本说明书中，定义由记录介质所提供的程序的步骤并不必按所述顺序执行，并且它们可以被单独或并行地执行。
权利要求
1.一种图像处理方法，包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将所述图像输入步骤中输入的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有所述第二分辨率的所述图像信号的图像；其中所述分辨率转换步骤检测在对应于所述图像输入步骤中输入的所述图像信号的图像至少部分区域中的运动量，并基于检测到的运动量来转换所述区域的分辨率。
2.如权利要求1所述的图像处理方法，其中所述分辨率转换步骤包括提供这种视觉效应的空间抽取，当以所述预定帧速率显示在所述输出步骤中输出的图像信号时，所述视觉效应呈现出超过所述第二分辨率的分辨率。
3.如权利要求2所述的图像处理方法，其中在空间抽取中的抽取量是基于所述区域中的运动量确定的。
4.如权利要求3所述的图像处理方法，其中在空间抽取中，相对于水平方向的抽取量是基于所述区域中相对于水平方向的运动量确定的，并且相对于垂直方向的抽取量是基于所述区域中相对于垂直方向的运动量确定的。
5.如权利要求2所述的图像处理方法，其中在空间抽取中的抽取量随所述帧速率增加而增加。
6.如权利要求2所述的图像处理方法，其中在对每个帧的空间抽取中，确定空间抽取的量，使得时间上在所述帧之前或之后预定数量的相邻帧中被抽取信号的所有混叠分量彼此抵消。
7.如权利要求2所述的图像处理方法，其中所述分辨率转换步骤将所述空间抽取作用到这样的信号上，即通过对在所述图像输入步骤中获得的图像信号在空间上进行滤波而获得的信号。
8.如权利要求1所述的图像处理方法，其中所述分辨率转换步骤将在所述图像输入步骤中获得的图像分割成多个区域，并检测各个区域中的运动量。
9.一种图像处理方法，包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将所述图像输入步骤中获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有所述第二分辨率的所述图像信号的图像；其中所述分辨率转换步骤将在所述图像输入步骤中获得的图像信号分割成多个区域，检测各个区域中的运动量，并基于所检测到的运动量为各个区域设定空间抽取量，其中在基于为各个区域所设定的空间抽取量而将空间抽取作用到各个区域之前，所述分辨率转换步骤将空间滤波作用到所述图像输入步骤中获得的图像信号的各个区域上。
10.一种图像处理装置，包括图像输入装置，用于输入具有第一分辨率的图像信号；分辨率转换装置，用于将由所述图像输入装置获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出装置，用于以预定帧速率输出具有所述第二分辨率的图像信号；其中所述分辨率转换装置包括运动量检测器和分辨率转换器，所述运动量检测器用于检测在对应于所述图像输入装置中所获得的所述图像信号的图像至少部分区域中的运动量，所述分辨率转换器用于基于检测到的运动量来转换所述区域的分辨率。
11.如权利要求10所述的图像处理装置，其中所述分辨率转换装置进行提供这种视觉效应的空间抽取，当以所述预定帧速率显示由所述输出装置输出的图像信号时，所述视觉效应呈现出超过所述第二分辨率的分辨率。
12.如权利要求11所述的图像处理装置，其中在空间抽取中的抽取量是基于所述区域中的运动量确定的。
13.如权利要求12所述的图像处理装置，其中在空间抽取中，相对于水平方向的抽取量是基于所述区域中相对于水平方向的运动量确定的，并且相对于垂直方向的抽取量是基于所述区域中相对于垂直方向的运动量确定的。
14.如权利要求10所述的图像处理装置，其中在空间抽取中的抽取量随所述帧速率增加而增加。
15.如权利要求11所述的图像处理装置，其中在对每个帧的空间抽取中，确定空间抽取的量，使得时间上在所述帧之前或之后预定数量的相邻帧中被抽取信号的所有混叠分量彼此抵消。
16.如权利要求11所述的图像处理装置，其中所述分辨率转换装置还包括存储单元，用于存储包括与所述运动量相关的空间抽取量的表，其中在空间抽取中的所述空间抽取量是参照所述表而确定的。
17.如权利要求11所述的图像处理装置，其中所述分辨率转换装置将所述空间抽取作用到这样的信号上，即通过对由所述图像输入装置获得的图像信号在空间上进行滤波而获得的信号。
18.如权利要求10所述的图像处理装置，其中所述运动量检测器将由所述图像输入装置获得的图像分割成多个区域，并检测各个区域中的运动量。
19.如权利要求10所述的图像处理装置，其中所述分辨率转换装置被安装在半导体器件上。
20.一种图像处理装置，包括图像输入装置，用于输入具有第一分辨率的图像信号；分辨率转换装置，用于将由所述图像输入装置获得的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出装置，用于以预定帧速率输出具有所述第二分辨率的图像信号；其中所述分辨率转换装置包括运动量检测器和分辨率转换器，所述运动量检测器用于将由所述图像输入装置获得的图像信号分割成多个区域，并检测各个区域中的运动量，所述分辨率转换器用于基于所检测到的运动量为各个区域设定空间抽取量，并在基于为各个区域所设定的空间抽取量而将空间抽取作用到各个区域之前，将空间滤波作用到由所述图像输入装置获得的图像信号的各个区域上。
21.如权利要求20所述的图像处理装置，其中所述分辨率转换装置被安装在半导体器件上。
22.一种成像程序，包括图像输入步骤，其输入具有第一分辨率的图像信号；分辨率转换步骤，其将所述图像输入步骤中输入的图像信号转换为具有第二分辨率的图像信号，所述第二分辨率低于所述第一分辨率；和输出步骤，其以预定帧速率输出对应于具有所述第二分辨率的所述图像信号的图像；其中所述分辨率转换步骤检测在对应于所述图像输入步骤中输入图像信号的图像的至少部分区域中的运动量，并基于检测到的运动量来转换所述区域的分辨率。
全文摘要
当输出单元能够以帧速率为F和分辨率为 x×y个像素进行操作时，成像单元或图像输入单元将图像转换为帧速率为F、分辨率为ix×jy个像素的内部数据格式的成像帧。图像转换器将由成像单元或图像输入单元所提供的成像帧的分辨率转换为可以由输出单元表示的分辨率，从而生成具有x×y个像素的输出帧。此时，图像转换器基于每个具有预定大小的块图像的运动速度，进行预定的分辨率转换。这样，可实现这种视觉效应，即输出帧的图像的观察者感知到分辨率超过输出帧的实际分辨率的图像。
文档编号G06T5/50GK1627814SQ200410086659
公开日2005年6月15日 申请日期2004年12月10日 优先权日2003年12月10日
发明者小林诚司, 小柳津秀纪, 平泽康孝 申请人:索尼株式会社