图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，且更具体地，涉及这 样的图像处理设备、图像处理方法和程序，通过其，可以获得图像的柔和的 分l岸率i曾5虽(flexible resolution enhance)。
背景技术：
例如，近来，在数码相机领域，图像拍摄器件(image pickup device)(例如， CMOS(complementary metal oxide semiconductor, 互才卜金属氧4匕净勿半导体)成 像器)的性能和图像处理的性能的提高已经且正在进步。例如，数码相机可以 将作为高速连续拍摄的输入图像的多个图像合并，以产生具有高画面质量的 图像。作为这样的高画面质量的图像，例如，可以得到执行相机抖动校正的 图像、去除噪声以提高S/N比(信噪比)的图像、以及具有增加的像素数量的 高分辨率的图像，等等。
例如，利用其通带为低于奈奎斯特频率的频率区域且使用sine函数 (sin(x)/x)的插值低通滤波器来进行插值，或由样条函数(spline fimction)等插 值，或由某个其它的插值，而执行从单个图像(在下文中有时是指一帧图像) 到具有增加的像素数量的图像的产生。
然而，尽管上面所描述的插值可以增加像素的数量，但其却未能增加分 辨率。
同时，数码相机的图像拍摄器件有时具有拜耳(Bayer)阵列。在这种例子 中，例如，在采样去除或移除除了 R成分的像素以外的像素的状态下，执行 /人R(红)、G(绿)、B(蓝)成分中采样R成分。这同样也应用于G成分和B成 分。因此，在由拜耳阵列的图像拍摄器件拍摄的图像中，从每个颜色成分的 图像中去除某些像素。
此外，例如，在电视接收器中，有时操作隔行类型的图像。隔行类型的 图像(在下文中有时称为隔行图像)被认为是去除了每隔一行的像素的图像。
如上所述去除了像素的图像的像素值除了信号成分外，还包括混叠成分。如果对于包括混叠成分的图像执行上面所描述的插值，则作为插值的结果而 获得的图像具有显著的混叠成分。
因此，这样的分辨率增强技术是可用的，其中，合并多个帧，以产生像 素数量增加、且具有增强的分辨率的一帧图像。正如上面所描述的这样的分
辨率增强技术已被以下文献/>开例如在日本特开No. Hei 09-69755(在下文 中称为专利文献l)，其相应于美国专利申请No. 6,023,535;日本专利特开No. Hei 08-336046(在下文中称为专利文献3);日本专利特开No. 2007-324789(在 下文中称为专利文献3),其相应于美国专利申i青No. 2008018786;以及日本 专利特开No.2000-216682(在下文中称为专利文献4),其相应于美国专利 No.6,507，S59。
在现有的分辨率增强技术中，通过包括移动检测过程、宽带插值过程和 加权加法过程的三个过程来实现图像的分辨率增强。
在移动检测过程中，所输入的多个帧的图像，也就是输入图像被用于检 测图像的移动，以估计采样图像的位置或相位之间(也就是说，在由图像拍摄 器件的像素所接收的光的空间位置的采样位置之间)的差。
此处，例如，可通过4弟度方法、块匹配方法和各种其它方法扭J亍移动^r 测过程。
在宽带插值过程中，具有较宽的频带以通过包括混叠成分的图像的所有 高频成分的低通滤波器被用于对像素或采样点进行插值，以增加像素数量， 使得生成增强分辨率的图像。
例如，在专利文献1或2中，使用所述的具有通带为2倍于奈奎斯特频 率的流行的宽带LPF(低通滤波器)而执行宽带插值过程。
在加权加法过程中，根据相应于多个帧的图像的采样相位的权重，执行 高速拍摄的多帧图像的混合，即，权重加法。结果，在恢复了图像的高频成 分的同时，采样图像时所产生的混叠成分被消除。
注意，专利文献1公开了合并具有二维混叠成分的九帧图像、以产生高 分辨率图像的技术。专利文献2公开了合并具有一维混叠成分的三帧图像、 以产生高分辨率图像的技术。专利文献3和专利文献4公开了这样的技术， 用于合并对其进行希尔伯特(Hilbert)变换的两帧图像、以产生高分辨率的图像 的IP(Interlace Progressive,隔行逐行)转换，以扭^亍由隔行图^f象到逐行图^f象的 转换。参照图1A到1C进一步描述现有的分辨率增强技术。
图1A示出了高速拍摄、且在一维(一个空间方向)频率区域中具有不同的 采样相位的三个连续帧(在下文中称为帧#1、 #2、以及#3)的图像的频谱。
在图1A中，到频率轴的距离代表信号强度，且围绕频率轴的旋转角度代 表相位。
除了信号成分，帧#1到#3还包括混叠成分，如果对于帧射(此处，i=l、 2 或3)执行宽带插值过程，也就是说，如果利用其使从-fs到fs的频带(即，等 于奈奎斯特频率fs/2的两倍)(在图1A中仅仅显示从0到fs的频带)通过的宽 带LPF来执行像素的插值，则如图1A所示，获得根据在从-fs到fs(即，等于 奈查斯特频率fs/2的两倍)的频带上采样的相位的、包括信号成分和混叠成分 的图像。
由宽带插值过程获得的图像包括许多由原始图像的像素增加的像素。
图1B示出了由宽带插值过程获得的帧#1到#3的信号成分的相位，且图 1C示出了由宽带插值过程获得的帧#1到#3的混叠成分的相位。
注意，在图1B和1C中，横轴指示虚轴，而纵轴指示实轴。
由宽带插值过程获得的三个帧#1到#3的信号成分的相位彼此相符，且例 如，如果将帧#1的混叠成分的相位确定为基准，则响应于采样相位与帧#1的 差，混叠成分的相位旋转。
如上所述，响应于采样相位与帧#1的差，通过宽带插值过程获得的三个 帧#1到#3的混叠成分的相位旋转。因而，通过利用与帧#1的采样相位的差 而确定的权重来执行三个帧#1到#3加权加法，可以去除由宽带插值过程获得 的这三个帧#1到#3的混叠成分。
因此，在现有的分辨率增强技术中，执行利用依照由宽带插值过程获得 的这三个帧#1到#3的采样的相位(的差)确定的权重、来执行帧#1到#3的图像 的加权加法的加权加法过程，以去除混叠成分。由此，获得包括从-fs到fs的 频带的信号成分、且从其中去除混叠成分的图像，也就是高分辨率的图像。
如上所述，根据现有的分辨率增强过程，通过使用处理原始图像而获得 的图像(也就是输入图像)，来恢复超过奈奎斯特频率fs/2的信号成分，其不利 用使奈奎斯特频率fs/2的从-fs/2到fs/2的频带通过的LPF，而是利用了使两 倍于奈奎斯特频率fs/2的频率通过的宽带LPF。
注意，根据现有的分辨率增强技术，为了确定将混叠成分减少到零的加权加法的权重，有时不得不预先确定被用于加权加法的帧的数量。
在下文中，将成为分辨率增强技术的对象的图像适当地称为输入图像。

发明内容
在将分辨率增强技术应用于例如电视广播的图像或记录在光盘上的图像 的情况下，由于这样的图像具有高信噪比，所以，即使使用少量的帧(例如两 个帧或三个帧)作为输入图像，也可以获得高画面质量的图像。
然而，在对由家用数码相机或数码摄像机拍摄的图像应用分辨率增强技 术的情况下，所获取的图像有时包括显著的噪声。
具体地，由于不足的照明等等，由家用数码相机获得的图像有时信噪比 较低。如果像刚才描述的、具有这样低的信噪比的少量图像帧被作用输入图 像，则相反，将获得具有显著噪声的图像。
因而，在将分辨率增强技术应用于由家用相机等获得的图像的情况下， 优选使用很多帧作为输入图像。
然而，取决于例如数码相机的性能、由图像拍摄对象的亮度等确定的曝 光时间、以及图像拍摄时的其它条件等等，可被用作输入图像的帧的数量有 时增力O或减少。
因此，期望提供可以获得图像的柔和的分辨率增强而不需要依赖于输入 图像的数量的图像处理设备、图像处理方法和程序。
根据本发明的实施例，提供了一种图像处理设备，包括扩大部件，用 于通过使用周围的像素值插值而扩大输入图像；定位部件，用于执行由输入
图像的扩大而获得的扩大后图像、以及在前一操作周期中获得的输出图像的
定位；分离部件，用于将输出图像分离为低频成分和高频成分；以及混合-加 法部件，用于将低频成分与扩大后图像混合，并将高频成分加到通过混合获 得的图像中，以产生新的输出图像。
根据本发明的另一个实施例，提供了一种图像处理方法和使得计算机执 行该图像处理方法的程序，该方法包括以下步骤通过使用周围的像素值插 值而扩大输入图像；执行由输入图像的扩大而获得的扩大后图像和在前一操 作周期中获得的输入图像的定位；将输入图像分离为低频成分和高频成分； 以及将低频成分和扩大后图像混合，并将高频成分加到通过混合所获得的图 像中，以产生新的输出图像。在所述图像处理设备、方法和程序中，通过使用周围的像素值插值而扩 大输入图像，随后，执行扩大后图像和在前一操作周期中获得的输入图像的 定位。将输出图像分离为低频成分和高频成分。随后，所述低频成分与扩大 后图像混合，并将高频成分加到通过混合所获得的图像中，以产生新的输出 图像。
注意，所述图像处理设备可以是独立设备，或者可以是不同设备的组件 或内部块。
此外，可以经由传输介质传送所述程序，或者将所述程序记录到记录介 质中/上，以提供该程序。
采用这样的图像处理设备、方法和程序，可以提高图像的画面质量，且 具体地，图像的柔和的分辨率增强是可预期的。


图1A到1C是示出现有的分辨率增强技术的图； 图2是示出本发明的实施例所采用的图像处理设备的一般配置的框图； 图3是示出由图2中的图像处理设备执行的图像处理、也就是分辨率增 强处理的流程图4A到4D是示出将不包括混叠成分的输入图像的垂直方向中的像素数 量增大到原始像素数量的该数量的两倍的扩大处理的图5A到5D是示出将不包括混叠成分的输入图像的垂直方向中的像素数 量增大到原始像素数量的该数量的四倍的扩大处理的图6A到6D是示出将包括混叠成分的输入图像的垂直方向中的像素数量 增大到原始像素数量的该数量的两倍的扩大处理的图7A到7D是示出将包括混叠成分的输入图像的垂直方向中的像素数量
增大到原始像素数量的该数量的四倍的扩大处理的图8A和8B是示出用于执行最近邻插值的滤波器的滤波器特性的图； 图9是示出根据本发明的第一实施例、图2中的图像处理设备的配置示
例的框图IO是示出图9中所示的移动检测部分的配置的示例的框图； 图IIA和IIB是示出图9中所示的块匹配部分的处理的示意图； 图12A到12E是示出图9中所示的扩大部分的处理的图；图13A到13G是示出图9中所示的定位部分的处理的图； 图14A到14C是示出图9中所示的分离部分的处理的图； 图15是示出根据本发明的第二实施例、图2中的图像处理设备的配置示 例的框图16是示出根据本发明的第三实施例、图2中的图像处理设备的配置示 例的4匡图17是示出根据本发明的第四实施例、图2中的图像处理设备的配置示 例的框图18A到18H是示出图9中所示扩大部分的处理的图19是示出具有滤波系凄史为{1/16,2/16，3/16,4/16,3/16,2/16,1/16}的垂直
LPF的滤波器特性的图20是示出图17中所示的扩大部分和定位部分的配置示例的框图21A到21E是示出由图20中所示的扩大部分在水平方向上对图像所
进行的处理的图22A到22D是示出由图20中所示的定位部分在水平方向上对图像所 进行的处理的图23A到23G是示出由图20中所示的扩大部分在垂直方向上对图像所 进行的处理的图24A到24D是示出由图20中所示的定位部分在垂直方向上对图^(象所 进行的处理的图25是示出图24A中所示的垂直三次插值滤波器的详细频率特性的图； 图26A到26C是示出图17中所示的分离部分的处理的图； 图27A到27C是示出图26A中所示的垂直LPF的滤波器特性的图； 图28是示出图17中图像处理设备的输出图像的频率特性的示意图； 图29是示出根据本发明的第五实施例、图2中的图像处理设备的配置示 例的框图30是示出图29中所示的移动4企测部分的配置示例的框图； 图31是示出根据本发明的第六实施例、图2中的图像处理设备的配置示 例的框图32是示出根据本发明的第七实施例、图2中的图像处理设备的配置示 例的框图；图33是示出根据本发明的第八实施例、图2中的图像处理设备的配置示 例的框图34是示出根据本发明的第九实施例、图2中的图像处理设备的配置示 例的框图35A到35D是示出图34中所示的扩大部分的处理的示意图36是示出图34中所示的扩大部分的配置示例的框图37A到37C是示出图34中所示的扩大部分的另一个配置示例的示意
图38是示出图34中所示的分离部分的配置示例的框图； 图39是示出根据本发明的第十实施例、图2中的图像处理设备的配置示 例的框图40A到40E是示出由图39中所示的扩大部分对图像B所执行的处理 的图41是示出图39中所示的扩大部分的配置示例的框图42A和42B是示出图39中所示的扩大部分的另 一个配置示例的示意
图43A和43B是示出图39中所示的分离部分的处理的示意图； 图44A到44H是示出由图39中图像处理设备对B图像和R图像所执行 的处理的示意图45A到45C是示出由图39中的图像处理设备对G图像所执行的处理 的示意图；以及
图46是示出应用了本发明实施例的计算机的配置示例的框图。
具体实施例方式
图2示出了应用了本实施例的图像处理设备的一般配置。 参考图2，图像处理设备从外部接收例如，高速连续拍摄的多于一帧的 图像，也就是输入图像。随后，图像处理设备使用向其提供的多于一帧的输 入图像，以执行作为分辨率增强处理的图像处理，即，使用向其提供的多于 一帧的输入图像，以产生并输出作为具有更高分辨率的图像的输出图像
在这一点上，图像处理设备包括存储部分11、扩大部分12、定位部分13、 分离部分14、混合加法部分15和存储部分16。存储部分11接收向其提供的多于一帧的输入图像。存储部分11暂时存 储向其提供的多于一帧的输入图像。扩大部分12通过使用周围的像素值进行插值，也就是，通过与插入零的 零值插值不同的插值、以产生具有大于输入图像的像素数量的像素数量的扩 大后图像，而扩大存储在存储部分11中的输入图像，并输出扩大后图像。定位部分13执行扩大后图像和通过在下文中描述的混合加法部分15在 前一操作周期中获得的输出图像的定位。分离部分14将输出图像分离为低频成分和高频成分，并将产生的低频成 分和高频成分提供给混合加法部分15。混合加法部分15将来自分离部分14的低频成分混入扩大后图像，并将 来自分离部分14的高频成分加到所得到的扩大后图像，以产生新的输出图 像，并向存储部分16提供新的输出图像。存储部分16存储来自混合加法部分15的输出图像，并根据随时的要求 将存储的输出图像作为输出到外部。图3示出了图像处理，即，图2的图像处理设备执行的分辨率增强处理。存储部分11等待向其输入连续拍摄的多于一帧的输入图像中的一帧的输 入信号，并在步骤Sll存储向其提供的输入图像。随后，处理前进到步骤S12。在步骤S12，扩大部分12通过使用周围像素的像素值插值而扩大存储在 存储部分ll中的输入图像，以产生扩大后图像，并输出扩大后图像。随后， 处理前进到步骤S13。在步骤S13,定位部分13执行由扩大部分12所产生的扩大后图像和通 过混合加法部分15在前一才喿作周期中获得的输出图像的定位。随后，处理前 进到步骤S14。在步骤S14，分离部分14将通过混合加法部分15在前一操作周期中获 得的输出图像分离为低频成分和高频成分，并将所产生的低频成分和高频成 分提供给混合加法部分15。随后，处理前进到步骤S15。在步骤S15,混合加法部分15将来自分离部分14的低频成分混入扩大 后图像，且随后将高频成分加到作为结果的扩大后图像，以产生新的输出图 像，并向存储部分16提供新的输出图像。随后，处理前进到步骤S16。在步骤S16，存储部分16存储来自混合加法部分15的新的输出图像。 随后，处理前进到步骤S17。此时，如果尚未从混合加法部分15获得输出图像，也就是，例如，如果扩大后图像是第一帧的输入图像的扩大后图像，则跳过步骤S13到S15的处 理。随后，在步骤S16，向存储部分16存储由扩大部分12获得的扩大后图 像，如同其是新的输出图像那样。在步骤S17，确定在存储部分ll中是否仍有连续拍摄的输入图像中的任 何一个。如果在步骤sn确定在存储部分ii中仍有任何输入图像，也就是，如果 新近向存储部分ii提供了连续拍摄的多于一帧的输入图像中的一帧输入图 像，则处理返回到步骤sii,以重复与上面所描述的那些处理相似的处理。因而，如果向图像处理设备提供了连续拍摄的多帧输入图像，则在图像处理设备中，扩大部分12扩大不同帧的输入图像，且定位部分13执行对扩 大后图像和输出图像的定位。随后，分离部分14将输出图像分离为低频成分 和高频成分，且混合加法部分15将低频成分混入扩大后图像，随后将高频成 分加到由混合所获得的图像中，以产生新的输入图像。然后，重复上述操作 次序。另一方面，如果在步骤S17确定在存储部分11中没有剩余输入图像，也 就是，如果使用连续拍摄的多于一帧的输入图像执行步骤Sll到S16的处理， 则存储部分16向外部输出其中存储的最新的输出图像，作为具有相对于连续 拍摄的多于一帧的输入图像而言增强的分辨率的图像，从而结束图像处理。注意，不仅当在步骤S17确定没有输入图像剩余时，而且在步骤S16中 每次存储新的输出图像时，都执行存储于存储部分16中的输出图像的输出。尽管下面将描述图2中的图像处理设备的一个更具体的配置，但在描述 之前，将描述扩大输入图像以产生扩大后图像的扩大处理和扩大后图像的分 辨率增强处理。图4A到4D示出了将输入图像的像素数量增加到原始像素数量的两倍的 扩大过程，其中，输入图像在某一个方向(例如垂直方向)上不包括混叠成分。根据采样理论，如果信号只具有频带范围在-f到f的频率成分，则如果 以2f或更高的采样频率采样信号，则可通过使用LPF(低通滤波器)去除高频 成分而完全恢复原始信号。现在，如果假设在某一个方向(例如垂直方向)上的输入图像的采样频率为 频率fs，则如果输入图像并不包括混叠成分，则其在这一个方向上仅仅包括从-fs/2到fs/2(在下文中被称为低于fs/2频率的频率)的频带范围的信号成分。 图4A示出了频率特性，也就是，不包括混叠成分的输入图像的频率成分。 图4A中，横轴代表频率，而纵轴则代表频率成分的幅度。这同样应用于下文中描述的所有示出频率特性的图。现在，在不包括混叠成分的输入图像内的一个方向(例如在垂直方向)中，连续地并排设置有四个像素，使得第i个像素的像素值被表示为y(i),且因此四个像素的像素值被表示为y(O)、 y(l)、 y(2)、 y(3)。为了在垂直方向上将输入图像的像素数量增加为两倍，首先执行零值插值，即，将像素值为0的作为采样点的新像素插入到在垂直方向上的像素中的相邻像素的中间位置。 .在此处的零值插值中，调整原始的像素值，以使得在零值插值之后，像素值的平均值不改变。在当前的情况中，由于像素数量被加倍，所以，在零值插值中，原始像素值加倍，且结果，四个像素的像素值的列表(也就是，y(O)、y(l)、 y(2)、 y(3))变为七个像素的像素值的另一个列表，也就是，2y(0), 0, 2y(1),0, 2y(2)， 0, 2y(3)。上面所描述的零值插值等价于将输入图像的采样频率增加到两倍于原始 采样频率fs的频率2fs。尽管在零值插值之前和之后，输入图像的信号成分并 不变化，但如果在零值插值之后，将两倍于原始采样频率fs的频率2fs用作 新的采样频率，则看起来，在相应于新的采样频率2fs的从-fs到fs的频带(也 就是允许通过以采样频率2fs采样而再现的频带)中，将产生混叠成分。 图4B示出在零值插值之后输入图像的频率特性。 在图4B中，实曲线表示信号成分，而虚曲线则代表混叠成分。 在由不包括混叠成分的输入图像的零值插值获得的图像(下文中，由这样 的零值插值获得的图像被称为零值插值图像)中，信号成分存在于从-fs/2到 fs/2的频带内，在该频带内，如从图4B中所见，任何频率的绝对值均低于奈 奎斯特频率fs/2。此外，混叠成分存在于从-fs/2到-fs和fs/2到fs的频率范围 中，其超出奈奎斯特频率fs/2。为了获得不包括混叠成分的扩大后图像，有必要提取信号成分，也就是 去除混叠成分。因而，如果对零值插值图像应用通带为从-fs/2到fs/2的频带(其 低于输入图像的奈奎斯特频率fs/2)的LPF，则可以获得不包括混叠成分的扩 大后图像。图4C示出了通过对零值插值图像应用通带为低于奈奎斯特频率fs/2的从 -fs/2到fs/2的频带的LPF而获得的扩大后图像频率特性。注意，尽管理想地，通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频 带的LPF为使用sine函数的滤波器，也就是，其滤波器系数是由sine函数的 函数值给定的滤波器，但理想化的滤波器具有无限长的抽头长度或者无限大 的抽头数。因此，实际上，使用通过对sine函数应用窗函数而限制其抽头数 的LPF。为了简化描述，假设使用具有滤波器系数{1/4, 1/2， 1/4》的LPF作为该LPF。此时，滤波器系数为《a,b,c)的滤波器意味着例如，有限冲激响应(FIR) 滤波器，由表达式axy(t-1)+bxy(t)+cxy(t+l)表示其对三个像素的像素值的列表 (y(t-l)， y(t), y(t+l))中的位置t处的像素的滤波结果。在零值插值图像中的七个像素的像素值的列表 (2y(0),0,2y(l),0，2y(2),0,2y(3))中，在由滤波器系数为{1/4， 1/2, 1/4}的滤波器 进行滤波后，在像素值为2y(1)的位置处的像素的像素值为 l/4x0+l/2x2y(l)+l/4x0=y(l)。同时，在滤波后的像素值2y(l)和2y(2)的像素之间的零值点(即，像素值 为0的像素)的像素值为1/4x2y(1) +l/2x0+l/4x2y(2)=(y(l)+y(2))/2。通过以相似方式确定滤波后其余像素值，在七个像素的像素值的列表 (2y(0), 0, 2y(1), 0, 2y(2), 0, 2y(3))的滤波之后的像素值的列表变为(y(0), (y(0)+y(1》/2, y(l)， (y(l)+y(2))/2， y(2)， (y(2)+y(3》/2， y(3))。滤波之后的像素值的列表(y(O)， (y(0)+y(1))/2， y(l), (y(l)+y(2))/2， y(2), (y(2)+y(3))/2, y(3))等于被应用到输入图像的像素值的列表(y(O)， y(l), y(2), y(3))的被称为线性插值的插值结果。因而，可以认识到，利用滤波之后的像 素值，也就是，利用扩大后图像，再现输入图像的信号成分。以这种方式，在输入图像不包括任何混叠成分的情况下，可以通过执行 将一个像素值为零的新的像素插入到输入图像的每个相邻像素之间的位置的 零值插值、并且执行将通带为低于奈奎斯特频率fs/2的-fs/2到fs/2的频带的 LPF应用到通过零值插值而获得的零值插值图像的扩大处理，来获得扩大后 图像，其具有增加到两倍于输入图像的大小或像素数量，且当再现输入图像 的信号成分时不包括任何混叠成分。然而，即使对于不包括混叠成分的输入图像应用扩大处理，其分辨率也 不能改进，或者，换句话说，可能无法获得包括频率超过奈奎斯特频率fs/2 的信号成分的扩大后图像。图4D示出了通过将超过奈奎斯特频率fs/2的宽带的LPF(即，宽带 LPF(WLPF))应用到零值插值图像所得到的扩大后图像的频率特性。如果对不包括混叠成分的输入图像的零值插值图像应用宽带LPF，则将 不去除混叠成分，且扩大后图像(图4D)成为零值插值图像(图4B)，也就是这 样的图像，其显示出恶化的画面质量(根据外观)，其中，其由于在每个相邻像 素之间插入的 一个零值点的影响而包括暗条紋图案。现在，描述在例如垂直方向的某一个方向上、将不包括混叠成分的输入 图像的像素数量增加到四倍于原始像素数量的扩大过程。此外，可以参考图4A到4D,以与上面所描述的两倍的扩大过程相似的 方式，执行在例如垂直方向的某一个方向上、将不包括混叠成分的输入图像 的像素数量增加到四倍于原始像素数量的扩大过程。图5A到5D示出了在例如垂直方向的某一个方向上、将不包括混叠成分 的输入图像的像素数量增加到四倍于原始像素数量的扩大过程。现在，如果假设在例如垂直方向的某一个方向上的输入图像的采样频率 为频率fs,则不包括任何混叠成分的输入图像仅在从-fs/2到fs/2的频带范围 内包括所述一个方向上的信号成分。图5A示出不包括混叠成分且仅包括在-fs/2到fs/2的频带范围的包括信 号成分的输入图像的频率特性，其类似于图4A中的频率特性。现在，类似于图4A中的情况，如果由y(O)、 y(l)、 y(2)、以及y("代表 四个连续并排设置的像素的像素值，则为了将输入图像的像素数量增加到四 倍，执行在每个相邻像素之间插入像素值为零的三个新的像素或零值点的零 值插值。注意，在零值插值中，调整原始像素值，以使得像素值的平均值在零值 插值之前和之后不会变化。在当前情况下，由于像素数量增加到四倍，所以， 在零值插值中，原始像素值增加到四倍。结果，四个像素的像素值列表 (y(0),y(l),y(2),y(3》被转换为13个像素的像素值列表(4y(0), 0, 0, 0， 4y(1)， 0, 0, 0, 4y(2), 0, 0, 0, 4y(3))。在每个相邻像素之间插入三个零值点的零值插值等价于将输入信号的釆样频率增加到频率4fs,即，四倍于原始采样频率fs。尽管输入信号的信号成 分在零值插值之前和之后并不变化，但如果在零值插值之后，将四倍于原始采样频率fs的频率4fs用作新的采样频率，则看起来在对应于新的釆样频率4fs的-2fs到2fs的频带中产生混叠成分。图5B示出零值插值之后的输入图像的频率特性。图5B中，实曲线代表信号成分，而虚曲线代表混叠成分。如图5B所示，在对不包括混叠成分的输入图像进行零值插值获得的零值插值图像中，信号成分存在于低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带中。此外，混叠成分存在于超过奈查斯特频率fs/2的从-fs/2到-2fs和从fs/2到2fs的频率范围内。从图5B的零值插值图像中，与图4B中的情形类似地，通过将其通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF应用到零值插值图像，可以获得不包括混叠成分的扩大后图像。图5C示出了通过将其通带为低于奈套斯特频率fs/2的从-fs/2到fs/2的频带的LPF应用到零值插值图像而获得的扩大后图像的频率特性。在这种方式中，在输入图像不包括任何混叠成分的情况下，可以通过执行在输入图像的每个相邻像素之间插入三个零值点的零值插值、以及执行对通过零值插值获得的零值插值图像应用通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF的扩大处理，而获得扩大后图像，其具有增加到四倍于输入图像大小的大小、且当输入图像的信号成分被再现时不包括任何混叠成分。然而，与图4A到4D中的情形相似地，即^f吏对不包括混叠成分的llr入图 像应用扩大处理，其分辨率并不改进。图5D示出了通过对零值插值图像应用宽带LPF所获得的扩大后图像的 频率特性，其中，宽带LPF的通带为超过奈奎斯特频率fs/2的从-fs到fs的 宽频带。如果对不包括混叠成分的输入图像的零值插值图像应用宽带LPF,则不 去除混叠成分，且与图4A到4D中的情形相似地，扩大后图像(图5D)仍旧变 为显示出恶化的画面质量的图像。现在，将描述在例如垂直方向的某一个方向上、将包括混叠成分的输入 图像的像素数量增加到原始像素数量的两倍的扩大处理。包括混叠成分的输入图像的示例是电视广播的隔行图像，且其可以通过去除每隔一行(也就是，不包括混叠成分的图像的水平行)而产生。
图6A到6D示出在例如垂直方向的某一个方向上、将包括混叠成分的输入图像的像素数量增加到两倍于原始像素数量的扩大处理。
现在，如果假设在例如垂直方向的某一个方向上、输入图像的采样频率为频率fs，则如果输入图像包括混叠成分，则在所述一个方向中，在从-fs/2到fs/2的频带范围中的信号成分依照原样地存在，且作为-fs/2到fs/2的频带中的混叠成分，存在绝对值超过-fs/2到fs/2的频带的频带范围内的信号成分。
图6A示出包括混叠成分的输入图像的频率特性。
例如，如果利用采样频率fs来采样仅仅具有从-fs到fs的频带范围内的信号成分的图像，则可以获得具有图6A的频率特性的输入图像。
在图6A的输入图像中，由在从-fs/2到fs/2的频带中的实曲线指示的信号成分依照原样存在，并且，作为由从-fs/2到fs/2的频带内的虚曲线指示的混叠成分，存在从-fs/2到-fs和从fs/2到fs的频带中的信号成分。
因而，在包括混叠成分的输入图像中，信号成分和混叠成分存在于从-fs/2到fs/2的频带中。
如果与图4A到4D中的情形相似地，由y(O)、 y(l)、 y(2)、 y(3)表示在例如垂直方向的一个方向上连续并排设置的包括混叠成分的输入图像的像素的像素值，则与在图4A到4D中的情形相似地，为了在垂直方向上将输入图像的像素数量增加至两倍，执行在每个相邻像素之间插入一个零值点的零值插值。
注意，在零值插值中，调整原始像素值，以使得在零值插值之后，像素值的平均值不会变化。在当前的情形中，由于像素值加倍，所以，原始像素值在零值插值中被加倍，结果，四个像素的像素值列表(y(0),y(l)，y(2),y(3))，被转换成另 一个七个像素的像素值列表，也就是，(2y(0), 0, 2y(1), 0, 2y(2), 0,
2y(3》。
在每个相邻像素之间插入一个零值点的零值插值等价于将输入图像的采样频率增加到两倍于原始采样频率fs的频率2fs。尽管在零值插值之后，在图像上(也就是，在零值插值图像上)再现覆盖从-fs到fs的整个频带的信号成分，但混叠成分也被再现。换句话说，在从-fs到fs的频带中，信号成分和混叠成分以混合状态存在。图6B示出零值插值之后的输入图像、也就是零值插值图像的频率特性。
在图6B中，实曲线表示信号成分，而虚曲线表示混叠成分。
与图4A到4D中的情形相似地，可通过对零值插值图^f象应用LPF,而获 得在其中减少或削弱了混叠成分的扩大后图像，其中，LPF的通带为低于奈 奎斯特频率fs/2的从-fs/2到fs/2的频带。
图6C示出通过对零值插值图像应用LPF而获得扩大后图像的频率特性， 其中，LPF的通带为低于奈套斯特频率fs/2的从-fs/2到fs/2的频带。
通过对零值插值图像应用LPF，可以削弱从-fs/2到-fs和从fs/2到fs的高 频区域内的混叠成分，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2 到fs/2的频带。然而，这种情况下，也将削弱从-fs/2到-fs和从fs/2到fs的高 频区域中的信号成分。
即使对包括混叠成分的输入图像的零值插值图像执行应用LPF的扩大处 理，其中，LPF的通带为低于奈套斯特频率fs/2的从-fs/2到fs/2的频带，但 是，在如上所述的方式中，不能再现高频成分，也就是从-fs/2到-fs和从fs/2 到fs的高频区域中的信号成分。此外，也不可能去除或削弱从-fs/2到fs/2的 低频区域中的混叠成分。
此处，如果采用具有例如{1/4，1/2,1/4}的滤波器系数的LPF作为通带为低 于奈奎斯特频率fs/2的/人-fs/2到fs/2的频带的LPF,则如同在上面参考图4A 到4D所描述的，作为通过LPF对零值插值图像滤波的结果获得的扩大后图 像等同于通过对输入图像进行线性插值而获得的扩大后图像。
如果对具有混叠成分的隔行图像进行线性插值，则出现具有斜线的锯齿， 且其源自混叠成分。从具有混叠成分的隔行图像的线性插值而获得的线性插 值图像，通过对具有加权调整的多个线性插值图像进行加权加法，可以去除 混叠成分。
因而，也可以通过多个扩大后图像、也就是从多个输入图像获得的多个 扩大后图像的加权加法，从作为利用LPF对零值插值图像的滤波的结果而获 得的扩大后图像中去除在其中所包括的混叠成分。
然而，由于已经通过由LPF对零值插值图像进行滤波而去除了高频区域 中的信号成分，因此，可以不再现所述信号成分。
因此，在包括混叠成分的输入图像的扩大处理中，不使用通带为低于奈 奎斯特频率fs/2的从-fs/2到fs/2的频率区域的LPF,而使用具有作为其通带的更宽的频带的宽带LPF，来执行零值插值图像的滤波。
图6D示出通过对零值插值图像应用宽带LPF而获得的扩大后图像的频 率特性。
宽带LPF使等于奈奎斯特频率fs/2的两倍的从-fs到fs的频带通过，且 理想地，其是使用sine函数的滤波器。
使采样频率为2fs的零值插值图像的频带从-fs到fs通过的滤波器是使 零值插值图像的所有频率成分通过的全通滤波器。
因而，通过对零值插值图像应用宽带LPF而获得的扩大后图像为零值插 值图像，并且，可以依照原样采用零值插值图像。注意，在该示例中，作为 零值插值图像的扩大后图像的画面质量恶化，其中，由于在每个相邻像素之 间插入零值点的影响，在其中存在暗条紋图案。
尽管通过宽带LPF的应用而获得的扩大后图像包括混叠成分，但如从图 6D可见，其在高频区域中也包括信号成分。
因而，通过加权相加多个扩大后图像、以去除包括在扩大后图像中的混 叠成分，有可能获得高分辨率的图像，其中，不但低频区域中的信号成分被 再现，而且高频区域中的信号成分也被再现，也就是说，有可能执行输入图 像的分辨率增强。
与在上文中参考图6A到6D所描述的情形相似地，也可以执行在例如垂 直方向的某一个方向上、将具有混叠成分的输入图像的像素数量增加到原始 像素数量的四倍的扩大处理。
图7A到7D示出了在例如垂直方向的某一个方向上、将包括混叠成分 的输入图像的像素数量增加到原始像素数量的四倍的扩大处理。
如果假设在例如垂直方向的某一个方向上、输入图像的采样频率为fs， 则在包括混叠成分的输入图像中，从-fs/2到fs/2频率区域中的信号成分在所 述一个方向上依照原样存在，而在超过从-fs/2到fs/2的频率区域的区域中的 信号成分作为从-fs/2到fs/2的频带内的混叠成分存在。
图7A示出包括混叠成分的输入图像的频率特性。与图6A中的情形相似 地，在从-fs/2到fs/2的频带中存在由实曲线指示的信号成分和由虚曲线指示 的混叠成分。
如果与图4A到4D中的情形相似地，将在例如垂直方向的一个方向上连 续并排设置的包括混叠成分的输入图像的像素的像素值表示为y(O)、 y(l)、y(2)、 y(3)，则为了在垂直方向上将输入图像的像素数量增加到四倍，与图5A 到5D中的情形类似地执行在每个相邻像素之间插入三个零值点的零值插值。 注意，在零值插值中，调整原始像素值，以使得在零值插值之后，像素 值的平均值不变化。结果，四个像素的像素值列表(y(0),y(l)，y(2)，y(3))被转换 为另 一个十三像素的像素值列表，也就是(4y(0), 0, 0, 0, 4y(1)， 0, 0， 0, 4y(2)， 0, 0, 0, 4y(3》。
在每个相邻像素之间插入三个零值点的零值插值等价于将输入图像的采 样频率增加到四倍于原始采样频率fs的频率4fs。尽管零值插值之后，在图像 上(也就是在零值插值图像上)再现覆盖从-2fs到2fs的整个频带的信号成分， 但也再现混叠成分。换句话说，在从-2fs到2fs的频带中，信号成分和混叠成 分以混合状态存在。
图7B示出零值插值之后的输入图像，也就是零值插值图像的频率特性。
在图7B中，实曲线表示信号成分，而虚曲线表示混叠成分。
通过对零值插值图像应用LPF,可以获得混叠成分被削弱的扩大后图像， 其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。
图7C示出对零值插值图像应用LPF而获得的扩大后图像的频率特性， 其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。
通过对零值插值图像应用LPF，可以削弱从-fs/2到-2fs和从fs/2到2fs 的高频区域内的混叠成分，其中，LPF的通带为低于奈奎斯特频率fs/2的从 -fs/2到fs/2的频带。然而，在这种情况下，在从-fs/2到-fs和从fs/2到fs的高 频区域中的信号成分也被削弱。
因此，在包括混叠成分的输入图像的扩大处理中，不使用通带为低于奈 奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF,而使用在上文中参考图6A 到6D描述的宽带LPF,来执行零值插值图像的滤波。
图7D示出通过对零值插值图像应用宽带LPF而获得的扩大后图像的频 率特性。
尽管如上文中参考图6A到6D所描述地、宽带LPF理想地是使用sine 函数的滤波器，但如果为了简化描述、假设具有滤波器系数{1/4，1/2,1/4}的LPF 被用作所述LPF,则在对13个像素的像素值列表(4y(0), 0, 0, 0， 4y(1), 0, 0, 0， 4y(2), 0, 0, 0, 4y(3》滤波之后的像素值列表为(2y(0), y(O), 0， y(l), 2y(1), y(l), 0, y(2), 2y(2), y(2), 0, y(3), 2y(3))。因而，通过对零值插值图像应用宽带LPF所得到的扩大后图像的画面质 量恶化，其中，由于零值插值插入的零值点的影响，其中存在暗条紋图案。
如图7D所示，尽管通过应用宽带LPF而获得的扩大后图像包括混叠成 分，但其在高频区域中也包括信号成分。
因而，通过加权相加多个扩大后图像、以去除包括在扩大后图像中的混 叠成分，有可能获得高分辨率图像，其中不仅再现低频区域中的信号成分， 而且再现高频区域中的信号成分，也就是说，有可能执行输入图像的分辨率 增强。
如上所述，利用执行向输入图像中插入零值点的零值插值、并对由零值 插值所获得的零值插值图像应用宽带LPF(也就是由宽带LPF对该零值插值图 像滤波)的扩大处理，可以执行包括混叠成分的输入图像的分辨率增强。在上 文中所提到的专利文献1等中公开的现有的分辨率增强技术利用了这样的扩 大处理。
然而，如上文中所描述地，通过对零值插值图像应用宽带LPF所得到的 扩大后图像的画面质量恶化，其中包含暗条紋图案。
具体地，例如，在垂直方向这一个方向上、包含混叠成分的输入图像中 具有混叠成分的情况下，通过对通过执行在垂直方向中的每个相邻像素之间 插入零值点的零值插值而获得的零值插值图像应用宽带LPF、而获得的扩大 后图像包含横向暗条紋，也就是，水平方向中的暗条紋图案。
另一方面，在垂直方向和7jc平方向这两个方向上、包含混叠成分的^T入 图像中具有混叠成分的情况下(例如，如仅由拜耳阵列的红色像素组成的图像 那样)，通过对通过执行在垂直方向中的每个相邻像素之间和在水平方向中的 每个相邻像素之间插入零值点的零值插值而获得的零值插值图像应用宽带 LPF、而获得的扩大后图像在水平方向和垂直方向上均包含暗条紋图案。
在输入了很多帧的图像作为高速拍摄的连续输入图像的情况下，通过现 有的分辨率增强技术，可以获得其中的混叠成分被削弱的高分辨率图像。
然而，在输入少量图像作为输入图像的情况，极端地，在只输入了一个 图像的情况下，通过现有的分辨率增强技术而获得的图像是通过对零值插值 图像应用宽带LPF而获得的扩大后图像自身，也就是，包含暗条紋图案的图 像，且画面质量恶化。如同刚刚描述的那样，并不期望向用户提供这样的包 含暗条紋图案的图像。因此，作为另一种扩大处理，执行线性插值或最邻近插值、或使用输入 图像的周围像素的其它插值，以产生不具有暗条紋图案的图像作为扩大后图 像的方法是可用的。
然而，执行线性插值作为扩大处理等价于对在上面参考图4A到4D所描 述的零值插值图像应用LPF,其中，LPF的通带为低于奈奎斯特频率fs/2的 从-fs/2到fs/2的频带。在这种情况下，如上文中参考图6C所描述的，由于 通过对零值插值图像应用LPF而削弱高频区域中的信号成分，所以，无论有 多少如上所述的在高频区域中的信号成分被削弱的扩大后图像被用于执行加 权加法，都不能再现高频区域中的信号成分。
这也类似地应用于最邻近插值、或使用输入图像的周围像素的某个其它 插值被用作扩大处理的情形。
具体地，例如，在最邻近插值中，作为要对像素值进行插值的位置上的 像素的像素值，对位于最接近该像素位置的像素的像素值进行插值。
具体地，例如，如果假设包含混叠成分的输入图像的四个像素(其在例如 垂直方向一个方向上被连续地并排设置)的像素值列表为(y(O), y(l)， y(2), y(3)),则增加像素数量到两倍的最邻近插值将四个像素的像素值列表(y(O), y(l), y(2), y(3))转换为八个像素值的另 一个列表，即(y(O), y(O), y(l), y(l)， y(2), y(2),y(3),y(3))。
可以通过与上文中参考图4A到4D和5A到5D所描述的相似的扩大处 理，也就是通过零值插值和利用LPF的滤波，来执行最邻近插值。
具体地，为了在垂直方向上将输入图像的像素数量增加到两倍，执行在 每两个彼此相邻的像素之间插入一个零值点的零值插值。
通过零值插值，原始像素值加倍，^f吏得在零值插值之后，像素值的平均 值不变化。因而，四个像素的像素值列表(y(O), y(l), y(2), y(3))被转换为七个 像素的像素值的另 一个列表，即(2y(0), 0， 2y(1), 0, 2y(2), 0, 2y(3))。
在将最邻近插值作为扩大处理执行的情况下，对七个像素的像素值列表 (2y(0), 0， 2y(1), 0， 2y(2), 0， 2y(3》应用具有滤波器系数为{1/2,1/2,0}的LPF。如 果具有滤波器系数为{1/2,1/2，0}的LPF被应用到七个像素的像素值列表(2y(0), 0, 2y(1), 0, 2y(2), 0, 2y(3)),则获得七个像素的像素值列表，即(y(O)， y(O)， y(l), y(l), y(2), y(2), y(3), y(3))。
具有滤波器系数{1/2,1/2,0}的LPF是将原始图像的像素的位置位移一半像素距离(也就是，相邻像素间距的一半)的滤波器。该滤波器具有以下特性，
即对于对应于2fs采样频率的从-fs到fs的频带，当频率为0时的增益为1, 当频率为最大频率fs或-fs时的增益为0。
因此，在通过对零值插值图像应用具有滤波器系数为{1/2,1/2,0}的LPF 所获得的扩大后图像中，高频区域中的信号成分，特别是具有接近-fs和fs的 频率的高频成分被削弱。
因而，在作为扩大处理而执行最邻近插值时，现有的分辨率增强技术执 行扩大后图像的权重加法，其中，高频区域中的信号成分^1削弱。
此外，在作为扩大处理而执行超过两倍的扩大率的最邻近插值时，情况
与执行两倍的最邻近插值相同。
例如，作为扩大处理而执行四倍的最邻近插值等价于对通过在每个相 邻像素之间插入三个零值点而获得的零值插值图像应用具有滤波器系数为
{1/4,1/4,1/4,1/4，0}的LPF。
滤波器系数为{1/4，1/4，1/4，1/4,0}的LPF具有如下特性，即对于对应于 4fs的采样频率的从-2fs到2fs的频带，当频率为0时的增益为1，而当频率 为最大频率-2fs和2fs、以及中间频率fs和-fs时的增益为0。
因此，在对零值插值图像应用具有滤波器系数为{1/4，1/4,1/4,1/4,0}的LPF 而获得的扩大后图像中，高频区域中的信号成分，特别是频率在fs和-fs附近 的高频成分被削弱。
因而，即使为了从通过对零值插值图像应用具有滤波器系数为 {1/4,1/4,1/4,1/4,0}的LPF而获得的扩大后图像中提取与等于奈奎斯特频率fs/2 两倍的频率fs相对应的从-fs到fs的频带，也由通带为-fs到fs的频带的宽带 LPF滤波该扩大后图像，在作为滤波结果得到的扩大后图像中，高频带中的 信号成分，也就是具有接近fs和-fs的频率的高频成分仍处于被削弱的状态。
因而，即使在作为扩大处理而执行四倍的最邻近插值时，现有的分辨率 增强技术也执行扩大后图像的加权加法，其中高频区域中的信号成分被削弱。
图8A和8B示出了滤波器的特性，尤其是频率特性，其中，作为扩大处 理而执行最邻近插值。
具体地，图8八示出具有滤波器系数为{1/2,1/2,0}的LPF(也就是用于执行 两倍的最邻近插值的最邻近插值滤波器)的特性，且图8B示出用于执行四倍 的最邻近插值的具有滤波器系数为{1/4,1/4，1/4，1/4,0}的另一个LPF的特性。注意，图8八也示出具有滤波器系数为{1/4，1/2,1/4}的LPF(也就是用于执 行两倍的线性插值的线性插值滤波器)的特性。此外，图8B也示出用于执行 四倍的线性插值的具有滤波器系数为{1/16,2/16,3/16,4/16,3/16,2/16,1/16}的 LPF的特性。
如上所述，由于现有的分辨率增强技术执行对零值插值图像应用宽带 LPF的扩大处理，所以，如果输入图像的数量少，例如一个，则获得其画面 质量由于包括暗条紋图案而恶化的图像。
此外，在采用线性插值或最邻近插值作为扩大处理时，无论使用多少数 目的输入图像，加权加法均无法(充分地)恢复高频区域中的信号成分，且无法 达到(充分的)分辨率增强。
因此，图2中的图像处理设备执行这样的分辨率增强处理，其能够达到 图像的柔和的分辨率增强，而无需依赖于输入图像的数量。
换句话说，根据图2中的图像处理设备的分辨率增强处理，在输入图像 的数量少时，例如一个，产生不包括暗条紋图案且保持某种程度的高画面质 量(尽管分辨率不高)的图像，以及随着输入图像的数量的增加，产生更高分辨 率和更高画面质量的图像。
下面，将描述应用于图2中的图像处理设备的本发明中的特定实施例。
第一实施例
图9示出根据本发明第一实施例、图2中的图像处理设备的配置示例。
图9中的图像处理设备接收例如在一个方向中包含混叠成分的图像，也 就是包含一维混叠成分的图像，作为输入图像，以执行分辨率增强处理，其 中，使用通过将多于一帧的输入图像扩大到两倍而获得的扩大后图像。
例如，在一个方向上包含混叠成分的输入图像的示例为通过去除不包 括混叠成分的图像的每隔一行而获得的隔行图像。
此外，假设在第一实施例中，输入图像为仅仅包含显示出不移动或几乎 不移动的图像拍摄对象的静态画面，并且，高速地拍摄并提供多于一帧的这 样的图像给图像处理设备。
参考图9,图像处理设备包含存储部分21、移动检测部分22、扩大部分 23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。
存储部分21对应于图2中显示的存储部分11。向存储部分21 4是供高速 拍摄的多于一帧的输入图像。存储部分21暂时存储向其提供的多于一帧的输入图像。
移动检测部分22从在存储部分21中所存储的多于一帧的输入图像之中 确定某一帧输入图像作为定位的标准，并且检测关于该标准的另一个输入图 ^像的运动矢量，并向定位部分24提供所冲企测的运动矢量。
例如，对于标准输入图像，可以采用存储在存储部分21中的多于一帧的 输入图像中的第一帧输入图像，或者可替换地，采用位于时间中点或接近时 间中点的一帧输入图像作为标准输入图像。
在图9所示的图像处理设备中，并且也在下文中描述的图像处理设备中， 通过对高速拍摄的多帧输入图像进行混合加法而获得高分辨率图像。如果由 于相机抖动等、使得从每个像素采样的输入图像的位置(也就是图像拍摄对象 的位置)在不同帧之间有微小地移动，则执行图9中所示的图像处理设备所执 行的图像分辨率增强，尽管这也应用于现有的分辨率增强技术。
例如，在要将数码相机高速拍摄的多帧图像合成、以产生作为一张照片 的高分辨率图像的情况下，可被高速拍摄以产生这样的一张照片的输入图像 的帧lt例如为8。
因此，在高速拍摄8帧输入图像时的相机抖动可被看作是匀速直线运动。 在这种情况下，如果时间中点附近的第四帧或第五帧输入图像被确定为标准 输入图像，并且执行其它输入图像相对于标准输入图像的定位，以执行8帧 输入图像的合成，随后，与其中使用第一帧输入图像作为标准输入图像的替 代情况相比，在标准输入图像的中间部分，可被用于这样的合成的像素的数 量变大。结果，可以获得其中间部分比其周边部分示出更高分辨率的图像。
注意，在下面的描迷中，举例来说，在存储部分21中存储的多于一帧的 输入图像之中的第 一帧输入图像被用作标准输入图像。
扩大部分23对应于图2中的扩大部分12。扩大部分23连续地将存储于 存储部分21中的多于一帧的输入图像确定为关注的图像(noticed image),且 通过不同于零值插值的使用周围像素值的插值，来执行扩大被确定为关注的 图像的输入图像的扩大处理。随后，扩大部分23向定位部分24提供经由扩 大处理获得的扩大后图像。
这里，在图9中，扩大部分23在存在混叠成分的垂直方向上才丸行将输入 图像扩大到两倍的扩大处理。举例来说，如上面参考图4A到4D所描述的那 样，扩大处理可以是这样的过程对通过执行线性插值(也就是零值插值)而获得的零值插值图像应用LPF。注意，对于该LPF,使用在某种程度上从其通 过超过奈套斯特频率fs/2的高频成分的LPF。
注意，有时将在存储部分21中所存储的多于一帧的输入图像之中的第n 帧图像称为输入图像An，并且，有时将输入图像An的扩大后图像称为扩大 后图像Bn。
定位部分24对应于图2中所示的定位部分13。定位部分24依据从移动 检测部分22向其提供的运动矢量，执行将从扩大部分23向其提供的扩大后 图像Bn的位置调整到输出图像Sn-l的位置的定位，其中该输出图像Sn-l是 在前一操作周期中获得、且被存储于下面描述的存储部分28中。随后，定位 部分24向混合部分25提供定位后图像Cn,即定位后的扩大后图像Bn。
除了从定位部分24提供的定位后图像Cn之外，混合部分25从分离部分 27接收在前一操作周期中获得、且被存储于存储部分28的输出图像Sn-l的 低频成分Ln。
混合部分25将来自分离部分27的低频成分Ln混入来自定位部分24的 定位后图像Cn，也就是，混入定位后的扩大后图像Bn,并向加法部分26提 供通过混合而获得的混合图像Dn。
此处，将低频成分Ln混入定位后图像Cn意味着定位后图像Cn和低 频成分Ln的力口权加法。
除了由混合部分25提供的混合图像Dn以外，加法部分26从分离部分 27接收在前一操作周期中获得、且被存储于存储部分28的输出图像Sn-l的 高频成分Hn。
加法部分26将来自分离部分27的高频成分Hn加到来自混合部分25的 混合图像，且输出由相加而获得的图像，作为新的输出图像Sn,也就是作为 使用输入图像An产生的图像。
此处，将高频成分Hn加到混合图像Dn意味着混合图像Dn和高频成 分Hn的简单相加。
此外，图9中的混合部分25和加法部分26对应于图2中所示的混合加 法部分15。
在下文中，上面所描述的这样的混合和加法^^皮统称为混合加法。 分离部分27对应于图2中所示的分离部分14。分离部分27将在前一操: 作周期中获得、且被存储于存储部分28中的输出图像Sn-l分离为低频成分Ln和高频成分Hn，以产生下一个输出图l象Sn，并且，向混合部分25和加法 部分26提供该低频成分Ln和高频成分Hn。具体地，向混合部分25提供低 频成分Ln,并向加法部分26^是供高频成分Hn。
存储部分28对应于图2中所示的存储部分16。存储部分28存储从加法 部分26输出的输出图像Sn,并在情况需要时向外部输出该输出图像Sn。此 外，存储部分28向分离部分27提供在前一操作周期存储的输出图像Sn-l ， 也就是，在前一操作周期中获得的输出图像Sn-1。
举例来说，在图9中示出的具有如上所述配置的图像处理设备中，提供 并向存储部分21存储高速拍摄的多于一帧的N帧输入图像，其在垂直方向 上包括混叠成分。
扩大部分23连续地将存储于存储部分21中的N帧输入图像确定为起始 于第一帧输入图像的关注的图像，且通过使用周围像素的像素值的插值，来 执行扩大被确定为关注的图像的输入图像An的扩大处理。随后，扩大部分 23向定位部分24提供通过扩大处理获得的扩大后图像Bn。
另一方面，移动4全测部分22确定在存储部分21中存储的N帧输入图像 中的第一帧输入图像Al作为标准输入图像，并相对于标准输入图像而检测 输入图像An的运动矢量。随后，移动检测部分22向定位部分24提供检测 后的运动矢量。
该定位部分24依据/人移动纟企测部分22向其4是供的运动矢量，#丸行将/人 扩大部分23接收的扩大后图像Bn的位置调整到输出图像Sn-1的位置的定 位，该输出图像Sn-l是在前一操作周期中获得、且被存储于存储部分28中。 随后，定位部分24向混合部分25提供定位后图像Cn，即定位后的扩大后图 像Bn。
此处，如果从扩大部分23向定位部分24提供的扩大后图像Bn为作为定 位标准的第一帧输入图像A1的扩大后图像B1，也就是，如果关注的图像为 第 一帧输入图像Al ，作为同定位图像Cl,定位部分24向混合部分25依照 原样提供来自扩大部分23的扩大后图像B1。
另一方面，分离部分27将在前一操作周期中获得、且被存储于存储部分 28中的输出图像Sn-l分离为低频成分Ln和高频成分Hn。向混合部分25提 供该低频成分Ln,且向加法部分26提供该高频成分Hn。
混合部分25将来自分离部分27的低频成分Ln和来自定位部分24的定位后图像Cn(即定位后的扩大后图像Bn)混合，也就是加权相加，并向加法部 分26提供通过混合而获得的混合图像Dn。
加法部分26向来自混合部分25的混合图像Dn加入来自分离部分27的 高频成分Hn，并输出通过相加获得的图像，作为新的输出图像Sn。
向存储部分28提供并存储从加法部分26输出的输出图像Sn。
此后，重复相似的处理序列，直到确定在存储部分21中存储的N帧输入 图像之中的第N帧输入图像为关注的图像为止，并且，对应于第N帧输入图 像的输出图像Sn被存储到存储部分28。
注意，在关注的图像为第一帧输入图像的情形下，由于在前一操作周期 中获得的输出图像并没有被存储在存储部分28中，所以，实质上，分离部分 27并不执行其处理。此外，混合部分25和加法部分26并不执行它们的处理。
在这种情况下，作为输出图像S1，向存储部分28中依照原样存储由定 位部分24获得的定位后图像Cl,其等同于上文所描述的扩大后图像Bl 。
现在，参考图IO描述图9中所示的移动检测部分22。
由移动检测部分22所检测的运动矢量被用于在上文中参考图9所描述的 定位部分24对扩大后图像Bn和输出图像Sn-1的定位。
此处，为了执行扩大后图像Bn和输出图像Sn-l的定位，期望得到表示 扩大后图像Bn和输出图像Sn-1之间位移的位移信息。
例如，对于位移信息，可以采用扩大后图像Bn相对于输出图像Sn-l的 运动矢量。
然而，由于扩大后图像(也可以是输出图像)是通过增加输入图像的像素数 量而获得的图像，所以，其包括增加的像素数量，并且，如上所述，如果采 用这样的包含大量像素的图像作为对象而执行运动矢量的检测，则需要大量 的数学运算。
因此，图9中示出的移动4企测部分22 4吏用扩大部分23进行扩大之前的 输入图像An作为对象，来执行运动矢量的检测，其中该输入图像An是具有 较少数量像素的图像，由此与扩大后图像Bn被用作检测运动矢量的对象的替 代情形相比，减少了数学运算量。
图IO示出示于图9中的移动检测部分22的配置的示例。 此处，可以-使用块匹配方法、梯度方法或其它^f壬意方法作为用于4企测运 动矢量的方法。例如，示于图10中的移动#:测部分22采用块匹配方法作为片全测运动矢 量的方法。
参考图10，移动4全测部分22包括水平LPF 41和42、垂直LPF 43和44、 块匹配部分45和统计处理部分46。
从存储部分21(图9)向水平LPF 41提供用作标准输入图像的输入图像 Al。由存储部分21向水平LPF提供关注的图像，即相对于要被用作标准输 入图像的输入图像Al的运动矢量检测对象的输入图像An。
水平LPF 41在水平方向上对输入图像Al滤波，并向垂直LPF 43提供滤 波后的输入图像A1。
垂直LPF 43在垂直方向上对来自水平LPF 41的输入图^f象Al滤波，并向 块匹配部分45提供滤波后的输入图像Al作为标准图像M1，其被用作用于 ;险测运动矢量的标准图像。
水平LPF 41和垂直LPF 43 ^皮采用，以便去除或减少除了包含在输入图 像A1中的信号成分之外的混叠成分、噪声等，例如，水平LPF41和垂直LPF 43可以是滤波器系数为{68/1024, 89/1024, 107/1024, 120/1024， 128/1024, 128/1024， 120/1024, 107/1024, 89/1024, 68/1024}的滤波器。
相应i也，水平LPF 42和垂直LPF 44类似于水平LPF 41和垂直LPF 43。
具体地，水平LPF 42在水平方向上对作为被关注的图像的输入图像An 滤波，并向垂直LPF44提供滤波后的输入图像An。垂直LPF44在垂直方向 上对来自水平LPF 41的输入图像An滤波，并向块匹配部分45提供滤波后的 输入图像An作为比较图像Mn,其将被用作运动矢量检测的对象。
块匹配部分45将来自垂直LPF 43的标准图像M1分割为多个小块。现 在，如果将标准图像M1的小块称为标准块，则块匹配部分45执行块匹配， 即，从来自垂直LPF44的比较图像Mn中搜索最类似于标准块的块，从而为 各个标准快检测运动矢量。
随后，在块匹配部分45从标准图像M1的所有标准块中4全测运动矢量之 后，其向统计处理部分46纟是供运动矢量。
例如，通过统计处理，统计处理部分46 ,人来自块匹配部分45的标准图 像Ml的所有标准块的运动矢量确定代表全部比较图像Mn相对于标准图像 Ml的运动的全局运动矢量。
具体地，例如，统计处理部分46确定标准图1象M1的所有标准块的运动矢量的长度，即矢量长度，并确定矢量长度的均值ja和标准偏差a。此外， 统计处理部分46在标准图像M1的所有标准块的运动矢量中排除其矢量长度 不在均值M 士标准偏差C7的范围内的那些运动矢量，并确定在排除之后剩下 的那些运动矢量的均值作为全局运动矢量。
通过在这种方式下排除其矢量长度不包括在均值H ±标准偏差cr的范围 内的那些运动矢量，可以在没有那些具有高错误概率的运动矢量的情况下， 确定高精度地表示全部比较图像Mn相对于标准图像Ml的运动的全局运动矢 量。
图9中示出的定位部分24使用如上所述的这样的全局运动矢量，执行扩 大后图像Bn的定位。
回到图9,扩大部分23仅在垂直方向上将输入图像的像素数量增加到两 倍，以确定扩大后图像。在该情形下，垂直方向中的扩大后图像的范围(sca 1 e) 等于两倍于运动矢量或通过使用输入图像而确定的全局运动矢量的该范围。
因此，移动检测部分22将通过统计处理部分46获得的全局运动矢量的 范围调整到扩大后图像的范围。在当前情形下，移动检测部分22将从统计处 理部分46中获得的全局运动矢量在垂直方向中的分量，也就是y分量，增加 到两倍，并向定位部分24提供由此产生的全局分量。
随后，定位部分24基于来自移动检测部分22的全局运动矢量，执行移 动扩大后图像的位置的定位，从而产生经过定位的图像，其是相对于输出图 像定位的扩大后图像。
现在，参考图IIA和11B更加详细地描述图10中所示的由块匹配部分 45进行的运动矢量检测。
图IIA示出了标准图4象M1，图11B示出比專交图^f象Mn。
例如，块匹配部分45在水平和垂直方向上，将标准图像M1分割为多个 具有32像素x32像素大小的标准块，并对于标准块执行块匹配。具体地， 块匹配部分45搜索每个标准块位移到了比较图像Mn中的什么位置，并检测 位移量作为标准块的运动矢量。
将要在其内搜索每个标准块的比较图像Mn的搜索范围例如设置为向 对于标准块的位置的、在水平和垂直方向中96个像素x 96个像素的范围。
块匹配部分在比较图像Mn的搜索范围内，以像素为单位连续地位移与 标准块的大小相同的大小的32个像素x32个像素的参考块，以执行对最类似于标准块的参考块的位置的搜索。
具体地，块匹配部分45使用标准块和参考块之间的相关值作为用于估计 标准块和参考块之间的相似度的估计值，并确定关于位于搜索范围中的各个 位置的每个参考块的相关值。
此处，在搜索范围为96个像素x96个像素的范围、且参考块为32个像 素x 32个像素的块时，由整数值vx和vy代表相对于标准块的参考块的相对 位置(vx,vy), vx和vy分别处于表达式-32《vx《+32的范围和另一个表达式 -32《vy<+32的范围。因而，在这种情况下，关于65 x 65个位置处的参考 块而确定相关值。
例如，作为该相关值，可使用关于标准块和参考块中所有的像素的、标 准块的像素的亮度值和参考块相同位置处的像素的亮度值之间差的绝对值的 总和，即，差值绝对值总和SAD(绝对差值的和)。
现在，如果由(xO，yO)代表位于标准块的左上角的像素的坐标，且由 SAD(vx,vy)代表关于相对于标准块的相对坐标为(vx, vy)的参考块的相关值， 则可才艮据下面的表达式(l)确定相关值SAD(vx,vy):
SAD(vx, vy)=i:xi:y|Ml(xO+x, y0+y)-Mn(x0+vx+x，y0+vy+y)| ... (1) 其中，Ml(xO+x,yO+y)代表例如在标准图像Ml的位置或坐标(xO+x,yO+y)处的 像素的亮度值的像素值，Mn(xO+vx+x,yO+vy+y)代表标准图像Mn的位置 (xO+vx+x,yO+vy+y)处的像素的像素值，Sx代表x连续从整数值0变化到31 的情况下的总和，且代表y连续从整数值0变化到31的情况下的总和。
块匹配部分45检测坐标，即绝对坐标(vx,vy),其使表达式(1)中的相关值 SAD(vx,vy)最小化，作为标准块的运动矢量。
现在，参考图12A到图12E描述图9中所示的扩大部分23。
扩大部分23在垂直方向上执行增加在图9中所示的存储部分21中存储 的输入图像An的像素数量的扩大处理，以产生扩大后图像Bn。
如上面参考图6A到6D或7A到7D所描述的，现有的分辨率增强处理 采用零值插值和由宽带LPF对通过零值插值而获得的零值插值图像滤波，作 为包括混叠成分的输入图像的扩大处理。在这种情况下，扩大后图像等价于 零值插值图像等等，且包括暗条紋图案。
另一方面，扩大部分23包括已用于不包括混叠成分的输入图像的扩大的 零值插值和由LPF进行滤波，作为包括混叠成分的输入图像的扩大处理，该LPF从由零值插值获得的零值插值图像中削弱超过奈奎斯特频率fs/2的频率
成分，但留下少量的这样的频率成分。
作为刚描述的扩大部分23的扩大处理，使用输入图像的周围像素值的各 类插值，例如线性插值、最邻近插值和三次巻积是可用的。
尽管对于扩大部分23的扩大处理可以采用任何插值(只要其使用输入图 像的周围像素值)，但优选地，插值在输入图像的高频区域中留下一些频率成 分，即位于频率fs周围的一定量的频率成分。
图12A示出图9中所示的扩大部分23的配置示例。
例如，示于图12A中的扩大部分23通过线性插值，将输入图像扩大为扩 大后图像，其中，垂直方向中的像素数量加倍。
参考图12A,扩大部分23包4舌插值部分61和垂直LPF 62。
插值部分61接收从图9中所示的存储部分21向其4是供的输入图像。在 来自存储部分21的输入图像的垂直方向上，插值部分61执行在每个相邻像 素之间插入一个零值点的零值插值，并向垂直LPF 62提供由零值插值获得的 零值插值图像。
注意，在零值插值中，调整原始像素值，使得如上面参考图4A到7D所 描述的那样，在零值插值后，像素值的平均值不变化。在下面的描述中，适 当地省略这样的像素值调整的描述。
例如，垂直LPF 62具有{1/4,1/2,1/4}的滤波器系数，且在垂直方向上对 来自插值部分61的零值插值图像滤波，以产生扩大后图像，其中，通过线性 插值而使得输入图像在垂直方向上的像素数量加倍。随后，垂直LPF62向图 9中所示的定位部分24提供所产生的扩大后图像。
图12B示出输入图像在垂直方向上的频率特性，其中，输入图像是扩大 部分23进行扩大处理的对象。
如上所述，在第一实施例中，输入图^f象在垂直方向上包^^舌混叠成分。在 图12B中，实曲线指示信号成分，而虚曲线则指示混叠成分。
图12C示出了在由插值部分61对所获得的输入图像进行零值插值之后， 零值插值图像在垂直方向上的频率特性。
尽管在对包括混叠成分的输入图像(例如，对其中频率成分的最大频率为 频率fs、且没有混叠成分的图像去除每隔一行而产生的输入图像)执行零值插 值而获得的零值插值图像上，图12C中由实曲线所指示的覆盖从-fs到fs的整个频带的信号成分被再现，但是，如上面参考图6A到6D所描述的，在图12C 中由虚曲线指示的混叠成分也被再现。
图12D示出通过利用垂直LPF 62对图12C中所示的零值插值图像滤波 所获得的图像(也就是，通过对输入图像线性插值而获得的扩大后图像)的频率 特性。
尽管在通过利用垂直LPF 62对图12C中所示的零值插值图像滤波而获得 的扩大后图像中，可以削弱从fs/2到fs的高频区域中的混叠成分，但fs/2到 fs的高频区域中的信号成分同样被削弱。反言之，在扩大后图像中，尽管仍 有少量在fs/2到fs的高频区域中的混叠成分，但在从fs/2到fs的高频区域中 的信号成分也仍有少量。
图12E示出垂直LPF62的滤波器特性，即频率特性。 图12C所示零值插值图像成为图12D中的扩大后图像，其中，通过由图 12E中所示的滤波器特性的垂直LPF62滤波，而削弱高频区域fs/2到fs中的 频率成分。
注意，尽管在图12A到12E中，通过利用插值部分61 ^丸行零值插值并 利用垂直LPF 62对因此获得的零值插值图像滤波、从而产生其中通过线性插 值而扩大输入图像的扩大后图像，但在实际实践中，仅可通过向输入图像中 插入线性插值的插值值产生扩大后图像。在这种情况下，相比于执行零值插 值和滤波的可替代方式，可以减少产生扩大后图像所需要的数学运算的数量。
现在，参考图13A到13G描述图9中所示的定位部分24。
图13A示出图9中所示定位部分24的配置示例。
参考图13A,定位部分24包括水平多抽头APF(全通滤波器)71和垂直多 抽头APF 72。
从图9中所示的定位部分24向水平多抽头APF71提供扩大后图像Bn， 且提供使用与扩大后图像Bn相对应的输入图像An确定的全局运动矢量，作 为来自图9所示移动检测部分22的扩大后图像Bn的运动矢量。
基于来自移动检测部分22的扩大后图像Bn在水平方向上的运动矢量的 分量，即基于运动矢量的x分量，水平多抽头APF 71对来自定位部分24的 该扩大后图像Bn滤波，以将该扩大后图像Bn(也就是，扩大后图像Bn中的 像素的位置)移动与扩大后图像Bn的运动矢量的x分量相对应的量。随后， 该水平多抽头APF 71向垂直多抽头APF 72提供因此移动的扩大后图像Bn。基于来自移动检测部分22的扩大后图像Bn在垂直方向上的运动矢量的 分量，即基于运动矢量的y分量，垂直多抽头APF72对来自水平多抽头APF 71的该扩大后图像Bn滤波，以将该扩大后图像Bn(也就是，扩大后图像Bn 中的像素的位置)移动与扩大后图像Bn的运动矢量的y分量相对应的量。随 后，垂直多抽头APF 72向图9中所示的混合部分25提供因此而获得的扩大 后图像Bn，作为定位后图像Cn，其是在相对于存储在存储部分28中的输出 图像Sn-l(也就是前一帧的输出图像)定位之后的扩大后图像Bn,即，作为定 位之后的扩大后图像Bn 。
在上面所描述的以这样的方式配置的定位部分24中，基于扩大后图像 Bn的运动矢量，水平多抽头APF 71和垂直多抽头APF 72对该来自移动4企测 部分22的扩大后图像Bn滤波，以产生定位后图像Cn,其中，扩大后图像 Bn的像素被调整到存储于存储部分28的输出图像Sn-1的相应像素的位置， 即，被调整到在其上拍摄相同的图像拍摄对象的图像的像素的位置。
具体地，如果布li殳来自移动检测部分22的扩大后图〗象Bn的运动矢量V 为V=(-Vx，-Vy)，则基于运动矢量V，定位部分24通过对应于运动矢量V的 矢量(Vx,vy)来显示扩大后图像Bn，即扩大后图像Bn的像素，以将扩大后图 像Bn调整到输出图像Sn-l的位置。
具体地，如果在水平方向和垂直方向之间、对水平方向关注，则在运动 矢量V的x分量-Vx为整数时，水平多抽头APF 71在水平方向上将扩大后图 像Bn移动Vx,以产生定位后图像Cn,其画面质量相比于扩大后图像Bn没 有恶化。
如果运动矢量V的x分量-Vx不是整数，则水平多抽头APF 71在水平方 向上将扩大后图像Bn移动整数int(Vx)(int(x)代表小于x的最大整数)。此外， 垂直多抽头APF72执行这样的滤波，即，对在水平方向上从移动后的扩大后 图像Bn的每个像素位移了小数Vx-int(Vx)的位置的像素进行插值，以产生通 过如刚描述的插值而获得的像素组成的图像，作为定位后图像Cn 。
注意，为了产生高分辨率的输出图像，即包括比奈奎斯特频率更高的频 率的信号成分的输出图像，优选地，通过由水平多抽头APF71进行插值，使 得扩大后图像Bn的高频成分不恶化。
因此，尽管sine函数依照原样被水平多抽头APF71用于插值滤波的滤波 器系数，但这使得抽头长度无限大。因此，作为水平多抽头APF71,实际上使用通过将sinc函数乘以窗函数而限制其抽头数的LPF。注意，为了尽可能 多地通过所有包含于扩大后图像Bn中的频率成分，水平多抽头APF71由尽 可能多的数目的抽头形成,使得其频率特性在包括于扩大后图像Bn的频率成 分之中的低于最大频率的频率处变得尽可能平坦，且滚降(roll-off)变得尽可能陡峭。
此处，如果假设水平多抽头APF71执行像素的插值，例如，其中以8比 特代表小数的精度，即以其中在水平方向中将扩大后图像Bn的相邻像素之间 的距离均分为28个部分的精度，则水平多抽头APF 71的一个抽头的滤波器 系数可以呈现为256(=28)个不同的值。
此外，举例来说，如果假设水平多抽头APF71的抽头数量为8，则根据 滤波器的对称性，则8抽头滤波器系数可呈现的值的模式的数量为256 x 8/2。
因而，如果从sine函数确定256 x 8/2个模式的滤波器系数，并将其存储 为阵列，该阵列在水平多抽头APF71中使用代表滤波器系数的小数Vx-int(Vx) 的8比特作为自变量，那么，在每次执行用于插值的滤波时，水平多抽头APF 71不需要对滤波器系数进行数学运算。结果，可以减少数学运算量。
在该示例中，水平多抽头APF 71从来自图9所示的移动检测部分22的 运动矢量确定小数Vx-int(Vx)。此外，水平多抽头APF71确定使用代表小数 Vx-int(Vx)的8比特作为自变量的滤波器系数，并随后执行滤波。
垂直多抽头APF 72也执行这样的滤波，即，以与水平多抽头APF 71相 似的方式，在垂直方向上执行扩大后图像Bn的定位。
注意，第一帧输入图像A1的扩大后图像B1被依照原样存储到存储部分 28中，且变为输出图像S1。因此，由图9中所示的定位部分24将扩大后图 像Bn定位到输出图像Sn-1等价于将扩大后图像Bn调整到扩大后图像Bl 的位置。
图13B示出作为定位部分24的定位对象的扩大后图像Bn在水平方向上 的频率特性。
该扩大后图像Bn在水平方向中不包括混叠成分，且因此，仅包括存在于 低于奈奎斯特频率fs/2的频率中的信号成分。
图13C示出定位后图像Cn在水平方向中的频率特性，该定位后图像Cn 是通过定位部分24执行扩大后图像Bn的定位而获得的。
形成水平多抽头APF71，以便包括尽可能多的数目的抽头，使得其频率特性在包含于扩大后图像Bn中的低于水平方向中的频率成分的最大频率fs/2 的频率处变得尽可能平坦，从而尽可能地允许包含在扩大后图像Bn的水平方 向中的所有频率成分经由其通过。因此，理想地，定位后图像Cn在水平方向 中的频率特性与扩大后图像Bn在水平方向的频率特性相同。 图13D示出水平多抽头APF71的滤波器特性。
理想地，水平多抽头APF 71使在扩大后图像Bn在水平方向中包括的所 有频率成分(即，在水平方向中不包括任何混叠成分的扩大后图像Bn的频率 成分中低于频率fs/2的频率成分)通过。
注意，依赖于通过滤波对其执行插值的像素在水平方向中的位置，即依 赖于小数Vx-int(Vx),水平多抽头APF71的滤波器特性在某种程度上不同。 具体地，水平多抽头APF 71具有这样的滤波器特性，即，随着小数Vx-int(Vx) 的增大，在频率fs/2附近的增益减小。
图13E代表扩大后图像Bn在垂直方向中的频率特性，该扩大后图像Bn 是定位部分24的定位对象。
图13E与图12D相同，且在扩大后图像Bn中，在从fs/2到fs的高频区 域内的频率成分，即信号成分和混叠成分被削弱。注意，实曲线指示信号成 分，而虚曲线则指示混叠成分。
图13F示出定位后图像Cn在垂直方向上的频率特性，该定位后图像Cn 是通过由定位部分24执行扩大后图像Bn的定位而获得的。
形成垂直多抽头APF72,以便包括尽可能多的数目的抽头，使得其频率 特性在包含于扩大后图像Bn中的低于垂直方向中的频率成分的最大频率fs/2 的频率处变得尽可能平坦，从而尽可能地允许包含在扩大后图像Bn的垂直方 向中的所有频率成分通过。因此，理想地，定位后图〗象Cn在垂直方向中的频 率特性与扩大后图像Bn在垂直方向的频率特性相同。
图13G示出垂直多抽头APF 72的滤波器特性。
理想地，垂直多抽头APF72使包括在扩大后图像Bn中的在垂直方向上 的所有频率成分通过，即，相对于在垂直方向中包括混叠成分的扩大后图像 Bn,使低于频率fs的所有频率成分通过。
注意，类似于水平多抽头APF71中的情形，依赖于在垂直方向中通过滤 波对其执行插值的像素的位置，即小数Vy-int(Vy)，垂直多抽头APF72的滤 波器特性在某种程度上不同。具体地，具有有限数量抽头的垂直多抽头APF 72具有这样的滤波器特性，即，随着小数Vy-int(Vy)的增加，在频率fs附近的 增益减小。
现在，参考图14A到14C描述图9中所示的分离部分27。
图14A示出图9中所示分离部分27的配置的示例。
参考图14A，分离部分27包括垂直LPF 81和数学运算部分82，并且如 上面所描述的，其将存储于存储部分28中的输出信号Sn-l分离为低频成分 Ln和高频成分Hn。
具体地，向垂直LPF81提供存储于存储部分28中的输出图像Sn-l。
垂直LPF81在垂直方向上对来自存储部分28的输出图像Sn-l滤波，以 提取输出图像Sn-l的低频成分Ln，并向数学运算部分82和混合部分25提 供该低频成分Ln。
不但从垂直LPF 81向数学运算部分82提供该低频成分Ln，而且向数学 运算部分82提供存储于存储部分28中的输出图像Sn-1。
数学运算部分82从由存储部分28中提供的输出图像Sn-l减去从垂直 LPF81提供的低频成分Ln,以从输出图像Sn-l中提取高频成分Hn,并将该 高频成分Hn提供给加法部分26。
图14B示出垂直LPF 81的滤波器特性。
作为垂直方向(即，包含在输入图像中的混叠成分的方向)中的滤波器特 性，分离部分27的垂直LPF 81具有与图12A到12E中所示的扩大部分23 的垂直LPF 62和图13A到13G中所示的定位部分24的垂直多抽头APF 72 的级耳关连接所形成的滤波器的特性相同的特性。
注意，在图9的图像处理设备中，由于图13A到13G中所示的定位部分 24的垂直多抽头APF 72是使包含在扩大后图像Bn中的垂直方向上的所有频 率成分通过的多抽头APF,所以，该垂直LPF81的滤波器特性最终与图12E 中所示的扩大部分23中的垂直LPF 62的滤波器特性相同。
如上所述，在图9的图像处理设备中，扩大部分23的垂直LPF62的滤波 器系数为{1/4,1/2,1/4}，且由此，采用具有滤波器系数为{1/4,1/2,1/4}的LPF 作为垂直LPF81。
图14C示出通过加法部分26所获得的输出图像Sn的在垂直方向上频率 特性的变型。
注意，在图14C中，实曲线指示信号成分，而虚曲线则指示混叠成分。如果存储于图9所示存储部分21中的N帧输入图^^中的第一帧-波确定为 关注的图像，则如上面所描述的那样，将第一帧输入图像Al的扩大后图像 Bl依照原样存储到存储部分28中，作为输出图像Sl
此后，在存储于图9所示的存储部分中的N帧输入图像被连续地确定为 关注的图像时，重复混合加法，其中，通过混合部分25将来自定位部分24 的定位后图像Cn和输出图像Sn-l的低频成分Ln混合，以产生混合图像Dn, 且通过加法部分26将混合图像Dn和输出图像Sn-l的高频成分Hn相加，以 产生新的输出图像Sn。
结果，随着混合加法的进行，通过使用作为关注的图像的第一帧输入图 像Al执行混和加法而获得的输出图像S具有与输入图像Al相同的分辨率且 包含混叠成分，也就是，随着被用作关注的图像的输入图像An的数量的增 力口，通过混合加法而获得的输出图像Sn成为更高画面质量的图像，其通过恢 复从fs/2到fs的高频区域中的信号成分而具有更高分辨率，且其中混叠成分 逐渐地被削弱。
采用具有与图12A到12E中所示的扩大部分23的垂直LPF62和图13A 到13G中所示的定位部分24的垂直多抽头APF 72级联连接所形成的滤波器 的特征相同的特性的滤波器，作为分离部分27的垂直LPF 81,且另外，依 赖于下面的原理，通过执行混合或加权相加低频成分Ln、并加入高频成分 Hn的混合加法，而恢复从fs/2到fs的高频区域中的输出图像Sn的信号成分， 且如上所述，随着混合加法的进行，混叠成分纟皮削弱。注意，刚才所描述的 原理在下文中^:称作分辨率增强原理。
具体地，在分离部分27中，垂直LPF 81在垂直方向中对来自存储部分 28的该输出图像Sn-l滤波，以提取输出图像Sn-l中的低频成分Ln，并向数 学运算部分82和混合部分25提供低频成分Ln。
现在，如果输出图像Sn-l的位置t处的像素的像素值被表示为s，(t),输 出图像Sn-l的低频成分Ln中的位置t处的像素的像素值的低频成分被表示 为l(t)，且输出图像Sn-l的高频成分Hn中位置t处的像素的像素值的高频成 分被表示为h(t)，则数学运算部分82对输出图像Sn-1的所有像素执行下面所 给出的表达式(2)的数学运算，以确定输出图像Sn-1的高频成分Hn。随后， 数学运算部分82向加法部分26才是供高频成分Hn。 h(t"s,(t)-l(t) …(2)另一方面，混合部分25将来自图9中所示的定位部分24的定位后图像 Cn和来自分离部分27的低频成分Ln混合，并向加法部分26提供通过混合 而获得的混合图像Dn。
具体地，如果混合图像Dn的位置t处的像素的像素值被表示为d(t),且 定位后图像Cn在位置t处的像素的像素值被表示为c(t)，则混合部分25对混 合图像Dn中的所有像素执行下面表达式(3)给出的数学运算，即加权加法， 以确定混合图像Dn。随后，混合部分25向加法部分26提供确定后的混合图 像Dn。
d(t) = axC(t) + (l-a)xi(t) ... (3)
其中，混合比率a为用于混合的加权力。法的权重，且具有在0<a<l范围内的 实数值。
混合比率a可以是一个固定值，如O. 3。
或者，如下文所述，响应于位置t处的像素的移动的程度，混合比率a 可以被调整到在0<a，<l范围内的另一个混合比率a，，以使得调整之后的混合 比率a，替换混合比率a被使用。
或者，混合比率a可以是例如这样的可变值，其依赖于用于下文中所描 述的混合加法的定位后图像Cn所对应的输入图像An的帧数。
加法部分26将来自混合部分25的混合图像Dn与来自分离部分27的输 出图像Sn-l的高频成分Hn相加，以产生新的输出图像Sn。
具体地，如果输出图像Sn的中位置t处的像素的像素值由s (t)表示， 则加法部分26对输出图像Sn中的所有像素执行由下面给出的表达式(4)表示 的数学运算，即加法，以确定输出图像Sn:
s(t) = d(t) + h(t) ... (4)
此处，图9中所示的扩大部分23产生扩大后图像Bn,其中，在上文中 参考图12A到12E描述的从fs/2到fs的高频区域中在垂直方向中的频率成分 被削弱。因此，如果仅仅将产生自这样的刚才所描述的扩大后图像Bn的定位 后图像Cn和输出图像Sn-l相加，则通过加法而获得的输出图像Sn仍旧成为 在其中从fs/2到fs的高频区域中的频率成分被削弱的图像。
另一方面，在混合加法中，将输出图像Sn-l中的低频成分Ln与定位后 图像Cn混合，且高频成分Hn被加到定位后图像Cn。由于使用定位后图像 Cn和由此的足够帧数的输入图像An来执行这样的混合加法，所以，产生了这样的输出图像Sn,其中，从fs/2到fs的高频区域中的频率成分也被再现。 具体地，由扩大部分23的插值部分61对在垂直方向上包含混叠成分的 输入图像An进行零值插值获得的零值插值图像包含信号成分A，其对于所 有高速拍摄的连续输入图像Al到AN是共有的；以及混叠成分Zn，其是第 n帧输入图像An唯一的。因此，可由表达式A+Zn来表示输入图像An的零 值插值图像。
现在，由F表示由在垂直方向(即，混叠成分的方向)上执行滤波的图12A 到12E中所示扩大部分23的垂直LPF62、以及在垂直方向(即，混叠成分的 方向)上执行滤波的定位部分24的垂直多抽头APF 72的级联连接而形成的滤 波器的特性。在该情况下，由下面的表达式(5)表示用作混合加法的定位后图 像Cn:
<formula>formula see original document page 42</formula>例如，如果由于相机抖动，高速拍摄的连续输入图像Al到AN具有不同 的采样位置，即具有不同的图像拍摄对象的位置，则尽管信号成分A—致或 共同，则如图1所见，混叠成分Zn也具有不同相位。
此处，在要加权相加定位后图像Cn和输出图像Sn-l的情况下，即，例 如n个定位后图像Cl到CN的均值被用作输出图像Sn，获得由下面的表达 式(6)所表示的输出图像Sn:
<formula>formula see original document page 42</formula>其中，Sk表示k从整数值0到n连续变化时的总和。
在表达式(6)中，由于在某种程度上，混叠成分Zk^皮此抵消，所以，混 叠成分Zk的总和Sk(Zk)并不显示出非常高的值。随后，随着被用作加权加 法的定位后图像Cn的帧数n的增加，表达式(6)右侧的第二项F x (Sk(Zk))/n 减小。
如果被用作加权加法的定位后图像Cn的帧数足够大，则可以认为表达式 (6)右侧的第二项F x (Sk(Zk))/n为0，且在这种情况下，可由下面的表达式(7) 表示表达式(6)的输出图像Sn:
<formula>formula see original document page 42</formula>
如上所述，在要加权相加定位后图像Cn和输出图像Sn-1时，可以通过 足够帧数n的定位后图像Cn去除混叠成分Zn。
然而，仅仅通过加权加法而获得的表达式(7)的输出图像Sn是作为利用具有滤波器特性F的LPF来对信号成分A滤波的结果，且高频区域中的信号成
分不能被恢复。
另一方面，通过混合加法，除了混合之外还执行加法，即加权加法，且 因此，除了去除混叠成分，还执行高频区域中的信号成分的恢复。
具体地，由于在垂直方向(即，混叠成分的方向)上执行滤波的图14A到 14C所示的分离部分27的垂直LPF81具有与图12A到12E所示的扩大部分 23的垂直LPF 62和定位部分24的垂直多抽头APF 72的级联连4妻所形成的 滤波器的滤波器特性F相同的特性，所以，可由下面的表达式(8)表示垂直LPF 81获得的输出图像Sn-l的低频成分Ln:
Ln:FxSn-l …(8)
同时，可由下面的表达式(9)表示通过分离部分27的数学运算部分82所 获得的输出图像Sn-l的高频成分Hn: Hn=(l-F)xSn-1 …(9)
此外，可由下面的表达式(10)表示利用图9所示的混合部分25，由混合， 即加权加法所获得的混合图像Dn:
Dn二a x Cn + (l-a) x Ln …(10)
此外，可由下面的表达式(ll)表示通过图9所示加法部分26的加法所获 得的新的输出图像Sn:
Sn=Dn+Hn …(11)
表达式(11)可以从表达式(8)到(11)变换为下面的表达式(12):
Sn = a x Cn + (l-a) x F x Sn-l + (1-F) x Sn-1 ... (12)
此外，通过向表达式(12)代入表达式(5)而消除Cn,获得下面的表达式
(13):
Sn = (1-aF) x Sn-l + a x F x A + a x F x Zn ... (13)
根据表达式(13)，可以使用前一帧的输出图像Sn-1，即在前一操作周期 中获得输出图像，来表示由混合加法获得的新的输出图像Sn。
由于在混合加法中加入高频区域中的频率成分，所以，如果要用于混合 加法的定位后图像Cn的帧数足够多，则混叠成分Zn中的高频区域中的成分 为0、或与在上面结合表达式(6)和(7)所描述的情况一样类似地被去除。
此外，由于在混合加法中、同样通过加权加法加入低频成分中的频率成 分，其中，混合比率a被用作权重，或者，换句话说，由于以不同比率加入不同帧的定位后图像Cn的低频成分，所以，如果要用于混合加法的定位后图 像Cn的帧数n足够大，则混叠成分Zn中的低频成分变为零。
此外，由于在混合加法中，类似地，向上面所描述的低频区域和高频区 域中的频率成分加入在高频区域和低频区域之间的中频区域中的频率成分， 所以，在要被用于混合加法的定位后图像Cn的帧数n足够大时，混叠成分 Zn中的中频区域中的成分同样为零。
因此，当要被用于混合加法的定位后图像Cn的帧数n足够大时，表达式 (13)的混叠成分Zn变为零，且可由下面的表达式(14)表示输出图像Sn:
Sn = (l-a) x Sn-l+ ax F x A …(14)
通过作为递归方程来求解表达式(14)，获得下面的表达式(15): Sn = A+(l-aF)n-l x (Sl-A) …(15)
例如，如果如上所述、滤波器特性F的LPF具有滤波器系数{1/4,1/2,1/4}， 则滤波器增益的范围在覆盖小于fs的整个频带上是从O到1,使得直流成分 的增益为最大值1,高频区域中的频率成分的增益为最小值O。
因此，表达式(15)中的l-aF在整个频带上显示出等于或小于1的值，使 得其最小值，即最小增益为l-a，且其最大值，即最大增益为1。
因此，随着要被用于混合加法的定位后图像Cn的帧数n增加，(1-aF)n-l 趋向于零，而随着帧数n变得足够大，其等于零。
因此，输出图像Sn具有初始值Sl,且由此为当执行定位后图像C1的混 合加法时的最初的定位后图像Cl,但是随着混合加法被重复，输出图像Sn 逐渐地趋向于信号成分A。换句话说，可以获得从中去除混叠成分且恢复高 频区域中的信号成分的输出图像Sn=A。
注意，如上所述，尽管通过混合加法去除了混叠成分，且恢复了高频区 域中的信号成分，但不同于常见的强调处理(增强)，不强调特定的频率成分。
具体地，如果重复常见的重点处理，则有时会过度地强调特定的频率成 分，通过混合加法的重复，输出图像Sn趋向于包括在输入图像Al到An中 的信号成分A。
如上所述，利用图9所示的执行混合加法的图像处理设备，可以实现图 像的柔和的分辨率增强。
具体地，获得高分辨率的输出图像，即具有在高频区域中恢复的频率成 分的输出图像，其中，随着输入图像的帧数增加，即随着要被用于混合加法的图像数量增加，混叠成分减小越来越多的量。
此外，由于扩大部分23使用通过使用输入图像周边的像素的插值(例如， 线性插值)所产生的扩大后图像、来执行混合加法，所以，即使从某个区域中 只有少量的图像可被用作输入图像，极端地，即使只有一个图像可用，不同 于现有的分辨率增强技术，也可防止向用户提供包括暗条紋图案的图像的情 况。具体地，例如，甚至在只有一个图像可用作输入图像的最坏的情况下， 作为要提供给用户的图像的画面质量，也确保是值得用于实际使用的画面质 量，即，通过线性插值等等获得的图像的画面质量。
注意，当执行滤波器系数为{1/4,1/2，1/4}的线性插值的垂直LPF 62被用 作图12中的扩大部分23的滤波器时，例如，执行具有滤波器系数为{1/2,1/2,0} 等的最邻近插值的另 一 滤波器、执行具有滤波器系数为 {-1/16,0，9/16,9/16，0,-1/16}的三次插值的另一滤波器、或某个其它滤波器可替 代垂直LPF 62作为扩大部分23的滤波器而禎 使用。
如上所述，当采用这样的执行最邻近插值的滤波器、或执行三次插值的 滤波器作为扩大部分23的滤波器时，在图14A到14C中所示的分离部分27 中也采用具有与扩大部分23中的滤波器的滤波器特性相同的滤波器特性的 滤波器，以替代垂直LPF81。
此外，尽管在上文所描述的情形中、采用具有与由扩大部分23的滤波器 (即，示于图12A到12E的垂直滤波器62)、以及定位部分24的滤波器(即， 示于图13A到13G的垂直多抽头APF 72)的级联连接而形成的滤波器(在下文 中，通过级联连接而形成的滤波器也可称为级联连接滤波器)的滤波器特性 相同的滤波器特性的滤波器作为分离部分27的滤波器(即，作为图14所示的 垂直LPF 81),但分离部分27的滤波器也可以具有与级联连接滤波器的滤波 器特性相似的特性。
此外，尽管在上面所描述的情形中、Zn表示包括在输入图像An中的混 叠成分，但Zn也可以表示包含在输入图像An中的可包括混叠成分的噪声成 分。如果噪声成分按照高斯分布的方式分布，则因为噪声成分通过相加(即， 通过加权加法)而互相4氐消，所以，通过混合加法可以获得噪声成分互相抵消 的丰俞出图^象。
此外，尽管在图10中、移动检测部分22检测运动矢量，且定位部分24 基于运动矢量而执行扩大后图像和输出图像的定位，但是，例如，移动检测部分22也可以确定仿射变换的系数，以使得扩大后图像和输出图像的位置互 相一致(例如，通过最小二乘法)，且定位部分24可以基于仿射变换的系数执 行滤波，以执行扩大后图像和输出图像的定位。
具体地，在该示例中，当基于由移动检测部分22确定的系数，通过仿射 变换将扩大后图像的位置调整到输出图像的位置时，定位部分24计算扩大后 图^^中的^f象素的坐标(在下文中，坐标;故称为定位后坐标)。随后，定位部分 24使用利用在由扩大后图像的定位后坐标表示的位置上的像素的像素值执行 插值的滤波器，来确定定位后图像在输出图像的该像素位置处的像素的像素 值。
尽管仅通过平行移动而执行基于运动矢量的扩大后图像和输出图像的定 位，但除了平行移动之外，还可使用扩大或收缩、以及旋转来执行基于仿射 变换的系数的扩大后图像和输出图像的定位。因此，可以改进定位精度。
第二实施例
图15示出了根据本发明第二实施例的图像处理设备的示例。
参考图15,与图9中的图像处理设备相似，图像处理设备包括存储部分 21、移动^r测部分22、扩大部分23、定位部分24、混合部分25、加法部分 26、分离部分27和存储部分28。
然而，注意，尽管图9中的图像处理设备在存储于存储部分21的所有输 入图像Al到AN的混合加法之后、执行来自存储部分28的输出图像的输出， 即，输出通过对由输入图像A1到AN所产生的扩大后图像B1到BN定位而 获得的定位后图像C1到CN、以及由此的在经过定位的扩大后图像B1到BN, 但在图15的图像处理设备中，在每次执行一帧输入图像An的混合加法时， 执行向外部输出来自存储部分28的输出图像。
因此，尽管在图9的图像处理设备中、通过将扩大后图像的位置调整到 输出图像的位置(即，在图9中，调整到被用作标准输入图像的输入图像Al 的扩大后图像B1的位置)、而执行由定位部分24对扩大后图像和输出图像的 定位，但在图15所示的图像处理设备中，通过将输出图像的位置调整到作为 混合加法的对象的扩大后图像的位置，而执行由定位部分24对扩大后图像和 输出图像进行的定位。
具体地，在图15的图像处理设备中，绕过定位部分24向混合部分25提 供由扩大部分23产生的扩大后图像。此外，混合部分25和加法部分26使用来自扩大部分23的扩大后图像执行混合加法，并向存储部分28提供并存储 由混合加法获得的新的输出图像。随后，从存储部分28向外部输出该新的输 出图像。
此外，当要通过扩大部分23产生下一帧的扩大图像时，作为在前一操作 周期中获得的输出图像(即，领先一帧的输出图像)而向定位部分24提供存储 于存储部分28的新的输出图像。定位部分24执行将来自存储部分28的输出 图像的位置调整到要由扩大部分23产生的扩大后图像的位置的定位，且向分 离部分27提供定位后的输出图像。
分离部分27将来自定位部分24的在定位之后的输出图像分离为低频成 分和高频成分，并向混合部分25提供该低频成分，以及向加法部分26 4是供 该高频成分。
混合部分25执行将来自分离部分27的在定位之后的输出图像的低频成 分和来自扩大部分23的扩大后图^^的混合，并向加法部分26提供通过该混 合获得的混合图像。
加法部分26执行来自分离部分27的在定位之后的输出图像的低频成分 和来自混合部分25的混合图像的加法，并向存储部分28提供作为结果的输 出图像。
在上文参考图9所描述的图像处理设备中，当混合并相加N帧输入图像 Al到AN中的任一输入图像An时，在第一帧输入图像Al中拍摄图像拍摄 对象的图像的位置处，产生其中拍摄了图像拍摄对象的图像的输出图像。
另一方面，在图15中的图像处理设备中，当混合并相加输入图像An时， 在输入图像An上拍摄图像拍摄对象的图像的位置，产生其中拍摄了图像拍 摄对象的图像的输出图像。
此处，例如，在输入图4象An为静态画面的情况下，当混合并相加N帧 输入图像A1到AN中的任一图像An时，加权加法是方便的，通过其，在第 一帧输入图像Al上拍摄图像拍摄对象的图像的位置，产生在其上拍摄图像 拍摄对象的图像的输出图像。在该示例中，输出图像也是静态画面。因此， 适当地，所描述的混合加法在下文中被称为指静态画面混合加法。
另一方面，例如，当输入图像An为动态画面时，加权加法是方便的，通 过其，当混合并相加输入图像An时，在输入图像An上拍摄图像拍摄对象的 图像的位置上拍摄图像拍摄对象的图像。在该情况下，输出图像同样也是动态画面。因此，适当地，所描述混合加法在下文中被称为动态画面混合加法。 如上所述，在执行动态画面混合加法的图15的图像处理设备中，由于在
每次执行一帧输入图像An的混合加法时、执行从存储部分28向外部输出输 出图像，所以，相比于图9的图像处理设备，为了获得一帧输出图像的数学 运算量减少，在执行存储在存储部分21中的所有输入图像Al到AN的混合 加法之后，执行静态画面混合加法，并执行从存储部分28向外部输出输出图 像。
注意，在静态画面混合加法中，图10中所示的移动检测部分22确定第 一帧输入图像Al作为标准图像，并确定混合加法的对象的输入图像An作为 比较图像，以确定运动矢量，即结合本发明第一实施例在上文中所描述的全 局运动矢量。
随后，基于由移动^r测部分22确定的运动矢量，定位部分24执行将混 合加法对象的扩大后图像Bn的位置调整到在前一操作周期确定的输出图像 Sn-l的位置(这与第一帧输入图像A1的扩大后图像B1的位置相同)的定位。
另一方面，在动态画面混合加法中，图10所示的移动检测部分22确定 混合加法对象的输入图像An作为标准图像，并确定紧接在输入图像An之前、 即领先一帧的输入图像An-l作为比较图像，以确定运动矢量，也就是全局运 动矢量。
换句话说，移动检测部分22确定前一输入图像An-l的扩大后图像Bn-l 相对于混合加法对象的输入图像An的扩大后图像Bn的位移量，这与在前一 操作周期中获得的输出图像Sn-l的位移量相等。
随后，定位部分24基于由移动一全测部分22确定的位移量，执行将在前 一操作周期中获得的输出图像Sn-l的位置调整到混合加法对象的扩大后图像 Bn的位置的定位。
第三实施例
图16示出了根据本发明第三实施例的图2的图像处理设备的示例。 参考图16，与图9中的图像处理设备相似，所示的图像处理设备包括存
储部分21、移动4企测部分22、扩大部分23、定位部分24、混合部分25、加
法部分26、分离部分27和存储部分28。
然而，图16中的图像处理设备与图9中的图像处理设备的区别在于其
额外地包括选择部分101、 102、 103。此外，配置图16中的图像处理设备，使得可以选择性地执行静态画面混
合加法和动态画面混合加法。例如，响应于用户的才喿作，而选择在图16中的
图像处理设备上执行静态画面混合加法和动态画面混合加法中的哪一个。
在图16的图像处理设备中，从扩大部分23向选#^部分101的端子a提 供扩大后图像，而从输出部分28向选择部分101的另一端子b提供前一帧的 输出图像，即在前一操作周期中获得的输出图像。
选择部分101选择向端子a提供的扩大后图像、或者在前一操作周期中 获得并提供给端子b的输出图像，并向定位部分24提供所选图像作为定位的 对象。
同时，从定位部分24向选择部分102的端子a提供定位后的图像，即扩 大后图像或输出图像，且从扩大部分23向选择部分102的另一端子b提供扩 大后图4象。
选择部分102选择提供给端子a的定位后的图像或者提供给端子b的扩 大后图像，并向混合部分25提供所选图像。
此外，从存储部分28向选择部分103的端子a提供前一帧输出图像，即 在前一操作周期中获得的输出图像，且从定位部分24向选4奪部分103的另一 个端子b提供定位后的图像，即扩大后图像或输出图像。
选择部分103选择在前一操作周期中获得并向端子a提供的输出图像、 或向端子b提供的定位后的图像，并向分离部分27提供所选图像。
在以如上所述的方式配置的图像处理设备中，当执行H态画面混合加法 时，执行下文中所描述的第一处理，而当执行动态画面混合加法时，执行下 文中所描述的第二处理。
具体地，在第一处理中，选择部分101到103的全部从端子a和b之间 选择端子a。
结果，选择部分101选择从扩大部分23向该端子提供的扩大后图像，并 向定位部分24提供该扩大后图像。
定位部分24执行将来自选择部分101的扩大后图像的位置调整到存储于 存储部分28的在前一操作周期中获得的输出图像的位置的定位，且向选择部 分102的端子a提供在定位之后的扩大后图像。
选择部分102选择从定位部分24向端子a提供的在定位之后的扩大后图 像，并向混合部分25提供在定位之后的扩大后图像。同时，选择部分103选择在前一操作周期中获得且从存储部分28向端子 a提供的输出图像，并向分离部分27提供该输出图像。
结果，将图16中的图像处理设备的从存储部分21到存储部分28的组件 置于与图9中的图像处理设备的从存储部分21到存储部分28的连接状态相 同的连接状态，且通过混合部分25、加法部分26和分离部分27执行该静态 画面〉'昆合力口法。
具体地，该分离部分27将在前一操作周期中获得的且从选择部分103提 供的输出图像分离为低频成分和高频成分，以及向混合部分25提供低频成 分，并向加法部分26纟是供高频成分。
混合部分25将来自分离部分27的低频成分混入定位后的扩大后图像， 即从选择部分102提供的经过定位的图像，并向加法部分26提供作为结果的 混合图像。
加法部分26将来自分离部分27的高频成分加到来自混合部分25的混合 图像，以产生新的输出图像，并向存储部分28提供并存储该新的输出图像。
另一方面，在第二处理中，选4奪部分101到103的全部在端子a和b之 间均选择端子b。
结果，选择部分101选^^在前一操作周期中获得的且从存储部分28向端 子b提供的输出图像，并向定位部分24提供该输出图像。
该定位部分24执行将来自选择部分101的输出图像的位置调整到由扩大 部分23产生的扩大后图像的位置的定位，且向选择部分103的端子b提供在 定位之后的该输出图像。
同时，选择部分102选择从扩大部分23向端子b提供的扩大后图像，且 向混合部分25提供该扩大后图像。
选择部分103选择从定位部分24向端子b提供的定位后的扩大后图像， 并向分离部分27提供该定位后的扩大后图像。
结果，将图16中的图像处理设备的从存储部分21到存储部分28的组件 置于与图15中的图像处理设备的从存储部分21到存储部分28的连接状态相 同的连接状态，且通过混合部分25、加法部分26和分离部分27执行该动态 画面〉'昆合力口法。
具体地，分离部分27将从选择部分103提供的在定位之后的输出图像分 离为低频成分和高频成分，并向混合部分25提供该低频成分，以及向加法部分26提供该高频成分。
混合部分25将来自分离部分27的低频成分与从选择部分102提供的扩 大后图像混合，并向加法部分26提供作为结果的混合图像。
加法部分26将来自分离部分27高频成分加到来自混合部分25的混合图
像，以产生新的输出图像，并向该存储部分28提供并存储该新的输出图像。 第四实施例
图17示出根据本发明第四实施例的图2中图像处理设备的配置示例。
参考图17,与图9所示图像处理设备相似，所示图像处理设备包括存储 部分21、移动斥企测部分22、混合部分25、加法部分26和存+者部分28。
然而，图17所示图像处理设备与图9所示图像处理设备的区别在于其 包括扩大部分lll、定位部分112和分离部分113，以分别替代扩大部分23、 定位部分24和分离部分27。
尽管图9中的图像处理设备被配置为使得扩大部分23在包含混叠成分的 垂直方向上将输入图像扩大到两倍、以产生扩大后图像，并且为了防止扩大 后图像的高频成分的恶化，由多抽头APF形成该定位部分24的滤波器，即 图13所示的水平多抽头APF 71和垂直多抽头APF 72，该多抽头APF要求 设备的大规模和大量的数学运算。
另一方面，如果定位部分24的滤波器是由具有较少数量抽头的执行例如 线性插值或三次插值的滤波器形成，则可以减少设备的规模和数学运算量。
然而，如果定位部分24的滤波器是由具有少量抽头的滤波器形成，则尤 其是在高频区域内，定位部分24的滤波器的滤波器特性取决于当将扩大图像 的位置调整到输出图像的位置时的移动量，即取决于从移动检测部分22获得 的全局运动矢量而变化。结果，该定位使扩大后图像的高频成分恶化，结果 输出图像的画面质量也恶化。
因此，在图17的图像处理设备中，扩大部分lll执行扩大输入图像的扩 大处理，使得即使采用具有少量抽头的滤波器作为用于定位的滤波器，扩大 图像的高频成分，即信号成分和混叠成分也可以被不恶化。
参考图18A到18G和图19描述由图17中所示的扩大部分lll执行的扩 大处理。
注意，尽管在此处所描述的情况中，扩大部分111扩大输入图像，即在 水平方向上将像素数量增加到两倍、而在垂直方向上将输入图像扩大到四倍，^f旦该扩大部分111也可以扭J亍更高扩大倍率的扩大。
此外，在第四实施例的图像处理设备中，假设尽管高速拍摄的连续输 入图像Al到AN在垂直方向上包含混叠成分，但其在水平方向上不包括或包 括很少的混叠成分。
图18A示出输入图像An。
参考图18A,圆形标记表示输入图像An的像素。
假设在水平方向上以采样频率fh对信号采样，且在垂直方向上以采样频 率fs采样该信号而获得输入图像An，其中，该信号包含存在于从-fh/2到fh/2 的频带内的水平方向的频率成分、以及存在于/人-fs到fs的频带内的垂直方向 的频率成分。
图18B示出输入图像An的频率特性。
注意，在图18中，横坐标轴指示水平方向中的频率，即水平频率，而纵 坐标轴指示垂直方向中的频率，即垂直频率。
输入图像An包括在水平方向上，仅有从-fh/2到fh/2频带内的信号成 分；以及在垂直方向上，从-fs/2到fs/2频带内的原始信号的低于fs/2频率的 信号成分、以及混叠成分，其为具有高于原始信号的频率fs/2的频率的信号 成分的折返(folded back)成分。
在图18B中，实曲线表示信号成分，而虚曲线表示混叠成分。
如上所述，图17所示的扩大部分111在水平方向上将输入图像An扩大 到两倍，而在垂直方向上将其扩大到四倍，以产生具有输入图像An的像素 数量8倍的像素数量的扩大后图像Bn。
具体地，扩大部分111首先在水平方向上将输入图像An扩大到两倍。
由于输入图像An在水平方向上不包含任何混叠成分，所以，通过在上文 中参考图4A到4D或5A到5D所描述的扩大过程(在下文中可将这样的扩大 过程称为常规扩大过程)，产生通过在水平方向上将输入图像An扩大到两倍 而获得的图像(在下文中也可将这样的图像称为水平扩大图像)。
具体地，通过在水平方向上在输入图<象An的每个相邻4象素之间插入一个 零值点的零值插值、并利用LPF对由该零值插值获得的零值插值图像滤波， 而执行输入图像An的水平扩大图像的产生。
图18C示出通过在图18A的输入图像An的水平方向中每个相邻像素之 间插入一个零值点的零值插值而获得的零值插值图像。参考图18C，空白圆形标记代表输入图像An的像素，即原始像素，而实 心圓形标记则代表作为零值点的像素，即像素值为零的像素。 图18D示出图18C的零值插值图像的频率特性。
在零值插值图像中，由于在水平方向中插入零值点的零值插值，在水平 方向上出现混叠成分。
为了去除混叠成分，图17中所示扩大部分111通过其通带为从-fh/2到 fh/2的频带的LPF来执行滤波。尽管理想地具有sine函数的滤波器系数的LPF 被优选用于该LPF，但其具有无限的抽头长度。因此，通过将窗函数应用于 该sine函^:而确定该LPF的滤波器系it。
图18E示出利用该LPF滤波零值插值图像而获得的水平扩大图像，且图 18F示出水平扩大图像的频率特性。
注意，在图18F中，实曲线表示信号成分，而虚曲线则代表混叠成分。
相应于采样频率2fh,通过LPF滤波而获得的水平扩大图像在水平方向 上包括仅存在于从-fli/2到fh/2的低频带中的信号成分，而不包括存在于从fh/2 到fli和从-fh到-fh/2的高频带中的信号成分。
随后，图17中所示的扩大部分111在垂直方向上将水平扩大图像扩大到 四倍，以产生扩大后图像Bn。通过将输入图像An在水平方向上扩大到两倍， 并在垂直方向上扩大到四倍，而获得该扩大后图像Bn。
由于输入图像An和由此的输入图像An的水平扩大图像在垂直方向中包 括混叠成分，所以，与图9中所示扩大部分23的扩大处理相似地，通过例如 线性插值的剩余一些高频成分的扩大处理，执行在垂直方向中从水平扩大图 像产生具有被扩大到四倍大小的扩大后图像。
筒而言之，通过在水平扩大图像的垂直方向中的每个相邻像素之间插入 三个零值点的零值插值、并利用具有剩余一些高频成分的滤波器特性的LPF 对通过零值插值对所获得的零值插值图像进行滤波，而执行垂直扩大图像的 产生。
图18G示出通过在图18E的水平扩大图像的垂直方向中的每个相邻像素 中插入三个零值点而获得的零值插值图像。
参考图18G，空白圓形标记代表零值插值图像的像素，而实心圆形标记
则代表作为零值点的像素。
图18H示出图18G中的零值插值图像的频率特性。在零值插值图像中，通过在垂直方向上插入零值点的零值插值而恢复垂 直方向中的信号成分，并产生更高阶的混叠成分。
图17中所示的扩大部分111利用在垂直方向剩余一些高频成分的LPF 对图18H的零值插值图像滤波，以产生扩大后图像。
例如，对于该LPF，可以采用滤波器系数为{1/16， 2/16, 3/16， 4/16， 3/16， 2/16, 1/16}的垂直LPF。
图19示出了具有滤波器系数为{1/16，2/16，3/16，4/16,3/16,2/16,1/16}的垂直 LPF的滤波器特性。
注意，图19不但示出具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16} 的滤波器的滤波器特性，而且也示出具有滤波器系数为{1/4， 1/4,1/4， 1/4,0}的另 一个滤波器的另 一个滤波器特性。
参考图19,具有滤波器系数为{1/16，2/16,3/16，4/16，3/16,2/16,1/16}的垂直 LPF的滤波器特性具有平緩的特性，即，相应于4fs的采样频率，在频率0 处的增益为1,而在频率fs处的增益为0。此外，根据具有滤波器系数为 {1/16，2/16,3/16,4/16,3/16，2/16，1/16}的垂直LPF的滤波器特性，从频率fs到频 率1.5fs的增益增大，且随后减小，直到在频率2fs处变回为零为止，同时， 少量地通过频率1.5fs附近的频率成分。
在利用图9中的垂直LPF对图18H中的零值插值图像滤波而获得的扩 大后图像中，在频率1.5fs附近，即频率fs和频率2fs之间，仍有少量混叠成 分。
为了完全去除频率1.5fs附近的混叠成分，有必要使用其通带为从-fs到 fs的频带的宽带LPF进一步对该扩大后图像滤波。
在以如上所述的方式获得的扩大后图像中，在垂直方向上，对于采样频 率4fs,信号成分和混叠成分以混合状态存在于从-fs到fs的低频区域，而在 从fs到2fs和从-2fs到-fs的高频带之中不存在频率成分。
如上所述，在由扩大部分111获得的扩大后图像中，频率成分仅存在于 在水平方向的低频端上的从-fh/2到fh/2的一半频带中、以及在垂直方向的低 频端上的从-fs到fs的一半频带中，而没有频率成分存在于其它频带中，即， 高频端的频带上。
因此，在图17的图像处理设备中，如果定位部分112的滤波器在低频端 可以使其余一半频带通过，则其可以在高频带中具有任何滤波器特性。具体地，例如，才艮据本发明第一实施例的图9中的图像处理设备要求多
抽头APF，以<更抑制定位部分24的滤波器在高频区域中的滤波器特性的变化，其中，该滤波器特性取决于通过移动检测部分22获得的全局运动矢量而变化。
相反，图17所示的定位部分112的滤波器仅需要在垂直方向和水平方向中、在零值插值图像的低于奈奎斯特频率的频带中的低频端的一半频带中的具有增益1。因此，可以使用具有少量抽头、且因此在高频端具有较低特性的滤波器，例如执行三次插值的四抽头滤波器，即四抽头三次插值滤波器，来形成定位部分112的滤波器。
同样地，在通过定位部分112的定位而获得的定位后图像中，与由扩大部分111所产生的扩大后图像相似，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半)中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上的其余频带中不存在频率成分。
此外，与第一实施例相似，定位后图像在水平方向中不包含混叠成分，但在垂直方向中包含混叠成分。因此，高频区域中的信号成分的再现仅考虑垂直方向。
此外，在图17所示的图像处理设备中、在通过使用定位后图像的混合加法而获得的输出图像中，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半)中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上的其余频带中不存在频率成分。
因此，可以仅考虑存在这样的频率成分的频带，而配置图17中所示的分离部分113。
具体地，在基于上面所描述的分辨率增强处理而产生高分辨率的输出图像的图17的图像处理设备中，由垂直LPF形成该分离部分113，其中，该垂直LPF在高频区域中的信号成分将要被再现的垂直方向上提取输出图像的低频成分。对于该垂直LPF，采用具有与扩大部分lll的滤波器和定位部分112的滤波器以级联连接方式连接的级联连接滤波器的滤波器特性相同的滤波器特性的滤波器。
然而，可以仅考虑其中存在频率成分的输出图像的频带，而配置分离部分113的垂直LPF，并且，可以采用在该频带中具有与级联连接滤波器的滤波器特性相同的滤波器特性的滤波器。因此，例如，对于分离部分113的垂直LPF，可以采用扩大部分lll中在垂直方向上执行滤波的滤波器，即，具 有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器。
与图9中的图像处理设备相似地，利用图17中的图像处理设备，可预见 图像的柔和的分辨率增强。此外，在图17中的图像处理设备中，可由具有较 少数量抽头的滤波器形成定位部分112中的滤波器，且可以减少该设备的规 模和数学运算量。
注意，在由图17中的图像处理设备获得的输出图像中，与上面的描述相 似地，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半) 中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上 的其余频带中不存在频率成分。因此，在垂直方向和/或水平方向上，输出图 像的像素数量可被减少到 一半。
图20示出图17中所示的扩大部分lll和定位部分112的配置示例。
参考图20,所示的扩大部分111包括插值部分131、水平多抽头LPF 132、 另一个插值部分133、垂直LPF 134和宽带LPF 135。
插值部分131接收从图17所示的存储部分21向其提供的输入图像。该 插值部分131执行零值插值，即，在来自存储部分21的输入图像的水平方向 上的每个相邻像素之间插入一个零值点，以产生水平方向上的像素数量是输 入图像两倍的零值插值图像。随后，插值部分131向水平多抽头LPF132提 供所产生的零值插值图像。
该水平多抽头LPF 132具有例如通过将窗函H应用于sine函凄t而确定的 滤波器系数，并具有低于频率fs/2的通带。该水平多抽头LPF 132在水平方 向上滤波来自插值部分131的零值插值图像，以产生水平扩大图像，并向插 值部分133提供该水平扩大图像。
插值部分133执行零值插值，即，在来自水平多抽头LPF 132的水平扩 大图像的垂直方向中的每个相邻像素之间插入三个零值点，以产生在水平方 向上具有两倍于输入图像在水平方向上的像素数量的像素数量、且在垂直方 向上具有四倍于输入图像在垂直方向上的像素数量的像素数量的零值插值图 像。随后，插值部分133向垂直LPF 134提供所产生的零值插值图像。
例如，该垂直LPF 134是具有{1/16，2/16,3/16,4/16,3/16,2/16，1/16}的滤波 器系数，并且对来自插值部分133的零值插值图像滤波，以产生在水平方向 上具有两倍于输入图像在水平方向上的像素数量的像素数量、且在垂直方向上具有四倍于输入图像在垂直方向上的像素数量的像素数量的扩大后图像。
随后，垂直LPF 134向宽带LPF135提供该扩大后图像。
注意，由插值部分133进行零值插值、并在垂直LPF 134中通过具有滤 波器系数为{1/16,2/16,3/16,4/16，3/16,2/16,1/16}的垂直LPF进行滤波对应于 通过线性插值将在垂直方向上的像素数量扩大到四倍。
宽带LPF 135具有从-fs到fs频带作为其通带，且在垂直方向上对来自垂 直LPF 134的扩大后图像滤波，并向定位部分112提供经滤波的扩大后图像。
定位部分112包括水平三次插值滤波器141和垂直三次插值滤波器142。
从扩大部分111向定位部分112提供扩大后图像，且/人图17所示的移动 检测部分22向定位部分112提供运动矢量，即全局运动矢量。
与图13中所示的水平多抽头APF 71相似，该水平三次插值滤波器141 基于来自移动检测部分22的运动矢量，在水平方向上对该扩大后图像滤波， 以在输出图像的像素位置处对像素插值，从而将扩大后图像的位置在水平方 向上调整到输出图像的位置。随后，该水平三次插值滤波器141向垂直三次 插值滤波器142提供作为结果的扩大后图像。
与图13中所示的垂直多抽头APF 72相似，该垂直三次插值滤波器142 基于来自移动4全测部分22的运动矢量，在垂直方向上对该扩大后图l象滤波， 以在输出图像的像素位置处对像素插值，从而将扩大后图像的位置在垂直方 向上调整到输出图像的位置。结果，产生在水平方向和垂直方向上将其位置 调整到输出图像的位置的定位后图像，且向图17所示的混合部分25提供该 定位后图像。
注意，该水平三次插值滤波器141和垂直三次插值滤波器142通过滤波 执行三次插值。此外，可利用较少抽头数，例如四个抽头，来形成水平三次 插值滤波器141和垂直三次插值滤波器142。
现在，参考图21A到21E来描述通过图20中所示的扩大部分111在水 平方向上执行的处理。
图21A示出扩大部分111的组件(即，从插值部分131到宽带LPF 135) 之中的执行关于水平方向的处理的那些块。
如图21A所示，在扩大部分111中，插值部分131和水平多抽头LPF 132 执行关于水平方向的处理。
图21B示出向插值部分131提供的输入图像在水平方向中的频率特性。如上所述，在水平方向上，输入图像仅在低于频率fh/2的频带中包含信 号成分。
图21C示出零值插值图像在水平方向中的频率特性，所迷零值插值图像 是通过在由插值部分131获得的输入图像的水平方向中每个相邻像素之间插 入一 个零值点的零值插值而获得的。
在零值插值图像上，通过在水平方向插入零值点的零值插值，而在水平 方向上的超过fh/2的频带中产生混叠成分。
图21D示出通过利用水平多抽头LPF 132对图21C的该零值插值图像滤 波而获得的水平扩大图像的频率特性。
在通过水平多抽头LPF 132滤波而获得的水平扩大图像中，在水平方向 上，信号成分仅存在于低于频率fh/2的频带中，而在超过频率fh/2的频率中 不存在频率成分。
图21E示出水平多抽头LPF 132的滤波器特性。
该水平多抽头LPF 132具有低于频率fh/2的通带，且由多个抽头形成， 使得增益急剧下降，即，在频率fh/2处显示出急剧的滚降。
现在，参考图22A到22D描述由图20所示的定位部分112在水平方向 执行的处理。
图22A示出由组成定位部分112的水平三次插值滤波器141和垂直三次 插值滤波器142在水平方向执行处理的组件。
如图22A所示，在定位部分112中，该水平三次插值滤波器141 4丸行关 于水平方向的处理。
图22B示出从图20所示的扩大波分111向水平三次插值滤波器141提供 的水平扩大图像的频率特性，且其与图21D相同。
图22C示出通过在水平方向上将水平扩大图像的位置调整到输出图像的 位置而获得的定位后图像的频率特性，所述水平扩大图像是通过利用水平三 次插值滤波器141对图22B中的水平扩大图像滤波而获得的。
图22D示出水平三次插值滤波器141的滤波器特性。
例如，该水平三次插值滤波器141是四抽头滤波器，其基于从移动检测 部分22提供的运动矢量，执行在水平方向上执行三次插值的滤波。如图22D 所示，该水平三次插值滤波器141具有这样的滤波器特性，其使得高频端(即， 超过频率fh/2的频率端)的增益依赖于从移动检测部分22提供的运动矢量而变化，而在低频端(即，低于频率fh/2的频率端)的增益基本等于1。
因此，如在图22C中可见，通过利用具有图22D的滤波器特性的水平三 次插值滤波器141对扩大后图像(其仅具有图22B的低于频率fh/2的频率成分) 进行滤波而获得的定位后图像依照原样保持图22B的扩大后图像的频率特性。
现在，参考图23A到23G描述由图20所示的扩大部分111关于垂直方 向执行的处理。
图23A示出在扩大部分111的组件(即，从插值部分131到宽带LPF 135) 之中的"^丸行关于垂直部分的处理的那些块。
如图23A所示，在扩大部分lll中，插值部分133、垂直LPF 134和宽 带LPF 135执行关于垂直方向的处理。
图23B示出输入图像(即，向插值部分133提供的水平扩大图像)在垂直 方向上的频率特性。
如上所述，在垂直方向中，输入图像包括低于频率fs/2的信号成分和混 叠成分。
图23C示出零值插值图像在垂直方向中的频率特性，该零值插值图像是 在由插值部分133获得的图23B的输入图像垂直方向中的每个相邻像素之间 插入三个零值点的零值插值而获得的。
在零值插值图像中，尽管通过在垂直方向中插入零值点的零值插值来再 现在垂直方向中超过频率fs/2的频带中的信号成分，但也再现混叠成分。
图23D示出通过利用垂直LPF134来对图23C中的零值插值图^f象滤波而
获得的扩大后图像在垂直方向中的频率特性。
图23E示出通过利用宽带LPF135来对图23D中的扩大后图像滤波而获 得的扩大后图像在垂直方向中的频率特性。
图23F示出垂直LPF 134的滤波器特性。图23G示出宽带LPF 135的频
率特性。
的滤波器系数，且如从图23F可见，其具有平緩的滤波器特性，其在频率0 处指示增益l,而在频率fs处指示增益O。此外，该垂直LPF 134具有这样的 滤波器特性，即从fs到1.5fs的频率，增益增加，然后减小，直到其在2fs处 变为O为止，且在频率1.5fs附近，通过少量的频率成分。因此，如从图23D可见，在通过对图中的零值插值图像滤波获得的 扩大后图像中，几乎仍有图23C的低于频率fs/2的包含信号成分和混叠成分 的频率成分，并且，仍剩余少量的图23C的从频率fs/2到fs的包括信号成分 和混叠成分的频率成分，同时，仍剩余少量的图23的高于频率fs的频率成 分。
宽带LPF 135具有这样的滤波器特性，即，其具有如从图23G可见的低 于频率fs的通带，且在频率fs处，增益急剧下降。
当通过具有图23G中的滤波器特性的宽带LPF 135对图23D中的扩大后 图像滤波时，在高于频率fs的频率处仍剩余少量的频率成分。结果，如从图 23E可见，扩大后图像不存在高于频率fs的频率成分。
现在，参考图24A到24D描述由图20所示的定位部分112在垂直方向 寺丸行的处理。
图24A示出组成定位部分112的水平三次4悉值滤波器141和垂直三次插 值滤波器142之中的、在垂直方向上执行处理的组件。
如图24A所示，在定位部分112中，垂直三次插值滤波器142执行关于 垂直方向的处理。
图24B示出^^人图20所示的水平三次插值滤波器141向垂直三次插值滤波 器142提供的扩大后图像的频率特性，且与图23E相同。
图24C示出通过将扩大后图像在垂直方向的位置调整到输出图像的位置 而获得的定位后图像的垂直方向的频率特性，其中，所述扩大后图像是利用 垂直三次插值滤波器142对图24B中的扩大后图像滤波而获得的。
图24D示出垂直三次插值滤波器142的滤波器特性。
例如，该垂直三次插值滤波器142是基于从移动检测部分22提供的运动 矢量执行在垂直方向执行三次插值的滤波的四抽头滤波器。如图24D所示， 该垂直三次插值滤波器142具有这样的滤波器特性，4吏得高频端(即，超过频 率fs的频率端)的增益依赖于^v移动^r测部分22提供的运动矢量而变化，而 增益在低频端(即，低于频率fs的频率端)基本等于1。
因此，如从图24C可见，通过利用具有图24D中滤波器特性的垂直三次 插值滤波器142对仅具有图24B的低于频率fs/2的频率成分的扩大后图像滤 波而获得的定位后图像依照原样保持图24B的扩大后图像的频率特性。
具体地，作为垂直三次插值滤波器142滤波结果的定位后图像在垂直方向上，在^f氐于频率fS的频率上包括信号成分和混叠成分。
图25示出更加详细的垂直三次插值滤波器142的频率特性。
该垂直三次插值滤波器142具有这样的滤波器特性，即高频端(即，超 过频率fs的频率端)的增益依赖于从移动检测部分22提供的运动矢量而变化， 而增益在低频端(即，低于频率fs的频率端)基本等于1。
现在，参考图26A到26C描述在图17所示的分离部分113。
图26A示出图17所示分离部分113的配置示例。
参考图26A，分离部分113与图14A中所示的分离部分27的共同点在于 其包括数学运算部分82，而其与图14A中所示的分离部分27的区别则在于 其包括垂直LPF151,以替代垂直LPF81。
垂直LPF 151对存储于存储部分28的输出图像Sn-l进行垂直滤波，以 提取输出图像Sn-l的低频成分Ln，并将该低频成分Ln提供给数学运算部分 82和混合部分25。
图26B示出垂直LPF 151的滤波器特性。
作为在输入图像中包含混叠成分的方向的垂直方向中的滤波器特性，分 离部分113的垂直LPF 151具有与级联连接滤波器相同的特性，在级联连接 滤波器中，作为扩大部分lll的滤波器的图20中的插值部分133和宽带LPF 135、与作为定位部分112的滤波器的图20所示的垂直三次插值滤波器142 级联连接。
图26C示出由图17中的图像处理设备获得的输出图像在垂直方向中频率 特性的变化。
注意，在图26C中，实曲线指示信号成分，而虚曲线则指示混得成分。
如果存储于图17中所示的存储部分21中的N帧输入图像中的第一帧被 确定为关注的图像，则将第一帧输入图像A1的扩大后图像B1依照原样作为 输出图像Sl存储到存储部分28中。
其后，重复混合加法，其中，通过混合部分25混合来自定位部分112的 定位后图像Cn和输出图像Sn-l的低频成分Ln、以产生混合图像Dn,并通 过加法部分26将混合图像Dn和输出图像Sn-l的高频成分Hn相加，以产生 新的输出图像Sn;同时，存储于图17所示的存储部分21的N帧输入图像被 连续地确定为关注的图像。
当重复上面所描述的混合加法时，尽管通过使用作为被关注的图像的第一帧输入图像Al执行混合力。法而获得的输出图像Sn具有与输入图像Al的 分辨率相同的分辨率，并且包含混叠成分，但随着混合加法的进行，也就是 随着被用作关注的图像的输入图像An的数量增加，才艮据上面所描述的分辨 率增强原理，如图26C所示，除了混叠成分被逐渐削弱外，通过混合加法获 得的输出图像Sn变成通过恢复从fs/2到fs的高频区域中的信号成分而具有 较高分辨率的高画面质量的图像。
现在，进一步参考图27A到27C描述包括在图26A中所示的分离部分 113的垂直LPF 151的滤波器特性。
图27A示出图20所示的扩大部分111的垂直LPF 134和宽带LPF 135、 以及定位部分112的垂直三次插值滤波器142的滤波器特性。
图27B示出级联连接滤波器的滤波器特性，在该级联连接滤波器中，图 20所示的扩大部分111的垂直LPF 134和宽带LPF 135、以及定位部分112 的垂直三次插值滤波器142级联连接。
根据该级联连接滤波器，在低于频率fs的频率处的增益与图27A中所示 的垂直LPF 134的该增益相似，且如图27B所示，所述增益在高于频率fs的 频率处为零。
此处，在高于频率fs的频率处的该级联连接滤波器的增益为零，这是受 到图27A所示宽带LPF 135的影响。
理想地，应当采用具有如图27B所示的在高于频率fs的频率处增益为零 的滤波器特性的LPF，作为图26所示分离部分113的垂直LPF 151。
然而，如上文中参考图23F所描述的，图20所示的扩大部分111的垂直 LPF 134在高于频率fs的频率处，仅^又在1.5fs频率附近使少量的频率成分通 过。因此，垂直LPF134在高于频率fs的频率处的增益非常接近于零。
因此，扩大部分111的垂直LPF 134具有与图27B所示的级联连接滤波 器相似的滤波器特性。对于图26A所示的分离部分113的垂直LPF 151,不 仅可以采用具有与级联连接滤波器相同的滤波器特性的滤波器，而且可以采 用与具有与刚才所描述的滤波器特性相同的滤波器特性的垂直LPF 134相同
的滤波器。
具体地，由于图 20 所示的垂直 LPF 134 是具有 {1/16,2/16,3/16,4/16,3/16,2/16,1/16}的滤波器系数的垂直LPF,所以，对于图 26A所示分离部分113的垂直LPF 151,也可以采用具有滤波器系数为{1/16，2/16，3/16，4/16，3/16,2/16,1/16}的垂直LPF。
图28示出由图17中的图像处理设备获得的输出图像在垂直方向中的频 率特性。
如上文中所描述的，通过图17的图像处理设备获得的输出图像在垂直方 向仅包括低于频率fs的频率中的频率成分，而在包括从fs到2fs的频带的高 频端的频带中不包含频率成分。因此，其在垂直方向上的采样频率由于零值 插值而提高到4fs的输出图像在垂直方向的像素数量方面会减少到1/2。
注意，在图20所示的扩大部分111中，当插值部分133执行零值插值， 且垂直LPF 134执行滤波，以将垂直方向的像素数量增加到四倍时，在实际 的封装中可仅通过执行线性插值，来将垂直方向中的像素数量增加到四倍。
此外，尽管在图20所示的扩大部分111中，互相分开地提供垂直LPF 134 和宽带LPF 135,但它们也可由单个滤波器形成。
此外，由于图20所示的扩大部分111的垂直LPF 134在高于图23F所示 频率fs的频率处具有接近零的增益，所以，可以将该扩大部分111配置为不 包括用于去除高于频率fs的频率的频率成分的宽带LPF 135。
此外，在图20所示的扩大部分111中，当采用执行线性插值的垂直LPF 134作为扩大部分111的滤波器时，例如，可以采用执行最邻近插值的滤波器、 执行三次插值的另一个滤波器、或某个其它滤波器来替代垂直LPF 134。
此外，图17的图像处理设备可以像图9中的图像处理设备等等那样，产 生从中去除噪声成分的输出图像、以及从中去除混叠成分的输出图像。
第五实施例
图29示出根据本发明第五实施例的图2中的图像处理设备的配置示例。 参考图29,与图9中图像处理设备相似，所示图像处理设备包括存储部
分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27
和存储部分28。
然而，图29的图像处理设备与图9中图像处理设备的区别在于，其包括 移动检测部分171替代移动检测部分22，另外还包括移动体混合部分172。
注意，不是图9中的图像处理设备，而是执行静态画面混合加法的图像 处理设备(例如上文中参考图17所描述的图像处理设备)，可以按照图29所示 的方式配置。
尽管假设在图9的图像处理设备中、输入图像An仅包括显示出没有或很少移动的图像拍摄对象的图像，但输入图像An也可能包括移动的图像拍摄 对象的图像，所述移动的图像拍摄对象在下文中被称为移动体。
当输入图像An包括移动体的图像时，根据图9所示图像处理设备，其图 像被包括N帧输入图像Al到AN中、且位于N帧输入图像Al到AN的不 同位置上移动体出现在作为混合加法的结果的输出图像中。结果，输出图像 出现像在通过长时间曝光拍摄的照片的情形中所具有的移动模糊。
在图29的图像处理设备中，即使在输入图像An中包含移动体的图像， 也可以产生无移动模糊的输出图像。
具体地，参考图29，移动检测部分171与图9和10所示移动检测部分 22相似地检测运动矢量，且向定位部分24提供该运动矢量。此外，移动检 测部分171使用存储于存储部分21中且被确定为标准图像的输入图像Al、 以及存储于存储部分21中且被确定为混合加法的对象的输入图像An,以判 定定位后扩大后图像Bn中，即定位后图像Cn的每个像素相对于扩大后图像 Bl和由此在前一操作周期中获得的输出图像Sn-l的移动程度。随后，移动 检测部分171向移动体混合部分172提供代表这样的移动程度的移动信息。
注意，由移动斥全测部分171判定的扩大后图像Bn的每个像素的移动程度 不但可由输入图像Al和An判定、而且可由扩大后图像B1和Bn判定。然 而，由于输入图像Al和An包括比扩大后图像B1和Bn更少的像素数，所 以，与在使用扩大后图像Bl和Bn的情况相比，在使用输入图像Al和An 的情况下的数学运算量可以减少。
移动体混合部分172对应于混合部分25和加法部分26,并对应于图2 所示的混合加法部分15 。
从移动检测部分171向移动体混合部分172提供移动信息，且除了提供 在前一操作周期中获得的输出图像Sn-l以外，还从加法部分26向移动体混 合部分172提供新的输出图像Sn。
移动体混合部分172依据基于从移动检测部分171提供的移动信息所确 定的权重，执行将在前一操作周期中获得的输出图像Sn-l与新的输出图像Sn 混合的移动体混合，使得对于显示出一些移动的像素，对于在前一操作周期 中获得的输出图^f象Sn-l的权重具有较高值，而对于没有显示出移动的像素， 对于新的输出图像Sn的权重具有较高值，以校正该新的输出图像Sn。随后， 移动体混合部分172向存储部分28提供校正后的输出图像Sn。此处，假设由P表示从移动检测部分171向移动体混合部分172提供的 移动信息，且其呈现为从0到1范围内的实数值。注意，当移动信息(3的值 为0时，其表示像素处于静止状态或没有显示出移动，且随着移动信息p的 值增加，移动的幅度也增加。
此外，在移动信息|3中，由P (t)表示在定位之后的扩大后图像的位置t 处的像素的移动程度的移动信息，而由s(t)表示新输出图像Sn的位置t处 的像素的像素值，并由s，(t)表示前一操作周期中获得的输出图像Sn-l在位 置t处的像素的像素值。
根据下面的表达式(15),移动体混合部分172对在前一操作周期中获得 的输出图像Sn-l的每个像素执行移动体混合，所述每个像素也是新输出图像 Sn的像素，从而校正新的输出图像Sn:
s(t) = (3(t)xs,(t) + (l —附)xs(t) …(15)
现在，为了简化描述，如果假设移动信息P为0或1,则根据表达式(15)， 对于其移动信息p为o且未显示移动的像素，按原样采用新的输出图像Sn的 像素值，作为校正后的新的输出图像Sn的像素值，但是对于另一个其移动信 息p为1且显示出一些移动的像素，采用在前一操作周期中获得的输出图像 Sn-l的像素值，作为校正后新的输出图像Sn的像素值。
在这种情况下，在与输入图像Al和An中包括移动体的图像的部分相对 应的输出图像中的部分，出现输入图像Al,而在输出图像的其它部分中，出 现其画面质量由混合加法提高的图像。
与图9的图像处理设备相似，可以利用图29中的图像处理设备实现图像 的柔和的分辨率增强。
此外，在图29的图像处理设备中，由于经由移动体混合的移动体处的部 分的混合加法的结果并不出现在输出图像上，所以，在输入图像An包括移 动体的图像时，可以防止在输出图像上出现源自移动体的移动模糊。注意， 对于不是移动体处的部分的任何部分，即对于处于静止状态的图像拍摄对象 的图像部分，通过混合加法而去除混叠成分，而且还提高了分辨率，即，恢 复了频率高于奈奎斯特频率的信号成分。
图29的图像处理设备可被应用于家用摄像机等等，所述家用摄像机处理 隔行类型的图像，且具有例如从多个连续帧的动态画面产生高质量的静态画 面、并将该静态画面存储到例如外部存储器的存储装置或记录介质中的功能。注意，对于上文中所描述的涉及移动检测处理、宽带插值处理和加权加 法处理的现有的分辨率增强技术，难以取决于在正在处理的对象图像中是否 包含移动体的图像、而改变通过加权加法处理对其执行混合或加权加法的帧 或图像的数量。
图30示出图29所示的移动^r测部分171的配置示例。 参考图30,所示的移动检测部分171与图10中的移动检测部分22的共 同点在于，其包括水平LPF 41和42、垂直LPF43和44、块匹配部分45和 统计处理部分46,而与图10的移动检测部分22的区别在于，另外包括移动 判定部分181。
人人垂直LPF 43向该移动判定部分181提供标准图4象M1 ，且从垂直LPF 44 向该移动判定部分181提供比较图像Mn。此外，乂人统计处理部分46向移动 判定部分181提供运动矢量，即全局运动矢量。
移动判定部分181基于来自统计处理部分46的运动矢量，执行将来自垂 直LPF 44的比较图像Mn的位置调整到来自垂直LPF 43的标准图像Ml的 位置的定位。移动判定部分181连续地将定位之后的比较图像Mn的像素确 定为关注的像素。
此外，移动判定部分181确定定位之后的比较图像Mn的关注的像素和 标准图像M1的相应像素(即，处于与关注的像素相同的位置的标准图像M1 的像素)的像素值的绝对差值s。
随后，移动判定部分181判定绝对差值s和预定阈值之间幅度中的关系， 并基于幅度中所判定的关系判定关注的像素的移动程度，从而确定代表关注 的像素的移动程度的移动信息P 。
具体地，移动判定部分181使用满足表达式ThKTh2的两个阈值Thl和 Th2来设置移动信息(3,使得当绝对差值s满足表达式s〈Thl时，将移动信息 (3设置为(3=0.0，而当绝对差值s满足另一个表达式Thl^s^Th2时，将移动信 息(3设置为卩-(s-Thl)/(Th2-Thl)。
另一方面，在绝对差值s满足另外的表达式s>Th2的情况下，该移动判 定部分181设置移动信息|3=1.0。
此处，例如，如果标准图像M1和比较图像Mn的像素值被表示为10位， 则阈值Thl和Th2可以分别4皮i殳置为Thl=8.0和Th2=16.0。
注意，在上面所描述的情况中，尽管基于以像素为单位确定的绝对差值S确定移动信息(3，但可能以在由多个像素組成的块为单位来确定形成该块的
像素的像素值的绝对差值的总和s，，并以与绝对差值s相似的方式使用该总 和s，，以确定移动信息p。在此情形中，形成每块的像素的移动信息p在像
素之间是相同的。
为比较图像Mn的每个像素获得的移动信息(3可以进一步经受扩大 (dilation)处理，以防止移动部分的无意的下降(inadvertent drop)。
此处，在图29中，由于通过扩大部分23确定具有仅在输入图像的垂直 方向上加倍的像素数量的扩大后图像，所以，在定位之后的扩大后图像Bn 的垂直方向中的像素数量等于在定位之后的比较图像Mn的垂直方向中的像 素数量的两倍。
因此，运动矢量检测部分171通过使用定位之后的比较图像Mn的每个 像素的移动信息P的线性插值等等，确定在定位之后的扩大后图像Bn的每个 像素的移动信息P,并向移动体混合部分172提供所确定的移动信息(3。
此外，尽管在上面所描述的情况中，移动4企测部分171确定在定位之后 的扩大后图像Bn，即定位后图像Cn的每个像素的移动信息(3,但根据需要， 移动一全测部分171可以确定在定位之前的每个像素的移动信息P，以替代在 定位之后的扩大后图像Bn，即定位后图像Cn的每个像素的移动信息P。
具体地，在图29的图像处理设备执行静态画面混合加法时，当执行静态 画面混合加法时，移动检测部分171确定扩大后图像Bn在定位之后的每个像 素的移动信息P。
此外，在上文所描述的执行动态画面混合加法的图像处理设备中，移动 检测部分171确定混合加法对象的输入图像An作为标准图像，并确定标准 图像的前一帧的输入图像An-l作为比较图像，以确定运动矢量和全局运动矢 量。此外，移动检测部分171基于运动矢量，执行将前一帧输入图像An-l的 位置调整到输入图像An的位置的定位。随后，移动检测部分171关于输入 图像An的像素，确定输入图像An和在定位之后的输入图像An-l之间的绝 对差值s，并基于该绝对差值s，以上面所描迷的方式确定在定位之前的扩大 后图像Bn的每个像素的移动信息P。
第六实施例
图31示出根据本发明第六实施例的图2中图像处理设备的配置示例。 参考图31，与图29中图像处理设备相似，所示的图像处理设备包括存储部分21、扩大部分23、定位部分24、分离部分27、存储部分28、以及移 动才企测部分171。
然而，图31中的图像处理设备与图29中的图像处理设备的区别在于， 其包括混合部分191以替代混合部分25,以及不包括执行移动体混合的移动 体混合部分172。
混合部分191同时执行由混合部分25执行的混合、和由移动体混合部分 172执行的移动体混合。
具体地，如果由d(t)代表由混合部分25获得的混合图像Dn的位置t处的 像素的像素值，由c(t)代表由定位部分24获得的定位后图l象Cn的位置t处的 像素的像素值，以及由l(t)代表由分离部分27获得的输出图像Sn-l的低频成 分Ln中位置t处的像素的像素值的低频成分，则混合部分25执行上文中给 出表达式(3)中的使用混合比率a的数学运算，即表达式d(t)=axc(t)+(l-a)xl(t), 以确定混合图像Dn。随后，混合部分25向加法部分26提供所确定的混合图 像Dn。
同时，从定位部分24向混合部分191提供该定位后图像Cn,并从分离 部分27向混合部分191提供输出图像Sn-1的低频成分Ln。此外，从移动检 测部分171向混合部分191提供移动信息(3。
响应于来自移动检测部分171的移动信息P,混合部分191将混合比率a 调整到另一个混合比率a，(0<a，<l),并使用调整之后的混合比率a，替代混合 比率a,以同时执行由混合部分25执行的混合和由移动体混合部分172执行 的移动体混合。
具体地，混合部分191根据下面给出的表达式(16)，将混合比率a调整到 混合比率a，，然后，使用调整之后的混合比率a，对下面给出的表达式(n)进 行数学运算，以确定混合图像Dn,然后向加法部分M提供该混合图像Dn。 a， = ax(l—|3(t)) …(16) d(t) = a， x c(t) + (1 - a，) x l(t) .(17) 其中，卩(t)为位置t处的像素的移动信息(3。
对于显示出移动的像素，例如对于移动信息P为1的像素，校正之后的 混合比率a,为0，并且出现在前一操作周期中获得的输出图像Sn-l,以及由 此而出现输入图像Al的扩大后图像B1的低频成分l(t)。另一方面，对于未 显示移动的像素(即，静止像素)，例如对于移动信息卩为O的像素，校正之后的混合比率a，为原始混合比率a,并执行混合，即，利用混合比率a的权重 的、定位后图像Cn(c(t))和输出图像Sn-l的低频成分Ln(l(t))的加权加法。
以这种方式，在图31的图像处理设备中，由于混合部分191同时执行在 图29中由混合部分25执行的混合和由移动体混合部分172执行的移动体混 合，所以，可以减少数学运算量。
注意，混合比率a可以是可变值，其依赖于被用于混合加法的定位后图 像Cn对应于输入图l象An的那个编号的帧而变化。
具体地，当要执行定位后图像Cn的混合加法时，例如，可以将混合比率 a设置为1/n。在这种情况下，在混合加法中，以统一比率单独混合定位后图 像C1到CN的低频成分。
第七实施例
图32示出根据本发明第七实施例的图2中图像处理设备的配置示例。
参考图32,与图15中的图像处理设备相似，所示图像处理设备包括存 储部分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部 分27和存储部分28。
然而，图32中的图像处理设备与图15中的图像处理设备的区别在于其 包括图29中所示的移动才企测部分171以替代移动检测部分22，且另外还包 括图29中所示的移动体混合部分172。
在图32的图像处理设备中，输入图像An为动态画面，且执行动态画面 混合加法。
因此，移动才企测部分171将作为混合加法对象的输入图^f象An确定为标准 图像，且确定在前一操作周期或前一帧中的另一个输入图像An-l为比较图 像，以如在上文中参考图15所描述的那样，确定运动矢量或全局运动矢量。
此外，移动4全测部分171在针对前一帧的扩大后图像Bn-l的定位之前， 确定代表扩大图像Bn的每个像素的移动程度的移动信息P,且向移动体混合 部分172提供移动信息卩。
此外，与图29中的情况不同，在图32中的^L行动态画面混合加法的图 像处理设备中，向移动体混合部分172提供来自扩大部分23的扩大后图像 Bn，以替代来自存储部分28的输出图像Sn-l。
如果由(3(t)表示在从移动检测部分171向移动体混合部分172提供的移动 信息P之中的、表示在定位之前的扩大后图像Bn的位置t处的像素的移动程度的移动信息p，由s(t)表示从加法部分26向移动体混合部分172提供的新 的输出图像Sn的位置t处的像素的像素值，以及由b(t)表示从扩大部分23向 移动体混合部分172提供的在定位之前的扩大后图像Bn的位置t处的像素的 像素值，则该移动体混合部分172根据下面给出的表达式(18)，对扩大后图 像Bn中的每个像素(其也是新的输出图像Sn的像素)执行移动体混合，以校 正输出图像Sn:
s(t)Kt)xb(t) + (1-(3(t))xs(t) …(18)
根据表达式(18),该移动体混合部分172根据权重执行将扩大后图像Bn 和新的输出图像Sn混合的移动体混合，使得对于显示出移动的像素，扩大后 图像Bn的权重更高，但对于未显示移动的另外的像素，新的输出图像Sn的 权重更高。
具体地，如果为了简化描述而假设移动信息p为0或1,则根据上面给 出的表达式(18)，对于其移动信息卩为0的像素，即未显示移动的像素，按原 样采用新的输出图像Sn的像素值作为校正后的新的输出图像Sn的像素值， 但对于其移动信息|3为1的像素，即显示出一些移动的像素，采用扩大后图 像Bn的像素值作为校正后的新的输出图像Sn的像素值。
在这种情况下，在与扩大后图像Bn中的包括移动体的图像的部分相对应 的输出图4象中的部分，出现扩大后图4象Bn,而在输出图^象的其它部分中，出 现其画面质量由混合加法提高的图像。
与图9中的图像处理设备相似，采用图32中的图像处理设备可以实现图 像的柔和的分辨率增强。
此外，对于图32的图4象处理设备，由于才丸行了动态画面混合加法和移动 体混合，所以，对于一帧输入图像An，可以输出一帧输出图像Sn，并且， 可以实现包括处于静止状态中的图像拍摄对象的图像的、动态画面的输入图 像An的部分的画面质量的增强。
注意，例如，采用图32中的图像处理设备，可以执行动态画面的IP转 换，且结果，该图像处理设备可被应用于执行IP转换的电视接收机。
第八实施例
图33示出根据本发明的第八实施例的图2中的图像处理设备的配置示例。
参考图33，与图16中的图像处理设备相似，所示图像处理设备包括存储部分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部 分27、存储部分28和选择部分101到103。然而，图33中的图像处理设备与图16中的图像处理设备的区别在于其 包括图32中所示的移动检测部分171以替代移动检测部分22，且另外还包 括图32中所示的移动体混合部分172和选择部分104。在图33的图像处理设备中，可以选择性地执行静态画面混合加法和动态 画面混合加法。例如，响应于向存储部分21提供的输入图像，而选择在图 33所示的图像处理设备上执行静态画面混合加法和动态画面混合加法中的哪 一个。具体地，例如，在图33的图像处理设备中，判定向存储部分21提供的 输入图像是静态画面和动态画面中的哪一个，并且，如果输入图像是静态画 面，则执行静态画面混合加法，而如果输入图像是动态画面，则执行动态画 面混合加法。此外，在图33的图像处理设备中，响应于选择关于应当执行静态画面的 图像拍摄还是应当执行动态画面的图像拍摄的用户操作，可以选择应当执行 静态画面混合加法还是动态画面混合加法。参考图33,从扩大部分23向选择部分104的端子a提供扩大后图像，且 从存储部分28向选择部分104的端子b提供前一帧的输出图像，也就是，在 前一个操作周期中获得的输出图像。选择部分104选择向端子a提供的扩大后图像、或在前一操作周期中获 得且向端子b提供的输出图像，并向移动体混合部分172提供所选图像作为 移动体混合的对象。当在图33的图像处理设备中应当执行静态画面混合加法时，如上文中参 考图16所描述的，由所有的选择部分IOI到103在端子a和端子b之间选择 端子a作为第一处理。此外，也由选择部分104在端子a和端子b之间选择 端子a。结果，选4奪部分104选择在前一操作周期中获得且从存储部分28向端子 a提供的输出图像，并将所选输出图像提供给移动体混合部分172。结果，在图33的图像处理设备中，存储部分21、从扩大部分23到存储 部分28的组件、移动检测部分171和移动体混合部分172被置于与图像处理 设备中存储部分21、从扩大部分23到存储部分28的组件、移动检测部分171和移动体混合部分172相同的连接状态，且执行与由图29的图像处理设备执 ^f亍的那些处理相似的处理。因此，在图33的图像处理设备中，移动体混合部分172执行在上文中给 出的表达式(15)中的数学运算，以根据基于从移动检测部分171提供的移动信 息所确定的权重，执行将在前一操作周期中获得的输出图像Sn-l和新的输出 图像Sn混合的移动体混合，以使得对于显示出移动的像素，该权重对于在前 一操作周期中获得且从存储部分28提供的输出图像Sn-l具有较高值，而对 于未显示移动的像素，该权重对于来自加法部分26的新的输出图像Sn具有 较高值。结果，例如，在静态画面的输入图像中包括移动体的图像的情况下，有 可能防止在输出图像上出现由于移动体而产生的移动模糊。另一方面，当在图33的图像处理设备中执行动态画面混合加法时，如上 文中参考图16所描述的，由所有的选择部分101到103在端子a和端子b之 间选择端子b作为第二处理。然而，也由选择部分104在端子a和端子b之 间选择端子b。结果，选择部分104选择从扩大部分23提供到端子b的扩大后图像，即， 选择定位之前的扩大后图像，并将所选的扩大后图像提供给移动体混合部分 172。结果，在图33的图像处理设备中，存储部分21、从扩大部分23到存储 部分28的组件、移动检测部分171和移动体混合部分172被置于与存储部分 21、从扩大部分23到存储部分28的组件、移动检测部分171和移动体混合 部分172相同的连接状态，且执行与由图32的图像处理设备执行的那些处理 相似的处理。因此，在图33的图像处理设备中，移动体混合部分172执行在上文中给 出的表达式(18)中的数学运算，以根据基于从移动检测部分1"提供的移动信 息所确定的权重，执行将所得到的扩大后图像Bn和新的输出图像Sn混合的 移动体混合，以使得对于显示出移动的像素，该权重对于来自扩大部分23的 扩大后图像Bn具有较高值，而对于未显示移动的像素，该权重对于来自加法 部分26的新的输出图像Sn具有较高值。结果，响应于动态画面的输入图像，可以输出作为动态画面的输出图像， 其中提高了输出图像中包括处于静止状态的图像拍摄对象的图像的部分的画面质量。如上所述，图33的图像处理设备可执行由图29中图像处理设备执行的处理(即静态画面混合加法)和由图32中图像处理设备执行的处理(即动态画 面混合加法)，同时，仅由于包含计算机程序的代码量的切换器101到104的 添加，而稍微增加设备规模，其中，通过使计算机执行程序而实现该图像处 理设备。第九实施例图34示出根据本发明的第九实施例的图2中的图像处理设备的配置示例。参考图34，与图9中的图像处理设备相似，所示的图像处理设备包括存 4诸部分21、移动4企测部分22、定位部分24、混合部分25、加法部分26和存 ^f诸部分28。然而，图34中的图像处理设备与图9中的图像处理设备的区别在于其包 括扩大部分201以替代扩大部分23 ，以及包括分离部分202替代分离部分27。尽管图9的图像处理设备处理在垂直方向这一个方向上包括混叠成分的 输入图^f象，但图34的图像处理设备处理在水平方向和垂直方向这两个方向上 包括混叠成分的输入图像，以产生从中去除混叠成分、且其分辨率得以提高 的输出图4象。例如，此处，在水平方向和垂直方向上包含混叠成分的输入图像可以是 由单色图像拍摄器件或单板式数码相机的图像拍摄器件拍摄并输出的图像。从图像拍摄器件中输出的图像被视为通过以下步骤而形成的图像由作 为传感器的不同特性的各种透镜或图像拍摄器件利用对应于积分(即电荷积 分)的光学滤波器对不包含混叠成分的图像滤波，并利用图像拍摄器件的像素 而采样滤波的结果。由于难以从具有小于通过图像拍摄器件的像素而采样的 采样频率的1/2的通带的理想滤波器形成该光学滤波器，所以，从图像拍摄 器件输出的图像包括作为混叠成分的由光学滤波器滤波后的信号的高频成 分。注意，如下表示一组二维像素和二维滤波器。例如，具体地，在横向和纵向方向上的一组3x3 ^f象素被表示为 ((A,B，C),(D,E，F)，(QH，I))。在这組3x3像素((A，B，C),(D，E，F)，(G,H，I》中，像素 或像素值A、 B、 C在第一行从左开始按顺序并置，而在第二行，像素D、 E、F从左开始按顺序并置。此外，在第三行，像素G、 H、 I从左开始按顺序并置。此外，例如，在横向和纵向方向中的3 x 3抽头的二维滤波器(FIR滤波器) 的滤波器系数可被表示为Ua，b，cWd,e,f)，(g，h,i〉)。例如，利用滤波器系数为Ua，b，c)，(d，e，f)，(g，h,iH的二维滤波器对上面所 描述的3x3像素的组((A,B，C),(D,E，F),(G,H，I))的中心的像素E滤波的结果可 4皮表示为表达式aA+ bB + cD + dD + eE + fF + gG + hH + il。参考图35A到35D描述图34中所示的扩大部分201的处理。图35A示出作为图34中图像处理设备的处理对象的输入图像。例如，作为图34中图像处理设备的处理对象的输入图像是在水平和垂直 方向上包括混叠成分的单色静态画面。图34中所示的扩大部分201产生其像素数量在垂直方向上和水平方向上 相对于输入图像均加倍的扩大后图像。例如，具体地，扩大部分201在输入图像的水平方向和垂直方向之中的 水平方向中的每个相邻像素之间插入一个零值点，并进一步在通过插入零值 点而获得的图像的垂直方向中的相邻像素之间插入一个零值点，以产生具有 在输入图像的水平方向和垂直方向中均加倍像素数量的零值插值图像。图35B示出自图35A的输入图像产生的零值插值图像。在图35B中，空白圓形标记表示输入图像的像素，即原始像素，而实心 圆形标记则表示零值点。现在，如果在水平方向和垂直方向上的输入图像的采样频率为fs，则通 过在水平方向和垂直方向上插入零值点而获得的零值插值图像的采样频率为 频率2fs，其等于输入图像的采样频率fs的两倍。图35C示出图35B的零值插值图像的频率特性。参考图35C,横坐标轴指示水平方向的频率，即水平频率，而纵坐标轴 则指示垂直方向的频率，即垂直频率。此外，在图35C中，实曲线指示信号成分，而虚曲线则指示混叠成分。尽管在零值插值图像中、输入图像的信号成分的高频成分被恢复，但也 产生混叠成分。结果，信号成分和混叠成分以混合的方式存在。扩大部分201调整原始的像素值，以使得在零值插值之后，像素值的平 均值不变化。换句话说，扩大部分201将零值插值图像的像素之中的输入图像的像素的像素值增大到四倍。其后，例如，扩大部分201利用具有滤波器系数为{{1/16 1/8, 1/16}, {1/8, 1/4, 1/8}, {1/16， 1/8， 1/16}}的二维滤波器对该零值插值图像滤波，以产生扩大 后图像。图35D示出产生自图35B的零值插值图像的扩大后图像。 参考图35D，像素A、 B、 C、 D、 E和F为输入图像的像素，而其它像 素是在插入零值点的位置处的像素。图35D中的像素A和D之间的像素Al的像素值是像素A和D的像素 值的平均值，即，(A+D)/2。同时，像素A和B之间的像素A2的像素值为像 素A和B的像素值的平均值，即(A+B)/2。此外，在像素A、 B、 D和E的中 心位置处的像素A3的像素值为像素A、 B、 D和E的像素值的平均值，即 (A+B+D+E)/4。因此，扩大部分201实质上执行输入图像的二维线性插值，以产生扩大 后图像，该扩大后图像的像素数量在输入图像的水平方向和垂直方向中被增 力口至'j两4咅。在图34的图像处理设备中，分离部分202的滤波器具有与级联连接滤波 器相同的特性，其中，与图9中的图像处理设备的情况相似，作为扩大部分 201的滤波器、且具有{{1/16,1/8,1/16}，{1/8，1/4，1/8},{1/16，1/8，1/16}}的滤波器 系数的二维滤波器、以及在图13A到13G所示的作为定位部分24的滤波器 的水平多抽头APF 71和垂直多抽头APF 72以级联连接方式连接。因此，利用图34中的图像处理设备，基于上文中所描述的分辨率增强原 理，可实现图像的柔和的分辨率增强，且产生从中去除输入图像的水平方向 和垂直方向中的混叠成分、且具有增强的分辨率的输出图像。注意，由于由如上文所述的、使包括在扩大后图像中的所有频率成分通 过的多抽头APF形成图13A到13G所示的定位部分24的水平多抽头APF71 和垂直多抽头APF72，所以，最终，分离部分202的滤波器的滤波器特性与 扩大部分201的滤波器，即滤波器系数为{{1/16， 1/8, 1/16}, {1/8, 1/4， 1/8}, {1/16, 1/8, 1/16}}的二维滤波器的滤波器特性相同。图36示出图34中所示的扩大部分201的配置示例。参考图36,扩大部分201包括插值部分211和212，以及二维LPF213。向插值部分211提供存储于存储部分21的输入图像。该插值部分211执行在来自存储部分21的输入图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值，并向插值部分212提供通过零值插值获得的图像。
插值部分212执行在来自插值部分211的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向二维LPF 213提供作为零值插值的结果而获得的、且在水平方向上和垂直方向上均具有二倍于输入图像的像素数量的像素数量的零值插值图像。
二维 LPF 213 具有在上文所描述的滤波器系数{{1/16,1/8,1/16}，{1/8，1/4，1/8},{1/16，1/8，1/16}}，并在水平方向上和垂直方向上对来自插值部分212的零值插值图像滤波。随后，如图34所示，该二维LPF213向定位部分24提供作为滤波结果而获得的扩大后图像。
现在，参考图37A到37C描述图34中所示的扩大部分201的另一个配置示例。
图37A示出图34中所示的扩大部分201的另一个示例。
参考图37A，所示的扩大部分201与图36中的扩大部分201的共同点在于，其包括插值部分211和212。
然而，扩大部分201与图36中的扩大部分201的区别在于，其不包括该二维LPF 213,而是包括水平LPF 221和垂直LPF 222。
在图37A中，向水平LPF 221提供由插值部分211执行在输入图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值而产生的零值插值图像。
例如，该水平LPF221具有滤波器系数为{1/4，1/2，1/4}，并在水平方向中对来自插值部分211的零值插值图像滤波，并向插值部分212提供通过滤波而获得的图像。
插值部分212执行在来自水平LPF 221的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向垂直LPF 222提供作为零值插值结果的零值插值图像。
垂直LPF 222具有滤波器系数为{1/4,1/2,1/4},且对来自插值部分212的该零值插值图像滤波，并向图34所示的定位部分24提供作为滤波结果而获得的扩大后图像。
图37B示出LPF的滤波器特性，该LPF具有滤波器系数{1/4，1/2,1/4}，且由其形成水平LPF 221和垂直LPF 222。图37C指示二维滤波器的滤波器系数，该二维滤波器通过滤波器系数为
通过滤波器系数为{1/4，1/2，1/4}的LPF执行在水平方向上的滤波、以及在垂直方向上的滤波的二维滤波器的滤波器系#1为{{1/16， 1/8, 1/16}, {1/8, 1/4，1/8}, {1/16, 1/8， 1/16}}。因此，通过在水平方向上由水平LPF221滤波和在垂直方向上由垂直LPF222滤波，而4丸行与图36中所示的二维LPF213的滤波
相似的滤波。
具体地，作为图36所示的扩大部分201的滤波器的二维LPF213、以及作为图37A所示的扩大部分201的滤波器的水平LPF 221和垂直LPF 222的组合是相同的滤波器。
图38示出图34中所示的分离部分202的配置示例。
图38中所示的分离部分202与图14A到14C中所示的分离部分27的相同点在于其包括数学运算部分82，而与图14A到14C中所示的分离部分27的区别则在于其包括二维LPF 241,以替代垂直LPF 81 。
为了基于上文所描述的分辨率增强原理、产生从中去除输入图像的混叠成分且具有增强的分辨率的输出图像，有必要使分离部分202的滤波器具有与级联连接滤波器相同或相似的特性，其中，作为扩大部分201的滤波器的图36所示的二维LPF 213、与作为定位部分24的滤波器的在图13A到13G所示的水平多抽头APF71和垂直多抽头APF72以级联连接方式连接。
因此，分离部分202的二维LPF 241具有与刚才所述的这样的级联连接滤波器相同的特性。
注意，由于图13A到13G所示的定位部分24的水平多抽头APF71和垂直多抽头APF 72是使上文中所描述的扩大后图像中包括的所有频率成分通过的多抽头APF,所以，最终，分离部分202的二维LPF 241是与扩大部分201的二维滤波器213具有相同滤波器系数{{1/16， 1/8， 1/16}, {1/8， 1/4, 1/8},{1/16， 1/8， 1/16}}的二维滤波器。
此处，在水平方向和垂直方向上、图34的图像处理设备的输入图像、零值插值图像、扩大后图像、定位后图像和输出图像的频率特性分别与在水平方向和垂直方向上、图9到14C所示的第一实施例的图像处理设备的输入图像、零值插值图像、扩大后图像、定位后图像和输出图像的频率特性相同。因此，为了避免冗余，此处省略对它们的描述。与图9中的图像处理设备相似，采用图34的图像处理设备，对于在水平方向上和垂直方向上包含混叠成分的输入图像，可以实现柔和的分辨率增强。
注意，也可以修改图34中的图像处理设备，以使得扩大部分201在水平方向和垂直方向中的输入图像的扩大比率被设置为不是二倍，而是四倍或更多，且用于执行扩大后图像和输出图像的定位的滤波器，即定位部分24的滤波器是由具有减少的抽头数量的滤波器形成的。
在这种情况下，在图34的图像处理设备中，对于水平方向和垂直方向，执行由图17的图像处理设备对于垂直方向所执行的处理。
此外，也可以由例如图29、 32、 33的图像处理设备等通过采用二维滤波器，而采用像图34中的图像处理设备那样的、对于在水平方向和垂直方向中包含混叠成分的输入图像的处理。
适当地，例如，可以将图34中的图像处理设备应用于能够拍摄高质量的l争态画面和动态画面的三4反式的lt码相才几。
第十实施例
图39示出根据本发明的第十实施例的图2中的图像处理设备的配置示例。
参考图39，与图9的图像处理设备一致，该图像处理设备包括存储部分21、移动4企测部分22、定位部分24、混合部分25、加法部分26和存〗诸部分28。
图34的图像处理设备与图9中的图像处理设备的区别在于其包括扩大部分261，以替代扩大部分23,且包括分离部分262,以替代分离部分27。
例如，在输出彩色图像的单板式的数码相机中，由照像装置拍摄的图像比如是拜耳阵列的图像，其中， 一个像素具有一个颜色成分作为像素值。
在拜耳阵列的图像中，在第一行中交替地排列G成分的像素和B成分的
像素，而在第二行中交替地排列R成分的像素和G成分的像素，且重复在第一行和第二行中像素的排列。注意，拜耳阵列的图像包含等于R成分和B成分中的每个的像素的两倍的数目的G成分的像素。
如果注意到不包括混叠成分的拜耳阵列图像的某一个颜色成分，则每隔一个位置排列关注的颜色成分的像素，并且，关注的颜色成分的像素构成的图像包括许多重复成分。
在图39的图像处理设备中，从拜耳阵列图像获得的仅由G成分的像素构成的图像(其在下文中被称为G图像)、仅由B成分的像素构成的另一个图像(其在下文中被称为B图像)、以及仅由R成分的像素构成的另一个图像(其在下文中被称为R图像)被各自分别地处理，以产生从中去除重复成分且具有增强的分辨率的G图像、B图像和R图像。
具体地，在图39的图像处理设备中，向存储部分21提供拜耳阵列图像，并将其作为输入图像存储于其中。
例如，移动检测部分22使用存储于存储部分21中的输入图像的像素之中的数量最多的G成分的像素，来确定运动矢量，即全局运动矢量，以便定位。
具体地，移动检测部分22从输入图像的像素之中替换除了 G成分像素之外的像素，即，将B成分的像素和R成分的像素替换为零值点。由于替换之后的输入图像包括许多混叠成分，所以，该移动检测部分22对替换之后的输入图像滤波，以产生不包括混叠成分、但仅由接近直流的频率的频率成分构成的图像。随后，移动检测部分22使用该图像作为如上文中参考图IO所描述的标准图像和比较图像，以确定运动矢量。
该运动矢量被共用于定位G图像、B图像和R图像。
在图39的图像处理设备中，对于B图像、G图像和R图像而言，定位部分24、混合部分25、加法部分26、分离部分262和存储部分28执行与图9中所示的扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28相似的处理。
首先，描述B图像的处理。
注意，B图像和R图像是通过图像的位置平行移动而互相一致的图像，即，是像素排列模式彼此相同的图像。因此，对于R图像的处理与下文中描述的对于B图像的处理相同，且因此，为了避免冗余，而省略该处理的重复描述。
图40A到40E示出由图39所示的扩大部分261对B图像执行的处理。具体地，图40A示出拜耳阵列图像。
在拜耳阵列图像中，在第一行中交替地排列G成分的像素和B成分的像素，而在第二行中交替地排列R成分的像素和G成分的像素，并重复在第一行和第二行中像素的排列。
图40B示出在图40A的拜耳阵列图像中的B成分的像素排列。在拜耳图像的排列的水平方向和垂直方向中，每隔一个位置地排列B成分的像素，并且，由这样的B成分的像素构成的B图像在水平方向和垂直方向上包括4艮多JU艮强的混叠成分。
注意，在图40B中，空白圆形标记表示B成分的像素，而实心圆形标记则表示任何其它颜色成分的像素。
图39所示的扩大部分261执行在B图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值，且随后执行在零值插值之后的B图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值。
换句话说，扩大部分261执行在图40B中由实心圆形标记指示的除了 B成分之外的颜色成分的每个像素的位置上插入零值点的零值插值，以产生零值插值图像，其中，在水平方向和垂直方向中的像素数量增加到原始B图像的两倍。
注意，扩大部分261调整原始像素值，以使得在零值插值之后，像素值的平均值不变化。具体地，扩大部分261将零值插值图像的像素之中的B图像的原始像素的像素值增加到四倍。
通过扩大部分261获得的B图像的零值插值图像具有增加到在B图像的水平方向和垂直方向中的像素数量两倍的像素数量，且因此，具有与拜耳阵列的原始图像相同的大小或像素数量。现在，如果在B图像的水平方向和垂直方向的采样频率(即，用于B成分的像素的采样频率)为频率fs,则B图像的零值插值图像的采样频率为2fs，其等于B图像在水平方向和垂直方向两者中的原始采样频率的两倍
图40C示出B图像的零值插值图像的频率特性。
在图40C中，横坐标轴指示水平方向的频率，即水平频率，而纵坐标轴指示垂直方向的频率，即垂直频率。
在图40C中，实曲线指示信号成分，而虚曲线则指示混叠成分。
在零值插值图像中，尽管B图像的信号成分的高频成分被恢复，但也产生混叠成分，且信号成分和混叠成分以混合的方式存在。
其后，例如，通过具有滤波器系数为{{1/4，1/4，0},{1/4，1/4，0},{0，0,0}}的二维滤波器，扩大部分261对该零值插值图像滤波，以产生B图像的扩大后图像。
图40D示出由B图像的零值插值图像产生的扩大后图像。参考图40D，像素A、 B、 C、 D、 E和F为原始B图4象的^f象素，且其它像素是在插入零值点的位置处的像素。
在图40D中，位于像素A的下侧相邻的像素al、位于右侧相邻的另 一个像素a2和位于右下侧相邻的另外的像素a3具有均等于像素A的像素值的像素值。相似地，由小写字母指示的像素的像素值与由相同的大写字母表示的像素的像素值相同。
因此，扩大部分261实质上执行B图像的二维最邻近插值，以产生其像素数量在水平方向和垂直方向均增加到B图像的两倍的扩大后图像。
如上所述，在应用这样的最邻近插值的情况下(其中，如上所述，水平方向和垂直方向中的像素数量均被加倍)，在原始B图像的水平方向上、垂直方向上，或水平方向和垂直方向两者上位移一半像素距离(即，在水平或垂直方向中彼此相邻的位置之间距离的一半)的位置，产生由最邻近插值产生的每个像素，即，如图40D中所示的像素ai那样的由小写字母表示的像素。
因此，可以认为，扩大后图像的像素位于四个位置，其中，如图40E中的小的空白圆形标记所指示的，所述四个位置在水平方向和垂直方向上、从位于所述四个位置的中心的原始B图像的像素位移了 一半像素距离。
注意，在图40E中，像素A、 B、 C、 D、 E和F是原始B图像的像素。此外，在图40E中，包括在从像素A向左上方向位移一半像素距离的位置处的像素al、向右上方向位移一半像素距离的位置处的像素a2、向左下方向位移一半像素距离的位置处的像素a3和向右下方向位移一半像素距离的位置处的像素a4的四个像素具有均与像素值A的像素值相等的像素值。类似地，在图40E中，由小写字母指示的像素的像素值与由相同的大写字母表示的像素的像素值相同。
为了基于上文中所描述的分辨率增强原理而产生从其中去除了输入图像(即，B图像)在水平方向和垂直方向中的混叠成分、且具有增强的分辨率的输出图像，有必要使图39的图像处理设备中的分离部分262的滤波器具有与级联连接滤波器相同或相似的特性，在所述级联连接滤波器中，扩大部分261的滤波器、与图13A到13G所示的作为定位部分24的滤波器的水平多抽头APF 71和垂直多抽头APF 72以级联连4妄方式连4矣。
此外，如上文所述，由于是由使包括在扩大后图像中的所有频率成分通过的多抽头APF形成图13A到13G所示的定位部分24的水平多抽头APF71和垂直多抽头APF72，所以，最终，对于分离部分262的滤波器而言，具有 与扩大部分261的滤波器相同或相似的特性是必要的。
另一方面，可以认为，如图40E所示，通过由具有滤波器系数 {{1/4，1/4,0},{1/4，1/4，0}，{0，0,0}}的二维滤波器进行滤波、以及在扩大部分261 中执行最邻近插值而产生的B图像的扩大后图像的像素位于在垂直方向和 水平方向上、从位于原始B图像的像素的中心处的像素均位移了一半像素距 离的位置处。
例如，可以通过由具有滤波器系数为{1/2，1/2}的滤波器在水平方向上滤 波和在垂直方向上滤波，而执行用于产生图40E的扩大后图像的最邻近插值。
具体地，如果扩大部分261产生图40E所示的扩大后图像，其中像素存 在于在水平方向和垂直方向上、从原始B图像的像素位移了一半像素距离的 位置，则扩大部分261的滤波器由一组具有滤波器系数为{1/2，1/2}的水平LPF 和具有滤波器系数为{1/2，1/2}的垂直LPF组成。
如果通过由具有滤波器系数{1/2,1/2}的两抽头滤波器来对图像滤波，则 在滤波之后，作为结果而获得的图像像素的位置从原始图像的像素的位置位 移了 一半像素距离。
因此，如果采用与扩大部分261的滤波器相同的一组具有滤波器系数 {1/2,1/2}的水平LPF和具有滤波器系数{ 1/2,1/2}的垂直LPF作为分离部分262 的滤波器，则通过利用分离部分262的滤波器来对输出图像滤波而获得的图 像(即，输出图像的低频成分)的像素的位置在水平方向和垂直方向上均位移了 一半像素距离。因此，在混合加法时，有必要再次执行定位。
因此，在图39的图像处理设备中，对于分离部分262的滤波器，不采用 具有滤波器系数{1/2,1/2}的滤波器，而采用具有与所述滤波器的滤波器特性 相似的滤波器特性、且按照滤波之前的图像而保持由滤波获得的图像的像素 的位置不位移的另 一个滤波器。
此处，具有与滤波器系数为{1/2，1/2}的滤波器相似的滤波器特性、且像 素位置不位移的滤波器可以是例如，具有滤波器系数f2/128， 23/128， 86/128， 23/128, -2/128}的五抽头滤波器。
在图39的图像处理设备中，采用具有滤波器系数{-2/128， 23/128, 86/128, 23/128， -2/128}的一组水平LPF和垂直LPF作为分离部分262的滤波器。结 果，产生基于在上文中所描述的分辨率增强原理的、从其中去除在B图像的水平方向上和垂直方向上的混叠成分的、且分辨率增强的输出图像。
换句话说，此外，与图9中的图像处理设备相似，通过图39的图像处理 设备可以达到B图像的柔和的分辨率增强。
注意，尽管在图39的图像处理设备中、扩大部分261通过最邻近插值产 生扩大后图像，但可以通过不同于最邻近插值的插值，例如在图9的情形中 的线性插值，来执行扩大后图像的产生。
图41示出图39所示的扩大部分261的配置示例。
参考图41，扩大部分261包括插值部分271、 272、以及二维LPF273。
向插值部分271提供仅由来自存储于存储部分21的输入图像中的B成分 的像素组成的B图像。插值部分271执行在来自存储部分21的B图像的水 平方向中的每个相邻像素之间插入一个零值点的零值插值，并向插值部分272 提供由零值插值所获得的图像。
插值部分272执行在来自插值部分271的图像的垂直方向中的每个相邻 像素之间插入一个零值点的零值插值，并向二维LPF 273提供由零值插值而 获得的、且具有在水平方向和垂直方向中增加到B图像的两倍的像素数量的图像。
例如，如上文所述，该二维LPF 273是具有滤波器系数{{1/4， 1/4, 0}, {1/4， 1/4, 0}， {0, 0, 0}}的滤波器，并在水平方向和垂直方向中对来自插值部分272 的零值插值图像滤波，并向图39所示的定位部分24提供由滤波所获得的扩 大后图Y象。
现在，参考图42A到42B描述图39所示的扩大部分261的另一个配置 示例。
图42A示出图39所示扩大部分261的另一个配置示例。
具体地，图42A的扩大部分261与图41的扩大部分的共同点在于包括 插值部分271和272。
然而，图42A中的扩大部分261与图41中的扩大部分的区别在于其不 包括二维LPF 273，而包括水平LPF 281和垂直LPF 282。
参考图42A,向水平LPF 281提供由插值部分271通过执行在B图像的 水平方向的每个相邻像素之间插入一个零值点的零值插值而产生的零值插值 图像。
例如，该水平LPF281是一个具有滤波器系数为(l/2，l/2，(n的滤波器，且在水平方向上对来自插值部分271的零值插值图像滤波，并向插值部分272 提供通过滤波所获得的图像。
该插值部分272执行在来自水平LPF 281的图像的垂直方向中的每个相 邻像素之间插入一个零值点的零值插值，并向垂直LPF 282提供由零值插值 获得的零值插值图像。
例如，该垂直LPF282是具有滤波器系数为(l/2,l/2,(^的滤波器，且在垂 直方向上对来自插值部分272的零值插值图像滤波，并向图39所示的定位部 分24提供由滤波获得的扩大后图像。
图42B示出二维滤波器的滤波系数，所述二维滤波器通过具有滤波系数 为{1/2,1/2，0}的LPF，同时执行在水平方向中的滤波和在垂直方向中的滤波。
由具有滤波系数为{1/2,1/2，0}的LPF同时执行在水平方向中的滤波和在 垂直方向中的滤波的二维滤波器的滤波系数为{{1/4， 1/4, 0}, {1/4， 1/4, 0}, {0, 0,0}}。因此，通过由水平LPF281在水平方向滤波、以及由垂直LPF282在 垂直方向滤波，而执^f亍与图41所示二维LPF 273的滤波相似的滤波。
具体地，作为图41所示的扩大部分261的滤波器的二维LPF273,与作 为图42A所示扩大部分261的滤波器的水平LPF 281和垂直LPF 282的组合 ;波此相同。
现在，参考图43A和43B描述图39中所示的分离部分262的处理。 图43A示出图39中所示的分离部分262的配置示例。 参考图43A,所示的分离部分262与图到所示的分离部分27 的共同点在于其包括数学运算部分82，而与图14A到MC所示的分离部分 27的区别在于其包括LPF部分301以替代垂直LPF81。
为了基于上文中所描述的分辨率增强原理而产生从其中去除输入图像的 混叠成分、且具有增强的分辨率的输出图像，有必要使作为分离部分262的 滤波器的LPF部分301具有与级联连接滤波器相同或相似的特性，在该级联 连接滤波器中，作为扩大部分261的滤波器的图41所示的二维LPF213、与 作为定位部分24的滤波器的图13A到13G所示的水平多抽头APF71和垂直 多抽头APF 72以级联连接方式连接。
此处，由于如上文所述、图13A到13G所示的定位部分24的水平多抽 头APF 71和垂直多抽头APF 72是由使包括在扩大后图像中的所有频率成分 通过的多抽头APF形成，所以，最终，可使用具有与扩大部分261的滤波器的滤波器特性相同或相似的滤波器特性的滤波器，用于分离部分262的LPF 部分301。
然而，如上文参考图40A到40E所述，如果考虑到扩大部分261产生图 40E所示的扩大后图像，其中，像素存在于在水平方向和垂直方向上从原始B 图像的像素均位移了一半像素距离的位置，则扩大部分261的滤波器由一组 具有滤波器系数{1/2,1/2}的水平LPF和具有滤波器系数{1/2,1/2}的垂直LPF 形成。
采用具有与该组具有滤波器系数为{1/2,1/2}的水平LPF和具有滤波器系 数为{1/2，1/2}的垂直LPF的相同滤波器特性、且作为扩大部分261的滤波器 的滤波器，作为LPF部分301，即，分离部分262的滤波器，如上文中参考 图40A到40E所描述的，作为通过LPF部分301滤波的结果而获得的图像的 像素从滤波前原始图像的像素位置位移了 一半像素距离。
在这种情况下，有必要执行消除作为LPF部分301滤波的结果而获得的 图像的像素的位移的定位。
因此，在图43A中，采用这样的滤波器作为LPF部分301,即，分离部 分262的滤波器其具有与一组具有滤波器系数为{1/2,1/2}的水平LPF和具 有滤波器系数为{1/2,1/2}的垂直LPF的滤波器特性相同的滤波器特性的滤波 器，且是扩大部分261的滤波器，并且，还按照滤波前的图像的像素的原样 保持作为滤波结果所获得的像素的位置，而不使它们位移。
具体地，LPF部分301包括水平LPF 311和垂直LPF 312。
该水平LPF 311是具有与滤波器系数为{1/2,1/2}的滤波器相似的滤波器 特性的五抽头滤波器，且不位移像素的位置，并具有例如{-2/128， 23/128, 86/128, 23/128， -2/128}的滤波器系数。该水平LPF 311在水平方向上对从存储 部分28提供的输出图像Sn-l滤波，并向垂直LPF 312提供作为滤波结果而 获得的图像。
与水平LPF 311相似，该垂直LPF 312是具有滤波器系数为{-2/128， 23/128， 86/128， 23/128, -2/128}的五抽头滤波器，并在垂直方向中对来自水平 LPF 311的图像滤波，并向数学运算部分82和混合部分25提供作为滤波结果 而获得的输出图像Sn-l的低频成分Ln。
图43B示出作为水平LPF 311和垂直LPF 312而净皮采用、且具有滤波器 系数{-2/128， 23/128, 86/128， 23/128， -2/128}的滤波器的滤波器特性。图43B还示出具有滤波器系数为(l/2，l/2)的另一个滤波器的滤波器特性。 尽管具有滤波器系数为{-2/128, 23/128, 86/128， 23/128, -2/128}的滤波器 和具有滤波器系数为{1/2,1/2}的另 一个滤波器在高频区域的特性上稍微有些 区别，但它们在低频区域和中频区域的特性基本相同，且因此，它们在总体 上《皮此相似。
注意，尽管图43A所示的LPF部分301由水平LPF 311和垂直LPF 312 构成，水平LPF 311和垂直LPF 312中的每个都是由滤波器系数为{-2/128， 23/128, 86/128， 23/128, -2/128}的五抽头滤波器形成，但该LPF部分301也可 由同时扭^亍水平LPF 311在水平方向中的滤波和垂直LPF 312在垂直方向中 的滤波的二维LPF形成。
然而，当LPF部分301是由执行与由该组水平LPF 311和垂直LPF 312 所^l行的滤波相同的滤波的二维LPF形成时，该二维滤波器LPF为25抽头 滤波器。因此，当LPF部分301是由二维LPF形成时，相比于由水平LPF311 和垂直LPF312形成的LPF部分301的可替换情况，有关滤波的数学运算量 增力口。
现在，参考图44A到44H进一步描述由图39中的图像处理设备对B图 像所执行的处理。
注意，尽管图44A到44H示出图像和滤波器在水平方向中的频率特性，
^旦垂直方向的频率特性与水平方向的频率特性相似。
图44A示出仅由输入图像中B成分的像素构成的B图像的频率特性。 该B图像包括在低于奈奎斯特频率fs/2的频率处以混合方式存在的信号
成分和混叠成分。
图44B示出通过利用图39所示的扩大部分261执行图44中的B图像的 零值插值而获得零值插值图像的频率特性。
尽管由零值插值恢复从fs/2到fs的高频区域中的信号成分，但也在fs/2 到fs的高频区域中产生混叠成分。
图44C示出图41所示的作为扩大部分261的滤波器的二维LPF 273的滤 波器特性，以及图44D示出由扩大部分261获得的扩大后图像的频率特性。
由具有图44C的滤波器特性的二维LPF 273对图44B的零值插值图像滤 波，以形成具有图44D所示频率特性的扩大后图像，其中，在从fs/2到fs的 高频区域内的包括信号成分和混叠成分的频率成分被削弱。图斗4E示出图13A到13G所示水平多抽头APF71的滤波器特性，其中， 水平多抽头APF 71是图39所示定位部分24的滤波器，且图44F示出由定位 部分24获得的定位后图像的频率特性。
如上文中参考图13A到13G所描迷的，定位部分24的水平多抽头APF71 具有尽可能平緩的频率特性，使得尽可能多地使包括在扩大后图像的水平方 向中的所有频率成分通过。
因此，作为由定位部分24对图44D中的扩大后图^f象定位、由水平多抽头 APF 71滤波而获得的定位后图像理想地具有与图44D的扩大后图像相同的频 率特性。
图44G示出图43A到43B所示的水平LPF 311的滤波器特性，所述水平 LPF 311是图39中所示分离部分262的滤波器。
水平LPF311的滤波器特性与在图44G中由虚线指示的图44C中的扩大 部分261的滤波器特性相同。
图44H示出由图39所示的加法部分26获得的输出图像的频率特性。
图39中所示的混合部分25和加法部分26对B图像重复地4丸行混合加法， 以产生输出图像，其中，恢复从fs/2到fs的高频区域中的B图像的信号成分， 并从高频区域中去除混叠成分。
现在，描述图39的图像处理设备对从拜耳阵列图像获得的G图像执行的 处理。
图45A示出在图40A所示的拜耳阵列图像内的G成分的像素的排列。 在拜耳阵列图像的斜向中延伸、每隔一行地布置G成分的像素，且由这
样的G成分的像素构成的G图像在垂直方向和水平方向中包括许多很强的混
叠成分。
注意，在图45A中，空白圆形标记表示G成分的^象素，而实心圆形标记 表示不同颜色成分的像素。
如果G图像向左或向右旋转45度，则可以认为以栅格状形式并置G成 分的像素。
处于旋转45度的状态的G图像在水平方向上彼此相邻的像素之间的距 离、以及在垂直方向上相邻的像素之间的距离对应于G图像在水平方向和 垂直方向上的采^^频率fs。
图39所示的扩大部分261执行向在图45A所示的除了 G成分的像素之外的像素的位置(也就是，向B成分的像素和R成分的像素的像素位置)插入 零值点的零值插值，以产生具有等于G图像的像素数量的两倍的像素数量的 零值插值图像。
注意，扩大部分261调整原始像素值，以使得在零值插值之后，像素值 的平均值不变化。具体地，扩大部分261将零值插值图像的像素之中的G图 像的原始像素的像素值增加到四倍。
如上文中所述，由扩大部分261获得的G图像的零值插值图像具有两倍 于G图像的像素数量的像素数量，且具有与原始的拜耳阵列图像相同的大小， 即像素数量。因此，G图像的零值插值图像的采样频率为^fs,即，在水平 方向和垂直方向两者中的G图像的原始采样频率fs的V^倍。
图45B示出G图像的零值插值图像的频率特性。
参考图45B， ^t坐标轴指示水平方向的频率，即水平频率，而纵坐标轴 则指示垂直方向的频率，即垂直频率。
此外，在图45B中，实曲线指示信号成分，而虚曲线则指示混叠成分。
在零值插值图像中，尽管恢复了 G图像信号成分的高频成分，但也产生 混叠成分，且信号成分和混叠成分以混合方式存在。
其后，扩大部分261使用滤波器系数为{{1/4， 1/4， 0}， {1/4， 1/4, 0}， {0， 0， 0}) 的二维滤波器对该零值插值图像滤波，以产生G图像的扩大后图像，例如， 所述二维滤波器与在产生B图像时所使用的相同。
根据通过具有滤波器系数为{{1/4, 1/4, 0}, {1/4, 1/4， 0}， {0， 0， 0}}的二维 滤波器对G图像的零值插值图像的滤波，在插入零值点且在图45A中由实心 圓形标记指示的位置，即，在B成分的每个像素和R成分的每个像素的位置， 对像素值进行线性插值。换句话说，将像素值线性地插入到在原始G图像的 水平方向或垂直方向上位移了一半像素距离的位置，也就是，插入到位移了
在水平方向或垂直方向中相邻像素之间的距离的一半的位置。
因此，可以考虑到，G图像的扩大后图像的像素位于原始G图像的斜向 中相邻的像素之间的位置，即，在图45C中由小空心圆形标记指示的G图像
的像素在水平方向和垂直方向上均位移了一半像素距离的位置。在这种情况 下，所描述的位置与B图像和R图像的扩大后图像的像素的位置一致。
此处，在图45C中，像素A、 B、 C、 D、 E、 F、 G、 H、 I、 J、 K和L 是原始G图像的像素。此外，在图45C中，位于像素A和像素D之间的扩大后图像的像素#1的像素值是像素A和D的像素值的平均值，即(A+D)/2, 其中，像素D位于在右斜下方向与像素A相邻。此外，例如，像素B和像素 D之间的扩大后图像的像素#2的像素值是像素B和像素D的像素值的平均 值，即(B+D)/2,其中，像素D位于在左斜下方向与像素B相邻。此外，扩 大后图像的其它像素具有相似的像素值。
在图39的图像处理设备中，当处理G图像时，可使用具有与处理B图 像和R图像时使用的滤波器相同的滤波器系数U1/4， 1/4， 0}， {1/4, 1/4, 0}， {0， 0， 0}}的二维滤波器，作为扩大部分261的滤波器，即，作为如图41所示的 二维滤波器273。因此，还可使用具有与处理B图像时使用的滤波器相同的 滤波器系数{-2/128， 23/128， 86/128， 23/128， -2/128}的滤波器，作为分离部分 262的滤波器，即，作为图43中所示的水平LPF 311和垂直LPF 312。
随后，在图39的图像处理设备中，基于在上文中所描述的分辨率增强原 理，产生从中去除在G图像的水平方向和垂直方向中包含的混叠成分、且其 分辨率被增强的输出图像。
具体地，此外，与图9的图像处理设备相似，利用图39的图像处理设备， 可实现G图像的柔和的分辨率增强。
注意，在图39的图像处理设备中，通过收集作为由对拜耳阵列图像的R 图像、G图像和B图像处理而获得的R成分的输出图像、G成分的输出图像 和B成分的输出图像的相同位置上的像素的像素值的、R成分、G成分和B 成分，可以产生并输出具有三个颜色成分R、 G、 B的彩色图像。
换句话说，图39的图像处理设备可以执行拼接(mosaic)处理。
如上所述，与图9中的图像处理设备的情形相似，利用图39中的图像处 理设备，可以达到有关拜耳阵列的输入图像的柔和的分辨率增强。
注意，例如，也可以通过采用如图39中的图像处理设备的情形中那样的 二维滤波器，由图29、 32和33的图像处理设备执行拜耳阵列图像的处理。
例如，可以对单板式的数码相机应用图39中的图像处理设备，所述单板 式的数码相机可以拍摄高画面质量的静态画面和动态画面。
如上所述，由于在图像处理设备中执行基于上面所描述的分辨率增强原 理的处理，也就是，由于通过在其中使用周围像素值的插值扩大输入图像而 产生新的输出图像，所以，通过执行在由输入图像的扩大而获得的扩大后图 像和在前一操作周期中获得的输出图像之间的定位、将在前一操作周期中获得的输出图像分离为低频成分和高频成分、以及执行将低频成分和扩大后图 像混合并向通过混合获得的图像中加入高频成分的混合加法，可以达到图像 的柔和的分辨率增强。
具体地，如果仅由最邻近插值或线性插值产生的扩大后图像被加权相加， 则不能恢复高频区域中的信号成分。
相反，利用基于分辨率增强原理执行处理的图像处理设备，由于低频成 分#皮混合或加4又相加、以及随后加入高频成分，所以，可以基于分辨率增强 原理产生高分辨率的输出图像。
例如，在包括多个输入图像时，随着输入图像的数量的增加，可以获得 高分辨率的输出图像，其中，混叠成分减小了越来越多的量，并且，恢复了 高于奈奎斯特频率的频率成分。具体地，当输入图像的数量少时，可以产生 某种程度上较高画面质量的输出图像，但当足够数量的输入图像可用时，可 以产生高分辨率的输出图像，其中，充分地减小了混叠成分，并充分地恢复 高于奈套斯特频率的高频成分。
此外，即使在只有一个输入图像可用的情况下，由于通过使用输入图像 的周围像素进行插值而产生扩大后图像，所以，作为要提供给用户的输出图 像的画面质量，也能确保对于输出图像的实际使用足够的画面质量，即，通 过线性插值等等而获得的图像的画面质量。
注意，在现有的分辨率增强技术中，在仅有一个输入图像可用的情况下，
向用户提供包括在上文中参考图6A到7D所描述的暗条紋图案的图像。
同时，此外，在多个输入图像可用时，如果输入图像是这样的特定图像， 即，它们是隔行图像的多个连续场的图像，并且，每场的图像在垂直方向上 从前一场的图像位移了奇数行，那么，从组成图像的像素中采样的图像拍摄 对象的点在各个场中相同。在这种情况下，尽管使用了多个输入图像，但由 于信息量与单个输入图像的信息量相同，所以，利用现有的分辨率增强技术， 与其中仅有 一个输入图像可用的情形相似，向用户提供包含暗条紋图案的图像。
相反，利用基于分辨率增强原理执行处理的图像处理设备，即使多个输 入图像是像如上所述的特定图像，作为要被提供给用户的输出图像的画面质 量，确保由线性插值等获得的图像的画面质量。
尽管多个输入图像是如上面所描述的特别图像的情况极少出现，然而，如果输入图像的数量是像2、 3等等那样较小的数，则该多个输入图像有比较 高可能性可以是如上面所描述的特定图像。
此外，利用基于分辨率增强原理的图像处理设备，不但对于在一个方向 包括混叠成分的输入图像，而且对于在两个方向包括混叠成分的输入图像， 均可以实现图像的分辨率增强。
此外，利用基于分辨率增强原理的图像处理设备，例如，可以执行拜耳 阵列图像的分辨率增强，并且，无论输入图像是静态画面和动态画面中的哪 个，都可以实现输入图像的分辨率增强。
具体地，例如，数码相机被分类为三板式的数码相机，其中包括用于 R、 G、 B三原色的图像拍摄器件；以及单板式的数码相机，其中在一个图像 拍摄器件上提供接收R、 G、 B的光的不同的像素。在单板式的数码相机中， 广泛地使用拜耳阵列作为图像拍摄器件的像素阵列。拜耳阵列图像是其中一 个像素只具有R、 G、 B三个颜色成分之一的像素值的阵列，并且，对于刚描 述的这样的图像，有必要执行将该图像转换为每个像素的像素值具有三个颜 色成分R、 G、 B的图像的拼接处理。基于该分辨率增强原理的图像处理设备 可以执行上面所描述的拜耳阵列的图像的拼接处理。
此外，近年来，在数码相才几中，出现既可以拍摄静态画面又可以拍摄动 态画面的产品。在输入图像为静态画面的情况下，基于分辨率增强原理的图 像处理设备可以通过执行移动输出图像的定位，而执行静态画面的分辨率增 强。此外，如上文所述，在基于分辨率增强原理的图像处理设备中，诸如扩 大部分23的功能块被共用，例如参考图33，以在静态画面和动态画面之间 切换或选择要被执行的分辨率增强。
如上文所述，在输入图像为动态画面的情况下，基于分辨率增强原理的 图像处理设备执行移动输出图像的定位。此外，基于分辨率增强原理的图像 处理设备执行定位之后的输出图像和通过扩大输入图像而获得的扩大后图像 的混合加法，即，执行动态画面混合加法。随后，图像处理设备输出通过混 合加法而获得的新的输出图像，作为对应于输入图像的输出图像。因此，每 次一旦执行混合加法，便执行对应于输入图像的输出图像的输出。
另一方面，在输入图像为静态画面的情况下，基于分辨率增强原理的图 像处理设备执行移动输入图像，即如上文所述的输入图像的扩大后图像的定 位。此外，基于分辨率增强原理的图像处理设备执行定位后的扩大后图像和输出图像的混合加法，即，执行静态画面的混合加法，已获得新的输出图像。 随后，基于分辨率增强原理的图像处理设备重复地对存储于存储部分21的多 个输入图像中的全部执行静态画面混合加法，并最终输出所获得的新的输出
图像，作为对应存储于存储部分21的多个输入图像的输出图像。因此，在对 存储于存储部分21的多个输入图像多次地执行了混合加法之后，执行对应于 输入图像的输出图像的输出。
如上所述，在输入图像为动态画面的情况下，由基于分辨率增强原理的 图像处理设备用来输出一个输出图像而执行的数学运算量小于输入图像为静 态画面的情况。
注意，在输入图像为动态画面的情况下、以及在输入图像为包含移动体 的图像的静态画面的情况下，基于分辨率增强原理的图像处理设备对包含某 种移动的部分执行相对少量的输入图像或扩大后图像的混合加法，而对不包 含移动的部分执行相对大量输入图像的混合加法。因此，对于包含移动的部 分，获得画面质量高于通过线性插值获得的图像的画面质量的图像。同时， 对于不包括移动的部分，获得在其中减少了混叠成分、且恢复了高频成分的 高分辨率图像。
同时，在过去的包括移动;^企测处理、宽带插值处理和加权加法处理的分 辨率增强技术中，由于预先确定要通过加权加法处理对其执行混合(即，加权 加法)的帧数，所以，可以使要在加权加法处理中对其执行混合的帧数在包含 移动的部分和不包含移动的另 一部分之间有所不同。
可以向例如电视机、数码摄像机和数码相机应用基于上面所描述的分辨 率增强原理的这样的图像处理设备。
顺便提及，当可由硬件执行上面所描述的处理系列时，其也可另外由软 件执行。在由软件执行该处理系列的情况下，构建该软件的程序被安装到通 用计算机等上。
图46示出要被安装执行上面所描述的处理序列的程序的计算机的形式 的配置示例。
该程序可被预先记录在作为记录介质而被内置在计算机中的硬盘405或 ROM 403中。
或者，该程序可被暂时或永久地存储或记录在诸如软盘、CD-ROM(只读 光盘)、MOp兹光)盘、DVD(数字多用盘)、 一磁盘或半导体存储器的可移动记录介质411中。可作为封装软件提供像刚才所描述的这样的可移动记录介质
411。
注意，如上所述，程序可以从上述可移动记录介质411被安装到计算机， 或可以通过利用用于数字卫星广播的人造卫星等的无线通信，从下载站点传
输到计算机，或者，可通过经由例如LAN(局域网)或因特网的网络的有线通 信而被传输到计算机。因此，计算机可以利用通信部分408接收以这种方式 传送的程序，并将程序安装到内置于其中的硬盘405上。
该计算机具有内置于其中的CPU(中央处理器)402。输入/输出接口 410 通过总线401连接到CPU 402。如果由用户控制包括键盘、鼠标、麦克风等 的输入部分407经由输入/输出接口 410向CPU 402输入指令，则CPU 402 执行存4诸于ROM 403(只读存储器)的程序。或者，CPU 402向RAM(随机存 取存储器)404载入存储在硬盘405上的程序、通过通信部分408接收的从卫 星或网络传送、并被安装在硬盘405中的程序，或者从载入到驱动器409的 可移动记录介质405中读取、并被安装于硬盘405中的程序，并执行该程序。 结果，该CPU402执行依照上文中所描述的流程图的处理、或要由上文所描 述的框图中的任一配置执行的处理。随后，CPU 402通过输入/输出接口 410 从例如由LCD(液晶显示器)单元、扬声器等等组成的输出部分406输出处理 的结果，或从通信部分408等传送处理的结果，或者，在需要时使处理的结 果^f皮记录在硬盘405上。
注意，在目前的说明书中，描述使得计算机执行各种处理的程序的处理 步骤并不一定以根据流程图所描述的顺序的时间顺序被处理，而可以包括并 行或独立执行的处理，例如并行处理或依赖于对象的处理。
可以由单个计算才几处理该程序，或者可以由多个计算才几分离地#1行该程 序。此外，可以向位于远程位置的计算才几传输、并由该计算初j执行该程序。
当已使用特定术语描述本发明的最佳实施例时，这样的描述仅仅是为了 说明的目的，且应当了解，所作的改变和变化并不脱离所附的权利要求的精 神和范围。
本发明申请包含的主题内容涉及在2008年7月17日向日本专利局递交 的日本在先专利申请JP 2008-185603和2008年10月1日向日本专利局递交 的日本在先专利申请JP 2008-256480中所乂>开的主题，在此，其全部内容祐: 全文引用。
权利要求
1、一种图像处理设备，包括扩大部件，用于通过使用周围的像素值进行插值，来扩大输入图像；定位部件，用于执行通过对输入图像扩大而获得的扩大后图像和在前一操作周期中获得的输出图像的定位；分离部件，用于将该输出图像分离为低频成分和高频成分；以及混合加法部件，用于将低频成分与扩大后图像混合，并向通过混合获得的图像加入该高频成分，以产生新的输出图像。
2、 根据权利要求1中的图像处理设备，其中，使用滤波器形成所述扩 大部件、定位部件和分离部件，并且，所述分离部件的所述滤波器具有与由 所述扩大部件的所述滤波器和所述定位部件的所述滤波器级联连接而形成 的滤波器的特性相同或相似的特性。
3、 根据权利要求2中的图像处理设备，其中，所述定位部件执行将扩 大后图像的位置调整到输出图像的位置的定位，并且所述混合加法部件将该低频成分与定位之后的扩大后图像混合，并向通 过混合获得的图像加入该高频成分，以产生新的输出图像。
4、 根据权利要求3中的图像处理设备，还包括移动判定部件，用于判定在定位之后的扩大后图像的每个像素的移动程 度，其中所述混合加法部件还利用权重执行将在前一个操作周期中获得的输出 图像与所述新的输出图像混合的移动体混合，其中，该权重变化，使得对于 显示出移动的像素，应用于在前一操作周期中获得的输出图像的权重更高， 而对于未显示出移动的像素，应用于新的输出图像的权重更高。
5、 根据权利要求2中的图像处理设备，其中，所述定位部件执行将输 出图像的位置调整到扩大后图像的位置的定位，并且所述分离部件将在定位之后的输出图像分离为低频成分和高频成分。
6、 根据权利要求5中的图像处理设备，还包括移动判定部件，用于判定扩大后图像中的每个像素的移动程度， 所述混合加法部件还利用权重，执行将扩大后图像和新的输出图像混合 的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于扩大后图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的 权重更高。
7、根据权利要求2中的图像处理设备，还包括第一选择部件，用于选择该扩大后图像、或在前一操作周期中获得的输 出图像，并向所述定位部件提供所选图像作为定位的对象；第二选择部件，用于选择在由所述定位部件定位之后的图像、或该扩大 后图像，并向所述混合加法部件提供所选图像；以及第三选择部件，用于选择在由所述定位部件定位之后的图像、或在前一 操作周期中获得的输出图像，并向所述分离部件提供所选图像；所述图像处理设备执行第一处理，使得所述第一选择部件选择该扩大后图像，并向所述定位部件提供该扩大后图像，所述定位部件执行将从所述第 一选择部件提供的扩大后图像的位 置调整到输出图像的位置的定位，并将定位之后的扩大后图像提供给所 述第二选择部件，所述第二选择部件选择从所述定位部件提供的定位之后的扩大后 图像，并向所述混合加法部件提供在该定位之后的扩大后图像，所述第三选择部件选择在前一操作周期中获得的输出图像，并将该 输出图像提供给所述分离部件，所述分离部件将在前一操作周期中获得、且从所述第三选择部件提 供的该输出图像分离为低频成分和高频成分，以及所述混合加法部件将该低频成分与从所述第二选择部件提供的在 该定位之后的扩大后图像混合，并向通过混合获得的图像加入高频成 分，以产生新的输出图像， 或者，所述图像处理设备执行第二处理，使得所述第一选择部件选择在前一操作周期中获得的输出图像，并向所 述定位部件提供该输出图像，所述定位部件执行将在前一操作周期中获得、且从所述第 一选择部 件提供的输出图像的位置调整到该扩大后图像的位置的定位，并向所述 第三选择部件提供在该定位之后的输出图像，所述第二选择部件选择该扩大后图像，并向所述混合加法部件提供该扩大后图像，所述第三选择部件选择在由定位部件定位之后的输出图像，并向所 述分离部件提供该输出图像，所述分离部件将从所述第三选择部件提供的定位之后的输出图像 分离为低频成分和高频成分，以及所述混合加法部件将该低频成分与从所述第二选择部件提供的扩 大后图像混合，并向通过混合而获得的图像加入高频成分，以产生新的 输出图像。
8、 根据权利要求7中的图像处理设备，还包括 移动判定部件，用于判定扩大后图像中的每个像素的移动程度；以及 第四选择部件，用于选择扩大后图像或在前一才乘作周期中获得的输出图像；其中还执行第一处理，使得所述第四选择部件选择在前一操作周期中获得的输出图像，以及 所述混合加法部件还利用权重来执行将所述第四选择部件选择的 在前一操作周期中获得的输出图像与新的输出图像混合的移动体混合， 其中，该权重变化，使得对于显示出移动的像素，应用于输出图像的权 重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高， 并且，还执行第二处理，使得所述第四选择部件选择扩大后图像，以及所述混合加法部件还利用权重，执行将由第四选择部件选择的扩大 后图像和新的输出图像混合的移动体混合，其中，该权重变化，使得对 于显示出移动的像素，应用于扩大后图像的权重更高，而对于未显示出 移动的像素，应用于新的输出图像的权重更高。
9、 根据权利要求2中的图像处理设备，其中，在输入多个输入图像的 情况下所述扩大部件扩大该输入图像； 所述定位部件执行扩大后图像和输出图像的定位； 所述分离部件将输出图像分离为低频成分和高频成分；以及 所述混合加法部件将该低频成分与扩大后图像混合，并向通过混合而获 得的图像加入该高频成分，以产生新的输出图像。
10、 根据权利要求2中的图像处理设备，其中，该输入图像是隔行类型 的图像。
11、 根据权利要求2中的图像处理设备，其中，该输入图像是拜耳阵列 的图像。
12、 一种图像处理方法，包括以下步骤 通过使用周围的像素值进行插值，而扩大输入图像； 执行通过对输入图像扩大而获得的扩大后图像和在前一操作周期中获得的输出图像的定位；将该输出图像分离为低频成分和高频成分；以及将低频成分与扩大后图像混合，并向通过混合而获得的图像加入该高频 成分，以产生新的输出图像。
13、 用于使计算机执行图像处理方法的程序，该图像处理方法包括以下 步骤通过使用周围的像素值进行插值，而扩大输入图像；执行通过对输入图像扩大而获得的扩大后图像和在前 一操作周期中获 得的输出图像的定位；将该输出图像分离为低频成分和高频成分；以及将低频成分与扩大后图像混合，并向通过混合而获得的图像加入该高频 成分，以产生新的输出图像。
14、 一种图像处理设备，包括扩大部分，被配置成通过使用周围的像素值进行插值而扩大输入图像； 定位部分，被配置成执行通过对输入图像扩大而获得的扩大后图像和在 前 一操作周期中获得的输出图像的定位；分离部分，被配置成将该输出图像分离为低频成分和高频成分；以及 混合加法部分，被配置成将低频成分与扩大后图像混合，并向通过混合 而获得的图像加入该高频成分，以产生新的输出图像。
全文摘要
此处所公开的是一种图像处理设备、图像处理方法和程序，该图像处理设备包括扩大部分，被配置成通过使用周围的像素值进行插值而扩大输入图像；定位部分，被配置成执行通过对输入图像扩大而获得的扩大后图像和在前一操作周期中获得的输出图像的定位；分离部分，被配置成将该输出图像分离为低频成分和高频成分；以及混合加法部分，被配置成将低频成分与扩大后图像混合，并向通过混合而获得的图像加入该高频成分，以产生新的输出图像。
文档编号H04N5/14GK101631193SQ20091016072
公开日2010年1月20日 申请日期2009年7月17日 优先权日2008年7月17日
发明者桦泽正之 申请人:索尼株式会社