专利名称：内插帧生成方法和内插帧生成设备的制作方法
技术领域：
本发明的一个实施例涉及生成内插帧、在形成运动图^f象的帧图 像之间插入内插帧、以及将物体运动显示为流畅自然的运动的技术。
背景技术：
当在液晶显示器(LCD)上显示运动图^f象时，LCD以(例如) 60帧/秒的速率显示帧图像(下文中简称"帧")。帧是通过处理60 场/秒的隔行扫描信号获得的连续扫描图像。特别地，LCD显示一帧 的时间持续1/60秒、。
当观看LCD上显示的这种图像时，由于观看者眼睛的视觉持续 寸生(persistence of vision )， 4吏4寻前一帧的图 <象残留。因此，存在图 像中的运动物体显得模糊，或者物体运动显得不自然的情况。在较 大的屏幕中，这种现象更明显。
为了防止运动图l象的才莫糊，已知一种通过在两个连续帧之间插 入内4翁帧(interpolated frame )显示运动图 <象的方法(参见第 2005-6275号日本专利申请KOKAI )。在该参考方法中，在包括在 前帧和在后帧的两个输入帧或更多输入帧之间寺丸4亍形成帧的图像块 的匹配，以检测每个块的运动矢量(物体运动的方向和距离)。通过 使用每个块的运动矢量生成位于输入帧之间的新内插帧。在两个输 入帧之间插入内插帧，从而以更多lt目的帧显示运动图像。
上述块匹配是才企测在后帧中的哪个图^f象块与某帧中的预定尺寸 的图〗象块匹配的方法。计算在前帧中的一个图<象块的<象素与在后帧
中的任意一个图像块的相应像素之间的差分(difference ),并且将具 有最低差分累加值(绝对差分的总和[SAD])的在后帧的图像块检 测作为最类似于在前帧的图像块的图像块。将在前帧与在后帧的最 类似的块之间的位置差检测为运动矢量。
当基于4吏用SAD的块匹配估计物体的运动时，如果丰lr入帧中存 在周期性图案，则不能在周期性图案中的图^f象块中估计出准确的运 动矢量。第2005-56410号日本专利申请KOKAI中/>开了一种在7见 测图像是周期性图案的情况下，利用周围图像块的运动矢量校正图 像块的运动矢量的方法。进一步地，第2006-208792号日本专利申 请提交了 (于2006年7月31日提交) 一种使用两种尺寸的块来检 测运动矢量的方法。
如上所述，已知^f吏用周围块的运动矢量4交正周期性图案中的图 像块的运动矢量的多种方法。但是，在周期性图案的尺寸远大于图 像块的情况下，这些方法并不能4是供适当的4交正。另外，在周围块 的运动矢量具有低可靠性的情况下，这些方法也不能提供适当的校 正。因此，这些方法存在在上述情况下不能获得可靠的运动矢量的 问题。该问题在图^象包括许多周期性图案的情况下更加显著，所以 需要才是供针对该问题的解决方案。
发明内容
本发明的目的在于，提供一种能够不受图像的画面图案的影响， 以高一青确度4企测运动矢量的内插帧生成方法和内插帧生成i殳备。
才艮据本发明的一个方面，才是供了 一种使用通过块匹配处理获得 的运动矢量计算设置在多个输入帧图像中的多个块中的像素值的绝
对差分值之和(绝对差分和)来生成插入在多个连续帧之间的新内
插帧的方法，包括以下步-骤第一4企测，4吏用固定,^寸的第一块，
通过在输入帧图像之间进行块匹配处理，检测至少一个势运动矢量
(potential motion vector );第二4企测，4吏用具有大于第 一块的尺寸 的固定尺寸的第二块，通过在输入帧图像之间进行块匹配处理，检 测运动矢量；以及当通过第一检测检测到的势运动矢量的数目为1 时，使用该势运动矢量生成内插帧，并当通过第一检测冲全测到多个 运动矢量时， -使用该多个势运动矢量中最4妄近于第二才企测才全测到的 运动矢量的势运动矢量生成内插帧。第一冲企测包括对于多个独立 的运动矢量，将相应于某运动矢量的绝对差分和与相应于相邻于该 运动矢量的运动矢量的绝对差分和进4亍比较，并在才企测出多个势运 动矢量的情况下，提取具有小于相应于相邻运动矢量的绝对差分和 中的任意一个的绝对差分和的势运动矢量作为生成过禾呈中所4吏用的 势运动矢量。
通过采取这些措施，当使用小块检测到多个势运动矢量时，有 可能增强势运动矢量的检测精确性。具体地，仅提取具有小于周围 块的运动矢量的SAD的SAD的运动矢量作为势运动矢量。因此， 有可能进一步增强对包括周期性图案的图像的运动矢量的检测精确性。
根据本发明，可以提供一种能够不受图像的画面图案的影响， 以高一青确度4企测运动矢量的内插帧生成方法和内插帧生成i殳备。
本发明的其它目的和优点将在以下的描述中给出，并且部分地 将/人以下的描述变得显而易见，或者可以通过实施本发明而获知。 本发明的多个目的和优点可以通过下文中特别指出的装置及其结合
实5见和获-彈。
结合在说明书中并构成说明书的一部分的附图示出了本发明的 多个实施例，并与以上给出的概括描述和以下给出的实施例的详细 描述一起用于解释本发明的原理。
图1是示出根据本发明的内插帧生成设备的实施例的框图2是用于解释块匹配处理的实例的示意图3是示出使用小块的块匹配处理和使用大块的块匹配处理的 SAD特性的图表；
图4是图1的运动矢量检测部12的处理过程的流程图5是用于解释4全测到不期望的势运动矢量的情况的示意图6是用于解释图1的提取部121b的功能的示意图；以及
图7是图6的补充性示意图。
具体实施例方式
下文中将参考附图描述4艮据本发明的多个实施例。总地来讲， 根据本发明的一个实施例，提供了一种使用通过块匹配处理获得的 运动矢量计算设置在多个输入帧图像中的多个块中的像素值的绝对 差分值之和(绝对差分和)，生成插入在多个连续帧之间的新内插帧
的方法，包括以下步骤第一一企测，使用固定尺寸的第一块，通过 在输入帧图像之间进行块匹配处理，4企测至少一个势运动矢量；第 二检测，使用具有大于第一块的尺寸的固定尺寸的第二块，通过在 输入帧图像之间进行块匹配处理，4企测运动矢量；以及当通过第一 氺全测;险测到的势运动矢量的H目为1时，4吏用该势运动矢量生成内
插帧，并当通过第一^:测^r测到多个运动矢量时， -使用该多个势运 动矢量中的最接近于通过第二4全测4企测到的运动矢量的势运动矢量 生成内插帧，其中，第一4企测包括对于多个独立的运动矢量，将 相应于某运动矢量的绝^f差分和与相应于相邻于该运动矢量的运动 矢量的绝对差分和进行比较，并在检测到多个势运动矢量的情况下， 提取具有小于相应于相邻运动矢量的绝对差分和中的任何一个的绝 对差分和的势运动矢量作为生成过程中所4吏用的势运动矢量。
根据一个实施例，图1是示出根据本发明的内插帧生成设备(帧 数目改变设备)的实施例的框图。
内插帧生成i殳备10包括帧存^诸部11、运动矢量4企测部12、以 及内插图像生成部13。运动矢量4全测部12通过块匹配处理，从(例 如)输入图像信号中的两个连续帧中检测出运动矢量。输入图像信 号的帧步贞(frame rate )为(侈'B口 ) 60帧/移、。
内插图4象生成部13基于运动矢量才企测部12的冲企测结果生成内 插帧，并在两个帧之间插入内插帧。插入了内插帧的输出图像信号 的帧频为(例如)120帧/秒。运动矢量4企测部12和内插图4象生成部 13可以由4吏用分立电子电^各(discrete electronic circuits)的石更4牛或 者CPU (未示出)#^亍的^:件来构成。
运动矢量一企测部12具有小纟夹处J里部121和大〗夹处J里部122。小 块处理部121通过使用固定尺寸的块(下文称作"小块，，)的块匹配 处理一企测势运动矢量。
具体i也，小块处理部121具有计算部121a。计算部121a计算
两个输入帧图像中的图像块的相应像素值之间的绝对差分值。小块 处理部121选择相应于绝对差分值的SAD的最低值的运动矢量作为
势运动矢量。大块处理部122通过4吏用尺寸大于小块的大块的块匹
配处理4全测运动矢量。
当小块处理部12K又冲企测到一个势运动矢量时，内^翁图《象生成 部13 4吏用该势运动矢量生成内插帧。与此相比，当4企测到多个势运 动矢量时，内插图像生成部13使用该多个势运动矢量中的最类似于 通过大块处理部122 4全测到的运动矢量的势运动矢量生成内4翁帧。
图2是示出块匹配处理的实例的示意图。如图2所示，提供了 一种通过关于点7于称的图 <象块之间的块匹配处理确定运动矢量的方 法。具体地，在图2的方法中，通过逐^f象素地对在前帧(prior frame) 20和在后巾贞(subsequent frame) 22 (它O之间容纟内有内4翁巾贞21) 上的图像块进行比较来计算SAD。图像块关于内插帧21中的内插 图<象块41的插入位置中的点对称。在该处理中，4吏用两个尺寸的图 像块。将连接最类似的多个图像块(即，具有最小的SAD)的矢量 确定为运动矢量。在在前帧20中的预定4叟索范围40和在后帧22 中的对应于^叟索范围40的4叟索范围42中-进4亍该比專交。
假设，图像块43和图像块44形成了一对最类似的图像块，将 从图像块43到图像块44的矢量确定为内插图像块41的运动矢量。 基于该运动矢量和图^象块43和44的凄t据生成内插帧21中的内插图 像块41。
在图2所示的方法中，相对于内插帧图像的插入位置中的点， 在其间容纳有内插帧的两个帧上平行移动预定尺寸的块。然后，为
该块中的每个像素计算位于这两个帧上的相应位置中的像素的像素 值之间的差分值，并确定差分值的累加和的^f直。将SAD具有最^/f直 的方向确定为该块的运动矢量。
图3是示出图像块的偏移量(shift amount)和通过4吏用小块的 块匹配处理及使用大块的块匹配处理获取的SAD之间的关系(SAD 特性)的图表。在图3中，水平轴表示图像块的水平偏移量，垂直 轴表示SAD。由水平轴表示的偏移量表示在前帧20或在后帧22上 的图像块的偏移量。将水平轴的偏移量分为9个区域(区域l至9)， 区域5为具有零(0 )偏移量的区域。曲线a2表示使用小块获取的 块匹配处理结果，曲线P2表示4吏用大块获耳又的块匹配处理结果。
图4是示出图1的运动矢量才企测部12的处理过程的流程图。运 动矢量一佥测部12获耳又来自小块处理部121和大块处理部122的各冲企 测处理结果(多个最^f氐点的信息)(框ST101 )。
如曲线a2所示，当小块从(例如)-12像素移动到+ 12像素 时，生成了 (例如)如图3所示的4个最^^点PS10至PS13。运动 矢量检测部12在由小块处理部121提供的这些最低点的最低值组中 确定整个搜索区域中的最小值SADmin ( ST102 )。运动矢量检测部 12从最小值SADmin中选择存在于预定区域TH中的SAD最低值 (即，满足表达式"l最低值-最小值i| < TH"的最低值)(PSIO、 PSll、 PS12)表示的运动矢量作为可靠的势运动矢量。当只有一个 可靠的势运动矢量时(ST103为否)，运动矢量片企测部12向内4翁图 像生成部13提供SAD最低点的信息作为运动矢量(ST104 )。
当存在多个可靠的运动矢量时(ST103为是)，运动矢量检测部 12确定周期性图案存在于4叟索区域内，并参考由大块处理部122 #r 测到的运动矢量(ST105)。运动矢量4全测部12采用多个可靠的势 运动矢量中的最类似于使用大块检测到的最低值PL2的最低值PS1 表示的矢量作为生成内插图^f象块41的运动矢量(ST106)。
在步骤S106中，当存在多个使用大块检测到的最低点时，运 动矢量检测部12确定具有最小SAD的最低点为最可靠的最低点(运
动矢量)。如上所述，运动矢量检测部12采用使用小块检测到的最 低点(势运动矢量)中的最接近(或最类似于)使用大块;险测到的 最可靠的最低点的最低点作为生成内插图像块41的运动矢量。
为了执行块匹配，有必要将像素值的变化(通过像素值的变化 能够分辨物体的形状)包括在块中。但是，例如，当图像包括宽于 块的水平尺寸的水平周期性图案时，不可能从图像的周期性重复图 案中辨别出物体的运动，并且运动矢量检测的精确性会变差。
同时，如图3所示，当确定每个分出的区域的最低值时，存在 选择了不期望的势运动矢量的情况。这是由选择每个区域的SAD最 小值引起的。使用图5来解释这一点。
图5是用于解释选择了不期望的势运动矢量的情况的示意图。 在确定每个区i或的SAD最<氐4直的方法中，例4口，选4奪相应于SAD 分布曲线的"斜i皮"的点W5作为势运动矢量。实际上，具有特性 "向下才更射(projecting downward)"的点L5 4艮有可能是正确的势 运动矢量。存在由于上述现象不能准确选4奪势运动矢量的情况。
因此，才艮据该实施例，运动矢量4企测部12具有^是取部121b。 当检测到多个势运动矢量时，对于该多个独立的势运动矢量，提取 部121b将相应于某运动矢量的SAD与相邻于该运动矢量的多个运 动矢量的SAD进行比较。然后，提取部121b提取具有比相应于相 邻运动矢量的4壬意SAD都小的SAD的势运动矢量作为内插图4象生 成部13所4吏用的势运动矢量。
参考图6和图7,解释提取部121b的功能。简而言之，提取部 121b的功能是通过对多个独立的势运动矢量的相邻五个点(除目标 点(块)之外，还有四个点)进行比较来确定最低值。首先，提取 部121b选冲奪处理过程中将要^f吏用的一个运动矢量。然后，才是耳又部
121b将所选的运动矢量的SAD值与相邻的四个运动矢量(即，所 选运动矢量的上面的点、下面的点、右面的点、及左面的点的运动 矢量)的SAD值进行比较。然后，当所选运动矢量的SAD值小于 上面的点、下面的点、右面的点、及左面的点的SAD值时， 一是耳又部 121b确定该所选运动矢量的点为满足图表中的特性"向下投射"的 点，并提取该运动矢量作为势运动矢量。对所有势运动矢量执行上 述的处3里。
图6示出了选择了三个最低值的情况。如图7所示，将某势运 动矢量看作具有坐标(a, b)的中心点，并假设其的SAD为A。假 设，围绕中心点的四个点的SAD <直为B、 C、 D、及E,当满足条 件"A<B、 A<C、 A<D、及A〈E"时，4是耳又矢量(a, b)作为势 运动矢量。
通过上述处理，乂人势运动矢量中除去图5的区域5中的点W5 (相应于该图表的"斜坡")，并选择满足条件"向下投射"的点L5 作为势运动矢量。具体地，〗又提耳又满足条件"向下才更射"的运动矢 量作为势运动矢量。因此，可以提供一种能够不受图像的画面图案 的影响，以高精确度才企测运动矢量的内插帧生成方法和内插帧生成 设备。
本发明并不局限于上述实施例。例如，除了冲丸4于相邻五个点的 比库交外，还可以^U亍相邻三个点的比4交，或^f又比專交相邻两个点的 SAD。采用这些方法减少了计算量。特别地，在相邻三个点的比较 中，将相应于所选运动矢量的SAD与相邻于水平方向(或垂直方向) 的块的两个运动矢量的SAD进行比较就足够了 。
进一步地，可以考虑以下问题在对图像中的静止物体的一部 分进行块匹配的情况下，在运动背景上显示诸如OSD(在屏幕显示， On Screen Display )的《争止4勿体。
具体地，当选出多个势运动矢量之后提供使用大块的步骤时， 存在没有采用位于(0， 0)矢量附近并表示静止状态的位置矢量作
为用于生成内插图像的最终运动矢量的情况。因此，如果图4的步 骤ST102中选冲奪的势运动矢量包括位于运动矢量空间上的原点(0, 0)附近的势运动矢量，则省略步骤ST102之后的处理步骤。具体 地，当检测到处于从原点(O， 0)起的预定范围之内的具有SAD最 低值的运动矢量时，将该运动矢量以较高的优先级提供给内插图像 生成部13。采用该方法，防止了由不正确的矢量引起的^争止物体的 内插图像的生成的扰动。
本领域4支术人员将4艮容易想到其它优点和改进方案。因此，本 发明的更宽范围而并不局限于在此描述并示出的特定细节和各个实 施例。因此，在不背离所附权利要求及其等价物限定的总的发明思 想的精神和范围的条件下，可以进行多种改进。
权利要求
1.一种内插帧生成方法，使用通过块匹配处理获得的运动矢量计算作为设置在多个输入帧图像中的多个块中的像素值的绝对差分值的累加和的绝对差分和，来生成插入在多个连续帧之间的新内插帧，其特征在于，包括以下步骤第一检测(ST 101)，使用固定尺寸的第一块，通过在所述输入帧图像之间进行块匹配处理，检测至少一个势运动矢量；第二检测(ST 101)，使用具有大于所述第一块的尺寸的固定尺寸的第二块，通过在所述输入帧图像之间进行块匹配处理，检测运动矢量；以及生成(ST 107)，当通过所述第一检测检测到的所述势运动矢量的数目为1时，使用所述势运动矢量生成所述内插帧，并当通过所述第一检测检测到多个运动矢量时，使用所述多个势运动矢量中的最接近于通过所述第二检测检测到的所述运动矢量的势运动矢量生成所述内插帧，其中，所述第一检测包括提取(ST 103)，对于多个独立的运动矢量，将相应于一个运动矢量的绝对差分和与相应于与所述运动矢量相邻的运动矢量的绝对差分和进行比较，并在检测到多个势运动矢量的情况下，提取具有小于相应于所述相邻运动矢量的绝对差分和中的任何一个的绝对差分和的势运动矢量，作为所述生成过程中所使用的势运动矢量。
2. 根据权利要求1所述的内插帧生成方法，其特征在于，所述提取(ST 103 )是将相应于所述运动矢量的绝对差分和与相应于与所述运动矢量相邻的四个运动矢量的绝对差分和进4于比4支。
3. 才艮据权利要求1所述的内插帧生成方法，其特征在于，所述冲是 取(ST 103 )是将相应于所述运动矢量的绝对差分和与相应于 在水平方向上与所述运动矢量相邻的两个运动矢量的绝对差分和进行比较。
4. 根据权利要求1所述的内插帧生成方法，其特征在于，所述提 取(ST 103 )是将相应于所述运动矢量的绝对差分和与相应于在垂直方向上与所述运动矢量相邻的两个运动矢量的绝7于差 分和进行比较。
5. 根据权利要求1所述的内插帧生成方法，其特征在于，所述提 取(ST 103 )是当所述第一检测中检测到的所述运动矢量具有从运动矢量空间上的原点开始的预定范围之内的绝只于差分和 的最低值时，提取所述第 一检测中检测到的所述运动矢量作为 所述生成过程中使用的势运动矢量。
6. —种内插帧生成设备，使用通过块匹配处理获得的运动矢量计 算作为设置在多个输入帧图像中的多个块中的像素值的绝对差分值的累加和的绝对差分和，来生成插入在多个连续帧之间的新内插帧，其特征在于，包括:第一检测部(121 ),用于通过使用固定尺寸的第一块在所 述输入帧图像之间进行块匹配处理，来检测至少一个势运动矢量；第二检测部(122),用于通过4吏用具有大于所述第一块 尺寸的固定尺寸的第二块在所述输入帧图像之间进行块匹配处理，来检测运动矢量；以及生成部(13),用于当通过所述第一才企测部冲企测到的所述 势运动矢量的数目为1时，4吏用所述势运动矢量生成所述内插 帧，并当通过所述第一检测部检测到多个运动矢量时，使用所 述多个势运动矢量中的最4妄近于通过所述第二4企测部4企测到 的所述运动矢量的势运动矢量生成所述内插帧，其中，所述第一才企测部包括揭一耳又部(121b)，用于对于多个独 立的运动矢量，将相应于一个运动矢量的绝X寸差分和与相应于 与所述运动矢量相邻的运动矢量的绝对差分和进行比较，并在 检测到多个势运动矢量的情况下，提取具有小于相应于所述相 邻运动矢量的绝对差分和中的任4可一个的绝对差分和的势运 动矢量，作为所述生成部中所使用的势运动矢量。
7. 根据权利要求6所述的内插帧生成设备，其特征在于，所述提 取部(121b)将相应于所述运动矢量的绝对差分和与相应于与 所述运动矢量相邻的四个运动矢量的绝对差分和进行比较。
8. 根据权利要求6所述的内插帧生成设备，其特征在于，所述提 取部(121b )将相应于所述运动矢量的绝对差分和与相应于在 水平方向上与所述运动矢量相邻的两个运动矢量的绝对差分 牙口进4亍比專交。
9. 根据权利要求6所述的内插帧生成设备，其特征在于，所述提 取部(121b)将相应于所述运动矢量的绝对差分和与相应于在 垂直方向上与所述运动矢量相邻的两个运动矢量的绝^于差分 和进4于比專交。
10. 根据权利要求6所述的内插帧生成设备，其特征在于，当所述 第 一一全测部4全测到的所述运动矢量具有乂人运动矢量空间上的 原点开始的预定范围之内的绝对差分和的最低值时，所述提取 部(121b)提取由所述第一检测部检测到的运动矢量，作为所 述生成部〗吏用的势运动矢量。
全文摘要
一种内插帧生成器包括第一检测器(121)，用于通过使用固定尺寸的第一块在输入帧图像之间进行块匹配处理，检测势运动矢量；第二检测器(122)，用于通过使用具有大于第一块的尺寸的固定尺寸的第二块在输入帧图像之间进行块匹配处理，检测运动矢量；及生成器(13)，当第一检测器只检测到一个势运动矢量时，使用该势运动矢量生成内插帧，并当第一检测器检测到多个运动矢量时，使用最接近于由第二检测器检测到的运动矢量的势运动矢量生成内插帧，第一检测器(121)包括提取部(121b)，用于将某运动矢量的SAD与相邻于该运动矢量的运动矢量的SAD进行比较，并提取具有小于相邻运动矢量的SAD中的任意一个的SAD的势运动矢量作为生成器中使用的势运动矢量。
文档编号H04N7/01GK101193253SQ20071019470
公开日2008年6月4日 申请日期2007年11月29日 优先权日2006年11月30日
发明者佐藤考, 吉村博, 小川佳彦, 山崎雅也, 平山桂子, 庄野温夫, 滨川洋平, 道庭贤一 申请人:株式会社东芝