专利名称：帧插值方法和使用该方法的图像显示系统的制作方法
技术领域：
本发明涉及在再现运动图像时为缩短显示帧间隔，而在相邻帧间内插插值至少一个插值帧的帧插值方法、装置和使用该方法、装置的图像显示系统。
背景技术：
如液晶显示器和电致发光显示器，在新写入图像之前连续保持前一帧的显示的保持型图像显示装置中，存在在运动图像显示时因观察者的眼睛追随运动物体的运动而产生的离焦成像现象和在显示画面数小的运动图像时产生不自然的运动的问题。
为解决该问题，可以缩短显示帧的间隔。作为其具体方法，存在使用MPEG2(运动图像专家组2)中所使用的运动补偿而生成插值帧，在相邻帧间内插插值该插值帧的方法。在MPEG2的运动补偿中使用由块匹配法检测出的运动矢量。所谓块匹配法，是指将第一参考帧分割为多个第一块，从相邻于第一参考帧的第二参考帧中搜索与各第一块相关性最高的第二块，并求出第二块到第一块的运动矢量的方法。
在使用这种运动补偿的帧插值方法中，在通过运动补偿生成插值帧时，首先进行将第一参考帧和第二参考帧间所求出的第一运动矢量变换为插值帧面和第一参考帧间的第二运动矢量的被称为比例变换的操作。这样，通过使用由比例变换所得的第二运动矢量来进行运动补偿，而生成插值帧。即，将第二运动矢量的终点固定在第一参考帧上，并将第一参考帧上的该第二运动矢量终点所指示的块的图像数据复制到第二运动矢量的起点所指示的插值帧面上的块位置上。
在该方法中，由于由比例变换所得的第二运动矢量的起点位置不一定与插值帧面上原来的插值对象块的位置一致，所以会在插值帧上产生不存在图像数据的间隙或反之，产生图像数据重叠的区域。
在特许2528103(特许文献1)中公开了不产生这种图像间隙或重叠的帧插值方法。在该方法中，以插值帧面上的插值对象块为中心，几何对称地求出前后参考帧间的相关性来进行帧插值。由此，可以使用最初求得的运动矢量直接生成插值帧，而不需进行运动矢量的比例变换，另外，由于在插值帧面上考虑同一格子的插值对象块，所以在插值帧中不产生图像的间隙或重叠。
另一方面，在特开2001-24988(特许文献2)中公开了从运动估计时的图像差分值和所检测出的运动矢量的大小求出运动补偿的可靠性，并在可靠性低的情况下，由其他手段进行补偿的方法。
特许文献1特许2528103号特许文献2特开2001-24988公报在特许文献1的方法中，由于仅从插值帧的前后帧间的相关关系中决定运动矢量，所以不一定得到反映实际运动的运动矢量。因此，插值帧的品质变差，结果可使运动图像整体的品质降低。
另一方面，若采用特许文献2的方法，则被认为在理论上消除了特许文献1中所见到的由运动矢量的错误检测而造成的插值帧的质量降低的问题。但是，由于在现实上很难仅通过运动估计时的图像间的差分值和运动矢量的大小测出运动补偿的可靠性，因此，也不一定能生成合适的插值帧。
发明内容
本发明的目的是提供可以生成品质高的插值帧进行插值的帧插值方法和使用该方法的图像显示系统。
为解决上述问题，根据本发明的第一形态的帧插值方法，具有下列步骤(a)输入图像信号的时间上连续的第一、第二和第三参考帧；(b)从所述第一参考帧和第三参考帧中生成对应于所述第二参考帧的位置的第一插值帧；(c)计算表示所述第二参考帧和所述第一插值帧间的相关性大小的相关值；(d)生成对应于所述第二参考帧和第三参考帧间的插值对象位置的第二插值帧；(e)在所述相关值大于或等于阈值时，将所述第二插值帧插入到所述插值对象位置的插值步骤。
根据本发明的第二形态的帧插值方法，具有下列步骤(a)输入图像信号的时间上连续的第一、第二和第三参考帧；(b)通过各种不同的插值帧生成方法，根据所述第一参考帧和第三参考帧生成对应于所述第二参考帧的位置的多个第一插值帧；(c)求出表示所述第二参考帧和所述多个第一插值帧间的相关性大小的相关值；(d)从所述多个插值帧生成方法中选择所述相关值最大的一个插值帧生成方法；(e)根据所选的所述一个插值帧生成方法生成对应于所述第二参考帧和第三参考帧间的插值对象位置的第二插值帧；(f)将所述第二插值帧插入到所述插值对象位置的插值步骤。
根据本发明的第三形态的帧插值方法，具有下列步骤(a)输入图像信号的时间上连续的第一、第二和第三参考帧；(b)根据所述第二和第三参考帧生成对应于该第二帧和第三帧间位置的第一插值帧；(c)根据所述第一帧和第二参考帧间的已经插入的第二插值帧和所述第一插值帧，生成对应于所述第二参考帧的位置的第三插值帧；(d)计算表示所述第二参考帧和所述第三插值帧间的相关性大小的相关值；(e)在所述相关值大于或等于阈值时，将所述第一插值帧插入到所述插值对象位置的插值步骤。
根据本发明的第四形态的帧插值方法，具有下列步骤(a)输入图像信号的时间上连续的第一、第二和第三参考帧；(b)通过多个不同的插值帧生成方法，生成对应于所述第二帧和第三帧间的插值对象位置的多个第一插值帧；(c)由所述多个插值帧生成方法，根据所述第一帧和第二参考帧间的已经插入的第二插值帧和所述第一插值帧，生成对应于所述第二参考帧的位置的多个第三插值帧；(d)计算表示所述第二参考帧和所述多个第三插值帧间的相关性大小的相关值；(e)从所述多个插值帧生成方法中选择所述相关值最大的一个插值帧生成方法；(f)将所述多个第一插值帧中，根据所选所述一个插值帧生成方法生成的第一插值帧插入到所述插值对象位置上的插值步骤。
图1是表示根据本发明的第一实施例的图像显示系统的构成的方框图；图2是第一实施例的帧插值的示意图；图3是表示第一实施例的帧插值处理顺序的流程图；图4是说明第一实施例的在帧存储器间移动帧数据的图；图5是说明第一实施例的第一插值帧的生成方法的一例用的图；图6是说明第一实施例的第一插值帧的生成方法的其他例用的图；图7是说明第一实施例的第一插值帧的生成方法的另一例用的图；
图8是表示第一实施例的场景变换时的帧插值动作例子的图；图9是表示第一实施例的场景变换时的其他帧插值动作例子的图；图10是表示根据本发明的第二实施例的图像显示系统的构成的方框图；图11是说明第二实施例的第二插值帧的生成方法用的图；图12是表示第二实施例的帧插值处理过程流程图；图13是表示根据本发明的第三实施例的图像显示系统的构成的方框图；图14是第三实施例的帧插值示意图；图15是表示第三实施例的帧插值处理过程的流程图；图16是表示根据本发明的第四实施例的图像显示系统的构成的方框图；图17是第四实施例的帧插值的示意图；图18是表示第四实施例的帧插值的处理过程的流程图；图19是表示本发明的第五实施例的帧插值处理顺序的流程图；图20是表示第五实施例的帧插值处理过程的流程图；图21是本发明的第六实施例的帧插值的示意图；图22是表示第六实施例的帧插值处理过程的流程图；图23是表示第六实施例的帧插值处理过程的流程图；图24是表示根据本发明的第七实施例的图像显示系统的构成的方框图；图25是第七实施例的帧插值示意图；图26是表示第七实施例的帧插值处理过程的流程图；图27是本发明的第八实施例的帧插值示意图；图28是表示第八实施例的帧插值的处理过程的流程图；图29是表示第八实施例的帧插值的处理过程的流程图。
具体实施例方式
下面，参照
本发明的实施例。
(第一实施例)图1表示根据本发明的第一实施例的图像显示系统的结构。这里，输入的图像信号(运动图像信号)10是60Hz的非隔行信号(逐行信号)，以将该信号变换为120Hz的非隔行信号的情况为例进行说明。通过对60Hz的非隔行信号在相邻两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并在两个参考帧间内插入该插值帧而实现帧插值。
将图像信号10输入到帧存储器13中，并分别将帧存储器13的输出输入到帧存储器12中，将帧存储器12的输出输入到帧存储器11中。将保持在帧存储器11，12，13中的图像设为第一、第二、第三参考帧R1，R2，R3。以参考R1，R2，R3...的顺序输入图像信号10。
在第一插值帧生成部14中，根据参考帧R1，R3生成对应于参考帧R1和R3间的参考帧R2位置的第一插值帧I1。在插值判断部15中，根据参考帧R2和插值帧I1检验插值帧I1的品质，并根据此来判断是否进行插值。在第二插值帧生成部16中，根据插值判断部15的判断结果，在进行插值的情况下，根据参考帧R2，R3生成对应于R2和R3间的时间上的中央位置(插值对象位置)的第二插值帧I2。
将第二插值帧I2和参考帧R1，R2，R3一起送到显示系统17中。在显示系统17中，在定时控制器18的控制下，将插值帧I2插入到参考帧R2和R3之间，并显示帧插值后的运动图像。
接着，说明本实施例的动作。
在帧插值中，通过将插值帧内插入相邻帧间而可更平滑地再现运动图像。但是，通常认为通过不能保证生成合适的插值帧而只能生成低品质的插值帧来进行插值，会降低运动图像整体的品质。因此，在本实施例中，设置检验插值帧I1的品质的步骤，并提供了根据该检验结果而不进行通过内插插值帧I2而进行的插值的选择项。这样，由此，可以避免因低品质的插值帧而降低了运动图像整体品质的问题。
具体的，如作为本实施例的帧插值示意图的图2所示，①从第一参考帧R1和第三参考帧R3中生成对应于第二参考帧R2的位置的第一插值帧I1，②通过将插值帧I1与参考帧R2相比较而求出其相关值，检验插值帧I1的品质③若所检验的插值帧I1的品质高，即，若相关值大于等于阈值，则进行从第二参考帧R2和第三参考帧R3中求出第二插值帧I2并在参考帧R2，R3间进行插值的处理。
下面，使用图3所示的流程图说明本实施例的具体处理顺序。
<帧存储器11～13的动作>
以帧为单位顺序输入图像信号10，即作为时间上连续的帧数据。如图4所示，将某一瞬间输入的帧数据假定为i帧。这时，从过去的存储开始，在帧存储器11、12、13中分别存储i-3，i-2，i-1帧的数据(图中第0状态)。从输入了i帧开始，使帧存储器11，12，13内部的帧数据进行如下搬移。
(1)将帧存储器12内的帧数据搬移到帧存储器11中；(2)将帧存储器13内的帧数据搬移到帧存储器12中；(3)将所输入的i帧存储到帧存储器13中。
由此，帧存储器11，12，13中分别成为存储了i-2，i-1，i帧的帧数据的状态(步骤S101)。
这里，为了说明方便，将帧存储器11、12、13的帧数据定义为先前所示的第一、第二、第三参考帧R1、R2、R3。访问参考帧R1、R2、R3的帧数据等价于访问帧存储器11、12、13的帧数据。
从帧存储器13中取得现在输入的图像信号的帧(当前帧)来作为参考帧R3，并从帧存储器12中取得当前帧前一帧的帧来作为参考帧R2，并进一步从帧存储器11中取得当前帧前两帧的帧来作为参考帧R1(步骤S102)，如下这样生成第一插值帧I1。
<第一插值帧生成部14的处理>
在第一插值帧生成部14中，在生成第一插值帧I1时，首先从第一参考帧R1和第三参考帧R3中求出两帧R2，R3间的运动矢量，并生成对应于第二参考帧R2的时间位置的第一插值帧I1(步骤S103)。这里，虽然并不特别限定生成插值帧I1用的插值帧生成方法，但是也可选择例如如下所举出的各种插值帧生成方法。
(1)第一插值帧生成方法如图5所示，将帧F1分割为小决，从帧I2搜索与作为对象的小块的相关性最高的块并求出运动矢量，将该运动矢量比例变换为1/2。在与该小块位置相同的插值帧FI上的小块中固定比例变化后的运动矢量的起点，并将由该运动矢量所定义的帧F2上的图像块复制到插值帧FI上的小块位置。通过对分割后的全部小块进行该一系列处理，而生成插值帧FI。
这里，虽然将帧F1分割为小块，并通过所谓的前向运动估计来进行处理，但是也可以分割帧F2，通过所谓的后向运动估计来进行处理。另外，也可以选择从帧F1和帧F2中求出的相关性更高的运动矢量而生成插值帧FI的通过所谓的双向运动估计来进行的处理。
(2)第二插值帧生成方法如图6所示，将插值帧FI分割为小块，并以作为对象的小块为中心点对称地搜索帧F1和帧F2上的小块对中相关性最高的组来求出运动矢量。取由该运动矢量所定义的帧F1上的图像块和帧F2上的图像块的平均，并将该平均图像复制到插值帧上的小块位置。通过对分割后的所有小块进行该一系列处理，而生成插值帧。
(3)第三插值帧生成方法上述第一、第二插值帧生成方法同时是基于块的技术，基本上以块内仅存在一个运动或不存在运动为前提。因此，在存在多个运动的情况下，存在因该运动边界，产生块失真的可能性。与此相反，第三插值帧生成方法中，如图7所示，为了不产生这种块失真，而将块内分割为一致区域(相关性大的区域)和不一致区域(相关性小的区域)，通过对一致区域选择分配运动矢量，对不一致区域递归进行搜索的方法，而抑制块失真。
<插值判断部15的处理>
通过将第一插值帧I1与第二参考帧R2相比较而检验插值帧I1的品质，而判断是否进行插值。即，计算表示参考帧R2和插值帧I2间的相关性大小的相关值(步骤S104)，若其相关值大于等于阈值，则判断插值帧F1的品质高，若未达到阈值，则判断品质低(步骤S105)。根据该判断结果，如后所述地生成第二插值帧F2。
这里，定义对品质的评价值，通过该评价值大于阈值还是小于阈值来判断是否进行插值。也可以在品质高的情况下，若为减小其评价值的种类，则在评价值小于等于阈值的情况下，进行进行插值的判断，在品质高的情况下，若为变大的种类，则在评价值大于等于阈值的情况下，进行进行插值的判断。若作为参考帧R2和插值帧I2间的相关值来看，则前者的“评价值未达到阈值，和后者的“评价值大于等于阈值”对应于“相关值大于等于阈值”。作为该评价值，如下所示，例如可以使用几个值。
首先，说明基于图像信号的亮度成分的帧间差分的例子。
第一是被称为均方差(Mean Squared Error)(下面为MSE)的评价值，其可以如下这样表示。
数1MSE=1NMΣx=1NΣy=1M(fref(x,y)-fcomp(x,y))2--(1)]]>这里，fref(x，y)表示参考图像(相当于第二参考帧R2)的点(x，y)的亮度值，fcomp(x，y)表示插值图像(这时，相当于插值帧I1)的点(x，y)的亮度值，(N，M)表示图像大小。这里，虽然举出了对图像整体进行计算的例子，但是也可随意决定大小，还可将屏幕内的一部分设为对象。数式(1)的评价值表示值越小，品质越高。
第二举出了被称为主观均方差(下面，SMSE)的评价值。其为以MSE为基础的考虑了人眼特性的评价值，如下这样进行表示。
数2SMSE=(1NMΣx=1NΣy=1M|d(x,y)|p)1p]]>d(x，y)＝(α(x，y)g(fa(x，y)-fb(x，y)))(2)这里，fref(x，y)表示参考图像(相当于第二参考帧R2)的点(x，y)的亮度值，fcomp(x，y)表示插值图像(这时，相当于插值帧I1)的点(x，y)的亮度值，(N，M)表示图像大小，g(x，y)表示误差的认知度，α(x，y)表示点(x，y)的加权。P表示决定小误差和大误差的重要性关系的变量。对于g(x，y)，α(x，y)和p可以使用例如下列数式(3)。
数3g(x，y)＝M2×2(fref(x，y))-M2×2(fcomp(x，y))α(x，y)＝1，p＝3 (3)
这里，M2×2(f(x，y))表示2×2大小窗内的线性平均，其表示人眼的低通特性。与数式(1)的MSE相同，这里虽然举出了对图像整体进行计算的例子，但是也可随意决定大小，还可将屏幕内的一部分作为对象。数式(2)的SMSE也与数式(1)的MSE相同，其值越小，表示品质越高。
接着，说明着眼于图像的色差信号的评价值。这可以通过扩展数式(1)的MSE和数式(2)的SMSE来得到。在数式(1)的MSE中，虽然将f(x，y)作为图像信号的亮度成分，但是也可将其替换为图像信号的色差成分。若相当于色差信号Cb，则将数式(1)的f(x，y)与色差信号Cb替换，并将其取作MSE[Cb]，若相当于色差信号Cr，则将数式(1)的f(x，y)与色差信号Cr替换，并将其取作MSE[Cr]。同样，对于SMSE，也可将数式(2)的f(x，y)与色差信号Cb，Cr替换，并将其取作SMSE[Cb]，SMSE[Cr]。这些MSE[Cb]，MSE[Cr]，SMSE[Cb]，SMSE[Cr]全部值越小表示品质越高。
也可组合根据上述两个亮度成分的评价值和根据色差成分的评价值来使用。例如，作为使用所有亮度成分、色差成分的评价值，可以考虑下列值。
数4MSE[YCbCr]＝MSE+MSE[Cb]+MSE[Cr] (4)SMSE[YCbCr]＝SMSE+SMSE[Cb]+SMSE[Cr] (5)数式(4)(5)分别是MSE，SMSE的扩展，都是值越小，表示品质越高。
作为其他评价值，可以是数出两帧中一致的像素数，并将其像素数多的一方作为品质高的一致像素数和(Sum of Agreement Pixels，下面SAP)。如下这样表现该评价值。
数5SAP=Σx=1NΣy=1M1(|fref(x,y)-fcomp(x,y)|<T)0(otherwise)---(6)]]>这里，fref(x，y)表示参考图像(相当于第二参考帧R2)的点(x，y)的亮度值，fcomp(x，y)表示插值图像(这时，相当于插值帧I1)的点(x，y)的亮度值，(N，M)表示图像大小，T表示阈值(例如3等)。这里，虽然举出了对图像整体进行计算的例子，但是也可随意决定大小，还可将屏幕内的一部分作为对象。该评价基准越大意味着品质越高。对于SAP，也可与上述MSE等相同，对色差信号求出SAP[Cb]，SAP[Cr]，也可将数式(5)的f(x，y)与色差信号Cb，Cr替换。还可以如下这样组成根据亮度成分的评价值和根据色差信号的评价值来使用。
数6SAP[YCbCr]＝SAP+SAP[Cb]+SAP[Cr] (7)另外，为了与其他评价值配合，通过如下这样，也可表现为值越小，品质越高。
数7SAP′＝NM-SAP (8)接着，下面的评价值使用互相关函数(Cross Correlation Function，下面CCF)。
数8CCF=Σm=1MΣn=1Nfcomp(m,n)fref(m,n)[Σm=1MΣn=1Nfcomp(m,n)2]1/2[Σm=1MΣn=1Nfref(m,n)2]1/2--(9)]]>这里，使用亮度的乘法值、除法值而不使用亮度的差分值。虽然该评价值越接近于1.0表示相关性越高，但是为与其他相标配合，可以如下这样通过变换，使得值越小，品质越高。
数9CCF′＝1.0-CCF (10)另外，与其他评价值相同，可以对色差信号求出CCF[Cb]，CCF[Cr]。也可将数式(9)的f(x，y)与Cb，Cr替换。也可组合根据亮度成分的评价值和根据色差成分的基准来使用，可如下这样进行表现。
数10CCF′[YCbCr]＝CCF′+CCF′[Cb]+CCF′[Cr](11)例如可以根据PSNR(峰值信噪比)设定该阈值。一般将PSNR的允许限度设为32[dB]，由于与此对应的MSE值为41.0279，故若将阈值设定为41.0279，则在低于允许限度的情况下，可不进行插值。
<第二插值帧生成部16的处理>
在上述插值判断，即步骤S105中第二参考帧R2和第一插值帧I1的相关值与阈值的比较结果、相关值大于阈值，即判断进行插值的情况下，使用运动矢量从第二参考帧R2和第三参考帧R3中生成对应于两帧R2，R3间的时间中央位置的第二插值帧I2(步骤S106)。
在判断为进行插值的情况下，与生成第一插值帧I1相同，可使用图5、图6和图7所示的各种插值帧生成方法生成第二插值帧I2。另一方面，在判断为相关值未达到阈值，即不进行插值的情况下，原样输出第二参考帧R2(步骤S107)。
<显示装置18的处理>
在进行显示装置17的图像显示时，通过来自定时控制器18的控制使图像显示系统之外的系统，例如声音系统的输出定时通过定时控制器延时一帧图像信号(该情况下，为1/60[秒])(步骤S108)，并配合于图像的显示定时显示第二参考帧R2(步骤S109)，在1/120[秒]后显示第二插值帧I2(步骤S110)。这里，假定在1/60[秒]以内终止从生成第一插值帧I1到生成第二插值帧I2的处理。
这样，在本实施例中，通过设置检验插值帧的品质的步骤，在判断为插值帧品质低的情况下，设置不进行插值的选择项，也可避免由插值了低品质的插值帧而带来的运动图像整体品质降低的问题。
在应该内插插值帧的插值位置上，由于当然不存在原始帧，所以在现有技术中，不存在可靠检验插值帧的品质的单元。与此相反，在本实施例中，通过对相邻帧进行插值，求出相邻帧位置的插值精度，并根据该插值精度类推插值位置的插值精度，而检验插值帧的品质。由于相邻帧和插值帧的时间间隔接近，所以认为由于运动图像的时间连续性类推相邻帧位置的检验结果作为插值帧位置的检验结果是妥当的。
另一方面，还存在不能假定运动图像的时间连续性的情况。作为这种例子，考虑例如发生了场景变换。若存在场景变换，从场景变换时间点开始前一帧和下一帧完全不连续，为两帧完全不同的图像。使用图8和图9，说明场景变化时的本实施例的动作。
图8是将插值帧插入到场景部分的情况的动作。(1)在生成第一插值帧I1时，由于从场景变换前的图像和场景变换后的图像开始生成插值帧I1，所以所生成的插值帧成为例如为半个为前一帧的图像，半个为后一帧的图像的帧。由于这种图像与第二参考帧R2的匹配很差，所以插值判定的评价值很差。即，由于相关值表示很细致的值，所以判断为不进行插值，而原样插入第二参考帧R2的图像。
这样，由于场景变换时没有插入不合适且不可靠的插值帧，所以可以明白进行了正确的插值判断。图9的情况也相同。即，即使在不能假定运动图像的连续性的情况下，也能明白插值判断机构能正常工作。
(第二实施例)图10是根据本发明的第二实施例的图像显示系统，第二插值帧生成部20具有比例变换部21，其进行从第一插值帧生成部14输入的第一运动矢量MV1的比例变换；运动补偿部22，其使用比例变换后的第二运动矢量MV2进行运动矢量补偿。
下面，与第一实施例相同，以输入的图像信号(运动图像信号)是60Hz的非隔行信号，对60Hz的非隔行信号在相邻的两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并通过将其内插到两个参考帧中，而变换为120Hz的非隔行信号情况为例进行说明。
本实施例中也与第一实施例相同，为了防止因内插低品质的插值帧而带来运动图像整体的质量降低，构成为检验所生成的插值帧的品质，在判断为品质低的情况下，不进行插值。与第一实施例不同的地方为第二插值帧生成部15使用由第一插值帧生成部14得到的运动矢量MV1而生成第二插值帧I2。由此，可将整体的计算时间设为一半。
下面，使用图11和图12说明本实施例的帧插值的处理顺序。由于图12的步骤S201到S203的第一插值帧I1的生成处理、步骤S204到S205的插值判断处理和步骤S208到S210的显示处理与第一实施例相同，所以省略说明，仅说明第二插值帧I2的生成处理。
<第二插值帧生成部20>
在生成第二插值帧时，在通过步骤S205判断为参考帧R2和第二插值帧I1的相关值大于等于阈值，即判断为进行插值的情况下，如图11所示，首先根据第二插值帧I2的内插位置比例变换由第一插值帧生成部14得到的第一运动矢量MV1，而生成第二运动矢量MV2(步骤S206A)。
接着，通过使用比例变换后的第二运动矢量MV2和第二参考帧R2及第三参考帧R3进行运动补偿，而生成第二插值帧I2(步骤S206B)。另一方面，在步骤S205中判断为相关值未达到阈值，即判断为不进行插值时，原样输出第二参考帧R2(步骤S207)。进一步具体说明比例变换步骤S206A和运动补偿步骤S206B的处理。
<矢量比例变换步骤>
在矢量比例变换步骤S206A中，比例变换第一插值帧生成时所得到的运动矢量MV1，即进行矢量的长度变换，而生成第二运动矢量MV。这里，由于将第二插值帧I2插入到第二参考帧R2和第三参考帧R3间的时间中央位置作为目的，所以将MV1的长度变为1/2而设为MV2。具体的，若设MV1＝(Vx，Vy)，则通过sVx＝1/2*Vx，sVy＝1/2*Vy来计算MV2＝(sVx，sVy)。
<运动补偿步骤>
在运动补偿步骤S206B中，使用通过由步骤S206A中所得的比例变换后的第二运动矢量MV2所指示的第三参考帧R2上的图像块B1进行运动补偿，而生成插值帧I2。使用图12进行说明。
在生成第一插值帧I1时虽然将插值帧I1分割为小块，但是第二参考帧R2和第三参考帧R3间的插值帧I2上，也可考虑生成同样的小块。对应于插值帧I2上的各小块的运动矢量是将长度变换为1/2的运动矢量MV2。运动补偿该运动矢量MV2指示的第三参考帧R3上的块B1，即，通过复制到插值帧I2上的该小块位置，而生成插值帧I2。
根据本实施例，与第一实施例相同，检验插值帧的品质，通过设置在判断为插值帧的品质低的情况下不进行插值的选择项，而可避免因插值低品质的插值帧而带来的运动图像整体的品质降低的问题，同时，通过将第一插值帧I1生成时所求得的运动矢量重新用于第二插值帧I2的生成时，而将计算时间缩短为1/2。
(第3实施例)图13是根据本发明的第三实施例的图像显示系统，设置有矢量比例变换部19，比例变换从第一插值生成部14输出的运动矢量MV1，由重叠检测部31和运动估计部32及运动补偿部33形成第二插值帧生成部30。
下面，使用图14和图15来描述本实施例的帧插值处理。与第一实施例相同，以输入的图像信号(运动图像信号)是60Hz的非隔行信号，对60Hz的非隔行信号在相邻的两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并通过将其插值到两个参考帧间，而变换为120Hz的非隔行信号情况为例进行说明。
本实施例中也与第一实施例相同，为了防止因插值低品质的插值帧而造成的运动图像整体的质量降低，构成为检验所生成的插值帧的品质，在判断为品质低的情况下，不进行插值。另外，在使用比例变化由第一插值帧生成部14得到的运动矢量MV1的运动矢量MV2，而生成第二插值帧I2的方面与第二实施例相同，但是与第二实施例不同的地方是为了限定实际搜索范围而使用运动矢量MV2，而不原样利用运动矢量MV2本身。
下面，使用图14和图15说明本实施例的帧插值的处理顺序。由于图15的步骤S301到S303的第一插值帧I1的生成处理、步骤S304到S305的插值判断处理和步骤S308到S310的显示处理与第一和第二实施例相同，所以省略说明，仅说明第二插值帧I2的生成处理。
<插值帧生成部30的处理>
在生成第二插值帧I2时，在通过步骤S305判断为参考帧R2和第二插值帧I1的相关值大于等于阈值，即判断为进行插值的情况下，如图15所示，根据第二插值帧I2的插值位置比例变换由第一插值帧生成部14得到的运动矢量MV1，而生成第二运动矢量MV2(步骤S306A)。
接着，比例变换后的第二运动矢量MV2对插值帧I2上的对象块检测出重叠区域B2，搜索由通过重叠区域B2的运动矢量限定的搜索区域S，而求出第三运动矢量MV3，使用运动矢量MV3、第二参考帧R2和第三参考帧R3来进行运动补偿，而生成插值帧I2(步骤S306B～S306E)。另一方面，当在步骤S205中判断为相关值未达到阈值，即判断为不进行插值的情况下，原样输出第二参考帧R2(步骤S307)。
本实施例的步骤S306A到步骤S306E的第二插值帧I2的生成处理由矢量比例变换步骤S306A、重叠检测步骤S306B～S306C、运动估计步骤S306D和运动补偿步骤S306E构成。下面具体说明各步骤S306A～S306E的处理。
<矢量比例变换步骤>
在矢量比例变换步骤S306A中，比例变换生成第一插值帧时得到的运动矢量MV1，即进行矢量的长度变换，而生成第二运动矢量MV。这里，由于将第二插值帧I2插入到第二参考帧R2和第三参考帧R3间的时间中央位置作为目的，所以将MV1的长度变为1/2而设为MV2。具体的，若设MV1＝(Vx，Vy)，则通过sVx＝1/2*Vx，sVy＝1/2*Vy计算MV2＝(sVx，sVy)。这里，固定矢量的终点而进行比例变换。
<重叠检测步骤>
运动矢量MV2由于为固定运动矢量MV1的终点而进行比例变换后的矢量，所以跟随于运动矢量MV2的块并非与插值帧I2上的块的格子一致。因此，在重叠检测步骤S306B中，跟随于运动矢量MV2的块对插值帧I2上的对象块，检测出是怎样的矢量是多少程度的重叠。即，根据运动矢量MV2在第二插值帧I2上移动对象块框(步骤S306B)。接着，通过具有重叠块的第三运动矢量MV3，决定对于插值帧I2上的对象块的实际搜索区域S(步骤S306B)。例如，将从运动矢量MV3所指示的位置的像素位置开始上下左右四个像素设为搜索区域S。
<运动估计步骤>
在运动估计步骤S306D中，将插值帧I2上的对象块作为中心，通过从第二参考帧R2和第三参考帧R3开始几何对称地搜索而估计第四运动矢量。这里所用的搜索区域是由重叠检测步骤S306B～S306C检测出的运动矢量MV3限定的搜索区域S。
<运动补偿步骤>
在运动补偿步骤S306E中，使用由运动估计步骤S306D估计的运动矢量所定义的第二参考帧R2和第三参考帧R3上的图像块进行运动补偿，而生成第二插值帧I2。
根据本实施例，除了得到与第一和第二实施例相同的效果外，进一步通过由第二插值帧生成步骤所求得的第二运动矢量MV2来限定实际的搜索区域S，而可以大大缩短重新计算时间。
(第四实施例)图16是根据本发明的第四实施例的图像显示系统，在插值判断部25以块为单位进行处理方面与之前的实施例不同。
这里，与第一实施例相同，以输入的图像信号(运动图像信号)是60Hz的非隔行信号，对60Hz的非隔行信号在相邻的两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并通过将其插值到两个参考帧中，而变换为120Hz的非隔行信号的情况为例进行说明。
本实施例中也与第一实施例相同，为了防止因插值低品质的插值帧而带来运动图像整体的质量降低，构成为检验所生成的插值帧的品质，在判断为品质低的情况下，不进行插值。
这里，与第一实施例中基本上使用屏幕整体来进行插值帧的品质检验相反，第四实施例为即使图像的一部分通过多个帧并引起连续或局部的图像劣化，由此也不会引起运动图像整体的图像质量降低的例子。在本实施例中，如图17的(2)所示那样，对每一个块在区域中进行检验，使得可以检测出这种连续、局部的图像质量劣化。根据该检验结果，在一个块通过多个帧中而连续引起图像质量劣化的情况下，判断为不进行帧插值。
下面，使用图17和图18说明本实施例的帧插值的处理顺序。由于图18的步骤S401到S403的第一插值帧I1的生成处理、步骤S416，S417的第二插值帧I2的生成处理和步骤S418到420的显示处理与之前实施例相同，故省略说明，仅说明步骤S403到步骤S414的插值判断处理。
作为保存对象块在哪一帧连续且是否为低品质的变量，准备组[i]。这里，i是块的索引号。组[i]在所有处理开始时，即，输入图像信号而开始插值处理前，全部代入0。
<插值判断步骤>
在插值判断步骤中，对每一块进行插值帧I1和第二参考帧的检验，在通过多个帧且连续存在品质低的块的情况下，判断为不进行插值。作为检验的评价值，可以使用与第一实施例中所说明的相同的各种方法。另外，这里所用的块也可以是与第一插值帧生成步骤S403所用的大小的块，还可以任意选择其他大小。下面，说明具体的顺序。
首先，将第二参考帧R2分割为块(步骤S404)。该块是如上这样在第一插值帧生成步骤S403中所用大小的块或其他任意大小的块。
准备插值flag来作为判断是否进行插值的标志，作为初始值被赋予true(步骤S405)。若插值flag为true，则判断为进行插值，若为false，则判断为不进行插值。插值判断步骤以后的处理为每个块的循环处理(步骤S406)。
对于第i块，比较对象块位置上的第二参考帧R2和第一插值帧I1，并检验插值帧I1的品质。即，计算参考帧R2和第二插值帧I1的相关值(步骤S407)，而考察是否大于等于阈值(步骤S408)。
这里，在相关值大于等于阈值的情况下，即品质比阈值好的情况下，处理进入到步骤S412，组变量回到0(组[i]＝0)。在相关值未达到阈值，即，根据所设定的评价值所求得的品质比阈值差的情况下，处理进入到步骤S409，组变量加1(组[i]＝组[i]+1)。
下面，判断第i块是否通过设定帧数品质连续为低。例如，若将设定帧数设为阈值2，则通过组变量是否比阈值2大，而可进行判断。即，判断是否为组[i]＞阈值2(步骤S410)，并且若大，品质连续为低，则不进行插值。即，将false代入插值flag(步骤S411)。由于若除此之外则进行插值，所以插值flag还是步骤S405中所设定的true。
通过重复进行上述步骤S406～S412的处理，直到在步骤S413中判断为对所有块进行了处理，而终止插值判断。
这样，在本实施例中，通过对每一块进行插值判断，也可实现可对应于局部图像质量劣化的帧插值。
(第五实施例)下面，使用图19～图20所示的流程图说明本发明的第五实施例。本实施例的图像显示系统也可与例如第一实施例所用的图1所示结构相同。
与之前的实施例相同，以输入的图像信号(运动图像信号)是60Hz的非隔行信号，对60Hz的非隔行信号在相邻两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并通过将其插值到两个参考帧间，而变换为120Hz的非隔行信号情况为例进行说明。
本实施例中也与第一实施例相同，为了防止因内插低品质的插值帧而带来的运动图像整体的质量降低，构成为检验所生成的插值帧的品质，在判断为品质低的情况下，不进行插值。
在第四实施例中，在时间、空间上产生了局部误差的情况下，通过判定为不进行插值，而可保证运动图像整体的品质。这时，虽然在时间上看去仅为某一瞬间的误差，但是若在其周围时间上没有产生误差，通过不进行插值的选择而使运动图像的运动不会马上滑过。存在这种乱动的可视性差，感到不协调感的可能性。因此，在本实施例中，通过设置根据周围时间的判断结果，校正作为对象的插值位置的判断结果的处理，而减轻因时间连续性带来的不协调感。
下面，使用图19～图20说明本实施例的帧插值的处理顺序。由于图19～图20的步骤S506的第一插值帧I1的生成处理、步骤S519到步骤S510的第二插值帧I2的生成处理和步骤S521到步骤S523的显示处理与第一实施例相同，故省略说明，而将说明着眼于插值判断处理。
<帧存储器的动作>
以帧为单位顺序输入作为运动图像信号的图像信号10，即作为时间上连续的帧数据。如图4所示，将某一瞬间输入的帧数据假定为i帧。这时，从过去的存储开始，将i-1，i-2，...，i-(L+1)，i-(L+2)帧分别存储到帧存储器L+2，L+1，...，12、11中(L＝0时的图中第0状态)。输入了i帧后，使帧存储器L+2，L+1，...，12、11内部的帧数据进行如下这样的搬移。
(1)将帧存储器12内的帧数据搬移到帧存储器11中；(2)将帧存储器13内的帧数据搬移到帧存储器12中；(3)将所输入的i帧存储到帧存储器13中。
由此，帧存储器11、12...，L、L+1、L+2分别成为存储了i-L+2，i-L+1，...，i-2，i-1，i帧的帧数据的状态。
这里，为了说明方便，将帧存储器L内的帧数据定义为第一参考帧R1，将帧存储器L+1内的数据定义为第二参考帧R2，将帧存储器L+2内的数据定义为第三参考帧R3。访问参考帧R1、R2、R3的帧数据等价于访问帧存储器L、L+1、L+2内的帧数据。若由流程表示上面的处理，则为图19的步骤S501～S507。
<插值判断步骤>
在插值判断步骤中，将步骤S510中生成的第一插值帧I1和第二参考帧R2相比较，来检验插值帧I1的品质，从而判断是否进行插值。即，计算表示参考帧R2和插值帧I2间的相关性大小的相关值(步骤S509)，若其相关值大于等于阈值，则判断为插值帧F1的品质高，若未达到阈值，则判断为品质低(步骤S510)。根据该判断结果，如下这样生成第二插值帧F2。
首先，在步骤S510中判断为相关值大于等于阈值的情况下，将true插入到插值列表的末尾(步骤S511)，在判断为相关值未达到阈值的情况下，将flase插入到插值列表的末尾(步骤S512)。之后，从末尾开始将插值列表的长度更新为M(步骤S513)。接着，将M的中央值作为H并考察插值列表[H]是否为flase(步骤S514～S515)，若[H]为flase，则对插值列表[H]进行模板匹配，在匹配的情况下，将插值列表[H]设为true(步骤S516)，将处理移到步骤S517，若[H]为false，则处理进入到步骤S517。
在步骤S517中，从参考帧I2中取得当前帧L作为第三参考帧R3，进一步从帧存储器11中取得帧L-1来作为第二参考帧R2。这里，考察插值列表[H]是否为true，并判断是否进行插值(步骤S518)。下面，与第一实施例相同，在判断为进行插值的情况下，从第二参考帧R2和第三参考帧R3中生成对应于两帧R2，R3间的时间中央位置的第二插值帧I2(步骤S520)。在判断为不进行插值的情况下，原样输出第二参考帧R2(步骤S519)。
在进行显示处理时，在本实施例中将图像显示系统之外的系统输出定时延时图像信号的L+1帧(步骤S521)，配合于图像的显示定时而显示第二参考帧R2(步骤S522)，并进一步显示第二插值帧I2(步骤S523)。
(第六实施例)下面，使用图21和图22～图23说明本发明的第六实施例。本实施例的图像显示系统也可与例如第一实施例所用的图1所示结构相同。
与之前的实施例相同，以输入的图象信号(运动图像信号)是60Hz的非隔行信号，对60Hz的非隔行信号在相邻的两个参考帧间的时间中央位置(插值帧面)上生成插值帧，并通过将其插值到两个参考帧间，而变换为120Hz的非隔行信号情况为例进行说明。
作为插值帧的生成方法，虽然可以选择第一实施例中所述的各种方法，但是各个方法存在一长一短的问题。例如，对于运动图像的静止区域，没有使用运动矢量的插值帧生成方法，即使用前一帧作为插值帧，或取前后帧的平均的插值法的精度变高。
对于运动区域，使用运动矢量的插值帧生成方法精度高。进一步，对于运动区域中运动被分割为多个的区域，虽然通过区域分割型的插值帧生成方法应该可以更提高了精度，但是对于运动单一区域不分割区域的效果更高。这样，每个段的最佳插值帧生成方法不同。
这里，在本实施例中，为了可对每个块选择最佳的插值帧生成方法，而使用插值判断步骤。如图21的(2)所示，通过对每个块插值判断由多个插值帧生成方法生成的插值块B11，B12，B13而与始块B10相比较，推定评价值最高的插值帧生成方法在实际的插值帧位置上最佳，如图21的(3)所示，为了生成该块的插值帧，而采用实际使用的插值帧生成方法。
在本实施例中，作为插值帧生成方法，采用第一实施例所示的三个插值帧生成方法和平均前后相邻帧的方法和原样使用前一帧的方法。图21的B11，B12和B13表示通过这些生成方法所生成的插值块。但是，本实施例所用的插值帧生成方法并不特别限于这些。例如，也可从第一实施例所示的三个插值帧生成方法中进行选择，也可为这三个插值帧生成方法+平均帧+前一帧的结构。
<第一插值帧生成步骤>
生成第一插值帧I1时的步骤S601到S602的处理与第一实施例相同。在步骤S602的处理后，从第一参考帧R1和第三参考帧R3中求得运动矢量，生成对应于第二参考帧R2的时间位置的插值帧I1(步骤S603)。这里，并不特别限定插值帧I1的生成方法，也可选择例如第一实施例所示的各种插值帧生成方法。例如，也可采用线性平均第一参考帧R1和第三参考帧R3的图像数据后求出平均帧，或进一步采用第一参考帧R1作为前一帧。
<插值判断步骤>
下面虽然对每个块选择了最佳的插值帧生成方法，但是这里所说的块是插值时所使用的块。插值判断步骤的处理是每个块的循环处理(步骤S606)。对于第i块(i为块的索引)，分别检验对象块位置的第二参考帧R2和插值帧I1，平均帧，前一帧的品质(步骤S604～S608)。即，平均参考帧R1，R3的图像数据而生成平均帧(步骤S604)，并将参考帧R2分割为多个小块(步骤S605)。
在对象块的位置中，计算参考帧R2和插值帧I1间的相关值C1，参考帧R2和步骤S604所生成的平均帧间的相关值C2和参考帧R2和参考帧R1间的相关值C3(步骤S607)。下面，考察这些相关值C1，C2，C3中值最大的相关值(步骤S608)，若C1为最大，则采用平均帧、若C2最大，则采用插值帧I1，若C3最大，则采用前一帧作为第二插值帧I2的生成方法(步骤S609，S610，S611)。
通过反复进行上述步骤S606～S611的处理直到在步骤S612中判断为对所有块进行了处理，终止插值判断。
<第二插值帧生成步骤>
接着，使用由上述插值判断步骤所选择的插值帧生成方法，生成应插入到第二参考帧R2和第三参考帧R3间的插值帧。第二插值帧生成步骤的处理为每一块的循环处理(步骤S613)。首先，对于第i(i为块索引)块，读取对象块位置的插值判断结果(步骤S614)，并根据此进行下列处理。
首先，在插值判断结果为平均帧的情况下，将第二参考帧和第三参考帧的该块的平均块复制到插值帧中(步骤S615)。
在插值判断结果为插值帧I1的情况下，与第一实施例相同，在该块位置中使用运动矢量从第二参考帧R2和第三参考帧R3中生成对应于两帧R2，R3间的时间中央位置的插值块，并将其复制到插值帧上(步骤S616)。另外，如第二实施例，也可使用第一插值帧生成步骤中所求得的该块位置的运动矢量来求出插值块，而不求出新矢量。或者，也可以如第三实施例那样，求出插值块。在插值判断结果为前一帧的情况下，将第二参考帧的该块位置复制到插值帧上(步骤S617)。
对所有块重复上述步骤处理，而生成插值帧I2。另外，将相关值C1，C2，C3的最大值与阈值相比较，在该最大值未达到该阈值时，将第二参考帧R2作为插值帧。
这样，在本实施例中，通过对每一块进行由多个插值帧生成方法生成的插值块的插值判断而与原始块进行比较判断，在实际的插值帧位置上推定相关性最高的插值帧生成方法，而用作实际插值帧生成用的该块的插值帧生成方法。由此，可以对每一个块选择最佳的插值帧生成方法。
(第七实施例)
下面，说明本发明的第七实施例。本实施例在所输入的图像信号的帧间时间间隔长的情况下，提高了对插值帧的品质检验精度，而使高精度的帧插值成为可能。
图24表示根据本发明的第七实施例的图像显示系统的结构。纵向相连地连接第一插值帧生成部14和第二插值帧生成部16。在第一插值帧生成部14中，从参考帧R2，R3中生成第一插值帧I1。在第二插值帧生成部16中，从第一插值帧I1和第三插值帧I0中生成第二插值帧I2。在插值判断部15中，从参考帧R2和插值帧I2中进行检验第一插值帧I1的品质用的插值判断。
这里，以输入的图像信号(运动图像信号)为30Hz的非隔行信号(逐行信号)，对30Hz的非隔行信号在相邻两个参考帧间的时间中央位置(插值帧面)上生成插值帧，通过将其插值到两个参考帧间而变换为60Hz的非隔行信号为例进行说明。
在第一实施例中，为了检验第一插值帧I1的品质，求出夹着参考帧R1的两个参考帧R1，R3间的帧插值。如第七实施例，所输入的图像信号为30Hz，在相邻帧间的时间间隔大的情况下(这里为1/30Hz)由于参考帧R1，R3间的时间间隔变大(这里为2/30Hz)，所以若与第一实施例相同从参考帧R1，R3间的帧插值中检验插值帧I1的品质，则插值精度降低，或者搜索区域必须要宽。
这里，在本实施例中，通过夹着一个参考帧的两个插值帧的帧插值生成品质检验用的插值帧。具体的，如图25所示，进行如下处理(1)从第二参考帧R2和第三参考帧R3中生成对应于两帧R2，R3的时间中央位置的插值帧I1(第一插值帧)，(2)从插值帧I1和插值到前一个的插值帧I0(第二插值帧)中生成对应于第二参考帧R2的时间位置的插值帧I2(第三插值帧)，(3)通过将插值帧I2与第二参考帧R2相比较，检验插值帧I2的品质，(4)若品质优于规定，即相关值大于等于阈值，则在第二参考帧R2和第三参考帧R3间插入插值帧I1。
由此，可以实现从时间间隔短的两个帧I2，I0(这时，时间间隔为1/30Hz)检验插值帧I1的品质。由于插值帧I2从插值帧I2，I0间的帧插值生成，所以插值帧本身的品质并不好。但是，由于插值帧I2始终用于检验，所以若将原始的品质检验用的评价值从插值帧偏移生成插值帧的部分，对品质检验不会有太大妨碍。另外，由于实际插值的帧是从原始的第二参考帧R2和第三参考帧R3生成的插值帧I1，所以从插值帧中不会混入因生成插值帧而带来的误差。
下面，用图25和图26说明本实施例的帧插值的处理顺序。
以帧为单位顺序输入图像信号10，即作为时间上连续的帧数据。若将某一瞬间输入的帧数据假定为i帧。则从过去的存储开始，在帧存储器12、13中分别存储i-2，i-1帧的数据(步骤S701)。
在该状态下，从帧存储器13中取得现在输入的图像信号的帧(当前帧)来作为参考帧R3，从帧存储器12中取得比当前帧前一帧的帧来作为参考帧R2，并进一步从帧存储器11中取得还前一帧的插值帧来作为插值帧I0(步骤S702)。从参考帧R2，R3中生成对应于R2，R3的时间中央位置的第一插值帧I1(步骤S703)。从插值帧I0，I1中生成对应于参考帧R2的时间位置的插值帧I2(步骤S704)。
接着，检验插值帧I2的品质，计算表示插值帧I2和第二参考帧R2的相关性大小的相关值(步骤S705)。将该相关值与阈值相比较(步骤S706)，若相关值大于等于阈值，即品质在规定之上，则在第二参考帧R2和第三参考帧R3间生成插值帧I1(步骤S707)，若相关值未达到阈值，即，插值帧I1的品质低，则在第二参考帧R2和第三参考帧R3间原样插值入参考帧R2(步骤S708)。
由于下面的步骤S709到S713的显示处理与第一实施例相同，因此省略说明。
这样，在本实施例中，如输入图像信号为30Hz的非隔行信号那样，在对帧间时间间隔长的图像信号进行帧间插值时，也可通过高精度地检验插值帧的品质，而可得到高插值精度。
(第八实施例)下面，说明本发明的第八实施例。本实施例是组合第六实施例和第七实施例的例子。如图24所示，本实施例的图像显示系统与第七实施例相同。这里，与第七实施例相同，以输入的图像信号(运动图像信号)为30Hz的非隔行信号(逐行信号)，对30Hz的非隔行信号在相邻的两个参考帧间的时间间隔中央位置(插值帧面)上生成插值帧，并通过在两个参考帧间内插入该插值帧，而变换为60Hz的非隔行信号情况为例进行说明。
在本实施例中，与第六实施例相同，表示对每个块选择插值帧生成方法的例子。如第七实施例所述，在第六实施例中，所输入的图像信号为30Hz，在相邻帧间的时间间隔大的情况下，若从参考帧R1，R3间的帧插值检验插值帧I1的品质，则插值精度下降，或必须使搜索区域变宽。
这里，在本实施例中，与第七实施例相同，通过从插值帧I1和插值帧I0中生成品质检验用的插值帧I2，而生成时间间隔不离开30Hz的检验用的插值帧。具体的，如图27所示，(1)通过多个插值帧生成方法从第二参考帧R2和第三参考帧R3中生成对应于两帧R2，R3的时间中央位置的插值帧I1，(2)通过多个插值帧生成方法生成从插值帧I1和插值帧I0(插值于前一个的插值帧)生成对应于第二参考帧R2的时间位置的插值帧I2，(3)通过插值判断将插值帧I2的该块与原始块相比较而检验品质，估计评价值最高的插值帧生成方法是实际插值帧位置上最合适的，如图27的(4)所示，为了生成该块的插值帧，使用实际所用的插值帧生成方法，即从插值帧I1组中合成而生成插值帧I3。
由于从插值帧I2，I0间的插值帧生成插值帧I2，所以不能说插值帧本身的品质良好。但是，由于插值帧I2始终用于检验，若将原始的品质检验用的评价值偏离插值帧生成插值帧的部分，则对品质检验不会有太大妨碍。另外，另外，由于实际插值的帧是从原始的第二参考帧R2和第三参考帧R3生成的插值帧I3(插值帧I1)，所以从插值帧中不会混入因生成插值帧而带来的误差。
在本实施例中，与第六实施例相同，作为插值帧生成方法，虽然采用了平均前后相邻帧的方法、原样使用前一帧的方法和第一实施例中所示的三种插值帧生成方法，但是并不特别限定，也可以从第一实施例所示的三种插值帧生成方法中作出选择，也可以是这三种插值帧生成方法和平均帧及前一帧的方法。
图29和图30表示本实施例的具体的帧插值的处理顺序。从图中可以看出，本实施例的处理顺序是在表示第六实施例的处理顺序的图22和图23上组合了表示第七实施例的处理顺序的图26，从图中可清楚看出其步骤。
另外，本发明并不限于上述实施例，在实施阶段可以在不脱离其精神的范围内变形其构成要素而具体化。另外，通过适当组合上述实施例所公开的构成要素，而可形成各种发明。例如，也可从实施例所示的所有构成要素中减去几个构成要素。进一步，也可适当组合不同实施例中的构成要素。
如上所述，根据本发明，可以生成品质高的插值帧而进行帧插值。
权利要求
1.一种帧插值方法，其特征在于，包括步骤输入图像信号的、在时间上连续的第一、第二和第三参考帧；根据所述第一参考帧和第三参考帧生成对应于所述第二参考帧的位置的第一插值帧；计算表示所述第二参考帧和所述第一插值帧的相关性大小的相关值；生成对应于所述第二参考帧和第三参考帧间的插值对象位置的第二插帧；在所述相关值大于或等于阈值时，将所述第二插值帧插入到所述插值对象位置的插值步骤。
2.一种帧插值方法，其特征在于，包括步骤输入图像信号的、在时间上连续的第一、第二和第三参考帧；通过各种不同的插值帧生成方法，根据所述第一参考帧和第三参考帧生成对应于所述第二参考帧的位置的多个第一插值帧；求出表示所述第二参考帧和所述多个第一插值帧的相关性大小的相关值；从所述多个插值帧生成方法中选择所述相关值最大的一种插值帧生成方法；根据所选的所述一种插值帧生成方法生成对应于所述第二参考帧和第三参考帧间的插值对象位置的第二插值帧；将所述第二插值帧插入到所述插值对象位置的插值步骤。
3.一种帧插值方法，其特征在于，包括步骤输入图像信号的、在时间上连续的第一、第二和第三参考帧；根据所述第二和第三参考帧生成对应于该第二帧和第三帧间的位置的第一插值帧；根据已经插入在所述第一帧和第二参考帧间的第二插值帧和所述第一插值帧，生成对应于所述第二参考帧的位置的第三插值帧；计算表示所述第二参考帧和所述第三插值帧之间的相关性大小的相关值；在所述相关值大于或等于阈值时，将所述第一插值帧插入到所述插值对象位置的插值步骤。
4.一种帧插值方法，其特征在于，包括步骤输入图像信号的、在时间上连续的第一、第二和第三参考帧；通过各种不同的帧插值生成方法，生成对应于该第二帧和第三帧之间的插值对象位置的多个第一插值帧；根据已经插入在所述第一帧和第二参考帧间的第二插值帧和所述第一插值帧，利用所述多种插值帧生成方法生成对应于所述第二参考帧的位置的多个第三插值帧；计算表示所述第二参考帧和所述多个第三插值帧之间的相关性大小的相关值；从所述多种插值帧生成方法中选择所述相关值最大的一种插值帧生成方法；将所述多个第一插值帧中、按照所选所述一种帧插值生成方法生成的第一插值帧插入到所述插值对象位置上的插值步骤。
5.根据权利要求1-4中任一所述的帧插值方法，其特征在于所述计算相关值的步骤中，根据亮度成分的帧间差分值、色差成分的帧间差分值、亮度成分和色差成分的帧间差分值、亮度成分的帧间乘法值、亮度成分的帧间除法值、色差成分的帧间乘法值、色差成分的帧间除法值、亮度成分和色差成分的帧间乘法值、亮度成分和色差成分的除法值中的至少一个来计算所述相关值。
6.根据权利要求1或2所述的帧插值方法，其特征在于所述生成第一插值帧的步骤通过(a)使用所述第一参考帧和第三参考帧之间的运动矢量生成所述第一插值帧的方法；(b)取对应于从所述第一参考帧和第三参考帧到第二参考帧位置的距离的平均而生成第一参考帧的方法；和(c)将所述第一参考帧作为第一插值帧的方法中的至少一种方法来生成所述第一插值帧。
7.根据权利要求1或2所述的帧插值方法，其特征在于所述生成第二插值帧的步骤中，使用所述第二参考帧和第三参考帧之间的运动矢量来生成所述第二插值帧。
8.根据权利要求1或2所述的帧插值方法，其特征在于所述生成第二插值帧的步骤中，通过根据从所述第二和第三参考帧到所述插值对象位置的距离取所述第二和第三参考帧的平均而生成所述第二插值帧。
9.根据权利要求2或4所述的帧插值方法，其特征在于，进一步包括步骤将所述相关值的最大值与阈值相比较，在该最大值没有达到该阈值时，将所述第二参考帧插入到所述插值对象位置上。
10.根据权利要求1-4中任一所述的帧插值方法，其特征在于所述计算相关值的步骤中，按照分别分割作为所述相关值计算对象的两个帧后而成的多个块单位，计算所述相关值。
11.根据权利要求1-4中任一所述的帧插值方法，其特征在于按分割了应该插值的帧而成的多个块单位进行所述插值步骤。
12.一种帧插值装置，其特征在于，包括输入部，输入图像信号的、在时间上连续的第一、第二和第三参考帧；第一插值帧生成部，根据所述第一参考帧和第三参考帧生成对应于所述第二参考帧的位置的第一插值帧；相关值计算部，计算表示所述第二参考帧和所述第一插值帧的相关性大小的相关值；第二插值帧生成部，生成对应于所述第二参考帧和第三参考帧之间的插值对象位置的第二插值帧；插值位置插入部，在所述相关值大于或等于阈值时，将所述第二插值帧插入到所述插值对象位置。
13.一种帧插值装置，其特征在于，包括输入部，输入图像信号的、在时间上连续的第一、第二和第三参考帧；第一插值帧生成部，通过各种不同的帧插值生成方法，根据所述第一参考帧和第三参考帧中生成对应于所述第二参考帧的位置的多个第一插值帧；相关值求出部，求出表示所述第二参考帧和所述多个第一插值帧的相关性大小的相关值；选择部，从所述多种插值帧生成方法中选择所述相关值最大的一种插值帧生成方法；第二插值帧生成部，根据所选的所述一种插值帧生成方法，生成对应于所述第二参考帧和第三参考帧之间的插值对象位置的第二插值帧；插值位置插入部，将所述第二插值帧插入到所述插值对象位置。
14.一种帧插值装置，其特征在于，包括参考帧输入部，输入图像信号的、在时间上连续的第一、第二和第三参考帧；第一插值帧生成部，根据所述第二和第三参考帧，生成对应于所述第二帧和第三帧之间的位置的第一插值帧；第二、第三插值帧生成部，根据已经插入在所述第一帧和第二参考帧间的第二插值帧和所述第一插值帧，生成对应于所述第二参考帧的位置的第三插值帧；相关值计算部，计算表示所述第二参考帧和所述第三插值帧之间的相关性大小的相关值；插值位置插入部，在所述相关值大于或等于阈值时，将所述第一插值帧插入到所述插值对象位置。
15.一种帧插值装置，其特征在于，包括参考帧输入部，输入图像信号的、在时间上连续的第一、第二和第三参考帧；第一插值帧生成部，通过多种不同的插值帧生成方法，生成对应于该第二帧和第三帧之间的插值对象位置的多个第一插值帧；第三插值帧生成部，根据已插入在所述第一帧和第二参考帧之间的第二插值帧和所述第一插值帧，利用所述多种插值帧生成方法，生成对应于所述第二参考帧的位置的多个第三插值帧；相关值计算部，计算表示所述第二参考帧和所述多个第三插值帧之间的相关性大小的相关值；选择部，从所述多个插值帧生成方法中选择所述相关值最大的一种插值帧生成方法；插值位置插入部，将所述多个第一插值帧中、根据所选所述一种插值帧生成方法而生成的第一插值帧插入到所述插值对象位置上。
16.一种图像显示系统，将通过如权利要求12-15中任一所述的帧插值装置得到的多个帧作为图像进行显示。
全文摘要
本发明提供一种帧插值方法和使用该方法的图像显示系统。本发明所要解决的问题是生成品质高的插值帧来进行帧插值。输入图像信号的时间上连续的参考帧R1，R2，R3；为了将插值帧插入到参考帧R2，R3之间，首先从参考帧R1，R3中生成对应于参考帧R2的位置的第一插值帧I1。通过计算表示参考帧R2和第一插值帧I1间的相关性大小的相关值，而检验插值帧I1的品质。在相关值大于等于阈值时，判断插值帧I1的品质高，在对应于参考帧R2，R3间的位置生成的第二插值帧I2也品质高，并将插值帧I2插入到参考帧R2，R3之间。
文档编号G06T5/00GK1592398SQ20041008514
公开日2005年3月9日 申请日期2004年3月4日 优先权日2003年3月28日
发明者三岛直, 大脇一泰, 伊藤刚 申请人:株式会社东芝