专利名称：使用运动和空间相关的隔行向顺序转换装置和方法
技术领域：
本发明涉及使用运动和空间相关的隔行向顺序(逐行)转换(interlaced-to-progressive conversion)装置和方法。特别是，本发明涉及依据运动和空间相关通过空间或时间地内插将隔行图像信号转换成顺序图像信号的装置和方法。
通常，隔行向顺序转换(IPC)装置已广泛用于减少因隔行扫描造成的许多后生现象(artifacts)，即，在诸如NTSC、PAL、SECAM等系统中的垂直分辨率劣化、扫描行闪烁、和宽域闪烁。
近来，由于高清晰度电视(HDTV)系统采用了对于信号格式的多种标准并经常需要在不同格式的标准输入/输出信号间进行转换，因此，隔行向顺序转换装置已变得更加重要。
已在早期阶段发展起来的隔行向顺序转换算法供诸如NTSC、PAL、SECAM等系统使用。已提出的各种算法通常以重放被排除在隔行扫描以外的行的内插为基础。
在1989年8月的IEEE学报消费者电子学(consumer electronics)第35卷第3号第279-289页由D.I.C.Hentschei发表的题为“用于减少闪烁的中值滤波和垂直边缘控制的内插器的比较”的参考文献[1]中公开了所提出的减少这些后生现象的算法、根据简单的行重复与垂直滤波的内插方法、和基于垂直边缘信息的方法。
在1994年《HDTV国际讨论会会刊》上由D.Bagni、R.Lancini、S.Landi、和S.Tubaro发表的题为“HD TV空间-时间向上变换”的参考文献[2]中公开了根据边缘方向的内插方法。
在1989年5月美国Portland的IEEE ISCAS-89会刊第433-436页由J.Juhola、A.Nieminen、J.Salo、和Y.Neuvo发表的题为“使用加权中值滤波的扫描速率转换”的参考文献[3]中公开了基于加权中值滤波器的非线性高速内插方法。
在1990年10月瑞士Lausanne的《SPIE可视通信和图像处理会刊》第132-135页由A.Lehtonen和M.Renfors发表的题为“非线性五点形内插滤波，，的参考文献[4]中公开了基于FIR中值混合滤波器的算法。
在1994年《HDTV国际讨论会会刊》上由H.Blume、L.Schwoerer、和K.Zygis发表的题为“基于使用互补中值滤波器的向上变换的子带”的参考文献[5]中公开了基于互补中值滤波器的算法。
设在North Holland的L.Chiariglione Ed.，Elsevier科学出版社在1988年的《HDTV信号处理》第421-430页发表的T.Doyle的题为“EDTV应用的隔行向顺序转换”的参考文献[6]中公开了基于根据方向的中值滤波的算法。
在1986年的IEEE学报消费者电子学第32卷第3号第237-240页由P.Frenchen发表的题为“两个集成顺序扫描转换器”的参考文献[7]；和1986的《IEEE技术论文文摘》第186-187页由T.Doyle和P.Frencken发表的题为“电视图像中值滤波”的参考文献[8]公开了基于垂直-时间中值滤波器的算法。
另外，在1989年8月的IEEE学报消费者电子学第33卷第3号第266-271页由N.Suzuki等人发表的题为“在IDTV接收机中用于完善运动自适应预扫描转换的改进合成运动信号”的参考文献[9]中；和1990年5月的IEEE学报消费者电子学第36卷第2号第110-114页由C.P.Markhauser发表的题为“带有二维轮廓增强的运动自适应预扫描转换器”的参考文献[10]公开了运动自适应方案。
上面的隔行向顺序转换方法可大致分为空间内插方法、时间内插方法和空间内插和时间内插组合的三维内插方法。
在三维内插方法中，由于错误的时间内插可导致诸如后生现象撕裂(tearing-artifact)之类的图像质量劣化，检测图像中的运动并根据所检测的运动适当地执行时间内插是很重要的。这归因于由于实际图像信号中时间取样速率小于奈奎斯特(Nyquist)速率而使可在理论上确定的最大时间频率被限定的事实造成的。
然而，正如本发明所提出的通过与运动信息一起使用取样的空间信息可以增加运动信息的可靠性。
本发明的一个目的是一种隔行向顺序转换装置，用于依据运动和空间相关通过进行空间内插或时间内插将隔行图像信号转换成顺序图像信号。
本发明的另一个目的是一种三维隔行向顺序转换方法，用于依据运动和空间相关选择和输出空间内插或时间内插的图像信号之一。
为实现上述目的，提供一种用于将输入的隔行图像信号转换成顺序图像信号的隔行向顺序转换装置，包括空间内插装置，用于空间内插所输入的隔行图像信号并输出空间内插信号；时间内插装置，用于时间内插所输入的隔行图像信号并输出时间内插信号；相关装置，用于通过使用当前场、前一场和下一场中预定数量的取样数据来输入所输入的隔行图像信号并输出运动相关、垂直相关、和时间垂直相关；和选择装置，用于将运动相关、垂直相关、和时间垂直相关与相应的预定常数相比较，并根据比较结果在空间内插信号和时间内插信号之间选择一个。
为实现上述另一个目的，提供一种用于将输入的隔行图像信号转换成顺序图像信号的隔行向顺序转换方法，包括步骤(a)空间内插所输入的隔行图像信号并输出空间内插信号；(b)时间内插所输入的隔行图像信号并输出时间内插信号；(c)从所输入的隔行图像信号检测运动相关、垂直相关、和时间垂直相关；(d)如果所检测的运动相关值大于第一预定常数，由选择空间内插信号；(e)如果运动相关值不大于第一预定常数并且所检测的垂直相关值大于第二预定常数，则选择时间内插信号；(f)如果运动相关值不大于第一预定常数且垂直相关值不大于第二预定常数并且所检测的时间垂直相关值大于第三预定常数，则选择空间内插信号；和(g)如果运动相关值不大于第一预定常数和垂直相关值不大于第二预定常数并且时间垂直相关值不大于第三预定常数，由选择时间内插信号。
通过参考附图详细描述其优选实施例可使本发明的上述目的和优点变得更加明显。其中
图1是根据本发明隔行向顺序转换装置一个实施例的方框图；图2是图1所示运动空间相关器的详细方框图；图3说明用于切换空间或时间内插信号的取样的几何关系；和图4是描述图1所示选择器中运动空间相关器根据输出信号用于切换空间或时间内插信号的方法的流程图。
下面，参考附图描述使用运动和空间相关的隔行向顺序转换装置和方法及其优选实施例。
图1是根据本发明隔行向顺序转换装置一个实施例的方框图。
该隔行向顺序转换装置包括一个空间内插器110、一个时间内插器120、一个相关器130、一个选择器140。
空间内插器110使用预定算法来空间内插所输入的隔行图像信号Vin。
时间内插器120使用预定算法来时间内插该输入的隔行图像信号Vin。
相关器130从所输入的隔行图像信号检测运动相关DM、垂直方向相关(下文称之为“垂直方向相关”)DV、和时间内插与垂直内插之间的相关(下文称之为“时间垂直相关”)DT。
选择器140将运动相关DM、垂直相关DV、和时间垂直相关DT分别与预定常数TM、T1、和T2比较，并根据比较结果选择由空间内插器110输出的信号Is或由时间内插器120输出的信号It以将其输出作为内插信号Vout。
现在描述图1所示该装置的操作。
图1中，将隔行图像信号Vin施加到空间内插器110、时间内插器120、和相关器130。
同时，由于本发明涉及根据运动信息和空间信息来切换空间内插的顺序图像信号(下文称之为“空间内插信号”)和时间内插的顺序图像信号(下文称之为“时间内插信号”)并输出所选择的信号，因此与分别在空间内插器110和时间内插器120中使用哪一种空间内插算法和时间内插算法无关。
相关器130输入内插信号Vin并从隔行图像信号Vin检测运动相关DM、垂直方向相关DV、和时间垂直相关DT。此后，相关器130输出信号DM、DV和DT。
选择器140将运动相关DM、垂直相关DV、和时间垂直相关DT分别与预定常数TM、T1、和T2比较，并选择由空间内插器110输出的信号Is或由时间内插器120输出的信号It，并输出所选择的信号Vout。
图2是图1所示相关器的详细方框图。
取样延迟器201、203、204和206，行延迟器202和205构成第一取样检测器，并检测取样w1至w5。场存储器210，取样延迟器211和213，行延迟器212构成第二取样检测器，并检测取样x1和x2。另外，场存储器220，取样延迟器221、223、224和226，行延迟器222和225构成第一取样检测器，并检测取样v1至v5。
运动相关器230接收取样v1和v5和w1和w5，并计算和输出运动相关DM。减法器241和绝对值电路242接收取样v1至v5和w1至w5，并计算和输出垂直相关DV。另外，加法器251和252，减法器253和绝对值电路254接收取样x1、x2、v3和w3，并计算和输出时间垂直相关DT。
图3说明图2中所示取样之间的几何关系。
图3中，取样“x”表示将由内插(被称为“当前内插取样”)恢复的取样。取样“x1”表示前一行中与当前内插取样具有相同水平位置的取样。另外，取样“x2”表示下一行中与当前内插取样具有相同水平位置的取样。
取样“v3”表示前一场中与当前内插取样具有相同位置的取样。取样“v2”和“v4”是取样v3的前一个和后一个取样。另外，取样“v1”表示前一行中与取样v3具有相同水平位置的取样。取样“v5”表示下一行中与取样v3具有相同水平位置的取样。
同样，取样“w3”表示下一场中与当前内插取样具有相同位置的取样。取样“w2”和“w4”是取样w3的前一个和后一个取样。另外，取样“w1”表示前一行中与取样w3具有相同水平位置的取样。取样“w5”表示下一行中与取样w3具有相同水平位置的取样。
同样，如果当前场是奇数场，由于该输入信号是输入的隔行信号，前一场和下一场则是偶数场。另外，如果当前场是偶数场，前一场和下一场则是奇数场。
现在参考图3描述图2所示装置的操作。
在图2中，隔行图像信号Vin被输入到场存储器210、取样延迟器201和行延迟器202。
场存储器210存储所输入的图像信号Vin的一场并输出被延迟一个场周期的图像信号。场存储器220从场存储器210输入该延迟的图像信号，存储该延迟的图像信号的一场，并输出与所输入的原始输入信号Vin相比被延迟两个场周期的图像信号。场存储器210和220由先入先出(FIFO)存储器构成。
取样延迟器201输入隔行图像信号Vin，将该信号延迟1个取样周期，并输出图3所示下一个场的取样w5。行延迟器202接收该输入信号Vin，将该信号延迟1个水平行周期，并当取样延迟器201输出取样w5时输出取样w4。取样延迟器203将行延迟器202输出的信号延迟1个取样周期，并输出取样信号w3。取样延迟器204将取样延迟器203输出的信号延迟1个取样周期，并输出取样信号w2。行延迟器205将行延迟器202输出的信号延迟1个水平行周期。取样延迟器206将行延迟器205输出的信号延迟1个取样周期，并输出取样信号w1。
同时，取样延迟器211进一步将来自场存储器210的被延迟1个场周期的信号延迟1个取样周期，并输出取样x2。行延迟器212将场存储器210输出的信号延迟1个水平行周期。取样延迟器213将行延迟器212输出的信号延迟1个取样周期，并输出取样信号x1。
取样延迟器221进一步将来自场存储器210的被延迟2个场周期的信号延迟1个取样周期，并输出取样v5。行延迟器222将场存储器220输出的信号延迟1个水平行周期，并输出取样v4。取样延迟器223将行延迟器222输出的信号延迟1个取样周期，并输出取样信号v3。取样延迟器224将取样延迟器223输出的信号延迟1个取样周期，并输出取样信号v2。行延迟器225将行延迟器222输出的信号延迟1个水平行周期。取样延迟器226将行延迟器225输出的信号延迟1个取样周期，并输出取样信号v1。
运动相关器230接收前一场的取样v1至v5和下一场的取样w1至w5，计算并输出运动相关DM。此时，通过公式(1)来计算运动相关器230输出的运动相关DM。DM-Σ15a1|vi-wi|----(1)]]>其中，ai是预先设定的系数。
运动相关DM是用于估算将由内插恢复的取样的位置的相邻处是否产生运动的测量结果(图3中的x是x1和x2的几何中点)。
减法器241从由取样延迟器213输出的取样数据x1中减去由取样延迟器2 11输出的取样数据x2，并输出相减结果。此后，绝对值电路242计算相减结果的绝对值并输出该绝对值作为垂直相关DV。
因此，可用公式(2)表示垂直相关DV。
DV|x1-x2|…(2)加法器251将取样数据v3加到取样数据w3。加法器252将取样数据x1加到取样数据x2。
减法器253从由加法器251输出的信号中减去由加法器252输出的信号，并输出相减结果。此后，绝对值电路254计算相减结果的绝对值并输出该绝对值作为时间垂直相关DT。
因此，可用公式(3)表示时间垂直相关DT。
DT |(v3+w3)(x1+x2)|…(3)将运动相关器230输出的运动相关DM、绝对值电路242输出的垂直相关DV、和绝对值电路254输出的时间垂直相关DT输入到图1所示的选择器140。
参考图4所示流程描述选择器140的操作。
图4中，选择器140将运动相关DM与常数TM比较(步骤S101)。如果运动相关DM大于表明产生运动的常数TM，选择器140选择并输出来自空间内插器110的空间内插信号(步骤S102)。
如果在步骤S101中运动相关DM不大于运动常数TM，选择器140将垂直相关DV与常数T1比较(步骤S103)。如果垂直相关DV大于常数T1，选择器140选择并输出来自时间内插器120的时间内插信号It(步骤S104)。
在此，当运动相关DM不大于常数TM时将垂直相关DV与常数T1相比较的原因是因为可由错误的时间内插产生的后生现象按垂直相关DV的大小而在视觉上的感受不同。当垂直相关DV大于常数T1时，由于图像信号在垂直方向相关更小，在视觉上不容易察觉到因错误的时间内插产生的后生现象。因此，当DM不大于TM并且DV大于T1时，由选择器140选择并输出来自时间内插器120的信号It(步骤S104)。
然而，当DM小于TM并且DV小于T1时，更容易在视觉上觉察到因错误的时间内插产生的后生现象。因此，选择器140根据表明时间内插和垂直内插之间相关的时间垂直相关DT选择并输出来自空间内插器110的信号Is或来自时间内插器120的信号It。
即，当运动相关DM不大于常数TM并且垂直相关DV不大于常数T1时，选择器140将时间垂直相关DT与常数T2比较(步骤S105)。如果时间垂直相关DT大于常数T2，由于时间内插和垂直内插之间的相关较小，选择器140选择并输出来自空间内插器110的信号Is，以便减小后生现象的影响(步骤S106)。同时，如果时间垂直相关DT不大于常数T2，由于时间内插和垂直内插之间的相关较大，选择器140选择并输出来自时间内插器120的输出信号It(步骤S107)。
如上所述，根据本发明的隔行向顺序转换装置和方法使用运动和空间相关两者来时间或空间地内插隔行图像信号，并增强有关运动信息的可靠性和有效地减少后生现象。
权利要求
1.一种用于将输入的隔行图像信号转换成顺序图像信号的隔行向顺序转换装置，包括空间内插装置，用于空间内插所输入的隔行图像信号并输出空间内插信号；时间内插装置，用于时间内插所输入的隔行图像信号并输出时间内插信号；相关装置，用于通过使用当前场、前一场和下一场中预定数量的取样数据来输入所输入的隔行图像信号并输出运动相关、垂直相关、和时间垂直相关；和选择装置，用于将运动相关、垂直相关、和时间垂直相关与相应的预定常数比较，并根据比较结果在空间内插信号和时间内插信号之间选择一个。
2.根据权利要求1所述的隔行向顺序转换装置，其中所述运动空间相关装置包括第一检测装置，用于检测第一取样组和第二取样组之间的运动相关，该第一取样组在包括与当前内插取样相同的位置上的第一取样、第一取样之前的取样和第一取样之后的取样及在前一行和后一行中与第一取样在相同水平位置上的取样的前一场中，该第二取样组在包括与当前内插取样相同的位置上的第二取样、第二取样之前的取样和第二取样之后的取样及在前一行和后一行中与第二取样在相同水平位置上的取样的下一场中；第二检测装置，用于通过计算与当前内插取样在相同水平位置上的当前场的前一行和下一行中的取样之间的差来检测垂直相关；和第三检测装置，用于通过计算第一取样和第二取样的和与在相同水平位置上的当前场的前一行和下一行中的取样的和之间的差来检测时间垂直相关。
3.根据权利要求2所述的隔行向顺序转换装置，其中所述第二检测装置包括第一减法器，用于从当前场前一行中相同水平位置中的取样减去当前场下一行中相同水平位置的取样并输出第一相减结果；和第一绝对值电路，用于确定第一相减结果的绝对值。
4.根据权利要求2所述的隔行向顺序转换装置，其中所述第三检测装置包括第一加法器，用于将第一取样加到第二取样；第二加法器，用于将在当前场的前一行和下一行中相同水平位置上的取样相加；第二减法器，用于从所述第一加法器的输出减去所述第二加法器的输出并输出第二相减结果；和第二绝对值电路，用于确定第二相减结果的绝对值并输出时间垂直相关。
5.根据权利要求2所述的隔行向顺序转换装置，进一步包括第一取样检测装置，用于检测第一取样组；第二取样检测装置，用于检测与当前内插取样在相同水平位置上的当前场的前一行和下一行中的取样；和第三取样检测装置，用于检测第二取样组。
6.根据权利要求5所述的隔行向顺序转换装置，其中所述第一取样检测装置包括第一取样延迟器，用于输入隔行图像信号并将该信号延迟一个取样周期；第一行延迟器，用于输入隔行图像信号并将该信号延迟一个水平行周期；第二取样延迟器，用于输入所述第一行延迟器的输出并将该信号延迟一个该取样周期；第三取样延迟器，用于输入所述第二取样延迟器的输出并将该信号延迟一个该取样周期；第二行延迟器，用于输入所述第一行延迟器的输出并将该信号延迟一个该水平行周期；和第四取样延迟器，用于输入所述第二行延迟器的输出并将该信号延迟一个该取样周期。
7.根据权利要求5所述的隔行向顺序转换装置，其中所述第二取样检测装置包括第一场存储器，用于输入隔行图像信号并将该信号延迟一个场周期；第五取样延迟器，用于输入所述第一场存储器的输出并将该信号延迟一个该取样周期；第三行延迟器，用于输入所述第一场存储器的输出并将该信号延迟一个该水平行周期；和第六取样延迟器，用于输入所述第三行延迟器的输出并将该信号延迟一个该取样周期。
8.根据权利要求5所述的隔行向顺序转换装置，其中所述第三取样检测装置包括第二场存储器，用于输入所述第一场存储器的输出并将该信号延迟一个该场周期；第七取样延迟器，用于输入所述第二场存储器的输出并将该信号延迟一个该取样周期；第四行延迟器，用于输入所述第二场存储器的输出并将该信号延迟一个该水平行周期；第八取样延迟器，用于输入所述第四行延迟器的输出并将该信号延迟一个该取样周期；第九取样延迟器，用于输入所述第八取样延迟器的输出并将该信号延迟一个该取样周期；第五行延迟器，用于输入所述第四行延迟器的输出并将该信号延迟一个该水平行周期；和第十取样延迟器，用于输入所述第五行延迟器的输出并将该信号延迟一个该取样周期。
9.根据权利要求1所述的隔行向顺序转换装置，其中如果运动相关值大于一第一预定常数，所述选择装置选择和输出空间内插信号。
10.根据权利要求1所述的隔行向顺序转换装置，其中如果运动相关值不大于该第一预定常数而垂直相关值大于一第二预定常数，所述选择装置则选择和输出时间内插信号。
11.根据权利要求1所述的隔行向顺序转换装置，其中如果运动相关值不大于该第一预定常数和垂直相关值不大于该第二预定常数，而所检测的时间垂直相关值大于一第三预定常数，所述选择装置则选择和输出空间内插信号。
12.根据权利要求1所述的隔行向顺序转换装置，其中如果运动相关值不大于该第一预定常数和垂直相关值不大于该第二预定常数并且时间垂直相关值不大于该第三预定常数，所述选择装置则选择和输出时间内插信号。
13.一种用于将输入的隔行图像信号转换成顺序图像信号的隔行向顺序转换方法，包括以下步骤(a)空间内插所输入的隔行图像信号并输出空间内插信号；(b)时间内插所输入的隔行图像信号并输出时间内插信号；(c)从所输入的隔行图像信号检测运动相关、垂直相关、和时间垂直相关；(d)如果所检测的运动相关值大于一第一预定常数，则选择空间内插信号；(e)如果运动相关值不大于该第一预定常数并且所检测的垂直相关值大于一第二预定常数，则选择时间内插信号；(f)如果运动相关值不大于该第一预定常数和垂直相关值不大于该第二预定常数并且所检测的时间垂直相关值大于一第三预定常数，则选择时间内插信号；和(g)如果运动相关值不大于该第一预定常数和垂直相关值不大于该第二预定常数并且时间垂直相关值不大于该第三预定常数，则选择时间内插信号。
14.根据权利要求13所述的隔行向顺序转换方法，其中所述步骤(c)包括步骤(c1)检测第一取样组与第二取样组之间的运动相关，该第一取样组在包括与当前内插取样相同的位置上的第一取样、在该第一取样之前的取样和在该第一取样之后的取样及在前一行和后一行中与第一取样相同水平位置上的取样的前一场中，该第二取样组在包括与当前内插取样相同的位置上的第二取样、第二取样之前的取样和第二取样之后的取样和在前一行和后一行中与第二取样在相同水平位置上的取样的下一场中；(c2)通过计算与当前内插取样在相同水平位置上的当前场的前一行和下一行中的取样之间的差来检测垂直相关；(c3)通过计算第一取样和第二取样的和与在相同水平位置上的当前场的前一行和下一行中的取样的和之间的差来检测时间垂直相关。
全文摘要
隔行向顺序转换装置,包括空间内插器,空间内插输入的隔行图像信号并输出空间内插信号;时间内插器,时间内插输入的隔行图像信号并输出时间内插信号;相关器,通过使用当前场、前一场和下一场中预定数量的取样数据来检测运动相关、垂直相关、和时间垂直相关;和选择器,将运动相关、垂直相关、和时间垂直相关与相应的预定常数比较,按比较结果在空间内插信号和时间内插信号之间选择一个。其使用运动和空间相关通过时间或空间地内插隔行图像信号可增强运动信息的可靠性和减少后生现象。
文档编号H04N5/14GK1173776SQ9710299
公开日1998年2月18日 申请日期1997年1月27日 优先权日1996年1月27日
发明者金永泽 申请人:三星电子株式会社