专利名称：视频序列中的文字收报机处理的制作方法
技术领域：
本发明涉及改进的运动补偿的新图像数据的生成。本发明尤其涉及用于根据从其他图像产生的运动补偿数据生成图像数据的方法，其中其他图像包括分离的图像区域。
背景技术：
运动补偿在越来越多的应用中使用，尤其是在新式电视接收机的数字信号处理中。特别是，现代电视接收机执行帧速率转换，尤其是以运动补偿的上变换形式进行帧速率变换，从而增加再现图像的图像质量。例如，对具有50Hz的场或帧频率的视频序列执行运动补偿的上变换到象60Hz、66.67Hz、75Hz、100Hz等的更高频率。50Hz输入信号频率主要应用到按照PAL或SECAM标准的电视信号广播中，而基于NTSC的视频信号具有60Hz的场速率。60Hz输入视频信号可以上变换为象72Hz、80Hz、90Hz、120Hz等的更高频率。
帧速率变换算法需要产生一些中间图像，该图像反映在与例如50Hz或60Hz的输入视频序列不同的时间位置的视频内容。在输入图像的图像数据内插期间，必须考虑运动物体的运动，从而适当地反映由物体运动引起的图像内容的改变。
在图像数据内插期间将使用的运动根据输入视频序列的两个最接近图像确定。一般运动估计在块基础上执行。为了避免运动补偿图像中的可见的块结构，在一个块基础上确定的运动向量最好分配给每个单独的像素，其中所得到的运动向量场受到滤波从而使急剧的过渡平滑。
按照分配给特定图像位置的运动向量，运动补偿移动运动向量参考的图像位置的图像数据。参考图像的移动图像数据的量不只取决于接收的运动向量的长度，还取决于在前面和随后的图像之间产生的新图像的相对时间位置。
当从最好是前面和随后的图像的两个图像中产生新图像数据时，运动补偿算法参考前面和随后的图像中的图像数据。而且来自前面图像的图像数据在运动向量的方向上向前移动，来自随后的图像的图像数据向后移动。向前和向后移动的量按照关于参考图像的新图像的时间位置确定。向前移动的移动按照运动向量的长度的计算部分(fraction)执行，向后移动用运动向量的互补的负数部分执行。对每个像素位置的参考像素值进行内插。内插也能够根据来自根据关于新产生图像的时间位置的参考图像的图像数据的权值进行。
用于执行运动估计的传统方案在图1A中示出。从输入序列101-113中，使用两个相邻图像的图像数据，从而产生运动补偿的新图像数据130。新产生的图像数据130反映按照新图像数据130的时间位置的图像序列中运动物体100的时间位置。从图1A能够看出，新图像130中运动物体100的位置是在用于运动补偿的图像102、103的位置之间。因此，图像130正确反映了运动物体100的运动状态。
输入图像序列101-113的每个图像由两个分离的图像区域组成。特别是，一个文字收报机(ticker)窗口123重叠在背景图像122上。这样的分离的图像部分在广播电视信号中变得越来越普遍。重叠的文字收报机窗口通常是在视频图像的底部区域插入的文字条幅的形式。文字条幅显示由广播商提供的服务信息。显示的服务信息可以涉及显示的图像内容、相关的节目信息和诸如股票交易价格的特定新闻服务。用于在视频图像中插入一个文字收报机窗口的单独位置根据广播商和广播商的国家可以不同。
如图1A所示，显示在文字收报机窗口123中的文字向左移动，从而以预定速度移动的文字的连续流从显示屏幕通过。
尽管，分离的图像部分123和背景图像122涉及不同的图像内容，运动补偿为两个图像部分提供新图像数据的精确生成。
为了检测输入视频信号序列101-113中的场景变化120，用于运动补偿的内插的本发明的信号处理执行场景变化检测。场景变化检测器检测在用于新图像的生成的图像之间的急剧的图像内容变化。用于执行图像场景检测的细节是已知的，例如从EP-A-0 780 776中可以知道。
如果在两个有关图像103，111之间检测到场景变化120，运动补偿的内插被抑制，从而防止赝像引入到内插图像140中。为此，运动补偿算法由其他预定的内插算法代替。最好图像140通过只参照已经被运动补偿参考的两个图像103，111中单独的一个产生。最好，新图像数据140根据当前图像111的线性内插产生。
因为在图1B中描述的线性内插只参考用于所有图像区域122、123的单一图像，文字收报机窗口143中文字的平滑运动被打断并有急停现象发生。
场景变化120发生后，如图1C所示的运动补偿的内插得以继续。
对于完整的图像检测的场景变化120也不自动应用到重叠的文字收报机窗口123。通常，背景图像122中的场景变化将引发场景变化检测信号。但是，只表示全部图像的小部分的文字收报机窗口的外观没有改变。按照图1B中示出的方案的场景剪辑中改进的运动补偿内插对文字收报机窗口区域中运动的外观有不利影响。
发明内容
本发明目的是克服该缺点并提供改进的方法和用于产生新图像数据的信号处理器。
这通过独立权利要求的特征实现。
根据本发明的第一方面，提供一种用于从视频序列中图像的视频数据生成图像数据的方法。该方法确定涉及不同图像内容的分离的图像区域。检测选择来产生图像数据的两个图像之间的场景变化。如果没有检测到场景变化，新图像数据根据运动补偿产生。如果检测到场景变化，新图像数据根据来自单个图像的图像数据的内插产生，其中分离图像区域的图像数据根据来自两个选择图像的图像数据的运动补偿产生。
根据本发明的另一个方面，提供一种用于从视频序列中图像的视频数据生成图像数据的信号处理器。该信号处理器包括检测单元，场景变换检测器和输出计算器。检测单元确定涉及不同图像内容的单独的图像区域。场景变化检测器检测选择的用于生成新图像数据的两个图像之间的场景变化。如果没有检测到场景变化，输出计算器根据运动补偿生成图像数据。如果检测到场景变化，根据来自单个图像的图像数据生成新图像数据，其中根据来自两个选择图像的图像数据的运动补偿产生所述用于所述分离图像区域的图像数据。
在检测场景变化时使文字收报机区域受到不同的处理是本发明的特别的方案。通过在背景图像数据只根据单个图像内插时，保持对于文字收报机区域的运动补偿内插，避免了文字收报机区域中的运动赝像。
最好，根据运动向量估计确定分离的图像区域。因此，在接收的视频序列中不需要分离的图像区域的特定的表示。而且，以简单的方式执行分离图像区域的检测的同时，已经需要各个运动向量用于施加的运动补偿。如果分离的图像区域将实际受到运动补偿内插的打断，根据运动向量的单独的图像区域的检测只进一步起动单独的处理。通过使用基于检测的运动向量，固定的运动图像内容能够可靠地检测到并进行不同的处理。
最好，在选择的两个图像之间执行运动向量估计，用于产生新的图像数据。
根据优选实施例，确定线或列运动向量用于检测分离的图像区域。以这种方式，能够以一种简单的方式检测到超过相对的图像边界之间的图像区域内的连续的运动。
最好根据对图像的完整的线或列确定的运动向量检测线或列运动向量。如果能够确定用于几乎一个完整的线或列的公共运动，计算独立的运动向量。
此外，能够考虑用于确定单独图像区域的进一步的标准。在这方面，例如，只对一个特定的图像位置，即接近于视频图像底部的位置进行分析。而且，分离图像区域的检测可以取决于对多个对应的运动向量的连续检测，最好是预定数量的随后图像。
最好，施加线性内插，从而在出现场景变化时从单个图像中产生新图像数据。
本发明的优选实施例是从属权利要求的主题内容。
本发明的其他实施例和优点从以下优选实施例中将会明显看出，其中图1A-图1C说明了改进的运动补偿内插；图2A-图2C说明了按照本发明的改进的运动补偿内插；图3说明了把图像分为多个均一尺寸的块；图4说明了反映文字收报机窗口的存在的检测到的运动向量；图5以框图的形式说明了按照本发明的信号处理器的结构。
具体实施例方式
本发明涉及一种数字信号处理，尤其涉及一种现代电视接收机中的信号处理。现代电视接收机使用上变换算法，从而提高再现的图像质量。为此，从随后的两个图像中产生中间图像。为了产生中间图像，必须考虑运动物体的运动，从而适当地适应新图像内的物体位置到由中间图像反映的时间点。
如与图1B结合描述的，检测到场景变化时延缓运动补偿的运动补偿内插算法使文字收报机窗口的图像质量恶化。如从图1中能够看到的，文字收报机窗口的文字条幅在图像之间以两个字符的固定位移移动。当生成输入视频序列的图像101-113之间的中间图像时，在描述的例子中，运动补偿的文字条幅按照检测的运动和时间图像位置相对于相邻图像移动一个字符。
但是，检测到场景剪辑120时，整个图像的运动补偿中止，并且新生成的图像140的文字条幅143与当前图像111的相同。因此，不能实现文字条幅的平滑运动并且观众将注意到抖动现象。
为了克服这个缺点，本发明分别处理文字条幅和背景图像的图像数据。如图2B所示，为了背景图像和对背景图像242的图像部分施加的线性内插220，224运动补偿内插中止。相反，文字条幅243的图像区域根据运动补偿内插222生成。
通过将用于上变换的不同的信号处理算法使用到文字收报机窗口，能够避免运动赝像，并能获得高图像质量的内插结果。
如图2A到2C所示，只要没有场景变化120出现，背景图像区域122和文字收报机区域123的图像内容根据运动补偿内插进行处理。运动补偿内插应用到全部图像区域以产生包括内插后的背景图像数据132、152和文字收报机图像数据133、153的中间图像130，150。
检测到场景变化120时，施加分离信号处理方案。背景图像区域220、224受到当前图像数据的线性内插以产生内插后的背景图像数据242，文字收报机窗区域经历运动补偿222，从而在内插期间适当地考虑文字条幅的连续运动。
将被不同处理的文字收报机区域最好根据线或行向量检测器进行检测。行向量检测器标记具有相同的水平运动向量的区域。文字收报机区域具有与前面输入场相关的时间关系。根据确定的对应的运动信息，能够对文字收报机区域执行运动补偿。对文字收报机区域的这种不同处理在场景变化发生后产生文字收报机的平滑和均匀的运动。接下来说明对于文字收报机区域检测的线或列运动向量的确定。
图3说明了把每个视频图像分为多个块B(x；y)。每个块具有宽度X和高度Y，其中X和Y分别表示线和列方向中的像素数。每线或列的块数能够通过使用以下公式进行计算xmax＝每线像素/Xymax＝每列像素/Y为了精确确定较大图像区域，比如文字收报机区域的所有块的一致运动，确定块的完整线或列的运动。在线或列的主要数量的块中发生运动的情况下，线或列向量对应于该线或列中最大物体的运动。
对当前图像n(场或帧)确定运动向量一旦完成后，开始各个线和列向量的计算。计算过的线或列向量提供给随后的场或帧的运动估计期间使用。
首先，较小长度的运动向量排除在考虑之外。为此，每个块的运动向量 与预定的阈值vthr比较。因此结果反映在分配到每个块的二进制“vecthr”标记中。该标记如等式(1)表示的进行计算 最好，对图像n的所有块确定的该组运动向量进行相应修改，从而那些运动向量设为零(0；0)，这不超过预定阈值vthr。该修改由等式(2)反映出来 按照等式(2)，计算阈值向量 如果先前计算的标记(对照等式(1))为零，阈值向量设为零。否则，确定的向量 分配给阈值阈值向量 为了计算线或列向量，最好计算非零阈值向量的平均值。但是，技术人员可以应用任意其他算法，从而确定表示用于线或列的多个单独运动向量的公共运动向量的运动向量。
对于线和列向量计算，超过阈值vthr的块数量和单独块长度如以下的等式(3)到(6)表示的进行累加vρsum_line(y)=Σx=0xmax-1vρthresholded[(x,y),n]...(3)]]>vρsum_column(x)=Σy=0ymax-1vρthresholded[(x,y),n]...(4)]]>nsum_line(y)=Σx=0xmax-1vecthr[(x,y),n]...(5)]]>nsum_column(x)=Σy=0ymax-1vecthr[(x,y),n]...(6)]]>按照以下的等式(7)和(8)计算线和列向量 和 如果对于线或列超过预定阈值vthr的块数超过另外的预定阈值nthrline，nthrcolumn，则只计算运动向量。
vυline[(y),n]=vυsum_line(y)nsum_line(y)(0;0),,]]>如果(nsum_line(y)＞nthrline)其他 (7)vυcolumn[(x),n]=vυsum_column(x)nsum_column(x)(0,0),,]]>如果(nsum_column(x)＞nthrcolumn)其他 (8)这些计算的线和列向量用在以下的场/帧中，作为运动估计期间的额外的候选向量。
参照以上提到的阈vthr，nthrline，nthrcolumn，最好使用以下的值 nthrline＝xmax/2(对于PAL标准为45，并且X＝8)nthrcolumn＝ymax/2(对于PAL标准为36，并且Y＝8)其中xmax和ymax表示一场或帧的总宽度/高度。这些值最好对一个8×8像素的块使用。
尽管以上的描述基于对每个单独线和列计算线和列向量的假设，但是可以附加或替换地计算公共运动向量用于两线或两列的组合。两线或两列运动向量可以进一步增加表示两线或两列内的主要运动的物体的运动精度。
硬件复杂性可以降低以避免由多个线或列组合引起的任何重叠。
以相同的方式，多于两线和两列，例如三、四或五线或列可以进行组合从而提供对于各个尺寸的物体的运动向量的增加精度。
尽管阈值向量vthr已经描述为对于线和列向量计算统一设置，但是对线和列可以使用不同的阈值。此外，阈值向量Vthr可以分为可用于水平运动向量分量和垂直运动向量分量的两个不同的阈值。
图4说明了包括文字收报机区域420的图像400的例子。与背景图像410重叠的文字收报机区域420根据线向量430检测。
按照本发明的信号处理器500的结构在图5中示出。信号处理器500从连续的图像位置n，n-1接收两个输入图像501，502。包括在信号处理器500中的场景变化检测器510确定在图像501、502两者之间是否发生了场景变化120。是否检测到场景变化由输出信号c指示。
信号处理器500还包括确定是否检测到线向量的线或行向量检测单元520。检测结果由输出信号rv指示。
按照场景变化检测器510的检测结果c和行向量检测单元520的检测结果rv，开关矩阵530把来自输入图像501、502的需要的数据和需要的处理一起向前送到信号处理单元540。信号处理单元540执行需要的运动补偿内插或线性内插并产生输出图像数据550。
按照接收到的场景变化和行向量检测结果c，rv，开关矩阵530提交各个输入场501、502和将被答复的处理到信号处理单元540。按照检测结果，以下的处理指示给信号处理单元5401.c＝没有检测到场景变化rv＝没有使用n和n-1之间的运动补偿2a.c＝检测到场景变化rv＝没有行向量在没有行向量的区域中n的线性内插2b.c＝检测到场景变化rv＝行向量在有行向量的区域中n和n-1之间的运动补偿尽管前面的描述主要涉及图像，但是技术人员知道这些图像可以是场或帧。
总之，本发明涉及视频序列中图像的改进的运动补偿内插，尤其是用在上变换处理中的。为了实现内插的图像序列中平滑的物体运动，如果在视频序列中出现图像变化，分离的图像区域进行不同的处理。对一个图像区域中断运动补偿，同时其他图像进行运动补偿内插。
权利要求
1.一种用于从视频序列中图像(101-113)的视频数据生成图像数据(130，240)的方法，该方法包括步骤确定涉及不同图像内容的分离的图像区域(123)；检测选择来产生新图像数据(240)的两个图像(103，111)之间的场景变化；如果没有检测到场景变化(120)，根据运动补偿产生新图像数据(130)；以及如果检测到场景变化(120)，根据来自单个图像(111)的图像数据的内插产生所述新图像数据(240)，其中所述分离图像区域的图像数据(243)根据来自两个选择图像(103，111)的图像数据的运动补偿而产生。
2.根据权利要求1的方法，其中根据运动向量估计确定所述分离的图像区域(123)。
3.根据权利要求2的方法，其中在选择的两个用于产生新的图像数据(130，240)的图像(103，111)之间执行所述运动向量估计。
4.根据权利要求2或3的方法，其中所述运动向量估计确定线或列运动向量(430)。
5.根据权利要求4的方法，其中所述线或列运动向量(430)根据对线或列估计的运动向量确定。
6.根据权利要求5的方法，其中所述运动向量估计在块基础上执行并且所述线或列运动向量(430)根据完整的线或列的块进行计算。
7.根据权利要求5或6的方法，其中只有超过预定阈值的那些运动向量被考虑用于线或列运动向量估计(430)。
8.根据权利要求1到7中任意一项所述的方法，其中所述两个选择的图像是当前和前面图像(111，103)。
9.根据权利要求1到8中任意一项所述的方法，其中所述内插基于作为当前图像的(111)线性内插的单个图像。
10.根据权利要求1到9中任意一项所述的方法，其中检测场景变化(120)的所述步骤包括步骤累加在两个选择图像(103，111)之间确定的绝对像素差；和比较累加的和与预定的阈值；和如果所述累加的和超过所述预定阈值，检测场景变化(120)。
11.根据权利要求1到10中任意一项所述的方法，其中所述分离图像区域(123)是叠加在所述视频序列的背景图像数据上的图像数据。
12.根据权利要求1到11中任意一项所述的方法，其中所述分离图像区域(123)是一个文字收报机窗口。
13.根据权利要求11的方法，其中所述分离图像区域(123)通过检测一个线运动向量(430)而进行检测。
14.一种用于从视频序列中图像(101-113)的视频数据生成图像数据(130，240)的信号处理器，该信号处理器包括检测单元(520)，用于确定涉及不同图像内容的分离的图像区域(123)；场景变化检测器(510)，用于检测两个选择图像(103，111)之间的场景变化用于生成新图像数据(240)；输出计算器(530，540)，如果没有检测到场景变化(120)，所述输出计算器根据运动补偿生成所述新图像数据(130)，如果检测到场景变化，所述输出计算器根据来自单个图像(111)的图像数据生成新图像数据(240)，其中所述分离图像区域(243)的所述图像数据根据来自两个选择图像(103，111)的图像数据的运动补偿产生。
15.根据权利要求14的信号处理器，其中所述检测单元(520)根据运动向量检测所述分离的图像区域(123)。
16.根据权利要求15的信号处理器，其中所述接收到的运动向量反映用于产生新的图像数据(130，240)而选择的两个图像(103，111)之间的运动。
17.根据权利要求15或16的信号处理器，其中所述检测单元(520)根据收到的运动向量确定线或列运动向量(430)。
18.根据权利要求17的信号处理器，其中所述检测单元(520)根据对线或列估计的运动向量确定所述线或列运动向量(430)。
19.根据权利要求18的信号处理器，其中所述接收到的运动向量在块基础上指示运动并且所述检测单元(520)根据完整的线或列的块计算所述线或列运动向量(430)。
20.根据权利要求18或19的信号处理器，其中所述检测单元(520)只考虑超过预定阈值的那些运动向量用于线或列运动向量估计(430)。
21.根据权利要求14到20中任意一项所述的信号处理器，其中所述两个选择的图像是当前和前面的图像(111，103)。
22.根据权利要求14到21中任意一项所述的信号处理器，其中所述输出计算器(530，540)基于来自当前图像(111)的图像数据的线性内插生成所述新图像数据。
23.根据权利要求14到22中任意一项所述的信号处理器，其中所述场景变化检测器(510)包括一个累加器，用于累加在两个选择图像(103，111)之间确定的绝对像素差；和一个比较器，用于比较累加的和与预定的阈值，并如果所述累加的和超过所述预定阈值时检测一个场景变化(120)。
24.根据权利要求14到23中任意一项所述的信号处理器，其中所述分离图像区域(123)是叠加在所述视频序列的背景图像数据上的图像数据。
25.根据权利要求14到24中任意一项所述的信号处理器，其中所述分离图像区域(123)是一个文字收报机窗口。
26.根据权利要求24的信号处理器，其中所述检测单元(520)通过检测线运动向量(430)检测所述分离的图像区域(123)。
全文摘要
本发明涉及一种改进的视频序列中图像的运动补偿内插，尤其是用在上变换处理中的运动补偿内插。为了实现使内插图像序列中的平滑的物体运动，如果在视频序列中出现图像变化，则分离图像区域进行不同的处理。对一个图像区域中断运动补偿，同时其他图像区域进行运动补偿内插。
文档编号H04N7/01GK1694500SQ200510068450
公开日2005年11月9日 申请日期2005年4月28日 优先权日2004年4月30日
发明者弗兰克·詹森, 斯文·萨尔泽 申请人:松下电器产业株式会社