专利名称：视频图象运动测量的制作方法
技术领域：
本发明涉及视频图象运动的测量，特别是关于在视频图象相邻场之间存在摄象机(快速)变焦距、旋转、或某些其他非线性变换时这种运动的测量。
在我们的英国专利GB-B-2188510号中描述了一种TV(电视)画面运动的测量方法，其中对一幅画面的多个测量块的每一个都提取一组运动矢量，并从它们当中得到可以应用于测量块整个区域的运动矢量清单(list)，这一过程在整个画面区域上重复地进行。这些矢量是用相位相关技术得到的。然后对图象的每个区域的每个区域单元(elementaryarea)指定一个矢量。也可以用其他方法产生这个矢量清单，例如用在欧洲专利申请EP-A-0395264号中描述的块匹配技术。图象区域中被指定一个矢量的每个区域单元可以小到一个画面元素(象素)或者对画面的一块它可由多个画面元素组成。这样得到的运动矢量可以用于例如产生介于两次输入场之间的若干时刻的输出场。当产生慢动作效果时、当视频图象与(电影)胶片相应互转换时、或在变换标准时，都需要这种中间场。
已经发现，用于提取运动矢量的那些方法对于稳定的摄象机位置是很令人满意的，但当涉及摄象机的(快速)变焦距或摄象机相对于它的取景孔(viewingaccess)旋转时则会引起一些问题。当这种变焦距或旋转与摄象机摇镜头(camerapan)相结合时这些问题就特别严重，而且在这些情况下提取运动矢量的方法有时会完全失灵。
本发明的最佳实施例试图提供一种机器方法，用于从场景中的总体运动中提取出由于摄象机变焦距或旋转所引起的运动分量。由于摄象机旋转或变焦距所引起的这类运动，对于每个画面区域的分量将与该区域到图象中一个特定点的距离成比例。
现在将通过举例并参考附图来详细描述本发明的最佳实施例。这些附图是
图1示意性给出由传统TV图象运动测量系统提取的运动矢量类型;
图2示意性给出摄象机摇镜头的效果;
图3给出在图2所示画面区域的顶部行上摄象机变焦距的效果;以及图4和图5给出使用本发明的一个实施例得到的变焦距和摇镜头表面。
在图1中示意性示出了电视信号的两个相邻帧F0和F1。它们由时间T分开。一个目标2在F0和F1中都出现了，该目标从F0中的第一位置运动到F1中的第二位置。使用GB2188510中描述的那类TV画面运动测量系统去分析F0和F1之间的差别，并由此产生矢量V，它描述目标2在相邻帧或场之间的运动。
在图2中所示帧F1被分成多个区域，对于这些区域由该运动测量系统得到一组尝试运动矢量。通常使用108个区域，对每个区域得到一组尝试矢量。最好是这些区域重叠，从而能更容易地跟踪穿过边界的运动。在F0和F1之间发生了一次摇镜头，这样，运动测量在这组尝试矢量中产生一个平移矢量，它用于图象中的每个区域以确定摄象机摇镜头。除此之外，包括图1所示类型的运动的那些区域将把确定这类运动的矢量包括在它们的尝试矢量清单中，从而由赋予各区域单元的运动矢量适当地确定重叠于背景摇镜头动作之上的任何前景目标的运动。对于场景中的任何运动而言，摇镜头矢量是背景矢量。
已经发现，对于简单的摄象机扫描运动能容易地取得摇镜头矢量，因为这种情况通常发生在TV图象所分成的60%以上的块中。然而，当同时涉及变焦距时，小量的变焦距将导致提取摇镜头矢量的失败。
为了改正系统使之考虑摄象机的任何变焦距或旋转，在本发明的一个实施例中已设计了一个涉及更多内容的处理过程，以便从应用于画面一个区域的矢量中得到变焦距分量以及任何摇镜头分量。
从F1中的图象和F0中的图象的对比中得到赋予一个序列的帧F1中不同块的两个矢量。它们代表了场景中的总体运动，由两个分量组成。由于摇镜头产生的一个分量将在整个画面上为一常数值，而且可以为零。另一个分量将是非线性的，可以是由于变焦距或旋转产生的。这是一个指向或离开画面中一点(通常为中心点)的运动或者该点旋转的运动，其值与离开那点的距离成比例。绕着一个非中心点的旋转能定义为一个摇镜头加上一个绕中心点的旋转。
在图3中显示了图2所示画面区域顶部行上的变焦距效应。在P1得到一个背景矢量V1。它由摇镜头矢量PV1及变焦聚矢量ZV1组成。在P2得到第2个背景矢量V2。它由摇镜头矢量PV2(等于PV1)及变焦距矢量V2组成。
点P1和P2相对于画面中心。这导致一对联立方程如下V1＝摇镜头矢量+变焦距常数＊P1V2＝摇镜头矢量+变焦距常数＊P2这样，V1-V2＝变焦距常数＊P1-变焦距常数＊P2以及变焦距常数+(V1-V2)/(P1-P2)…(1)从而，摇镜头矢量＝V1-变焦距常数＊P1。
利用方程(1)，使用一个区域的尝试矢量组中每个矢量并将其在方程(1)中与该图象所有其他区域的尝试矢量组中的每个矢量进行比较，便可估计出变焦距常数。由这些便有可能对该图象作为整体得到变焦距常数，不论在该图象中是否有任何平移运动。其作法是对场景中的所有矢量对得到变焦距常数分布图，并从这张变焦距图中取得最一般发生之值作为变距常数。除非它们对应于变焦距作用的源目标，否则所得到的那些值将是随机的。
一旦已经取得了尝试矢量组，对变焦距和摇镜头矢量的全部分析可以概括如下a)建立一个带有实轴和虚轴的所有可能变焦距值分布图，并设该分布图为零。
b)对于一对画面区域，由这些区域的尝试矢量组用方程(1)得到变焦距常数估计值。对于所有画面区域但不是对来自同一块的矢量重复这一过程。然后将变焦距常数的每个估计值画到变焦聚分布图上。
c)对变焦聚分布图进行滤波以给出光滑表面。
d)变焦距常值被取作带有超过阈值小虚分量的最大非零峰值。虚分量是由于摄象机旋转，通常是相当小的。
e)对于原始尝试矢量清单中的每个块和矢量，减去变焦距常数乘以块位置，从而去掉变焦距分量去变焦Vn＝Vn-P1＊变焦距常数，如果没发生变焦距，则变焦距常数＝0，于是，去变焦Vn＝Vn。
f)建立所有可能摇镜头值分布图，并置该分布图为零。
g)在摇镜头分布图中与去变焦Vn值对应的位置增加一常数标志。对所有去变焦Vn重复这一过程。
h)对该摇镜头分布图滤波以给出光滑表面并找出最大值。设一阈值等于最大值之半。
i)在摇镜头图表面上的各个峰值对应于画面中的总体运动。通常在阈值之上的最大非零峰值是摇镜头。如果最大峰值是零而又没有其他超过阈值的，则摇镜头等于零。
j)从摇镜头表面中最大峰值出发，对每块计算P2值，如果还没有适当的矢量就把它加到该块上P2-矢量(n)摇镜头矢量+变焦距常数＊Pn在不涉及变焦聚时CCD摄象机趋向于给出零峰值矢量。这被认为是因为CCD电池的背景噪声。这样，当存在变焦距时通常不会发现多于一个摇镜头矢量，但若没有变焦距则常常发现两个摇镜头矢量。如果摇镜头矢量数被设置成一个大数，则仍然不大可能加上一个或二个以上的矢量。
使用这种方法能将组合的的变焦距和摇镜头矢量加到每个区域的尝试矢量清单，然后将矢量赋予画面区域的各区域单元。由此引出一个赋予矢量系统，它更精确地确定背景运动并减小接近于前景目标的误差。这使得更直接地追踪场景内接近于前景目标的背景目标，其结果是将正确的矢量赋予F0和F1之间量时刻的中间场。
找出摇镜头的另一种方法是对所有经过变焦距校正的矢量计算其处于一个小参考距离内的矢量数目。具有最大相邻矢量数的矢量将是摇镜头或总体运动。
精通本门技艺的人将会理解，这里所描述的方法能以公知的方式在计算机软件或专用硬件中实现。对于本发明的这一具体实施例而言，至关重要的是提取图象的变焦距和摇镜头分量的实际步骤而不是用于提取这些分量的任何具体硬件。
由上述步骤提取的变焦距面示于图4，其中指出了变焦距峰值。类似地，摇镜头面示于图5，其中最大非零峰值为摇镜头矢量。
为简化提取的变焦距面示于图4，其中指出了变焦距峰值。类似地，摇镜头面示于图5，其中最大非零峰值为摇镜头矢量。
为简化提取摇镜头和变焦距矢量的方法，已经建议，不去生成变焦距和摇镜头分布图，而是可以用带有实轴的一维图来提取变焦距常数。当然，这会忽略由于摄象机旋转造成的任何虚分量。
权利要求
1.在视频图象运动补偿系统中补偿非线性画面变换的一种机器方法，该补偿系统的运作是从多个按顺序的输入图象中对多个图象区域的每一个都提取一组尝试运动矢量并将这些矢量中的一个赋予该视频图象的每个区域单元，该方法包括如下步骤先估计出一个常数，利用每个区域得到的尝试矢量组由这一常数得出非线性变换，并把对于特定区域确定非线性变换的矢量加到那个区域的尝试矢量清单中的矢量上，然后再把这些矢量赋予该区域的各区域单元。
2.根据权利要求1的一种机器方法，其中的估计步骤包括将一个区域得到的尝试矢量组中的至少是一些矢量与其他一些区域得到的至少是一些尝试矢量进行比较，并从每个矢量对估计出一个常数。
3.根据权利要求1或2的一种机器方法，其中的非线性变换是摄象机变焦距。
4.根据权利要求1、2或3的一种机器方法，其中的非线性变换是摄象机旋转。
5.根据前述任何一项权利要求的一种机器方法，包括提取一个矢量代表用于视频图象的一个均匀平移位移。
6.基本上如附图所描述的那种一种机器方法，用于在视频图象运动补偿系统中对非线性图象变换的补偿。
全文摘要
本发明为在视频图象运动补偿系统中补偿非线性画面变换的方法，该补偿系统从多个输入图象中对每一个图象区域都提取一组尝试运动矢量并将这些矢量中的一个赋予该视频图象的每个区域单元。该方法包括如下步骤估计出一个常数，利用每个区域的尝试矢量组由该常数得出非线性变换，并把特定区域中确定非线性变换的矢量加到那个区域的尝试矢量清单中的矢量上，然后再把这些矢量赋予该区域的各区域单元。
文档编号G06T7/20GK1079094SQ9310337
公开日1993年12月1日 申请日期1993年3月24日 优先权日1992年3月24日
发明者迈克尔·布尔, 罗德里克·托马森 申请人:英国广播公司