专利名称：用于电子自动更换视频图像中的广告牌的方法和装置的制作方法
技术领域：
本发明涉及一种用于自动地更换视频图像中的广告牌的方法和装置。
本发明尤其适用于在运动场或其它场地电子更换广告牌，但也可用于为其它用途提供关于摄像机方位的精确的数据。
在以前的系统中，已经提出用电子方法更换由观众在电视上观看的运动场中的广告牌。运动场中的广告牌由电视摄像机进行电视播送。并且广告牌被电子地更换，使得电视观众在家中看到和运动场或其它会场中的观众看到的不同的广告牌。
已知的系统例如在US 5,266,933中描述的系统中披露了一种用于电子地更换视频图像的装置和方法。在上述美国专利以及美国专利US 5,353,392中公开的装置和方法，虽然理论上允许更换广告牌，但没有解决在实际环境中碰到的许多实际问题。大多数这种问题和识别与更换处理有关。
完全依靠只利用视频信号的图形识别技术为更换而识别和定位广告牌引起的主要问题在于影响这种系统的实际价值。
显然，任何图形识别方法，包括在US5,264,933和US 5,353,392中描述的方法，必须依赖于图形中的可以和预定的描述相比较的有用的可见特征。这种特征应该位于广告牌内部或其附近。
在现实情况中，这些特征的可见度可能发生变化，这些变化是连续的，或者实际上从0变为允许图形识别方法正确工作的某个门限值。这些变化可以沿增加或减少可见度的方向发生。这些情况包括●摄像机运动的加速或减速而造成大量的模糊。
●过度的移向或移离广告牌。
●比赛者的过度遮挡。
●由全景拍摄，俯仰和变焦操作的任意组合而进入或退出摄像机的视野。
●上述过程的任意组合。
因此，在实际情况下，广告牌的连续更换是不可能的。即使允许遮挡地更换，也需要至少延迟几秒钟以便确定最终的替换间隔是否是可接受的。这种延迟在运动会的现场广播中通常是不允许的。
更换任选的广告牌会引起其它问题。无缝的更换要求识别遮挡广告牌的前景物体，以便禁止在遮挡处更换。前景物体主要包括比赛者，但也包括球或其它物体。现在考虑穿红衬衫的比赛者遮挡广告牌的一部分相似的红的部分。不能使用颜色对比粗略地识别遮挡。此外，因为比赛者不是刚体，不能足够精确地使用运动或形状信息确保正确的替换。
在实际情况中产生的另一个问题是广告牌同一性的分辨率。考虑在表演场的两个不同位置提供的两个相同的广告牌，假定更换不同的广告牌被规定为是对这些物理的广告牌的每一个的更换，则必须知道哪一个是要更换的那一个。可以证明，这是非常困难的，尤其是在没有明显的可见特征的情况下。
本发明描述一种用于广告牌替换的健全的系统，该系统基于以下关键因素中的一些或全部●被正确着色的广告牌，使得能够利用色度键技术进行有效的遮挡检测。
●用于进一步增强图像处理方法的性能的在物理广告牌内的彩色偏差(colour variation)或图形。
●和摄像机相连的扫视，俯仰，变焦和聚焦检测器，它们在合适的建立处理之后能够估算在任何给定的视频场中的广告牌的存在和位置。
●能够进一步精确检测器的估算的图像处理方法及其实施例。
因此，本发明的第一个目的在于提供一种其中包括色度键表面的物理的广告牌，并提供一种装置，使得能够以电子替换广告牌代替色度键广告牌。
因此，本发明提供一种用于视频图像中的广告牌的自动电子替换的装置，包括用于拍摄广告牌的电视摄像机，其特征在于所述广告牌包括一个色度键表面，并且所述装置还包括一个色度键单元，它可以被操作用于检测至少一种色度键颜色，并且其中所述色度键颜色可以调节以便和色度键表面的颜色一致。
本发明还提供一种方法和装置，使得可以在任何天气条件下，在摄像机的任何扫视速度和摄像机参数的任何其它变化的情况下，识别在运动场或其它会场中的广告牌或其它静止物体的位置。
因此，本发明提供一种用于视频图像中的广告牌的自动电子替换的装置，包括具有运动测量装置的自动的摄像机方位测量装置，可以通过操作测量电视摄像机关于已知的参考位置的视野(FOV)。
本发明还优选地提供一种用于视频图像中的广告牌的自动电子替换的装置，包括用于处理由电视摄像机产生的视频信号的图像处理装置，其中所述处理装置包括用于周期地自动校准运动测量装置的校准装置，并提供一种装置，其中运动测量装置包括用于测量摄像机相对于已知的参考位置进行扫视俯仰，变焦或聚焦的装置，还提供一种装置，其中运动测量装置包括用于测量摄像机相对于已知的参考位置进行扫视俯仰，变焦和聚焦的装置。
因此，本发明使用动态校准校正检测器的剩余误差或在不完善的模型中的偏差以及检测器随时间的漂移。这样，按照本发明，便可以使用稳定性差的检测器，并且按照本发明的的装置和方法可以适应摄像机位置的运动。用于校正检测器的图像校正处理使得不需要用机械装置通过参考视频图像自动地校正而保持检测器稳定。
在初始的设置处理中，可以包括对于例如不在视野中心的例如广告牌的校正，例如，在屏幕中心的左上角的广告牌可以通过例如通过3个像素进行调整，从而把摄像机的偏差考虑进去。
在现有技术中产生的其它问题出现在，首先，当广告牌基本上被全部遮挡时，或者其次，被物体，例如和广告牌上的实际符号颜色相同的运动员遮挡时。
按照上面的解释，这首先导致不能识别广告牌，其次，难于进行广告牌的满意的替换。
在第一种情况下，实际的广告牌可能已经在视频图像中替换，但是如果摄像机变焦为特写镜头，或者如果不同的摄像机用于特写镜头，则可能由于只有广告牌的很小的一部分的视野中而失去自动跟踪。在第二种情况下，运动员可能穿着和广告牌相同颜色的条格衣服。现有技术的系统提出，如果颜色相同时，根据运动来识别广告牌和运动员，并分析“运动的”像素确定遮挡。这在理论上是合理的，但实际上是不行的，因为并不是所有运动员在所有时间内都在运动。因而，如果有若干运动员在广告牌前方运动，而一个运动员在其它人运动之后保持不动，电子系统则不能根据运动来识别。因为颜色通过探照灯，色调，前景运动员和后景广告牌不同的反射率和不同的发光条件而失真，所以实际上仍然有系统失效的情况。在这种情况下，或者原始的广告牌可在视频图像中重现，或者替换的广告牌将不能准确地被遮挡。
也可以在视频传输中引入延迟，使得电子信号的处理更为精确，但是，这不能解决多个运动员向不同的方向运动而遮挡广告牌的实际问题。所需的延迟被认为是不能接受的，并且在任何情况下，也不能解决上述问题。
按照本发明的最佳实施例，其中提出用色度键控制板或用形成色度键控制板的描绘的区域替换实际的广告牌。
色度键主要是一种遮挡技术，其中例如允许新闻播音员站在通常染上蓝色或其它合适颜色的色度键板前面并来回走动。新闻播音员(前景)通过颜色鉴别从色度键板(后景)中识别出来，这样可以在替换的后景前面子组前景和后景正常的遮挡下运动。这技术在电视演播系统中是非常熟知的，并在大量的美国专利中描述了，其中包括US2,974,190和4,200,980。
在本发明中，广告牌被色度键板替换，或用形成色度键板的描绘的区域替换。
然而，在现有技术中，只能识别一个色度键区域并精确地照亮这个区域。在本发明中，几个广告牌可以位于体育馆内的不同位置，并且本发明能够用电子广告牌替换所述的几个广告牌。
在现场演播室应用中，摄像机一般离开前景2-10米，并且通常整个视野被更换。相比之下，广告牌可以离开摄像机几百米，因此，使用检测器的更换系统对检测器误差敏感得多●由于大的焦距，相同的检测器精度将被转换为较大的几何配准误差。考虑81000m脉冲/每转的旋转编码器，则角度精度是0.004度或75微弧度。可重复性只有两次。考虑4米的视野下射程为100m，则FOV为40毫弧度。误差转换为768×150/20000＝2.88像素。
●因为视野包括许多不被替换的静止的物体(包括广告牌)，人的视觉对配准误差更敏感得多。也可以由镜头失真，不通过焦点的转轴，非零滚动角等产生附加误差。
色度键基本上是一种用于演播室的技术，其中照明被仔细地设计和控制，并且色度键控制器的控制被仔细地调整，以便得到特定的蓝屏幕色彩和亮度。
在运动会上的条件可能极不理想，并需要对色度键算法作某些修正。特别是，键控制器参数应该适用于由于表演场的照明的变化而被替换的特定的广告牌。
按照本发明，提出使用色度键板并通过替换广告牌替换视频图像中的广告牌。
因为对于完全的遮挡需要运动员或其它遮挡物体具有和色度键板不同的颜色，在另一个最佳实施例中提出了例如通过使用在本领域中已知的旋转广告牌结构提供板的颜色可以改变的色度键板。例如，一面可以是蓝的，而另一面是绿的。在运动会的环境下绿的可能较好，因为运动员一般不穿绿的，因为绿的和背景运动表面没有反差。
在另一个最佳实施例中，尤其是在多个广告牌需要更换时，使用已知形成图形的色度键板。图形可以是任何合适的形状，但最好选择使其适合于广告牌或一系列广告牌的尺寸和形状，同时适合于预期的视频条件。这样，如果一个广告牌只能从远方看到，则对要在近处看到的广告牌选择不同的形状。
图形可以包括不同的颜色或相同颜色的不同形状。图形可以包括垂直线或水平线，或者可以包括装饰图案，可看得清的广告，公司的标识，或其它合适的在美学上更可接受的字句。
使用图形使得可以进一步地辨别摄像机的位置，并允许摄像机离开固定的位置而运动。
摄像机的方位数据可以和视频信号一起传输，并可在任何天气，照明或遮挡条件下识别广告牌的位置。识别广告牌的位置不需要参照运动场内的任何特征。
摄像机检测器可以精确到几个像素，或用物理术语来说精确到在大约100米的范围大约1cm，借以可以精确地替换任何广告牌。可以连续地或仅仅周期地进行重新校准，尤其是当在调整时记录有不在FOV的中心的广告牌的校准的初始调整时。
通过使用色度键技术，则不需要传输任何遮挡数据，因为这可以容易地在接收机以正常方式插入。
然而，当处于体育馆内不同的位置时，包括由色度键板(以后称作广告牌)描绘的色度键颜色的那些区域的广告牌将受到变化的不同的照明条件。
发明人认识到的问题是，设置色度键控制器用于检测特定的色度键颜色，并在不同的照明条件下，广告牌(根据定义包括要被插入广告牌的区域)的颜色将改变。因而这种装置不能精确地识别位于体育场周围的各个广告牌。
因此，本发明还提供一种装置，包括广告牌图形存储器，用于记录多个广告牌的位置，并用于记录要被替换的每个广告牌的色度键颜色，借以提供体育馆内的色度键颜色图形。
发明人认识到的另一个问题是，如果多个不同的色度键颜色向远方接收机发送，以便在本地分配中心提供用于替换的广告牌，则在该中心的色度键设备必须配备有选择的色度键图形。这大大使本地接收装置复杂化，本发明的一个目的就是要解决这个问题。
因此，本发明提供一种装置还包括用于对每个要被替换的广告牌发送完全的背景彩色键信号的装置。
本发明还提供一种装置，其中进一步包括用于发送要被替换的每个广告牌的坐标的装置，并且本发明的装置还包括接收装置，用于接收广告牌坐标和完全的背景色度键颜色，并且包括用于在由完全的背景色度键颜色识别的坐标区域内提供含有遮挡的合成的视频图像的装置。
在一种最佳的结构中，在体育馆或运动场内，具有正常的广告内容的实际的广告牌位于可由第一组摄像机看到的体育馆的一侧，色度键广告牌位于另一侧或要被第二组摄像机看到的相反的一侧。这样，例如，本国可以观看正常的广告牌，而国际电视观众只看到替换的广告牌。
本发明还提供一种电子替换由摄像机产生的视频图像显示中的广告牌的方法，包括以下步骤
a识别在体育馆或其它运动场中矩形色度键广告牌的位置，所述识别步骤包括通过在第一摄像机位置识别要被替换的色度键广告牌的4个角，从而在视频显示上规定要被替换的色度键广告牌；b存储识别的信息；c监视摄像机在扫视，俯仰和变焦时的运动；d一场一场地存储监视的摄像机的运动；以及e由在摄像机的第一已知位置记录的信息和摄像机的存储的运动分析要被替换的色度键广告牌的尺寸和位置，从而提供关于在当前视频场中的色度键广告牌的尺寸，透视和位置；f在广告牌替换存储器中存储用于在体育馆内色度键广告牌替换中使用的替换广告牌；g按照摄像机运动信息电子地改变替换广告牌的尺寸和透视，从而使其和在当前视频帧中的要被替换的色度键广告牌的尺寸和透视一致；以及h在当前视频帧中利用替换广告牌电子地替换色度键广告牌。
在最佳实施例中，分析要被替换的色度键广告牌的尺寸和位置的步骤还包括分析一组视频扫描线从而提供关于要被替换的广告牌的精确的尺寸，透视和位置细调信息的进一步的步骤。
在另一个最佳实施例中，要被替换的色度键广告牌是一个空白，其颜色适合于色度键替换。由于在人的皮肤和毛发中很少发现蓝色和绿色，所以这种颜色可以是蓝的或绿的色调。
在另一个最佳实施例中，色度键广告牌最好具有合适形状的图案，以便有助于上述的细调操作。广告牌的尺寸和位置分析步骤包括图案的分析，以便确定广告牌的准确位置。
在另一个实施例中，通过图案的分析而基于检测器的预测的校正由用于分析的质量因数(精确地计算的)控制，质量因数被自动地计算。
在另一个实施例中，利用替换广告牌在当前视频场中电子地替换广告牌的步骤包括通过使用色度键技术添加遮挡物体的步骤。
在另一个实施例中，要被替换的广告牌可被改变，使得和运动员服装的颜色和色调较好地匹配，从而在广告牌和运动员之间提供好的对比度。例如，如果服装包括蓝的色调，则应该选择绿的广告牌。
在蓝绿红之间可以选择黑色。为了使色度键控制器计算为实现合适的图像所需的所有参数，系统需要一个背景色试样作为参考。这一步可以通过扫描图像并检测最纯的和最亮的颜色而自动地实现。先进的色度键控制器可以使用户手动地选择要被采样的区域。
在另一个最佳实施例中，色度键装置具有多个建立条件，每个相应于体育馆的不同的区域。摄像机扫视时，俯仰和变焦信息可以加载到相应的建立条件中。
在另一个实施例中，细调信息用于补偿检测器的漂移误差。在实际情况中，检测器误差具有一个显著部分，其处于比视频场频率低得多的暂时频率上。因而，这些检测器引入的误差可由好的视频场被可靠地计算，并被从随后的测量中减去。
本发明还提供一种用于实现上述的电子地替换广告牌的方法的装置。
现在参照
本发明的实施例，其中图1表示说明按照本发明的装置的体育馆或其它运动场；图2表示由在第一位置的摄像机看到的体育馆的视频图像；图3说明在几个不同位置具有广告牌的体育馆；图4说明变焦的摄像机拍照，用于说明现有技术系统存在的问题；图5说明利用本发明的形成图案的色度键(chroma-key)广告牌；图6以方块图的形式表示用于发送视频数据和摄像机方位数据的图1所示的摄像机的电路；图7是和图6的发送机电路协同工作的接收机的电路方块图；图8是图7所示电路的操作流程图；图9表示广告牌建立数据存储器的结构；图10广告牌建立数据的结构；图11表示透视的变换计算流程图；图12表示摄像机本身参数存储的结构；图13表示动态重新校正公式；图14表示动态重新校正流程图；图15表示重新校正的过程；图16说明在具有不同照明条件的体育馆内关于在不同位置的广告牌的地点的问题；图17表示U和V的最小和最大值，说明色度键控制器(chroma-keyer)的操作；图18表示具有遮挡物体的广告牌，说明用于广告牌的色度键彩色的调整原理；图19表示用于接收广告牌坐标数据和正确的色度键颜色的远程接收机，其中通过色度键技术实现遮挡；图20表示广告牌建立(set-up)数据存储器的另一种结构，用于说明另一个实施例；图21表示图20的广告牌建立数据存储器用于摄像机扫视的动态建立程序的流程图；以及图22表示利用图20的广告牌建立数据存储器进行摄像机俯仰的动态建立程序的流程图。
现在参照图1-4说明本发明的原理。
在体育馆或其它运动场10中由标号12表示的有斜坡的一侧安装有广告牌14，16，18。这些广告牌可由摄像机20看到。广告牌15，17，19位于体育馆的相对侧，可由另一个摄像机21看到。体育馆的台阶/座位由线11表示。
摄像机21在优选的例子中是一般的TV视频摄像机，并直接向用于本地观众的第一馈源发送其输出的视频信号。虽然我们称为摄像机20或21，但应该理解，在体育馆的每侧可以有多个摄像机提供不同的图像。
在优选的实施例中，摄像机21以不变的方式向本地观众播送广告牌15，17，19。
在本优选实施例中摄像机20向国际观众发送馈源。摄像机20具有方位检测装置，其最好包括下述的一个或几个装置扫视测量装置24；俯仰测量装置25；变焦测量装置26；以及聚焦测量装置28。
合适的检测器可以包括从RADAMEC EPO，Bridge Road，Chertsey，Surrey KT16，8LJ，England得到的Virtual Reality Encoder。
根据所允许的摄像机的灵活性，可以需要这些装置中的一个，几个或全部。例如，如果摄像机20被固定，则可以只需要变焦，如在一些遥控无人摄像机的情况下，只需要测量变焦参数。
大部分在运动场上的摄像机可以变焦，俯仰和扫视，因而现在假定对每个摄像机都测量这些参数。焦距被假定不变，但如果需要，也可以用类似方式加上。
图2是由观众尤其是由设备操作者看到的视频图像。摄像机20变焦，扫视，与/或俯仰，从而以合适位置和合适尺寸对准广告牌14的中心。由图7可见，然后每个广告牌被在接收机观看，其位置通过使用触摸屏幕700或键盘鼠标702标示，并对其4个角作标记。其位置被存储在存储器704中。对于在体育馆较高处的广告牌例如30(图3)，根据摄像机的俯仰位置而存储摄像机的校正因数。
每个广告牌的位置连同在摄像机20的参考位置由在存储广告牌的位置时是正确的摄像机的参数信息而获得的摄像机参数信息被存储在存储器704中。
对每个摄像机和每个目标广告牌最好重复以下步骤1使摄像机对准目标，从而获得稳定的无遮挡的目标图像。调节焦距，以便得到大的目标图像而又使整个目标图像在视野内。
2在摄像机不移动时，启动一个获取装置，从而捕获目标图像和相应的检测器的读数。
3在视频图像上标记图像的角。
最好使用角检测器以小于一个像素的精度对准目标的角。
这摄像机参数信息由安装在摄像机上的检测器获得(图6)，并且摄像机的运动以对于每个参数的第一参考位置或固定参考位置为参照。摄像机的运动被检测并把信号送到综合电路24，然后送到发送缓冲器36中，由此发送综合的视频和位置数据信号。
在建立期间，在接收机(图7)由接收缓冲器706接收信号，并把其送到分离器708。视频信号被存储在合适的存储器710中并被延迟，并且提取摄像机的参数数据，存储在存储器712中。
在建立时使用VDU700标记可能需要替换的广告牌。摄像机20通过扫视等把每个广告牌移动到屏幕上的合适位置，并把其位置连同通过处理器714从存储器712获得的摄像机参数记录在广告牌存储器704中。
替换广告牌716存储许多替换广告牌，并且这些广告牌可被选择用以替换原来的广告牌。
在操作时，替换广告牌被插入综合器718的视频信号中，从而提供修改的输出视频信号720。
通过存储来自信号源30(图6)的摄像机ID，可以在建立步骤对几个摄像机识别广告牌的位置和摄像机参数。这样，广告牌位置存储器704将对每个摄像机存储一个广告牌数据表。
现在参照一个广告牌和一个摄像机20说明系统的操作。
参照图4，假定当摄像机20从图3的位置在变焦之后进行扫视，使广告牌14以放大的形式进入屏幕左侧的视野。
摄像机的方位数据一直由接收机接收，并且处理器714一直按照逐个像素匹配视频图像和存储在存储器704中的已知的广告牌位置。每当广告牌出现在视频图像中时，代表广告牌的像素就被识别，并在综合器718中以和这些像素相关的替换广告牌像素替换。其中的延迟是小的，因为像素按照地址相关处理进行识别，这实际上是瞬时的。
在一段时间之后，摄像机检测器可能漂移，在这种情况下，替换的广告牌便不准确地对准原来的广告牌。这可能只对一两个像素发生，观众可能察觉不到。为校正这种现象，可以采用两种方法。第一，可以在合适的时刻，例如在摄像机无效时，定期地手动恢复广告牌的位置。这需要操作者合作。
第二，可以对照原来存储的广告牌对逐个像素进行比较，并调整在广告牌位置存储器中的参考摄像机参数。这处理可以按照设置的间隔自动地进行，或当处理器17具有合适的时隙时进行。
最佳的再校准处理的基本步骤是要使用摄像机数据透视地转换当前视频图像，从而提供计算的变换模型。然后，广告牌的存储的图像和变换模型比较，从而提供剩余的视频场。变换模型和剩余视频场之间的剩余失真被求解，从而提供用以更新计算的变换的更新信息，并借以提供校准校正因数，用以按照摄像机检测信息再校准存储其中的每个广告牌的位置。
通过使用处理器714(图7)以及各种参数和广告牌存储器利用合适的软件程序完成每个广告牌的替换，现在对此详细说明。
图8表示用于确定摄像机视野中的每个广告牌的位置并把广告牌的相应部分送入帧缓冲器的全部过程。因为通过色度键利用视频缓冲器提供并合成图像缓冲器在现有技术中是熟知的，所以我们将参照图6和图7集中说明广告牌位置的确定。
在每个视频场的开始，在800读出扫视、俯仰、变焦和聚焦检测器(24，25，26)的数据。这些值和来自广告牌建立数据存储器的广告牌数据以及来自摄像机本身参数存储器712的数据相结合，可以独立于视频信号而检测并识别摄像机FOV中的所有的广告牌。图1的处理包括对所有广告牌(m)的一个环802，804。对于每个广告牌，从广告牌建立数据存储器704中检索其建立数据806，并利用摄像机本身参数808，以便从广告牌m到当前帧计算透视变换810。然后替换广告牌信息被存储在帧缓冲器中(812)。
图9说明广告牌建立数据存储器900，其中包括在运动场中每个广告牌的单独记录902，904。这种记录包括在合适的条件下捕获的静止图像906和相应的静止建立数据908。该记录还包括动态建立数据910，该数据是使用图像处理装置按照被称为动态再校准方法计算的，这在上面已经说明过，并且参照图11还要作进一步的说明。提供动态和静态校准的另一种方法参照图20，21和22说明。
图10说明对于一个广告牌的建立数据1000(静态的或动态的)。其中包括在建立的时刻检测器的读数1002，广告牌四边形角顶坐标1004和建立时刻的时间码1006。
动态再校准的方法可以解释如下由于检测器的漂移和不精确，最后的校准表以及其它实际的原因，在给定时刻不可能预测所有可视广告牌的精确位置。然而，在许多视频场中，广告牌的可视性可以使得能够进行精确的几何位置校正。因为该位置在时间和空间上和下一个视频场接近，所以最好通过预测广告牌相对于其检测器读数的位置和精确的四边形坐标而依靠“幸运尝试”进行校正。例如，考虑由于摄像机扫视而出现在视野中的广告牌。当其仍然被清楚地可见时进行幸运尝试，这使得当其可视性不允许应用任何图像处理装置时只用检测器便能平滑地跟踪广告牌。
图11说明用于透视变换的流程图1100，建立数据选择逻辑1102选择来自上述的建立数据存储器806的静态建立数据1103或动态建立数据1105。该建立数据和摄像机本身参数一道用于计算透视变换1104的基于检测器的预测，而不依赖于视频信号。
然后进行基于图像处理装置的动态再校准1106。其中利用视频信号1108和色度键信号1110以及来自建立数据存储器806(图8)的广告牌模型图像1112。根据由图像处理装置导出的质量因数，输出基于检测器的变换1118或校正的变换1116。如果计算的几何校正的质量高。则在1114动态建立数据被更新。
图12，13，14说明基于检测器的在视频场中广告牌坐标的预测。这种预测利用检测器读数和摄像机固有参数。这些参数在图12中说明，并且对于密集的(变焦，焦距)空间必须被制成表。由现在参考的图13可清楚地看出这些参数的意义。
设由扫视，俯仰，变焦和聚焦检测器给出的测量集由矢量(P，T，Z，F)表示。俯仰角假定相对于水平线。
考虑物体上的一个点，其图像在某个建立瞬时的帧缓冲器坐标为(xs，ys)。还假定检测器测量矢量在此瞬时为(Ps，Ts，Zs，Fs)。
在另一个时刻，即预测时刻，设检测器测量矢量为(Pp，Yp，Zp，Fp)。
要求预测在帧缓冲器坐标(可能超出实际的帧缓冲器)(xp，yp)。
首先我们定义建立关系矩阵如600所示，定义预测旋转矩阵如602所示。
然后，在两个图像平面坐标系统之间的预测变换矩阵被给出如604和1402所示(图14)。
Rsp是3*3矩阵，其行列下标范围为0-2。Rsp[i][j]代表矩阵中的i行j列。这样，物体点的给定的建立图形平面坐标(us，vs)，和物体点的预测位置在图像平面中的坐标(up，vp)如606和1404所示。
图像平面坐标对帧缓冲器坐标的变换如608，1406所示。像差补偿按608，1406(图14)进行，从而提供预测的帧缓冲器广告牌坐标和透视变换数据。
对于特定的(变焦，聚焦)对推导这些参数的有效方法在[J.Weng etal.，Calibration of stereo cameras using a non-linear distortionmodel，IEEE 10th Int1.Conf.Pattern Recognition(1990)，pp.246-253]中描述了。用于几何校正的图像处理装置也能进行再校准处理，现在参照图15进行说明。
基于检测器预测的几何校正的图像处理装置根据不同的运动计算方法[C.Cafforio and F.Roca，The differential method for motion estimation，in T.S.Huang，eg，Image seqence processing and dynamic sceneanalysis，Spring，Bersin，1983，pp.104-124]。设C是当前视频场，设M是静止的广告牌建立图像，按照基于检测器的预测进行透视变换。这里我们只考虑亮度图像。在理想情况下，M和C在广告牌四边形的支持内是相同的。实际的差别可以包括●C存在遮挡而M不存在●由于检测器的几何误差和固有的摄像机的参数误差。
●亮度变化对于运动，忽略任何不是由于几何误差的差别，考虑广告牌四边形支持中的点(x，y)。设(p，q)是局部几何误差，则可以写出各个图像的亮度信号M(x+p，y+q)＝C(x，y)在假定误差是小的情况下，可以写出泰勒序列表达式
忽略二阶项，空间导数为dM/dx＝HdM/dy＝V得到
C(x，y)-M(x，y)＝pH+qV用D表示差C(x，y)-M(x，y)，得到D＝pH+qV上述方程局部有效。对于广告牌的通解并假定小的误差可以使用透视模型[G.Adiv，Determining Three-Dimensional Motion and Structure fromOptical Flow Generated by several moving objects，IEEE Trans.PatternAnalysis and Madhine intelligence，7，[[.384-401，1985]。p(x,y)=a1x+a2y+a3a7x+a8y+1]]>q(x,y)=a4x+a5y+a6a7x+a8y+1]]>系数a1...，a8通过使下述表达式最小进行计算Σ(x,y)(D(x,y)-p(x,y)-q(x,y)V(x,y))2]]>现在，透视变换矩阵(基于检测器的预测)被乘以a1a4a7a2a5a8a3a61`]]>获得的矩阵可以认为是广告牌透视的更新的预测。
在实际环境中，可以应用以下的考虑●在这公式中遮挡可能引起主要问题，因为如果来自遮挡的运动物体的像素参与上述表达式的最小化，它们可能使解严重偏离。最好这些像素通过使用色度键板从处理中排除。通过色度键控制器输出的键信号最好用于排除这些像素。
●通过使用直方图匹配技术对当前视频场进行预处理，可以使亮度变化最小。
●预测校正处理可能需要2-3次迭代以便收敛。
●通过使图像预平滑可以增强抗噪声度和收敛过程。
这样，广告牌14等是按照本发明的色度键广告牌，并使用一般的色度键技术使遮挡得以颜色识别。这些技术可以实现完全的遮挡，只要运动员不穿和广告牌相同颜色的服装。这可能并不总是如此，因而，按照本发明的一个特定实施例，提出可以使用可以旋转或可以改变为第二或第三种颜色的广告牌。例如三种颜色可以是蓝绿红，当已知运动员的服装的颜色时，可以在其中选择。
另外，如果需要在斜坡或周围区域显示广告牌，则这种区域必须选择为其颜色是已知的，然后把其记录在色度键控制器中作为一种色度键颜色。
在最佳实施例中中，色度键装置可以包括从ULTIMATTE Corp.，20554Plummer St.，Chatsworth，CA 91311，USA得到的ULTIMATTE-7数字视频图像合成装置。
背景颜色可以在蓝绿红之间选择。为了使色度键控制器计算为进行正确的图像合成所需的全部参数，系统需要采样背景颜色作为参考。这一步可以通过扫描图像并检测最纯的和最亮的颜色自动地进行。先进的色度键控制器可以使用户手动地选择更被采样的区域。
在一个特定的实施例中，提出使用形成图案的色度键板。这样，摄像机检测器的校准便可以通过逐个像素地比较图案而容易地完成。在广告牌板上的图案最好具有小于预计的检测器误差的严格的尺寸(投影到大量的坐标上)。
概括地说，上述系统即使在极端恶劣的气候条件下也能操作，因为电子处理电路精确地知道每个广告牌的位置，并且不依赖于视频图像的任何分析检测广告牌。在视频图像如此失真，以致使得不能利用合适的确定性进行再校准的情况下，则可以继续使用原始的摄像机参数设置，因为此时看到的视频图像将是低质量的，因而观众并不注意在需要以和差的质量的视频图像相匹配的同等质量被显示的替换广告牌的位置中的一个或几个像素的误差。
在本发明的另一个最佳实施例中，所述的问题是广告牌处于在体育馆的不同位置，如图16所示。
在这种情况下，广告牌1，3，5的亮度将因照明灯7，9，13的位置而不同。并且在比赛期间，其照明随时可以改变。
如果这种广告牌是相同颜色的色度键广告牌，则这些广告牌由于不同的照明条件而表现出稍微不同的颜色。
全部背景颜色的固定的调整可能由色度键控制器引起局部物体背景分离。
在本发明中，提出局部采用背景色彩图，使得色度键控制器可以正确地识别每个广告牌。这可以通过在存储器704(图7)存储关于每个色度键广告牌的空间图形提供信息来提供。
这样，色度键控制器将比较在每个视频位置的颜色和与在那位置的广告牌有关的特定颜色。
在最佳实施例中中，广告牌的位置可以通过围绕广告牌“画”一个用于识别位置的稍大一些的方块来识别。这种方块用虚线标识为1，3和5，如图16所示。
系统将随时跟踪背景颜色，因此将连续地更新，以便一旦正确地建立便能确保正确识别。
该系统的操作如下。
首先参照图17，设置U和V的最小和最大值。这应该是足够宽的，以便包括所有的亮度合适的广告牌。
然后，对于每个广告牌，当照明条件改变时，便对其存储的值进行调整，如图18所示，其中假定广告牌1被物体13遮挡。确定一个内部方块1，以便确保只考虑1内的像素。大多数遮挡的像素可作为不同颜色的像素而被排除。这时在FOV和广告牌方块1内的所有像素(YuV)被测量并被加到平均值上(在广告牌上的背景颜色平均值UV)，如果Umin≤U≥Umax或 Vmin≤V≥Vmax
发明人已经认识到由于在体育馆内使用色度键广告牌而引起的另外的问题。由于上述的不同的照明，每个广告牌在视频图像上将呈现稍微不同的颜色。为了发送正确的遮挡信息，需要发送每个广告牌的遮挡图形。
按照本发明的最佳实施例，提出对于每个广告牌发送完全的背景颜色，并且然后允许在每个接收台中的色度键控制器通过正常的色度键处理引入遮挡的部分。
现在考虑图16所示的广告牌的布置。每个广告牌1，3，5因为其不同的照明条件而呈现稍微不同的颜色，即使这颜色可能在图17提出的最大和最小限度之内。
在本发明的最佳实施例中，发送装置(图6)将发送广告牌区域内的完全的色度键颜色，并且还发送由广告牌形成的四边形的坐标。
按这种方法，接收台只需译码/提取广告牌四边形的坐标，并且然后利用替换广告牌在四边形内代替那些是完全色度键颜色的像素。不是完全色度键颜色的那些像素不被替换。
按照这一系统，在远方接收台的色度键控制器不需要能够识别不同的广告牌并必须存储每个广告牌的不同的色度键值。此外，不需要发送任何遮挡信息，因为在每个远方台由色度键控制器进行遮挡相当简单。
参见图7，广告牌位置和背景颜色存储器704知道每个广告牌的位置并使用来自存储器的控制输出7042，和视频输出7102结合以便提供可以在由存储器704提供的坐标内改变广告牌的颜色的背景颜色处理器7044的输入。处理器7044的输出被用于控制在所要求的坐标内改变广告牌颜色的背景颜色存储器7046，并还可以对远方接收机的视频输出720提供坐标。这些可通过标准的视频数据发送系统发送。
远方接收机的一个例子如图19所示。视频数据在接收机缓冲器1900接收，并在1902，1904分离和延迟。
广告牌坐标存储器1906存储发送的广告牌坐标，并和图形发生器1908以及替换广告牌图像存储器1910结合，从而对综合器/色度键控制器1912提供输出信号，从而在屏幕上产生所需的遮挡的广告牌。
现在参见图20-22说明在另一个实施例中在电视播送之前对存储在存储器704中的建立数据的修正。
所述修正包括除去如图9所示的静态图像和静态建立数据之外还附加动态建立数据。
附加的数据可以用来代替图9所示的动态再校准建立数据910，或用于附加。
在最佳实施例中，假定附加的数据用于代替动态再校准处理，现在就此进行说明。
作为开始，首先讨论和用实际的广告牌替换广告牌有关的问题。同样的问题是识别位置，尺寸，和原始广告牌的轮廓，然后用实际的或替换广告牌替换之。
在静止的摄像机的情况下，只要摄像机检测器基本上不随时间漂移，一旦原始的坐标被记录，则不会有实际问题。
然而，发明人已经发现，在摄像机的快速扫视或俯仰期间，记录在存储器900中的替换广告牌的坐标908和在体育馆或运动场中的广告牌的实际位置不一致。这是因为摄像机检测器具有一定程度的滞后。这可以通过已经说明的动态再校准处理补偿，但是在某些情况下这是不实际的，例如在由于目标广告牌被遮挡而进行快速扫视期间。
滞后可以通过在摄像机的运动中引入一个简单的百分数误差被克服，但这不能产生很好的结果，因为其中没有考虑每个摄像机相对于广告牌的角度，也没有考虑摄像机参数检测器随角度的变化。
因此，在本发明的另一个实施例中，除去静态广告牌建立数据之外，广告牌建立数据存储器900存储对于每个摄像机的每个广告牌至少关于下面的一些数据左右扫视2002，右左扫视2004，上下俯仰2008和下上俯仰2006。现在参照图20-22说明这些数据的获得和存储。
图20表示被修正的存储器900，除去用于提供广告牌1-M的静态图像数据和广告牌1-M的静态建立数据之外，还用于提供每个广告牌1-M的4个其它的数据组，并且这些数据组被乘从而提供每个摄像机的这一数据。
对于每个摄像机，每个广告牌的位置随着摄像机左右扫视2002和右左扫视2004而被记录。在电视播送的情况下，扫视速度可选择正常速度。因而，例如对于赛马可以选择较低的，而对于摩托车赛可以选择较高的。然后每个广告牌的位置随着摄像机跨过每个广告牌上下俯仰2006和下上俯仰2008而被记录。
关于每个测量，最好把摄像机变焦和聚焦设置为这样一个已知值下，使得被分析的广告牌处于一个尺寸合适的视野中。例如变焦和聚焦可以和获得每个广告牌的静态建立数据期间的相同，使得可以直接和静态建立数据比较。此时，只需要记录误差校正数据。
最好不选择太高的扫视或俯仰速度，因为在太高的速度下，在任何情况下广告牌将变模糊，因而不能保证替换精度。对于每个摄像机每个广告牌进行这种处理之后，然后在每种情况下利用这些数据随着摄像机扫视或俯仰而校正每个广告牌的位置。
可以看出，每个广告牌将被每个摄像机在不同的角度下看到，使得在每个摄像机上检测器的每个输出可以根据摄像机必须转动从而观看广告牌的角度而变化。通过记录静态数据和关于在两个方向扫视和俯仰的数据，替换广告牌将精确地定位在在静止拍摄或在摄像机运动情况下原始或实际广告牌的位置。
在前述情况发生期间，除去由于大的遮挡而需要摄像机快速地运动期间，动态再校准将确保替换广告牌被正确地定位，但是使用静态和动态建立数据也能保证如此，除非摄像机检测器在一个事件期间严重漂移。因而即使摄像机检测器的质量从漂移方面看是合理的，在扫视和俯仰期间它们在精度方面的质量还是可变化的。通过仔细地选择摄像机检测器，极精确的检测器因此是不需要的，因为相对于摄像机运动的任何变化都可以通过存储动态建立数据进行补偿。
下面参照图21和22说明所述数据的取得过程。
一旦关于每个广告牌图像及其静态建立数据(图9，906，908)被取得，便开始程序2100，并在2102摄像机由操作者以相对于正常扫视速度的合适的速度扫视。
在2106检测器指示扫视方向，并根据方向，在步2106或2108通过选择存储器在存储器2002或2004存储动态数据。对于左右或右左存储器2002和2004程序是类似的，因而对左右存储器加以说明，不过对两个存储器使用相同的标号。
在步2110，2112，当摄像机左右扫视时，每个广告牌由存储器906存储的数据进行识别。在步2114，2116系统检查广告牌是否已被动态地记录，如果是，则返回程序的开始，并重复步2104-2110，直到发现没有被动态记录的广告牌为止。一旦新的广告牌被发现，在扫视期间便记录广告牌分位置(坐标)，并在步2118，2120和以前存储的(908)静止广告牌参数比较。计算任何误差(步2122，2124)，并在2126，2128把每个广告牌的误差存储在左右和右左扫视存储器中。系统检查在存储器908记录的所有广告牌是否已被动态地左右和右左扫视(步2130，2132)。如果不是，则程序被继续，直到最后的广告牌被动态地扫视为止，然后，程序在2134，2136结束。
图22是对每个摄像机的俯仰提供的类似的程序。显然，如果不允许俯仰或不能作任何程度的俯仰，则该程序在存储器2006，2008中记录的数据便不需要了。
程序在2200开始，然后在2202每个摄像机进行俯仰，在2204由摄像机检测器确定俯仰的方向。在步2206，2208根据摄像机向上或向下俯仰在存储器2006，2008中存储动态建立数据。两个程序是相似的，因而参照两个程序只说明向下俯仰。
在2210，2212由静态图像数据和特别是在所有实际广告牌都相同时的摄像机参数识别每个广告牌。在步2214，2216程序询问广告牌数据，看是否广告牌已被询问过。如果是，则程序重新开始，如果不是，则步2218，2220在俯仰期间比较广告牌的坐标数据和静态数据。在步2122，2124计算误差，并在步2226，2228存储在存储器2006，2008(图20)中。
然后程序询问存储器2006，2008，看是否所有广告牌已被询问过上(步2230)下(步2232)俯仰误差，如果是，则在步2234，2236程序结束。如果不是，则通过在程序的开始处开始而使程序继续，直到所有广告牌都被询问过为止。
一般地说，摄像机变焦和聚焦不要求存储相同类型的动态建立数据。不过，如果已知特定的摄像机像差，则可利用相似的动态建立数据进行补偿。
在存储器2002-2008中存储的动态数据可用来代替参照图9所述而获得的动态再校准数据或和其结合。不过通常动态建立数据在大多数事件类型期间不需要再校准。
在使用期间，系统通过读摄像机检测器知道广告牌是否以静止的方式被看到或者正在被左右或右左扫视或上下俯仰。在这种情况下，广告牌的位置便从静止数据存储器中取出，然后如果发生扫视或俯仰，则应用所需的误差校正。一旦摄像机运动停止，静止的广告牌参数便被返回。
权利要求
1一种用于自动更换视频图像中的广告牌的装置，包括用于拍摄广告牌的摄像机，其特征在于，所述广告牌包括色度键表面，并且所述装置还包括色度键单元，用于通过运行检测至少一种色度键颜色，并且其中色度键颜色可以调节，以便和色度键表面的颜色一致。
2如权利要求1所述的装置，还包括广告牌图形存储器，用于记录多个广告牌的位置，并记录每个要被替换的广告牌的色度键颜色，借以提供体育馆的色度键颜色图形。
3如权利要求2所述的装置，还包括用于按照体育馆内的照明条件的变化自动调节色度键颜色图形的装置。
4如权利要求1-3任何一项所述的装置，其中摄像机结合有摄像机方位自动检测装置，其包括通过操作测量摄像机相对于已知参考位置的视野(FOV)的运动测量装置。
5如权利要求4所述的装置，包括图像处理装置，用于处理由摄像机产生的视频信号，其中所述图像处理装置包括用于周期地自动校正运动测量装置的校准装置。
6如权利要求1-5任何一项所述的装置，还包括对于每个要被替换的广告牌发送纯背景彩色键信号的装置。
7如权利要求6所述的装置，还包括用于发送待替换的每个广告牌的坐标的装置。
8如权利要求7所述的装置，还包括接收装置，用于接收广告牌坐标和完全的背景色度键颜色，并且包括用于在由完全的背景色度键颜色识别的坐标区域内提供含有遮挡的合成的视频图像的装置。
9如权利要求2所述的装置，还包括动态广告牌存储器，用于记录当摄像机扫视或俯仰时广告牌的测量位置的任何变化。
10一种自动电子替换视频图像中的广告牌的方法，包括以下步骤i识别视频图像中的第一特定区域，所述特定区域具有确定的第一色度键颜色；ii在色度键颜色存储器中记录所述第一特定区域的第一颜色；iii识别用于置换所述第一特定区域的第一替换广告牌；以及iv利用色度键技术更换在所述视频图像中的所述第一替换广告牌，所述更换包括遮挡第一特定区域的在视频图像中由遮挡物体遮挡的那些部分的步骤。
11如权利要求10所述的方法还包括以下步骤i在视频图像中识别另一个特定区域，每个另一个特定区域具有一种相关的色度键颜色；ii在色度键颜色存储器上记录所有特定区域的颜色，连同记录相关于每个所述特定区域位置的信息；iii识别用于置换每个所述特定区域的替换广告牌；以及iv把替换广告牌置于带有遮挡物体遮挡的各个正确的位置中。
12如权利要求10所述的方法还包括以下步骤以合适的时间间隔对每个特定区域更新记录的色度键颜色，以便补偿体育馆内照明的变化。
13如权利要求11或12所述的方法还包括以下步骤i和视频图像一道发送识别特定区域的信息数据，其中包括多个广告牌中的每个的位置和尺寸；ii对每个被识别为广告牌的特定区域发送纯色度键颜色；iii在接收机中接收用于识别要被替换的多个广告牌的每个的数据和对每个特定区域的纯色度键颜色信息；iv在所述接收机中比较纯色度键颜色和在色度键装置中预选的匹配的完全色度键颜色；v由在所述接收机在本地选择的多个广告牌置换对每个广告牌识别的特定区域；以及vi利用色度键技术使用色度键控制器对每个广告牌插入遮挡物体，在所述色度键控制器中设置色度键颜色，用于检测完全的色度键颜色。
14一种电子地替换由摄像机产生的视频图像显示中的广告牌的方法，包括以下步骤a识别在体育馆或其它场地中矩形色度键颜色广告牌的位置，所述识别步骤包括通过在第一摄像机位置识别4个角，从而在视频显示上规定要被替换的广告牌；b存储识别的信息；c监视摄像机在扫视，俯仰和变焦时的运动；d按照一场一场地存储被监视的摄像机的运动；以及e由在要被替换的色度键广告牌的第一已知位置记录的信息和摄像机的存储的运动分析要被替换的色度键广告牌的尺寸和位置，从而提供相关于在当前视频场中的色度键广告牌的尺寸，透视和位置的信息；f在广告牌替换存储器中存储用于替换在体育馆内的色度键广告牌要被使用的替换广告牌；g按照摄像机运动信息电改变替换广告牌的尺寸和透视，从而使其和在当前视频帧中的要被替换的色度键广告牌的尺寸和透视一致；以及h在当前视频帧中利用替换广告牌电替换色度键广告牌。
全文摘要
一种用于在视频图像中广告牌的自动电子更换的装置,包括用于拍摄广告牌的摄像机,其中广告牌包括一个特定的色度键区域,并且所述装置包括用于识别体育馆中的特定色度键区域并电子地替换广告牌的装置。
文档编号H04N9/75GK1199530SQ9619748
公开日1998年11月18日 申请日期1996年9月9日 优先权日1995年9月8日
发明者埃茨哈克·威尔夫, 埃维·沙亚, 米切尔·塔米 申请人:奥瑞德高技术系统有限公司