改进的色度键控系统的制作方法

专利名称：改进的色度键控系统的制作方法
技术领域：
本发明涉及包括色度键控的演播室成象的方法和设备。
在制作电视和录象中，广泛采用了背景色度键控图板，以便于将虚拟的背景形象配在一起。前景形象是在色度键控图板背景上成象的，色度键控图板背景的已知颜色检测出来后用虚拟背景来代替。与这种制作有关的一个问题是，由于摄象机的移动、摇动、倾斜和变焦距而引起的前景图象的改变，没有被自动加到背景景象上。
为了解决该问题而设计的一种系统，是尤提梅特(Ultimatte)开发的“虚拟演播室”。这种“虚拟演播室”需要专用的存储头支座，该支座直接从摄象机支架测量摄象机的摇动和倾斜角。这种方法的一个缺点，是为了获得背景图象的完全透视转换，必须读取透镜的变焦距状态，还必须确定摄象机的瞬时位置。另外，这种方法要求用存储头支座取代每一个摄象机支架，这在采用大量的摄象机时使系统非常不经济，而且操作复杂。另外，对于无接缝前景/背景合并来说，这种方法的准确性也是不够的。
在以下出版物中描述了基于平滑和求方向导数的传统边缘检测方法，该出版物在这里被引作参考文献健尼，J.，“边缘检测的运算方法”，IEEE Trans.on PAMI，PAMI-8，No.6，1986，679-697。
在以下出版物中涉及了基于休斯(Hough)变换的传统边缘检测方法，该出版物在此被引作参考文献J.依林吾斯和J.凯乐“休斯变换研究”，CVGIP，4，1988，87-116。
图BA-1是现有技术色度键控系统的间化框图。
本发明的目的，是提供改进的色度键控方法和设备。
根据本发明的最佳实施例，提供了一种与具有颜色键控谱的色度键控系统结合使用的色度键控图板，该图板包括载有颜色键控谱中的第一颜色的多个第一区域， 以及载有颜色键控谱中的第二颜色的多个第二区域。
根据本发明的最佳实施例，第一颜色和第二颜色具有相同的色调和不同的强度。
根据本发明的最佳实施例，还提供了一种色度键控系统，它包括一个用于抓取前景图象中的包括至少一个具有已知图形的非均匀色度键控图板和一个对象的帧抓取器，；一个透视变换计算单元，用于通过将所获得的图板的至少一个部分的图象与已知的图形相比较，来计算透视变换；以及，一个背景发生单元，用于接收背景图象，对接收的背景图象进行所算出的透视变换，再用经变换的背景来取代所获得的至少一个图板的那部分，从而产生合成的图象。
根据本发明的另一个最佳实施例，该系统还包括一个三维背景图象源，用于向背景发生单元提供三维表示的背景景象。
根据本发明的最佳实施例，该系统还包括一个背景图象序列源，用于向背景发生单元提供背景景象的时间序列，而其中透视变换计算单元按该时间序列的节奏实时地进行操作。
根据本发明的最佳实施例，该背景图象序列源包括一个图象剪取源，且其中透视变换计算单元与图象同步实时进行操作。
根据本发明的最佳实施例，该系统还包括一个图形动画背景图象源，用于向背景发生单元提供图形动画背景景象。
根据本发明的最佳实施例，该系统还包括照相背景图象源，用于向背景发生单元提供照相背景景象。
根据本发明的最佳实施例，该系统还包括与 背景发生单元通信的用户接口，用于对背景图象中的各个虚拟景物的区域判定该虚拟景物区域是处于对象的之前还是处于对象之后，而其中背景发生单元用于将对象重叠在背后的虚拟景物区域上，并将前面的虚拟景物区域重叠在对象上。
根据本发明的最佳实施例，各个单独的虚拟景物区域包括背景图象中的单个象素。
根据本发明的最佳实施例，该系统还包括与使至少一个色度键控图板和对象成象的摄象机对准的测距器，用于测量摄象机视场中的多个区域的距离，而其中背景发生单元用于将重叠的背景图象区域和对象区域合在一起，使具有较小的距离的重叠区域的景象包括在合成图象中。
根据本发明的最佳实施例，该系统还包括使至少一个色度键控图板和对象成象的多个摄象机。
根据本发明的最佳实施例，该至少一个色度键控图板包括多个色度键控图板。
根据本发明的最佳实施例，该背景发生单元还用来在摄象机的瞬时视场大于色度键控图板的视场时用经变换的背景来取代色度键控图板象素。
根据本发明的最佳实施例，还提供了与具有颜色键控谱的色度键控系统结合使用的色度键控方法，该方法包括提供色度键控图板，该色度键控图板包括带有处于颜色键控谱内的第一颜色的多个第一区域和带有处于颜色键控谱内的第二颜色的多个第二区域；以及，形成包括该图板和对象的前景图象。
根据本发明的最佳实施例，还提供了一种色度键控方法，包括抓取一个前景图象中的包括具有已知图形的至少一个非均匀色度键控图板和对象的图象；通过将至少一个图板的图象与已知的图案相比较来计算透视变换；以及，接收背景图象，对接收的背景图象进行所算出的透视变换，再用变换过的背景来取代至少一个图板，从而产生合成图象。
下面将结合附图来详细描述本发明。
图BA-1是现有技术色度键控系统的简化框图；

图1是根据本发明的最佳实施例构成和运行的色度键控系统的简化框图；图2是图1的透视变换计算单元、透视变换单元和色度键控单元的最佳操作方法的简化流程图；图3是多摄象机演播室中采用图1的设备的简化框图；图4是图1的设备的改进，其中采用了与摄象机对准的、具有空间分辨能力的测距器，以获得前景物体的距离数据；图5是根据本发明的最佳实施例构成并操作的色度键控图板的图形的一部分；图6显示了摄象机位移对图5的图板部分的影响；图7显示了变焦距对图5的图板部分的影响。
图8显示了滚动对图5的图板部分的影响；图9显示了摄象机的倾斜和位移的结合对图5的图板部分的影响；图10显示了摄象机摇动和位移的结合对图5的图板部分的影响。
图BA-1显示了现有技术的色度键控系统，它包括色度键控器250和背景图象存储系统260。该现有技术系统260包括用于产生“虚拟”背景的背景数据库。
现在参见图1，其中显示了改进的色度键控系统，它根据本发明的最佳实施例构成和工作。图1的设备包括安装在传统支座14上的传统的摄象机10。摄象机10将色度键控图板20成象，该色度键控图板20是诸如人象的对象或前景物30的背景。色度键控图板通常包括具有以下特征的彩色图案40a.该图案包括两种或更多种阴影，这些阴影都落在设备的色度键控谱中，b.该图案允许所成象的图案对于已知的实际图案是变了形的，c.该图案使得所要检测和加到虚拟背景上的实际图案在成象期间能够由于摄象机10的变焦距、线性位移和角位移而产生透视失真。
具有以上特征的样品图形将在以后结合图5进行更为详细的描述。图1的设备还包括色度键控器50和背景发生器60。色度键控器50用来标明摄象机输出图象中与色度键控图板相对应的区域，并用背景发生器60提供的虚拟背景来取代这些区域。
本发明的一个具体特征，是背景发生器60提供的背景与摄象机的现行取向成透视关系，并且最好还具有前景图象的其他特征，诸如模糊、阴影和光照的非均匀性。
背景发生器60包括传统帧抓取器70，帧抓取器70抓取从摄象机10输出的前景图象并将其送进到透视变换计算单元80。透视变换计算单元80通过与已知的色度键控图板图案进行比较，来分析抓取的前景图象中的色度键控图板图案的透视变换。最好还分析影响图案的其他成象特征，诸如模糊、阴影和光照非均匀性。
透视变换计算单元80将变换参数送到透视变换单元90，后者将该透视变换加到所希望的虚拟背景图象上。该虚拟背景可以由任何适宜的源提供，诸如硬盘100、与帧抓取器126联系的模拟录相机110(盘、盒或磁带)或动画计算机132。
系统的输出是图象142，它可以得到播放或以其他方式显示给观众，且它包括具有前景图象透视和其他实际效果(诸如模糊、阴影和光照非均匀性)的虚拟背景。应该注意的是，图象142中的透视效果和模糊和光照效果，与原来的前景图象中相同的效果随时间的变化准确对应地随着时间变化。
现在参见图2，其中显示了图1的透视变换计算单元、透视变换单元和色度键控单元的最佳操作方法的简化流程图。
图2的方法最好包括以下步骤步骤120帧抓取器抓取并量化摄象机的输出，每次一个场或每次一个帧。由于摄象机的角运动，最好是一个场一个场地进行处理。
步骤122如果当前抓取的场属于这镜头(session)的第一个帧，则进到步骤140。否则进到步骤124，即如果当前抓取的场是这镜头随后的帧的话。
步骤124在围绕前一个场的对应位置的一个窗口，寻找在前一个场中分析的图案部分。或者，该寻找可以在围绕一个新位置的窗口中进行，该新位置与前一个场中的位置的距离是通过根据最后几个相继的场中检测到的图案位置预测摄象机的角速度来确定的。
为了检测图案的边缘，可以采用传统的边缘检测方法，诸如以下的方法健尼，J.，“边缘检测的运算方法”，IEEE Trans.on PAMI，PAMI-8，No.6，1986，679-697。
J.依林吾斯和J.凯乐“休斯变换研究”，CVGIP，4，1988，87-116。
步骤130决定目前的场是属于一个“新”，帧，即它直接跟着摄象机已经转换的一个新的剪切，还是目前的场是一个相继的帧，即从与前一个帧相同的摄象机位置得到的另一个帧。步骤130之后的处理是一个场一个场地进行的。
如果帧是新的帧，则步骤140通过其颜色落在色度键控谱内的象素的区域，找到摄象机输出图象内的图板。图案边缘检测随后可以由此开始，而不是从任意直点开始。
步骤150利用传统的边缘检测方法，诸如在上述健尼和依林吾斯文章中描述的方法，在获取的图板部分上进行边缘检测，最好以单象素或亚象素的精度进行。随后用检测到的边缘构成图案的线。边缘检测普通沿着水平和垂直方向分别进行，至少直到沿着这些方向之一找到两个边缘且沿着另一个方向找到三个边缘，且总共确定了五条线。找到一个方向的两条线和另一个方向找到三个边缘，且总共确定了五条线。找到一个方向的两条线和另一方向的三条线，产生了六个将这些线连接起来的顶点，而这些顶点随后将与已知的图板图案匹配，如在下面结合步骤160所描述的。
步骤154在检测到的边缘内，区分图案与非图案特征；这些非图案特征使图案模糊，诸如阴影、透镜失真、以及光照非均匀性。例如，这些图案特征可从它们的直线段来区分，象在图5的图案中那样，因为非图案特征通常具有弯曲的边缘。另外，沿着与摄象机运动的方向垂直的方向非图案边缘，诸如由于光照非均匀性产生的边缘，经常是平滑的，而图案边缘则是锐利的。非图案边缘的位置得到存储，以例能够进行随后的虚拟背景图象校正。这些非图案边缘在随后的分析中被忽视。
存储的还有阴影边缘内的或光照非均匀性轮廓线内的或隔离透镜象差(如阑晕)区的任何轮廓内的颜色强度图的指示。
步骤158(可选)，对在场成象时间中借助摄象机的扫描而引入图案的模糊进行量化。在图象中的多个位置和的模糊电平被存储起来，从而能够将相同的模糊电平实际加到虚拟背景上。通常，模糊电平是以“图”的形式存储的，它表示了位于检测的线上的象素网点有关的模糊电平。在其他象点处的模糊电平可从该图插值得到。
步骤160对于成象图板部分中的至少四个位置(通常是顶点)，找到原来图板图案中的相同数目的匹配位置(顶点)。例如，位置可以根据线段之间的唯一比例来匹配，如在下面结合图5所详细描述的。为了进行定位，沿着一个方向通常需要两条线段，所以沿着垂直的方向通常需要三条检测到的线段。
通常至少使四个成象图板位置(xi，yi)与相应数目的原来图板图案位置(Xi，Yi)相匹配。
步骤164利用成对的位置来计算成象摄象机相对于前一取向或相对于原来摄象机取向的线性位移、角位移和变焦距改变。
计算可以按照以下用于透视变换的公式1-7，其中X0，Y0，Z0＝成象摄象机的线位移；角位移参数是α(摇动)、β(倾斜)和γ(滚动)；f＝成象摄象机的焦距；Rx(α)＝绕X轴的转动；Ry(β)＝绕Y轴的转动；Rz(γ)＝绕Z轴的转动；Eq.1 Eq.2 Eq.3 Eq.4R＝Ry(β)Rx(α)Rz(γ)Eq.5 Eq.6 Eq.7
步骤170从图1的帧抓取器70或硬盘100或动画计算机132接收背景图象，并对该背景图象进行变换，从而再现成象摄象机的线位移、角位移和焦距改变。利用公式(1-7)，将其中心位于座标(Xi，Yi)的每一个背景象素i变换成位置(xi，yi)。通常，这种操作是以反向进行的对于其中心处于(xi，yi)的各个目标象素i，利用公式6和7的逆来计算源位置(Xi，Yi)。随后通过对邻近源的象素用最邻近双线性近似或三线性近似进行加权，来计算目标象素值。
步骤174(可选)对变换的图象进行校正，以将存储的模糊、阴影和光照非均匀性数据加到经变换的图象上，从而在背景中仿真出与在前景中发生的相同的效果。
步骤180通过用经变换并校正过的背景图象的相应象素来取代前景图象中的色度键控图板象素，产生出合成图象。
图3是在多摄象机演播室中应用图1的设备的简化框图，该演播室包括n个摄象机10的阵列和切换器150，该切换器150使制作者能够从一个摄象机切换到另一个。应该注意的是，摄象机10的阵列只需要一个背景发生器60。
图4是图1的设备的修正，它产生透视变换的三维背景。提供了存储介质260，诸如计算机硬盘阵列，以存储虚拟三维背景。具有一定空间分辨率的测距器270(通常是脉冲激光发送器/检测器模块)与成象摄象机对准，扫描摄象机的视场，以利用脉冲的“飞行时间”测量至各个可见的象素或象素组的距离。测距器270与摄象机10和支座14相联系，检测至获取的图象中可见的各个象素或象素组的距离。一个激光控制器和检测器信号处理器274与测距器270相连，用来控制激光器脉冲时序和从接收的回波中提取瞬时距离。
色度键控器50被色度键控器280所取代，后者增加了遮挡分析功能。色度键控图板象素被经变换且最好校正过的虚拟背景所取代，对于每一个背景象素，都将测距器所测量到的距离与对应的背景象素的Z值相比较。如果该Z值小于该距离，色度键控器显示该背景象素。
现在参见图5，它显示了根据本发明的最佳实施例构成和工作的色度键控图板的图案的一部分。
图5的图案部分通常包括不等的四边形核对板，它具有色度键控谱中的两个交替的阴影。四边形的边缘沿着两个方向，这两个方向可以是垂直的，例如水平和垂直方向，但不一定是这样。图5的图案部分沿着每个方向d最好具有以下特征对于每一个顶点610，沿着方向d在其一侧的线段620的长度与沿着方向d在其另一侧的线段630之间的比值，是唯一的。换言之，没有其他的顶点的沿着方向d或者沿着两个方向的相邻线段之间会有相同的比值。这种特征使得顶点在检测时能够通过计算上述比值并将其与同各个顶点相对应的已知比值相比较，而得到定位。
例如，在所示的实施例中，线段620与630之间的比值是2，而图5中除顶点610以外的所有顶点都没有这一比值。
该图案最好还具有以下这对特征a.在摄象机的最小视场(最大放大率)中包括沿着一个方向的至少两个图案顶点和沿着另一方向的三个顶点，b.在摄象机的最大视场(最小放大率)中，成象摄象机的分辨率使得采用传统的边缘检测方法足以分离相邻的边缘。
适合的图板可以是3m×3m尺寸的，并可以具有不均匀的核对板图案，使得沿着一个或每一个方向的相邻线段之间的比值的序列是以下数的排列1.01，1.03，1.05，1.07，1.09，1.11，1.13，1.15，1.17，1.19，……最大的线段可以通过计算确定，使至少六个图案顶点被包括在摄象机的最小视场(最大放大率)。上述序列的排列最好是这样的，即使得小的比值与大的比值相邻。例如，开始的6个数可以是1.01，1.19，1.03，1.17，1.05，1.15等等。
如果需要，摄象机的视场可以超过色度键控图板的尺寸。
现在参见图6-10，其中分别显示了摄象机位移、变焦距、滚动、倾斜与位移的结合、以及摇动与位移的结合在图5的图板部分上的效果。在本说明书中，滚动、倾斜和摇动分别是绕Z、X和Y轴的角位移，而图板平面是X-Y平面。
在图9中，摄象机先倾斜然后与图板平面平行地位移，以获取相同的图板部分。在图10中，摄象机先摇动随后与图板平面平行地位移，以获取相同的图板部分。
缩写FG和BG分别代表“前景”和“背景”。“前景”指的是对象(例如相声中的主角)和作为背景的色度键控图板。“背景”指的是取代色度键控图板的图象，诸如户外场景的图象。
应该注意的是，如果希望的话，本发明的软件部分可以以ROM(只读存储器)的形式实施。通常，这些软件部分，如果希望的话，可以采用传统的技术以硬件的形式实施。
应该注意的是，为了明确起见而在各实施例中分别描述的本发明的各种特征，可以被结合在一个实施例中。相反地，为了简明而描述在单个的实施例中的各种本发明的特征，可以分别地提供或是以较小的组合的形式提供。
本领域的技术人员还应该注意的是，本发明并不局限于以上具体显示和描述的内容。本发明的范围仅由所附的权利要求书限定。
权利要求
1.一种与具有颜色键控谱的色度键控系统结合使用的色度键控图板，该图板包括多个第一区域，这些第一区域都具有颜色键控谱中的第一颜色；多个第二区域，这些第二区域都具有颜色键控谱中的第二颜色。
2.根据权利要求1的图板，其中第一颜色和第二颜色具有相同的色调和不同的强度。
3.一种色度键控系统，包括帧抓取器，用于抓取前景图象中的包括至少一个具有已知图形的非均匀色度键控图板和对象的图象；透视变换计算单元，用于通过将至少一个图板与已知的图案相计算，来计算透视变换；背景发生单元，用于接收背景图象，对接收的背景图象进行所算出的透视变换，并用经变换的背景来取代至少一个图板，从而产生合成图象。
4.根据权利要求3的系统，还包括三维背景图象源，该三维背景图象源用于给背景发生单元提供背景景象的三维表示。
5.根据权利要求3或4的系统，还包括背景图象序列源，该背景图象序列源用于给背景发生单元提供背景景象的时间序列，而其中透视变换计算单元用于按时间序列节奏实时地进行操作。
6.根据权利要求5的系统，其中背景图象序列源包括图象剪取源，而其中透视变换计算单元与图象同步实时地进行操作。
7.根据权利要求3-6中任何一项的系统，还包括图形动画背景图象源，用于给背景发生单元提供图形动画背景景象。
8.根据权利要求3-6中任何一项的系统，还包括照相背景图象源，用于给背景发生单元提供照相背景景象。
9.根据权利要求3-6中任何一项的系统，还包括与背景发生单元通信的用户接口，用于为背景图象中的各个虚拟景物位置确定该虚拟景物位置是处于对象之前还是处于对象之后，其中背景发生单元用于将对象重叠在后面的虚拟景物上而将前面的虚拟景物重叠在对象上。
10.根据权利要求9的系统，其中各个虚拟景物位置包括背景图象中的单个象素。
11.根据权利要求3-10中任何一项的系统，还包括与使至少一个色度键控图板和对象成象的摄象机对准的测距器，用于测量摄象机的视场中的多个位置的距离，而其中背景发生单元用于将重叠的背景图象位置与对象位置合并在一起，使具有较小的距离的重叠位置被包括在合成图象中。
12.根据权利要求3-12中任何一项的系统，还包括多个使至少一个色度键控图板和对象成象的摄象机。
13.根据权利要求3-12中任何一项的系统，其中所述至少一个色度键控图板包括多个色度键控图板。
14.根据权利要求3-13中任何一项的系统，其中背景发生单元在整个色度键控图板被包括在摄象机的当前视场之内的情况下，还用于用经变换的背景取代色度键控图板。
15.与具有颜色键控谱的色度键控系统结合使用的色度键控方法，该方法包括提供色度键控图板，该色度键控图板包括多个第一区域和多个第二区域，这些第一区域都具有颜色键控谱中的第一颜色而这些第二区域都具有颜色键控谱中的第二颜色；形成包括所述图板和对象的前景图象。
16.一种色度键控方法，包括抓取前景图象中的包括至少一个具有已知图形的非均匀色度键控图板和对象的图象；通过将这至少一个图板的图象与已知的图案相比较，计算透视变换；接收背景图象，对接收的背景图象进行所算出的透视变换，再用经变换的背景取代这至少一个图板，从而产生合成图象。
全文摘要
一种与色度键控系统(10，14，50，60)结合使用的色度键控图板(20)。该图板(20)包括彩色图案(40)，该图案具有多个具有颜色键控谱中的第一颜色的第一区域和多个具有颜色键控谱中的第二颜色的第二区域。
文档编号H04N9/75GK1147324SQ95192839
公开日1997年4月9日 申请日期1995年4月25日 优先权日1994年4月29日
发明者迈克尔·塔米里, 阿维·沙拉 申请人:Orad有限公司