双投影系统中的图像对准的不可见或者低可感知性的制作方法

双投影系统中的图像对准的不可见或者低可感知性的制作方法
【专利摘要】一种双投影系统可以使用对准图案来对准显示的图像。对准图案可以用来修改图像数据序列的图像内容帧的部分。可以基于使用对准图案对图像内容帧的修改来空间对准两个图像数据序列。可以变形和显示图像内容帧。可以捕获显示的变形的图像内容帧。可以基于捕获的图像内容帧和对准图像数据来确定变换矢量集。可以使用变换矢量集来更新存储的变换数据，并且更新的变换数据可以用来空间对准两个图像数据序列。
【专利说明】双投影系统中的图像对准的不可见或者低可感知性
[0001]有关申请的交叉引用
[0002]本申请要求对申请号为61/549，580、标题为 “Fast Alignment of StereoscopicProjection”并且于2011年10月20日提交的美国临时申请的优先权。通过引用将该美国临时申请结合于此
【技术领域】
[0003]本发明主要地涉及图像投影系统，并且更具体地(但是未必唯一地)涉及用于投影具有不可见或者降低的可感知图像对准的图像的双投影系统。
【背景技术】
[0004]用于大屏幕的双投影仪投影和立体投影的使用日益增加。在一些情况下，可以用能够分别向观察者的左和右眼递送左眼图像和右眼图像的单个投影仪，而不是使用两个投影仪的传统方式来实现立体效果。希望消除两个投影仪的困难对准引起对于单投影仪解决方案的市场需求。然而对于更大屏幕，在分辨率和亮度方面的需求可以高达4K分辨率并且接近100，000流明。用于二维(2D)演示的大屏幕可能需要两个投影仪以获得可接收水平的图像照明。单投影仪技术可能不容易升级至这样的要求，并且更大屏幕占据全球数十万投影屏幕的不到1%，因此市场可能不能在可预见的将来驱动这样的单投影仪解决方案所需要的大量开发投入。
[0005]因此，需要4K分辨率和高达100，000流明亮度的大屏幕可能仍然需要双投影仪解决方案。在大屏幕投影中，两个投影仪的对准可能困难、但是重要。机械调整投影仪的传统方式可能由于机械定位系统的有限容差和光学系统容差而对于大屏幕未令人满意，这些容差可能使得不可能理想对准投影仪。可以在投影仪之一中包括变形系统，因此技术人员可以例如通过使用参考网格来电子调整几何校正直至对准图像。这一人工对准是繁琐和耗时的工作。一些系统并入自动对准系统，其中系统可以执行自动对准从而用反馈相机经过迭代过程运行。
[0006]双投影仪系统可能由于热改变而经历在两个投影的图像之间的图像对准的空间改变，这些热改变可能在相对少量时间内、比如在演示的持续时间期间出现并且引起图像移位。例如，激光投影系统可能经历光学性能的相对快速改变并且引起图像的全局水平、竖直或者旋转移位。因此具有一种用于在演示期间自动重新对准显示的图像而对查看者不可见的手段将是有益的。
[0007]图1示出现有技术的配置。实心箭头线是图像信号路径。包括第一投影仪I和第二投影仪2的投影仪对向投影表面3上投影图像对、比如由第一图像生成器4递送的左眼图像和由第二图像生成器5递送的右眼图像。变形系统6能够几何校正左眼图像，因此投影它以与右眼图像对准。变形系统6可以能够例如在演示运动图像期间实时完成几何校正。相机7可以记录向投影表面3上投影的图像，并且向校准系统8递送记录的图像数据，该校准系统8能够处理接收的相机数据、向变形系统6递送几何校正数据并且输出适合于在迭代闭环反馈系统中对准的校准图像序列，该迭代闭环反馈系统将在若干秒或者若干分钟内经过对准过程运行。开关9可以在用于内容演示的图像生成器与用于自动对准的校准电路的输出之间切换投影仪。这一配置比人工对准有利，但是对于一次在许多小时内操作的大屏幕安装，可能由于机械和光学零件的热和另外引起的移动而有必要在操作期间执行重新对准若干次，并且如果观众席多数时间充满观众，则必须执行观众可察觉的让人分心的重新对准不是最优的。如果重新对准将在投影系统放映图像内容之时出现，则希望以对查看者不可见的方式完成对准。
[0008]系统和方法被期望用于克服以上提到的障碍并且提供低可感知性或者不可见自动对准并且进一步消除对于投影仪切换和闭环反馈电路的需要，该不可见自动对准可以在一些境况中将校准图像序列显示不到一秒、因此在实际使用中未被察觉。

【发明内容】

[0009]某些方面涉及用于使用对准图案来空间对准图像序列的系统和方法。
[0010]在一个方面中,访问对准图案。对准图案具有至少一个对准特征。使用至少一个对准特征通过投影系统来修改第一数字图像序列的帧中的图像内容的部分。在显示第一数字图像序列和第二数字图像序列时，基于由投影系统修改的部分来空间对准第一数字图像序列和第二数字图像序列。
[0011]至少一个特征包括使用至少一个对准特征来修改的部分是至少一个色通道。
[0012]至少一个特征包括通过投影系统修改第一数字图像序列中的后续帧的图像内容的与该部分不同的第二部分。具有图像内容的被投影系统修改的的该部分的帧和具有图像内容的被投影系统修改的第二部分的后续帧包括所有对准图案。
[0013]至少一个特征包括转换帧的具有至少一个对准特征的部分。这些部分分布于显示的多个帧之中。这些部分具有随机空间序列。
[0014]至少一个特征包括通过用至少一个对准特征替换第一数字图像序列的帧中的图像内容的该部分的至少部分来修改该部分。该部分具有在至少一个对准特征周围的黑色图
像像素。
[0015]至少一个特征包括在该部分内的至少一个对准特征，该对准特征具有与该部分的用至少一个对准特征替换的至少部分基本上对应的平均照明水平。
[0016]至少一个特征包括在该部分内的至少一个对准特征，该对准特征具有与该部分的用至少一个对准特征替换的至少部分对应的平均色平衡。
[0017]至少一个特征包括具有高斯照明分布的至少一个对准特征。
[0018]至少一个特征包括捕获用包括对准图案的对准图像数据修改的显示的第二数字图像序列作为捕获的第二图像序列帧。捕获用对准图像数据修改的显示的第一数字图像序列作为捕获的第一图像序列帧。基于在捕获的第二图像序列帧和捕获的第一图像序列帧中的对准图像数据之间的空间差确定变换矢量集。使用变换矢量集来空间对准第一数字图像序列的显示的第一图像和第二数字图像序列的显示的第二图像。
[0019]至少一个特征包括该部分是至少一个色通道的整个图像帧。
[0020]至少一个特征包括通过用至少一个对准特征替换第一数字图像序列中的帧的图像内容的该部分的至少部分来修改该部分。至少一个对准特征具有至少一个色通道的高频内容。该部分具有在至少一个对准特征周围的图像内容像素。图像内容像素是至少一个色通道的低频图像内容。
[0021]在另一方面中，捕获具有用对准数据修改的图像内容的显示的第一图像序列内容作为捕获的第一图像序列帧。捕获具有用对准数据修改的图像内容的显示的第二图像序列帧作为捕获的第二图像序列帧。基于在捕获的第二图像序列帧和捕获的第一图像序列帧中的对准数据之间的空间差确定变换矢量集。使用变换矢量集来空间对准第一图像序列的显示的第一图像和第二图像序列的显示的第二图像。
[0022]至少一个特征包括用对准数据修改第一图像序列中和第二图像序列中的至少一个帧中的图像内容以生成修改的第一图像序列帧和修改的第二图像序列帧。用存储的变换数据变形修改的第二图像序列帧以生成变形的第二图像序列帧。显示变形的第二图像序列帧作为显示的第二图像序列帧，并且显示修改的第一图像序列帧作为显示的第一图像序列帧。用变换矢量集更新存储的变换数据以产生更新的变换数据。空间对准第一图像序列的显示的第一图像和第二图像序列的显示的第二图像包括使用更新的变换数据。
[0023]至少一个特征包括通过以下操作用对准数据修改第一图像序列中和第二图像序列中的至少一个帧:访问包括对准图案的对准数据，该对准图案具有至少一个对准特征，并且使用至少一个对准特征通过投影系统来修改第一图像序列中的帧中的图像内容的部分。第一图像序列和第二图像序列各自包括数字图像数据。在显示第一图像序列和第二图像序列时，基于由投影系统修改的部分来空间对准第一图像序列和第二图像序列。
[0024]至少一个特征包括通过以下操作用对准数据修改第一图像序列中和第二图像序列中的至少一个帧:访问包括对准图案的对准数据，使用对准图案来修改第一图像序列的帧中的图像内容的第一部分，并且使用对准图案来修改第一图像序列的后续帧中的图像内容的与第一部分不同的第二部分。具有使用对准图案来修改的第一部分的帧和具有使用对准图案来修改的第二部分的后续帧包括所有对准图案。
[0025]至少一个特征包括基于通过将对准数据加水印到图像数据上的空间编码或者用于将对准数据加水印到图像数据上的时域编码之一将对准数据加水印到第一图像序列和第二图像序列中的每个图像序列中的至少一个帧中的图像数据上来修改第一图像序列中和第二图像序列中的至少一个帧。从包括加水印帧的捕获的第二图像序列帧或者捕获的第一图像序列帧中的至少一个图像序列帧提取对准数据。
[0026]至少一个特征包括基于在对准数据与包括使用对准数据的修改的捕获的第二图像序列帧之间的差确定第一变换矢量集。基于在对准数据与包括使用对准数据的修改的捕获的第一图像序列帧之间的差确定第二变换矢量集。使用第一变换矢量集和第二变换矢量集来空间对准第一图像序列的显示的第一图像和第二图像序列的显示的第二图像。
[0027]至少一个特征包括使用低分辨率图像传感器来确定捕获的第一图像序列帧和捕获的第二图像序列帧的对准特征的质心。
[0028]在另一方面中，提供一种双显示投影系统。该双显示投影系统包括具有存储器单元和处理器设备的服务器。存储器单元可以存储第一图像序列、第二图像序列和对准数据，该对准数据是具有至少一个对准特征的对准图案。处理器设备可以通过使用至少一个对准特征来修改第一图像序列中的帧中的图像内容的部分。处理器设备可以在显示第一图像序列和第二图像序列时基于修改的部分来空间对准第一图像序列和第二图像序列。[0029]至少一个特征包括处理器设备被适配为用包括对准图案的对准数据修改第二图像序列的第二帧中的图像内容以创建修改的第二图像帧并且用存储的变换数据变形修改的第二图像帧以生成变形的第二图像帧。该系统包括第一显示设备、第二显示设备、图像传感器和校准电路。第一显示设备能够显示变形的第二图像帧。第二显示设备能够显示第一图像序列中的修改的帧。图像传感器能够捕获显示的变形的第二图像帧和显示的修改的帧作为捕获的第二图像帧和捕获的第一图像帧。校准电路能够基于在捕获的第二图像帧和捕获的第一图像帧中的对准数据之间的空间差确定变换矢量集。处理器设备被适配为用变换矢量集更新存储的变换数据以产生更新的变换数据并且用于使用更新的变换数据来空间对准第一图像序列的显示的第一图像和第二图像序列的显示的第二图像。
[0030]至少一个特征包括图像传感器被适配为被同步用于捕获显示的变形的第二图像内容帧和显示的修改的帧。
[0031]至少一个特征包括图像传感器是相机。
[0032]至少一个特征包括第一图像序列和第二图像序列是立体图像序列。
[0033]提到这些示例方面和特征不是为了限制或者限定本发明而是提供示例以辅助理解在本公开内容中公开的发明概念。本发明的其它方面、优点和特征将在回顾全部公开内容之后变得清楚。
【专利附图】

【附图说明】
[0034]图1示出投影系统的现有技术配置。
[0035]图2示出根据本发明的一个方面的投影系统配置。
[0036]图3示出根据本发明的一个方面的投影系统的校准电路的操作的流程图。
[0037]图4示出根据本发明的一个方面的对准图像元素的示例。
[0038]图5示出根据本发明的一个方面的用于对准的图案的示例。
[0039]图6示出根据本发明的一个方面的感测的图像的示例。
[0040]图7示出根据本发明的一个方面的控制点图像的放大段。
[0041]图8示出根据本发明的一个方面的其中可以存储变换矢量的文本文件的摘录的示例。
[0042]图9示出根据本发明的一个方面的可用于确定对变形变换矢量的修改的对准图案。
[0043]图10示出根据本发明的一个方面的可用于确定对变形变换矢量的修改的对准图案。
[0044]图11示出根据本发明的一个方面的用于空间对准图像序列的流程图。
[0045]图12示出根据本发明的一个方面的用于使用变换矢量来空间对准图像序列的流程图。
【具体实施方式】
[0046]图2描绘投影系统的一个方面，其中实心箭头线是图像信号路径。第一投影仪I可以向投影表面3上投影比如右眼演示图像的第一图像序列，并且向投影表面3上投影比如左眼演示图像的第二图像序列。在二维(2D)系统中，可以为了更亮画面或者更大画面而完全或者部分叠加第一和第二图像。对于具有完全或者部分叠加的图像的双投影仪2D演示，图像序列可以用来创建用于第一和第二投影仪的第一和第二图像序列。在三维(3D)系统中，3D图像序列可以是分别用于立体图像序列的右眼图像序列和左眼图像序列的第一图像序列和第二图像序列。在以下描述中，第一图像序列涉及右眼图像，并且第二图像序列涉及左眼图像，但是描述的系统和过程可以用于双投影仪2D演示系统。
[0047]左图像生成器4可以输出左眼透视图像的数字表示，并且右图像生成器5可以输出右眼透视图像的数字表示。左图像生成器4和右图像生成器5可以是同步的媒体服务器或者数字影院服务器，或者它们可以是集成的立体媒体或者影院服务器的部分。右图像生成器5的输出可以连接到第一投影仪I的输入。左图像生成器4的输出可以连接到变形系统6。变形系统可以具有处理器或者有时称为变形处理器或者变形电路，该处理器能够基于存储的几何变换数据修改数字图像的几何并且能够基于向变形系统6输入的变换矢量集修改存储的几何变换数据。在变形处理器中的存储的变换数据可以是变形电路6的输出，该输出可以连接到第二投影仪2的输入。变形系统6可以是来自公司EyeVis的OpenWarp2系统或者在来自公司Barco的投影仪中嵌入的Warp?系统。
[0048]在一个实现方式中，右图像生成器5或者右服务器可以在存储器中存储参考右图像。左图像生成器4或者左服务器可以在存储器中存储参考左图像。服务器可以存储参考对准图像“R”，这些参考对准图像可以具有包括对准图案的对准数据，该对准图案具有对准特征。服务器可以具有用于根据参考对准图像R计算参考右和左图像的处理器。可以通过将R的第二色通道中的所有像素设置成黑色来修改参考对准图像R并且在R的第三色通道中具有对准数据来计算参考右图像。对准数据可以是单色对准图像A。可以通过将R的第三色通道中的所有像素设置成黑色来修改参考对准图像R并且在第二色通道中具有对准数据来计算参考左图像。参考图像R可以在第二色通道中包括单色对准图像“A”，该单色对准图像是在第三色通道中的相同图像。参考对准图像R还可以在第一色通道中包括触发符号，该触发符号包括至少一个容易可识别的形状、例如文字或者几何符号。左图像生成器4和右图像生成器5可以能够在演示期间的预定时间和预定持续时间、例如恰在持续时间为1/24秒的运动画面开始之前输出参考左图像和参考右图像。备选地或者附加地，服务器可以能够在接收来自操作者或者自动化系统的触发信号时输出参考左图像和参考右图像。
[0049]相机7可以是能够感测向投影表面3上投影的图像并且在例如每秒30次的规律间隔向校准电路8输出感测的图像“S”的彩色相机。备选地，相机7可以在它从操作者、自动化系统或者校准电路8接收触发信号时感测和输出S。在其它方面中，可以用图案识别操作配置视频系统或者摄像头，该图案识别操作能够在投影屏幕3上检测到触发符号时向相机7发送触发信号。相机7可以是高分辨率视频相机如机器视觉HD相机或者超高分辨率视频相机如Red One，或者它可以是具有外部触发能力的静止图像相机、例如Canon E0S550,该静止图像相机可以具有“预拍摄”功能，该功能能够连续记录图像并且输出在触发之前记录的图像、由此允许时间段从存在触发符号到触发相机7流逝。
[0050]在如以上描述的一个实现方式中，左或者右参考图像的一个色通道的整个帧可以具有用于一个投影仪的所有参考对准数据，并且另一通道的整个彩色帧可以具有用于第二投影仪的所有对准数据。为了快速对准，可以向具有对准数据的彩色帧中的每个彩色帧显示一个帧周期，在该一个帧周期中，相机感测并捕获具有对准数据的图像帧。[0051]在另一实现方式中，取代让所有对准数据插入于演示序列内作为一个整个帧，左和右服务器可以修改演示图像，从而对准数据的仅部分、比如以黑色像素为边界的对准特征在每个投影仪关联的每个图像序列中替换演示图像的用于一个帧周期的对应部分。比如如果图像演示数据按照红绿蓝(RGB)格式，则可以执行用于一个色通道的图像演示帧。然而，可以有可能对于相同对准特征修改与一个帧关联的所有色通道。通过对于对准数据的不同部分以相同方式修改后续帧，对于不同对准特征，针对每个投影仪能够通过相机显示、感测和捕获在时间量之后具有对准特征的对准数据的所有部分。通过将对准数据划分成更小部分并且仅示出如下部分，在这些部分中存在由黑色像素的区域包围的对准特征，可以最小化对准数据可能对演示内容具有的影响。在显示的对准数据的每个部分中具有黑色像素可以允许更容易检测并且来自演示图像的对准数据的分离。
[0052]为了进一步最小化在演示图像内的对准数据的影响以免被查看者可察觉，向演示数据中插入的对准数据的平均亮度可以具有与图像演示的用对准数据替换的部分相似的图像亮度平均值。用于最小化影响的另一方式是让对准数据具有与演示图像的被它替换的部分相同的平均亮度。可以通过使用更高帧速率使得将对准数据的帧显示更短时段(这可以进一步减少对准数据对观众的可见性)来进一步减少影响。如果帧速率足够高，则显示单个帧的时间长度可以在人类视觉可感知性以下。用于减少对准数据的影响的另一方式是随机显示对准图像的不同特征以免具有可能被查看者可识别的任何类型的反复时间图案。可以在细节上最小化并且在尺寸上减少对准图像数据以有助于某些类型的空间对准以进一步最小化或者消除可感知性。例如可以使用用于第一和第二图像序列的全局竖直或者水平图像移位一个对准点。为了旋转对准，可以使用至少两个对准点。对准点可以朝着图像的外部极端定位。
[0053]在修改演示图像帧以包括不是演示图像内容数据的数据时图像帧可以称为加水印图像帧。加水印帧可以具有查看者不可见的编码信息。然而也可以实施加水印使得编码信息具有低可感知性，其中一些视觉敏锐查看者可以察觉图像帧已经被加水印而其他查看者可能未察觉图像帧已经被加水印。在查看者不能可见地查看加水印帧时，加水印帧可以是不可见加水印帧。在查看者有可能看见加水印帧时，加水印帧可以是可见加水印帧。
[0054]在另一实现方式中，可以通过略微修改图像数据像素值将对准数据或者对准数据的特征编码成演示图像。例如图像像素值可以基于对准数据而略微更亮或者略微更暗。这一方式可以造成加水印图像对所有查看者更少可见并且可能不可见。在这一类编码中，可以没有在对准数据周围的黑色像素以有助于易于对准数据的提取。从略微修改的图像像素提取对准数据可能变得更困难。将对准数据编码成图像数据可以由在服务器内的处理器执行以在图像序列内生成修改的参考图像帧。显示的加水印图像可以由比如相机7的图像传感器、查看。可以触发相机以捕获加水印图像，并且校准电路8可以存储具有对准数据的加水印图像。校准电路8可以执行从加水印图像提取对准数据的附加过程。从加水印图像提取对准数据的过程可以涉及到在用水印修改之前使用帧的原有图像。在这一情形中，执行提取的处理器可以接收原有图像并且将区别与加水印图像进行比较，该加水印图像与在加水印之前的接收的原有图像对应。区别可以包括对准数据。使用的加水印可以传达空间对准信息。例如使用空间编码方法或者时域编码方法的加水印可以通过加水印传达对准数据。通过修改图像内容的频域的方法加水印可能不适合于对空间对准信息进行编码并且不可以用于传达空间图像对准数据。
[0055]在一些方面中，触发信号可以是在一个色通道上的具体图像/符号，或者触发信号可以是对准数据或者加水印图像的部分。例如对准数据可以具有具体空间分布图和/或光分布分布图。
[0056]在图2的投影系统中的校准电路8可以具有处理器和存储器单元。存储器可以存储参考对准图像R的副本。在校准单元8检测到在感测的图像S中存在触发符号时，可以启动校准，并且校准电路处理器可以比较S与参考对准图像R、计算投影对准变换矢量集Vp、向变形系统6发送Vp，并且发信号通知存在有效对准变换矢量集从而启动变形系统6更新存储的几何变换数据。备选地，校准可以由来自操作者或者自动化系统的触发信号启动，并且可以省略触发符号。
[0057]—种对准方法可以基于整个帧，其中第一投影的图像的第二色通道具有所有对准数据，并且第二投影仪的第三色通道具有所有对准数据而第一色通道具有触发图像。方法可以应用于对准数据，其中对准特征分布于多个图像演示帧内以实现在两个显示的图像序列之间的对准。
[0058]图3示出在每个图像序列中的一个帧的一个色通道上对对准数据进行编码时校准电路8的操作的示例的流程图。在校准电路从相机7接收感测的图像S时，它可以检查触发符号是否存在于感测的图像S中。在接收有触发符号存在的感测的图像S时，校准电路可以向用于特征匹配操作的源输入图像(Is)的所有色通道复制S的第二色通道的内容，并且向用于特征匹配操作的目标输入图像(It)的所有色通道复制参考对准图像R的第二色通道。在由第二投影仪2投影并且由相机7感测之后，It可以包含对准图像A并且Is可以包含对准图像A。可以用Is和It作为输入来执行特征匹配操作，并且可以计算矢量集V，因此V描述将使Is的对准特征与It的相对应的对准特征对准的变化。可以向第一变换矢量集Vl复制V。例如可以如在比例不变特征变换算法中指定的那样或者通过以下在本文中指定的操作来执行特征匹配。在下一步骤中，变形处理器可以通过使用第一变换矢量集Vl变形S来计算S的配准版本(Sr)，因此在S的第二色通道中的对准特征现在与在参考对准图像R的对准特征的第二色通道中的特征配准。涉及到校准电路的下一步骤可以包括向Is的所有色通道复制参考对准图像R的第三色通道，并且向It的所有色通道复制Sr的第三色通道并且再次执行更新矢量集V的特征匹配操作。可以向第二变换矢量集V2复制V。V2可以代表能够使得R的第三色通道中的特征与Sr的第三色通道的特征配准的变换，并且代表参考左图像的变换，该变换可以使参考左图像的投影与参考右图像的投影对准。可以向Vp复制V2，然后可以重新缩放Vp，因此源和目标点指代图像，其中(Χ，Υ) = (0，0)指代右下角并且(Χ，Υ) = (1，1)指代左上角、即Vp的成员的所有X坐标除以R的宽度，并且成员的所有Y坐标除以R的高度。重新缩放可以造成投影变换矢量集Vp独立于参考对准图像R，并且Vp与商业可用变形系统兼容。另外，如果变形电路6需要规则矢量图案作为输入，则可以通过在Vp的其它成员之间插值来向Vp添加附加成员。然后可以向变形电路6输出Vp，并且校准电路8可以向变形电路6发信号通知存在有效变换矢量集。
[0059]在其中对准图像A的以黑色像素为边界的部分替换演示图像的对应部分的实现方式中，可以在与参考对准图像A的对应部分的特征匹配操作中标识、提取和使用对准数据。在已经感测和捕获对准图像的所有部分时，然后可以在校准电路中执行对准图像的捕获的部分与参考对准图像A的对应部分的完整特征匹配操作。
[0060]对准图像A可以包括网格或者图案。在一个方面中，对准图像包括图案P，该图案P具有向为特征检测和匹配而优化的至少一个图案元素E中排列的多个点，并且向为图案P而优化的算法可以执行特征检测和匹配。对准图像A的第一色通道可以包括触发符号。第二色通道可以包括图案P。第三色通道的内容可以与第二色通道的内容相同。
[0061]图4示出图案元素E的示例，该图案元素实现对于旋转、缩放、失真、噪声和闭塞有抗扰性的简单、精确和快速特征检测和匹配。在10x10个相等水平和竖直间隔点的图案中排列多个点。点可以为小或者，并且小和大点的分布随着元素E在P内的位置变化，但是点位置不变。在P中的所有元素中，中心点、即锚点10为大并且具有更多邻近点,这些邻近点也是比元素中的任何其它点更大的点。锚点10可以用来标识元素中的第一个点。定向点11可以用来标识元素相对于图案P的定向。上点12、右点13、下点14和左点15可以用来计算用于搜寻元素E中的其余点的矢量。第一点集16可以用来用元素列号标注元素E，并且第二点集17可以用来用元素行号标注元素E。第一点集16和第二点集17可以各自呈现二进制编码数，其中小点代表数字零并且大点代表数一。第一点集16的成员和第二点集17的成员未相邻定位。这一排列可以保证仅锚点10具有比元素E的任何实例中的任何其它点更多的邻近大点。可以通过将元素列号乘以十来为锚点10计算点列号，该点列号指示图案P中的点的列。可以通过将元素行号乘以十来为锚点10计算点行号，该点行号指示元素P中的点的行。可以通过将点在元素E的实例中相对于锚点10的列和行位置分别与元素列号和元素行号相加来为元素E的实例中的其余点计算点列号和点行号。
[0062]图5示出图案P的示例，该图案包括在十列和五行中排列的五十个元素。列从零到在这一示例中为九的最后一列进行编号。行从零到在这一示例中为四的之后一行进行编号。用元素列号和元素行号标注元素E的P中的每个实例，该元素列号按照由第一点集中的小和大点的分布而编码的二进制数，该元素行号按照由第一点集中的小和大点的分布而编码的二进制数来编码。在一个示例中，在图5的列I和行O中的元素E具有来自图4中的大点集16的一个大点54，该一个大点54与元素E中的代表列的号、在这一情况下为I的中心大点56关联。由于元素E在行O中，所以无来自图4中的大点集17的如下大点，这些大点与指示行号O的中心大点56关联。可以使用图4中的点集16来唯一标识图5中的每个元素E的列和行以标识用于元素的列，并且使用图4中的点集17以标识用于元素的行。
[0063]图6示出感测的图像S的示例。该图中的三个图像分别示出感测的图像的第一、第二和第三色通道。第一色通道包含源于参考对准图像R的第一通道并且由第二投影仪2投影的触发符号，第二通道包含源于参考对准图像R的第二通道并且由第二投影仪2投影的图案P，并且第三通道包含源于参考对准图像R的第三通道并且由第一投影仪I投影的图案P。
[0064]特征匹配操作可以包括向输入图像(I)复制Is、执行特征检测操作(该特征检测操作计算I中的控制点位置表CP和用于每个条目的布尔有效标志、该布尔有效标志指示条目是否保持有效控制点位置)、向源控制点位置表的SCP复制CP、向I复制It、再次执行特征检测操作、更新I中的控制点位置表CP和有效标志、然后向目标控制点位置表TCP复制CP。匹配的特征可以是图案P中的点，并且特征匹配操作可以根据计算的点列号和点行号在表CP中排列条目。可以通过迭代遍历SPC的条目和TCP中的对应条目来计算变换矢量集V，并且如果SCP的条目中的有效标志和TCP的条目中的有效标志二者为真，则计算从在SCP的当前条目中存储的位置到在TCP中的对应条目中存储的位置的矢量。根据一些方面的特征匹配操作可以包括以下十六个步骤:
[0065]步骤1:将控制点图像C中的所有像素值设置成初始值黑色。
[0066]步骤2:例如通过用可以为25%灰色的门限T门限化来从I的色通道创建二进制掩模。备选地，可以使用其它分割方法、比如区域生长、K均值分割或者基于直方图的分割。可以在分割中包括均值或者中值滤波或者其它类型的滤波。归一化可以包括在黑点图像和白点图像中的对应像素的值之间缩放像素值，其中计算黑点图像为I的侵蚀版本并且计算白点图像为I的扩张版本。
[0067]步骤3:将二进制掩码乘以I的色通道并且将结果放入灰度图像中。
[0068]步骤4:迭代遍历灰度图像中的像素。对于每个像素，以当前像素作为种子点执行区域生长从而标识像素集。可以通过递归地迭代遍历摩尔邻域中的所有连接的非黑色像素来执行区域生长。像素集然后可以高概率地包含一个并且仅一个点。可以用像素的1/256的精确度计算点(Xe，Yc)的中心作为像素集的重力中心。也就是说，Xe是像素集中的所有像素的加权均值X位置，并且Yc是像素集中的所有像素的加权均值Y位置，其中权值是对应像素的像素值。可以用一个像素的精确度计算点的直径D为D=2*sqrt (A/Pi)，其中A是像素集中的像素总数。可以通过截短Xe和Yc来发现与(Xe，Yc)最近的邻居(Xn，Yn)。可以将C中的与最近邻近(Xn，Yn)对应的像素设置成颜色值(Pr，Pg, Pb)，其中Pg=128+D，计算Pr为在水平方向上的1/256个子像素偏移，Pr= (Xc-Xn) *256，并且将Pb计算为在竖直方向上的1/256个子像素偏移，Pb= (Yc-Yn) *256。然后可以将像素集中的所有像素设置成黑色，并且可以继续迭代遍历灰度图像中的像素。
[0069]步骤5:控制点图像C包含具有在如下位置的像素的黑色背景，输入图像在这些位置具有设置成更亮颜色值的点中心并且颜色值在这些位置用子像素产生关于点直径和点中心的信息。图7示出在控制点图像C的示例中的放大段的单色版本而指示相对于锚点的点列和点行位置。像素的绿色通道具有的值为128加上点的直径。像素的红色和蓝色通道保持在X和Y方向上相对于像素的位置而言的子像素偏移。可以执行迭代遍历C图像中的像素。如果当前像素的颜色为黑色——这意味着在这一位置未标识点——则重复步骤5。在发现非黑色像素时，操作继续步骤6。
[0070]步骤6:创建邻居列表，该邻居列表包括从当前像素的切比雪夫(Chebyshev)距离排序的十二个最近邻近非黑色像素的位置。最近像素可以是具有最小切比雪夫距离的像素。可以通过随着从当前像素的切比雪夫距离增加而迭代遍历包围当前像素的像素来执行这一步骤。
[0071]步骤7:通过创建绿色值列表来计算点鉴别器门限值T，该绿色值列表包括按照绿色通道像素值排序的在邻居列表中的像素的绿色通道像素值。标识绿色值列表中的条目，该条目相对于先前条目的值增加最大，并且将T设置成标识的条目的值和先前条目的值的均值。由于邻居列表可以在I未极端地失真时包含与大和小的点二者对应的像素位置，并且由于在绿色通道中对点的直径D进行编码，所以计算的T可以用来确定与邻居列表中的条目对应的点是否为大或者小。
[0072]步骤8:通过检查与当前像素对应的点的七个最近邻近点是否都为大点来确定与当前像素对应的点是否为锚点。这可以通过检查与邻近列表中的前七个条目对应的像素是否都具有比T更大的绿色通道值来执行。在I未极端地失真时，这仅可以对锚点成立。如果与当前像素对应的点为锚点，则继续步骤9。否则，进行步骤5并且继续在迭代遍历C中的像素时的下一像素。
[0073]步骤9:计算锚点的位置、即与当前像素对应的点在输入图像中的位置。可以在点位置(X，Y)的二维表DT的条目DT (0，O)中存储位置，其中用像素宽度的至少1/256的精确度和有效标志存储X和Y，该有效标志是指示X和Y是否保持有效值的布尔算符，并且其中DT具有索引Xdt、Ydt，其中-4〈Xdt〈5并且-5〈Ydt〈4。与当前像素对应的点在输入图像中的位置可以被存储为如下:将X设置成当前像素在输入图像中的水平位置加上当前像素的红色通道的值除以256，并且将Y设置成当前像素在输入图像中的竖直位置加上当前像素的蓝色通道的值除以256，参见步骤4，其中在红色和蓝色通道中存储子像素位置信息，并且将DT (O, O)中的有效标志设置成真。将DT中的所有其它条目的有效标志初始化成假。
[0074]步骤10:计算上点12的位置并且在DT (0，I)中存储它。参照图3，上点12可以是与锚点的仅有邻近点，为此成立的是在从锚点到邻近点的方向上并且在从锚点到邻近点的距离的两倍定位的点也是大点。这一特性可以用来标识位于I中的与锚点相同的元素中的上点。这可以通过迭代遍历邻居列表中的前八个条目来完成，对于邻居列表中的每个条目，计算I中的位置PU，该位置在从锚点DT (O, O)的位置到在邻居列表中的当前条目中存储的位置的方向上并且在从锚点DT(0，O)的位置到在邻居列表中的当前条目中存储的位置的距离的两倍。在I中搜寻在搜索半径r内的与Pu最近的非黑色像素，该搜索半径可以是从DT(0，0)到Pu的距离的25%。如果最近非黑色像素与大点对应，这可以通过确定最近像素的绿色通道值是否比T更大来确定，则在邻近列表中的当前条目的位置的像素对应于上点，并且以与在步骤9中存储位置相同的方式在D(0，I)中存储与在当前邻居列表中的当前条目的位置的像素对应的点的位置。如果在DT(0，1)中成功存储值，则继续步骤11。否贝U，进行步骤5并且继续在迭代遍历C中的像素时的下一像素。
[0075]步骤11:计算左点的位置并且在DT(1，0)中存储它。这可以执行如下:计算第一矢量Vu为从在DT(0，O)中存储的位置指向在DT(0，I)中存储的位置的矢量，并且计算第二矢量Vu’为V的九十度顺时针旋转。计算位置PI为DT (0，0)+Vu’。在I中执行搜寻在搜索半径r内的与位置PI最近的非黑色像素，并且以与在步骤9中存储位置相同的方式在DT(I1O)中存储与最近非黑色像素对应的点的位置。然后DT(1，O)保持左点的位置，假设I尚未失真如此之多以至于在它以下的点或者在它以上的点已经变成比左点更接近PI。为了增强对于失真的抗扰性，可以校验是否实际发现左点。这可以完成如下:首先校验与计算为DT(1, O)+Vu的位置最近的非黑色像素是否具有比T更小的绿色通道值。如果是这种情况，则对应点为小点，这意味着向DT(1，O)指派的位置实际上是在向上方向上与左点邻近的点的位置，并且可以这一方式重新计算DT(1，O):同样以与在步骤9中存储位置相同的方式在DT(I1O)中存储与位置DT(1，0) -Vu最近的非黑色像素对应的点的位置。然后可以校验与计算为DT(1，0) -Vu的位置最近的非黑色像素是否具有比T更小的绿色通道值。如果是这种情况，则对应点为小点，这意味着向DT (I，O)指派的位置实际上是在向下方向上与左点邻近的点的位置，并且可以这一方式重新计算DT(1，O):同样以与在步骤9中存储位置相同的方式在DT(1，0)中存储与位置DT(1，0)+Vu最近的非黑色像素对应的点的位置。如果在DT(I1O)中成功存储值，则继续步骤12。否则，进行步骤5并且继续在迭代遍历C中的像素时的下一像素。
[0076]步骤12:计算和存储下点和右点的位置。可以计算下点的位置为DT(0，0) -Vu并且以与在步骤9中存储位置相同的方式存储于DT(0，-1)中。可以计算右点的位置为DT(O, O)-Vuj并且以与在步骤9中存储位置相同的方式存储于DT(-1，O)中。
[0077]步骤13:计算和存储元素中的其余点的位置。在锚点、上点、下点、左点和右点的位置现在都被计算时，这些点的位置可以用来计算元素中的新搜索位置，并且搜寻非黑色像素并且在DT中存储它们的位置。例如可以在如下计算中发现与DT(2，O)对应的点的位置，该计算包括发现在搜索半径r内与计算为DT (I, O) +V的位置最近的邻近非黑色像素，其中V是从在DT (0，O)中存储的位置指向在DT (1，O)中存储的位置的矢量。在DT (2，O)中成功存储发现的点位置(这可以通过检查有效标志是否被设置成“真”来断定)时，然后可以用相似计算发现DT (3，O)，该计算包括发现在搜索半径r内与计算为DT (2，O)+V’的位置最近的邻近非黑色像素，其中V’是从DT(1，O)指向DT(2，0)的矢量，并且以此类推，并在上和下方向以及左和右方向上从锚点列表显示直至已经在DT中存储元素中的点的一样多的位置。
[0078]步骤14:计算元素E的实例的元素列位置和元素行位置。首先校验DT中的与图3中的表示为16的点集和表示为17的点集对应的所有条目、即DT(-2，4)、DT(-4，4)、DT (-4，2)、DT (-4，-2)、DT (-4，-4)、DT (-2，-4)、DT (2，4)、DT (4，4)、DT (4，2)、DT (4，-2)、DT(4, -4) ,DT(2, -4)是否让它们的有效标志设置成“真”。如果这是成立的，则可以计算元素列号为 32*DT (-2，4) +16*DT (-4，-4) +8*DT (-4，2) +4*DT (-4，-2) +2*DT (-4，-4) +DT (-2，-4)，并且可以将元素行号计算为 32*DT (2，4) +16*DT (4，4) +8*DT (4，2) +4*DT (4，-2) +2*DT (4，-4)+DT (2，-4)。否则，将DT中的所有条目的有效标志设置成“假”，并且进行步骤5并且继续在迭代遍历C中的像素时的下一像素。
[0079]步骤15:向表CP复制DT中的存储的位置和有效标志。可以执行迭代遍历i，j的所有组合，其中l〈=i〈=10并且l〈=j〈=10，并且向CP(i，j)复制在包括位置和有效标志的DT(1-5，j-6)中存储的信息。
[0080]步骤16:如果未完成迭代遍历C中的像素，则进行步骤5并且继续迭代遍历C中的像素。否则，完成I的分析，并且系统能够从输入图像I收集的所有点位置信息现在存储于表CP中。
[0081]可以在一些方面中实现的在控制点图像C中暂时存储控制点的一个优点是可以使C可用于用图像分析软件检查并且是在系统的安装、维修和调试期间的有用工具。
[0082]可以存储投影变换矢量集Vp为可以在网络驱动上或者通过RS232连接例如作为共享文件向变形电路6传送的文本文件。文本文件可以存储文本文件按的每行一个矢量为表示为浮点数的四个值:源X、源Y、目标X、目标Y。图8示出文本文件的摘录的示例。例如图8示出用于投影变换矢量集Vp的摘录输出格式的示例，其中格式化Vp为排列成在每行中有四个值的文本文件中的浮点数:源X、源Y、目标X、目标Y。
[0083]如以上描述的用于执行对准的过程涉及到确定相对于参考对准图像R在第一与第二投影的对准图像之间的变换矢量。在备选方式中，可以修改对准过程使得基于捕获的投影的第一和第二对准图像的对准数据特征的位置差确定在第一与第二投影的图像之间的变换矢量。取代使用参考对准图像，可以在第一与第二投影的对准图像之间在相对基础上执行对准从而实现与涉及到与参考对准图像R比较的过程相同的结果。
[0084]可以在演示放映日之前校准如图2配置的系统，其中校准涉及在第一与第二图像序列之间的局部和全局对准。在当天期间，出现的任何未对准可以涉及到全局对准调整并且调整可以相对小。如图9和10中所示简化的对准图案可以用来确定对保持显示图像对准的变形变换矢量的修改。在图9中，存在可以在用于简单竖直和水平对准过程的第一和第二图像序列中使用的具有黑边界901的一个对准点。在图10中，存在可以在用于简单旋转对准过程的第一和第二图像序列中使用的具有黑边界903的两个对准点。这些点可以被配置用于以高斯照明分布作为校准电路能够用子像素准确度确定每个点的质心的位置的一种方式。利用用于第一和第二投影的图像中的每个对准点的质心位置，可以计算相对于对应质心点在参考对准图像中的位置的差，并且可以确定使第一和第二图像用子像素准确度对准的变换矢量。利用这一系统，可以使用用于捕获显示的修改的图像序列的更低分辨率相机。根据图9和10的对准图案，可以有可能确定在两个显示的图像之间的竖直、水平和旋转移位。
[0085]在另一方面中，修改图像序列的图像帧包括修改帧的蓝色通道图像内容或者帧的部分为例如用图像宽度的高斯模糊r=0.1%来模糊。也可以用具有高频分量的对准特征修改蓝色通道图像内容或者蓝色通道图像内容的部分。显示的图像可以基于修改的蓝色通道图像帧，其中图2中的相机7被配置用于仅捕获蓝色通道信息。在捕获的图像由校准电路8高频滤波时，可以确定对准特征。确定的对准特征可以由校准电路8用来确定可以由变形电路6用于图像重新对准的变换矢量。
[0086]图11描绘根据一个方面的用于用对准图像特征修改演示图像序列的过程。可以使用比如图2中所示系统的投影系统来执行图11中的过程。
[0087]在块1102中，访问对准数据。在一些情况下，可以接收并且在服务器中的存储器单元中存储对准数据。例如系统可以通过数据传送机制从用户接收对准数据，该数据传送机制比如通过网络或者使用便携存储器设备、例如记忆棒、数字视频设备(DVD)或者个人计算机(PC)。在其它方面中，投影系统可以生成对准数据。对准数据可以包括具有一个或者多个特征的对准图案，该一个或者多个特征可用来对准具有演示内容的两个相似的图像序列或者提高该对准。例如对准数据可以是与诸如图4-6和9-10中所示图像演示内容独立的信息。对准数据可以提供一个或者多个特征，该一个或者多个特征限于允许校正诸如图4-6和9-10中所示的在两个图像序列之间的全局未对准。对准数据也可以提供一个或者多个特征，该一个或者多个特征可以用于校正在两个图像序列的一个或者多个空间区域内的两个图像序列之间的对准。对准数据可以是一个颜色、比如单色颜色。在其它方面中，对准数据是多于一个颜色。
[0088]在块1104中，在投影系统内的由处理器用对准数据修改图像序列。处理器可以在服务器或者生成器中、例如在图2中的左或者右生成器(4和5)中。可以使用对准数据通过用对准数据的一个或者多个特征替换演示内容来修改诸如演示图像序列的图像序列。可以用对准图像的特征修改一个或者多个图像序列。例如可以用来自对准数据的特征修改第一图像序列的色通道的帧或者帧的部分中的图像内容，并且可以用相同特征修改另一色通道中的第二图像序列中的帧或者帧的部分中的图像内容。可以按时间并且对应地显示第一和第二图像序列的修改的帧，可以交替地显示修改的帧，或者可以依次地显示第一图像序列的修改的帧、继而依次地显示第二图像序列的修改的帧。
[0089]可以将一个或者多个对准特征划分成若干部分，从而用一个或者多个对准特征的部分修改图像序列中的每个依次帧。修改的部分可以对于每个帧不同。例如可以在图像序列中的至少两个或者更多帧之中划分一个或者多个对准特征，从而所有一个或者多个对准图像帧出现在修改的图像序列的至少两个或者更多帧中。可以修改图像序列，从而已经修改图像序列中的图像帧以包括一个或者多个对准特征，从而添加的一个或者多个对准特征的平均照度和/或色平衡与一个或者多个对准特征替换的原有图像内容的平均照度和/或色平衡匹配。可以修改图像序列，从而每个对准特征由黑色像素或者至少一个颜色的像素的模糊部分包围以有助于根据图像内容依次确定对准特征。可以执行用对准特征修改图像帧，从而可以在已经显示修改的图像之后根据图像内容确定对准特征，并且对准特征可以用于图像对准的目的。修改图像帧也可以包括用对准图像的特征对图像序列的至少一个加水印，从而可以根据已经显示的用加水印特征修改的图像序列确定对准特征。处理器也可以使用以上公开的修改的任何组合来修改图像序列。
[0090]在块1106中，投影系统使用图像序列的修改帧以执行图像对准过程。对准过程可以由在比如图2中的系统的投影系统内的处理器执行。可以在显示修改的图像序列之后确定一个或者多个对准特征，并且可以在对准图像序列的对准过程中使用确定的对准特征。如图3中描述的过程是用于从显示的修改的图像序列确定一个或者多个对准特征以确定在用于图像对准的图像变形过程中使用的变换矢量的过程的示例。特征匹配是一种用于确定对准特征的方法，但是比如滤波的其它方法可以用来确定图像序列中的对准特征。图11的过程的一个潜在优点可以是修改图像序列使得通过如下方式提高从修改的图像序列提取对准特征的效果和效率，该方式为用对准图像修改图像序列使得在修改的图像序列内的对准特征的可见性在查看者感知的水平以下。
[0091]图12描绘根据另一方面的使用修改的图像序列来对准图像序列的过程。该过程可以由比如图2中所示系统的投影系统执行。
[0092]在块1202中，捕获包括对准特征的修改的图像序列。图像序列可以由任何适当过程修改以包括对准特征。在图11的块1104中示出一个过程的示例。修改的图像序列可以由相机设备或者其它类型的图像感测设备捕获。捕获的修改的图像序列可以包括对准特征已经修改的一个或者多个图像帧。虽然结合用一个对准特征修改的图像序列描述该过程，但是可以使用多于一个对准特征。可以通过使用到捕获设备的触发信号、比如外部触发信号或者通过在修改的图像序列中包括的触发图像来执行修改的图像的捕获定时。捕获设备可以包含用于存储捕获的图像帧的存储器单元，或者捕获设备可以向在捕获设备外部的存储器单元发送捕获的帧。
[0093]在块1204中，基于捕获的修改的图像序列确定变换矢量集。在一些方面中，基于捕获的修改的图像序列的对准特征确定变换矢量集。例如图2中的校准电路8或者处理器可以确定对准特征的空间差以确定变换矢量集。校准电路可以通过如更早描述的特征匹配根据修改的图像帧确定对准特征。可以使用用于特征匹配的其它方法、包括用于快速检测感测的图案中的方向性的傅里叶方法、相互信息方法和松弛方法。图像序列的修改可以允许其它滤波方法用来确定修改的图像序列中的对准特征。例如可以在对准数据是修改的图像序列的帧的蓝色通道时使用蓝色滤波器。
[0094]在块1206中，使用几何的变换矢量以对准图像序列。在投影系统中的处理器可以在显示图像序列之前使用几何中的变换矢量来空间移位图像序列。例如图2中的变形处理器6可以基于校准电路8接收的有效变换矢量空间移位第二图像序列。变换矢量可以基于在捕获的对准特征与参考对准特征之间的空间差，或者在来自显示的第一和第二修改的图像序列的捕获的对准特征与对准特征之间的空间差。
[0095]根据各种方面的对准方法可以应用于双3D投影系统和双2D演示，其中堆叠或者叠加两个或者更多图像以提高图像亮度或者在两个或者更多投影系统用来将图像平铺在一起以覆盖更大区域时。
[0096]尽管已经关于本主题内容的具体方面和示例具体描述本主题内容，但是本领域技术人员在获得前文的理解时可以容易产生对这样的方面和示例的更改、变化和等效物。因而应当理解已经出于示例而非限制的目的呈现本公开内容并且未排除包括如本领域普通技术人员将容易清楚的对本主题内容的这样的修改、变化和/或添加。例如出于说明目的而在电子电路和示例配置方面描述某些方面和特征，但是可以在计算机程序中以函数的形式实现这些电路并且本发明的范围不应视为限于这些示例配置、但是应当包括变化和备选配置。
【权利要求】
1.一种方法，包括: 访问具有至少一个对准特征的对准图案； 使用所述至少一个对准特征通过投影系统修改第一数字图像序列的帧中的图像内容的部分；以及 在显示所述第一数字图像序列和第二数字图像序列时，基于由所述投影系统修改的所述部分，将所述第一数字图像序列和所述第二数字图像序列进行空间对准。
2.根据权利要求1所述的方法，其中使用所述至少一个对准特征来修改的所述部分是至少一个色通道。
3.根据权利要求1所述的方法，还包括通过所述投影系统修改所述第一数字图像序列中的后续帧的图像内容的与所述部分不同的第二部分， 其中具有图像内容的被所述投影系统修改的所述部分的所述帧和具有图像内容的被所述投影系统修改的所述第二部分的所述后续帧包括所有所述对准图案。
4.根据权利要求3所述的方法，还包括: 转换所述帧的具有所述至少一个对准特征的部分，所述部分分布于所显示的多个帧之中，其中所述部分具有随机空间序列。
5.根据权利要求1所述的方法，其中使用所述至少一个对准特征通过所述投影系统修改所述第一数字图像序列的所述帧中的所述图像内容的所述部分包括: 用所述至少一个对准特征替 换所述部分的至少局部，所述部分具有在所述至少一个对准特征周围的黑色图像像素。
6.根据权利要求5所述的方法，其中在所述部分内的所述至少一个对准特征具有与所述部分的用所述至少一个对准特征替换的所述至少局部基本上对应的平均照明水平。
7.根据权利要求5所述的方法，其中在所述部分内的所述至少一个对准特征具有与所述部分的用所述至少一个对准特征替换的所述至少局部对应的平均色平衡。
8.根据权利要求5所述的方法，其中所述至少一个对准特征具有高斯照明分布。
9.根据权利要求1所述的方法，还包括: 捕获用包括所述对准图案的对准图像数据修改的所显示的第二数字图像序列作为捕获的第二图像序列帧； 捕获用所述对准图像数据修改的所显示的第一数字图像序列作为捕获的第一图像序列帧； 基于在所述捕获的第二图像序列帧和所述捕获的第一图像序列帧中的所述对准图像数据之间的空间差确定变换矢量集；以及 使用所述变换矢量集将所述第一数字图像序列的所显示的第一图像和所述第二数字图像序列的所显示的第二图像进行空间对准。
10.根据权利要求1所述的方法，其中所述部分是至少一个色通道的整个图像帧。
11.根据权利要求1所述的方法，其中使用所述至少一个对准特征通过所述投影系统修改所述第一数字图像序列中的所述帧的所述图像内容的所述部分包括: 用所述至少一个对准特征替换所述部分的至少局部，所述至少一个对准特征具有至少一个色通道的高频内容，所述部 分具有在所述至少一个对准特征周围的图像内容像素，所述图像内容像素是所述至少一个色 通道的低频图像内容。
12.—种方法,包括: 捕获具有用对准数据修改的图像内容的所显示的第一图像序列内容帧作为捕获的第一图像序列帧； 捕获具有用所述对准数据修改的图像内容的所显示的第二图像序列帧作为捕获的第二图像序列帧； 基于在所述捕获的第二图像序列帧和所述捕获的第一图像序列帧中的所述对准数据之间的空间差确定变换矢量集； 使用所述变换矢量集将第一图像序列的所显示的第一图像和第二图像序列的所显示的第二图像进行空间对准。
13.根据权利要求12所述的方法，还包括: 用所述对准数据修改所述第一图像序列中和所述第二图像序列中的至少一个帧中的图像内容，以生成修改的第一图像序列帧和修改的第二图像序列帧； 用存储的变换数据对所述修改的第二图像序列帧进行变形以生成变形的第二图像序列帧； 显示所述变形的第二图像序列帧作为所述所显示的第二图像序列帧，并且显示所述修改的第一图像序列帧作为所述所显示的第一图像序列帧；以及 用所述变换矢量集更新所述存储的变换数据以产生更新的变换数据， 其中使用所述变 换矢量集将所述第一图像序列的所述所显示的第一图像和所述第二图像序列的所述所显示的第二图像进行空间对准包括使用所述更新的变换数据。
14.根据权利要求13所述的方法，其中用所述对准数据修改所述第一图像序列中和所述第二图像序列中的所述至少一个帧以生成所述修改的第一图像序列帧和所述修改的第二图像序列帧包括: 访问包括对准图案的所述对准数据，所述对准图案具有至少一个对准特征；以及使用所述至少一个对准特征通过投影系统修改所述第一图像序列中的帧中的图像内容的部分，其中所述第一图像序列和所述第二图像序列每一个均包括数字图像数据， 其中使用所述变换矢量集将所述第一图像序列的所述所显示的第一图像和所述第二图像序列的所述所显示的第二图像进行空间对准包括在显示所述第一图像序列和所述第二图像序列时基于被所述投影系统修改的所述部分将所述第一图像序列和所述第二图像序列进行空间对准。
15.根据权利要求13所述的方法，其中用所述对准数据修改所述第一图像序列中和所述第二图像序列中的所述至少一个帧中的所述图像内容以生成所述修改的第一图像序列帧和所述修改的第二图像序列帧包括: 访问包括对准图案的所述对准数据； 使用所述对准图案来修改所述第一图像序列的帧中的图像内容的第一部分； 使用所述对准图案来修改所述第一图像序列的后续帧中的图像内容的与所述第一部分不同的第二部分， 其中具有使用所述对准图案来修改的所述第一部分的所述帧和具有使用所述对准图案来修改的所述第二部分的所述后续帧包括所有所述对准图案。
16.根据权利要求13所述的方法，其中用所述对准数据修改所述第一图像序列中和所述第二图像序列中的所述至少一个帧中的所述图像内容以生成所述修改的第一图像序列帧和所述修改的第二图像序列帧包括: 基于通过以下编码之一将所述对准数据加水印到所述第一图像序列和所述第二图像序列中的每个图像序列中的所述至少一个帧中的图像数据上来修改所述第一图像序列中和所述第二图像序列中的所述至少一个帧: 用于将所述对准数据加水印到所述图像数据上的空间编码；或者 用于将所述对准数据加水印到所述图像数据上的时域编码， 所述方法还包括: 从包括加水印帧的所述捕获的第二图像序列帧或者所述捕获的第一图像序列帧中的至少一个图像序列帧提取所述对准数据。
17.根据权利要求12所述的方法，其中基于在所述捕获的第二图像序列帧和所述捕获的第一图像序列帧中的所述对准数据之间的所述空间差确定所述变换矢量集包括: 基于在所述对准数据与所述捕获的第二图像序列帧之间的差确定第一变换矢量集，所述捕获的第二图像序列帧包括使用所述对准数据的修改；以及 基于在所述对准数据与所述捕获的第一图像序列帧之间的差确定第二变换矢量集，所述捕获的第一图像序列帧包括使用所述对准数据的修改， 其中使用所述变换矢量集将所述第一图像序列的所述所显示的第一图像和所述第二图像序列的所述所显示的第二图像进行空间对准包括使用所述第一变换矢量集和所述第二变换矢量集将所述第一图像序列的所述所显示的第一图像和所述第二图像序列的所述所显示的第二图像进行空间对准。`
18.根据权利要求12所述的方法，还包括: 使用低分辨率图像传感器来确定所述捕获的第一图像序列帧和所述捕获的第二图像序列帧的对准特征的质心。
19.一种双显示投影系统，包括: 服务器，包括: 存储器单元，用于存储第一图像序列、第二图像序列和对准数据，所述对准数据是具有至少一个对准特征的对准图案；以及 处理器设备，用于通过使用所述至少一个对准特征来修改第一图像序列中的帧中的图像内容的部分，并且用于在显示所述第一图像序列和所述第二图像序列时基于所述修改的部分将所述第一图像序列和第二图像序列进行空间对准。
20.根据权利要求19所述的双显示投影系统，其中所述处理器设备被适配用于: 用包括所述对准图案的所述对准数据来修改所述第二图像序列的第二帧中的图像内容以创建修改的第二图像帧；以及 用存储的变换数据对所述修改的第二图像帧进行变形以生成变形的第二图像帧， 其中所述双显示投影系统还包括: 第一显示设备，用于显示所述变形的第二图像帧； 第二显示设备，用于显示所述第一图像序列中的所述修改的帧； 图像传感器，用于捕获所述所显示的变形的第二图像帧和所述所显示的修改的帧作为捕获的第二图像帧和捕获的第一图像帧；以及校准电路，用于基于在所述捕获的第二图像帧和所述捕获的第一图像帧中的所述对准数据之间的空间差来确定变换矢量集， 其中所述处理器设备被适配用于用所述变换矢量集更新所述存储的变换数据以产生更新的变化数据，并且用于使用所述更新的变换数据将所述第一图像序列的所显示的第一图像和所述第二图像序列的所显示的第二图像进行空间对准。
21.根据权利要求20所述的双显示投影系统，其中所述图像传感器被适配为被同步用于捕获所述所显示的变形的第二图像内容帧和所述所显示的修改的帧。
22.根据权利要求20所述的双显示投影系统，其中所述图像传感器是相机。
23.根据权利要求20所述的双显示投影系统，其中所述第一图像序列和所述第二图像序列是立体图像序 列。
【文档编号】G02B27/22GK103890656SQ201280051521
【公开日】2014年6月25日 申请日期:2012年10月19日 优先权日:2011年10月20日
【发明者】S·S·艾弗森, 谭玮宁, M·奥多尔 申请人:图象公司