用于图像对准的方法和设备的制作方法

专利名称：用于图像对准的方法和设备的制作方法
技术领域：
本发明涉及用于图像对准(image alignment)的方法和设备。
背景技术：
为了制作三维(3D)图像，有必要获得同一场景的两个镜头并且将一个图像相对 于另一图像略微移置。这意味着，在图像被移置前有必要仔细地对准图像。为了实现该 对准，通常使用特殊的相机机架(rig)来捕获这两个镜头。3ality生产一种这样的机架。然而，由于对准处理的复杂度，这些机架要用很长的时间来搭建。这是非常不 合需求的，特别是在拍摄进度被严密管理的电视直播制作中。此外，这些机架也很昂贵。通常，3D机架的成本如此之高以致它们经常被节目 制作方租用而不是购买。因此希望在不需要难以搭建并且昂贵的传统3D机架的情况下产生所需要的配 准。本发明的一个目的是缓减这些问题。

发明内容
根据本发明的第一个方面，提供一种将由第一相机捕获的第一图像与利用第二 相机捕获的图像的至少一个片段对准的方法，由第一和第二相机捕获的图像具有重叠的 视野，该方法包括在第一图像中，确定指示重叠的视野内的位置处的图像特性的图像特性值；在第二图像中，确定指示重叠的视野内的位置处的图像特性的图像特性值；确定第一图像中的重叠的视野中和第二图像中的重叠的视野中相对应的图像特 性值之间的位置差；以及对第一图像施加变换，所述变换调节第一图像相对于第二图像的方位，其中， 当第一和第二图像中相对应的图像特性值之间的位置差是预定量时，第一和第二图像被 对准。这是有益的，因为其使得一个图像可以被调节使得其与第二图像对准。该方法还可包括选择第一图像和第二图像中重叠的视野中的至少一部分；显示标识第一图像中的重叠的视野中的被选择的部分中的图像特性值的第一曲 线图，每个图像特性值被绘制在该曲线图上与第一图像中具有这样的图像特性值的位置 相对应的点处；以及在所显示的第一曲线图上叠加第二图像中的重叠的视野中的被选择的部分中的 图像特性值，每个图像特性值被绘制在所述曲线图上与第二图像中具有这样的图像特性 值的位置相对应的点处，从而第一和第二图像中相对应的图像特性值之间的位置差根据 所绘制的图像特性值之间的距离被确定。这在确定图像需要如何被变换来对准时提供图形辅助。
该方法还可包括在第一图像和第二图像两者的重叠的视野中选择第二区域； 显示标识第一图像中的重叠的视野中的第二区域中的图像特性值的第二曲线图，每个图 像特性值被绘制在所述曲线图上与第一图像中具有这样的图像特性值的位置相对应的点 处；在所显示的第二曲线图上叠加第二图像中的第二区域中的图像特性值，每个图像特 性值被绘制在所述曲线图上与第二图像中具有这样的图像特性值的位置相对应的点处， 从而第一和第二图像中相对应的图像特性值之间的位置差根据所述第二曲线图中所绘制 的图像特性值之间的距离被确定。这是有益的，因为其使得可以快速计算出变换量。重叠的区域可以分别在第一和第二图像的对端(opposite end)处。这在图像拼接 和/或图像稳定化领域中特别有用。该方法还可以包括显示矢量显示器，其中，矢量显示器同时显示第一和第二图 像的重叠区域中每个被选择的位置处的色度水平。这辅助色彩匹配。该方法可以包括选择重叠的区域内的一区域并且在执行确定步骤之前对所选择 的区域执行缩放功能。这使得用户能够更容易地看关心的区域。该方法还可以包括在对准之前对第一和第二图像执行色彩校正。这提高对准的 总体准确度。根据另一个方面，提供一种用于将由第一相机捕获的第一图像与利用第二相机 捕获的图像的至少一个片段对准的设备，由第一和第二相机捕获的图像具有重叠的视 野，该设备包括确定器，用于在第一图像中，确定指示重叠的视野内的位置处的图像特性的图 像特性值；确定器可操作用于，在第二图像中，确定指示重叠的视野内的位置处的图像特 性的图像特性值，并且确定第一图像中的重叠的视野中和第二图像中的重叠的视野中相 对应的图像特性值之间的位置差；和变换装置，可操作用于对第一图像施加变换，变换调节第一图像相对于第二图 像的方位，其中，当第一和第二图像中相对应的图像特性值之间的位置差是预定量时， 第一和第二图像被对准。该设备可以包括选择器，可操作用于选择第一图像和第二图像中重叠的视野 中的至少一部分；显示装置，可操作用于显示标识第一图像中的重叠的视野中的被选择 的部分中的图像特性值的第一曲线图，每个图像特性值被绘制在该曲线图上与第一图像 中具有这样的图像特性值的位置相对应的点处；显示装置还可操作用于，在所显示的第一曲线图上叠加第二图像中的重叠的视 野中的被选择的部分中的图像特性值，每个图像特性值被绘制在所述曲线图上与第二图 像中具有这样的图像特性值的位置相对应的点处，从而第一和第二图像中相对应的图像 特性值之间的位置差根据所绘制的图像特性值之间的距离被确定。选择器还可操作用于在第一图像和第二图像两者的重叠的视野中选择第二区 域；并且显示装置还可操作用于显示标识第一图像中的重叠的视野中的第二区域中 的图像特性值的第二曲线图，每个图像特性值被绘制在所述曲线图上与第一图像中具有这样的图像特性值的位置相对应的点处，并且在所显示的第二曲线图上叠加第二图像中 的第二区域中的图像特性值，每个图像特性值被绘制在该曲线图上与第二图像中具有这 样的图像特性值的位置相对应的点处，从而第一和第二图像中相对应的图像特性值之间 的位置差根据第二曲线图中所绘制的图像特性值之间的距离被确定。重叠的区域可以分别在第一和第二图像的对端处。显示装置还可操作用于显示矢量显示器，其中，矢量显示器同时显示第一和第 二图像中的重叠的区域中每个位置处的色度水平。设备还可以包括选择装置，选择装置可操作用于选择重叠的区域内的区域并且 在所选择的区域被馈送给确定器之前对所选择的区域执行缩放功能。设备还可以包括色彩校正器，色彩校正器可操作用于在对准之前对第一和第二 图像执行色彩校正。根据另一个方面，提供一种对准系统，包括连接到根据所述实施例中任一个的 设备的被安装在机架上的多个相机元件。根据另一个方面，提供一种计算机程序，包含计算机可读指令，指令在被装载 到计算机时，配置计算机来执行根据所述实施例中任一个的方法。根据另一个方面，提供一种存储介质，被配置为存储计算机程序。


从以下可以结合附图阅读的说明性实施例的详细描述中，本发明的以上和其它 目的、特征和优势将显而易见，其中图1示出根据本发明实施例用于捕获在生成三维图像中使用的图像的系统；图2示出在图1的系统中使用的工作站；图3示出使用多个图2的工作站的图1的系统；图4示出与图2的工作站一起使用的界面的呈现；图5示出图2的用户控制系统中设置模式的呈现；图6A到图6D示出根据本发明实施例用于确定滚转畸变的量的迹线模式的呈 现；图7A到图7D示出根据本发明实施例用于确定透镜畸变的量的迹线模式的呈 现；以及图8示出极坐标模板。
具体实施例方式参考图1，示出用于捕获在生成3D图像中使用的场景图像的系统100。系统100 具有相机机架(rig) 115，相机机架115上安装两个相机105。这些相机可以是摄像机或 照相机。尽管图1中未示出，但是每个相机相对于彼此的偏转(yaw)可以改变。具体 地，当被安装在机架115上时，每个相机105的俯仰(pitch)和滚转(roll)通常相对于彼 此是固定的。然而，每个相机105的偏转可以被相互独立地调节。这使得相机105 “前 束”(toe-in)可以改变。在被适当地锁定(即，固定于机架115)时，机架115的偏转、 俯仰和滚转可以一致地移动。机架115的位置可以用转动臂120适当地锁定。
根据本发明实施例，每个相机105的输出馈送(feed)被馈送到工作站200中。 在图1中，这些输出被标为a和b。每个相机105的输出馈送包括图像数据。然而，也 可以从每个相机馈送其它数据。例如，也可以从每个相机馈送元数据。元数据可以涉及 相机设置，例如，每个相机的光圈设置、聚焦长度和/或缩放。另外，元数据可以包括 有关相机操作者或出色取景标兵(shotmarker)等的信息。在该实施例中，每个相机105 的输出馈送可以使用电线或通过网络来连接。实际上，相机105和工作站200之间的连 接可以是无线的。这意味着，工作站200可以远离相机机架115。另外，用户终端125也连接到工作站200。用户终端125允许用户在对准处理 (稍后说明)期间控制工作站200。工作站200也有许多输出馈送。在具体实施例中， 如稍后将说明的，存在4个输出馈送，然而，本发明不限于此并且也可以使用比4更少或 更多的输出馈送。参考图2，示出根据本发明实施例的工作站200。根据本发明实施例的工作站 200包含基于cell处理器的体系架构(由索尼、东芝和IBM设计)，这被专门设计用于应 付大量的数据处理。这尤其适合图像处理任务。工作站200具有两个输入馈送；一个 输入馈送来自一个相机105(在图2中标记为“左i/p”和“右i/p”)。如在图1和图 2中所述，工作站200有4个输出馈送；经校正的左输出馈送、经校正的右输出馈送、立 体声监视器输出馈送和波形监视器输出馈送。稍后将描述这些。另外，在图2中示出与 用户终端125的连接。将了解，输入馈送和输出馈送的这种配置意味着每对相机(即，针对每一对左 右两个相机)设置一个工作站。该配置可以扩展。具体地，如果还可使用高清晰度-串 行数据接口(HD-SDI)卡，则该配置可以扩展为支持双链路4:4:4输出。该种类型的输出 对于显示立体声输出馈送的立体图(anaglyph)输出特别有用。稍后，将参考图4到图6 来描述工作站200的操作。参考图3，示出具有多个使用单链路HD-SDI的工作站的系统300。在该布置 中，示出两个工作站200A和200B。然而，在实施例中，本发明完全可扩展来从任意数 目的相机对接收输入。第一工作站200A拥有来自第一和第二相机对的输入。换而言之， 存在到第一工作站200A中的4个分开的相机馈送。类似地，第二工作站200B拥有来自 第三和第四相机对的输入。第一工作站200A的输出馈送是第一相机对的输出经校正的左馈送和第一相机对 的输出经校正的右馈送。另外，还从第一工作站200A提供第二相机对的输出经校正的左 馈送和第二相机对的输出经校正的右馈送。类似地，第二工作站200B的输出馈送是第三 相机对的输出经校正的左馈送和第三相机对的输出经校正的右馈送。另外，还从第二工 作站200B提供第四相机对的输出经校正的左馈送和第四相机对的输出经校正的右馈送。第一和第二工作站200A和200B的这些输出馈送被馈送到交叉点交换器 (XPT) 305。XPT 305可以要么是交叉点要么是包括交叉点的交换器。本领域技术人员将 了解，交叉点使得任意输入可以被映射到任意输出，并且交换器使得在改变输入到输出 的映射时可以施加效果。所以，可以利用擦拭或淡入效果来改变输出相机对。另外，XPT 305提供了左输出馈送和右输出馈送。XPT 305基于XPT305的操作 者所进行的选择来选择来自用于监视的相机对之一的输出馈送。然而，也可以改为是用户终端125控制XPT 305。换而言之，XPT305的操作者或用户终端125中的任一者可以 选择相机对中的哪些将被显示在左右监视器上并且XPT 305选择来自合适的相机对的经 校正的左右馈送。左右输出馈送和左右输出监视器馈送被馈送到监视工作站310中。监视工作站 310基于Cell处理器，因为Cell处理器特别适合处理上述图像处理任务。监视工作站310的输出是节目立体声监视器输出、预览立体声监视器输出和节 目/预览波形或立体声监视器输出。技术人员将了解，节目立体声监视器输出是被发送 用于广播的直播馈送，预览立体声监视器输出是使得可以“离播地”(off-air)尝试不同 效果的直播馈送版本，并且节目/预览波形是包含节目立体声监视器输出和预览立体声 监视器输出任一者的双路馈送(dual feed)。在图3中所描述的实施例的可替换实施例中，可以使用双链路HDSDI来替代单 链路 HD-SDI。输入相机馈送是高清晰度的，并且具体地是1920x1080像素分辨率的帧率为 23.98 逐行分段帧(Progressive Segmented Frame，PsF)、24PsF> 25Psf> 29.97PsF> 3OPsF 50隔行(i)、59.94i或60i中的一种。将了解，也可以支持50逐行(P)、59.94P和60P, 但是在该情况中，每个工作站200A和200B将由于工作站200中HD-SDI输入的数目而 只能支持一个相机对。另外，将了解，相机数目的增大将增大所需要的处理功率。可替 换地，输入相机馈送可以具有1280x720像素的分辨率，具有50P、59.94或60P之一。由 监视工作站310提供的输出馈送可以是与输入相机馈送的类型相同的类型。然而，这不 是必须的。实际上，输出馈送可以是与输入相机馈送的类型不同的类型。例如，输出馈 送可以被下转换(downconvert)成可以记录到记录介质上的低分辨率图像。这对于“急 速”编辑(“rush” edit)可能是有用的，通过“急速”编辑，对所捕获的素材执行粗裁 (rough cut)来确保所有所需要的镜头已经被捕获。现在将描述根据本发明实施例的对准处理。该处理使得来自相机对的左右相机 的输出馈送可以被对准，即便安装在相机机架115上的左右相机105没有被完全对准也可 以如此。将明白，由于对准处理需要像素特性信息，所以来自左右相机的输出馈送可能 在对准处理开始之前经历色彩匹配。如果3D机架包括波束分裂器则尤其如此。尽管不 是必须，但是色彩匹配确保在进行位置对准处理之前，每个输出的相机馈送中的同源像 素(homologous pixel)的色彩特性相匹配。这可以提高图像被对准的准确度。为了执行 色彩匹配，在对准之前，用户将在左右输出相机馈送图像上标识出至少一个区域，这至 少一个区域应当严格色彩匹配。根据该信息，用户可以确定要对该区域以及对整个图像 施加的色彩匹配的水平。这是通过使用专门的用户界面来调节一种或两种色彩的参数来 实现的。在本发明的实施例中，用户使用三个控制集来控制色彩匹配；每个控制集针对 R、G和B特性中的一个。这三种类型的控制在广播视频处理领域中是已知的，在这里 将不再进一步描述。此外，尽管在实施例中，该控制器被集成到用户终端中，但是本发 明不限于此。实际上，可以构想到这样的控制器可以与终端分离。一旦色差已被确定，则这给出对由左右相机捕获的色彩之间的差的指示并且从 而可以应用于来自输出馈送的所有图像。在色彩校正之后，来自相机对中的左相机的经校正的输出馈送被显示为401。类似地，来自同一相机对中的右相机的经校正的输出馈送被显示为402。用户终端125的 用户选择所显示的经校正的左相机馈送401中的区域404并且选择所显示的经校正的右相 机馈送402中的区域403。由于所选择的区域403和404将被用于对准左右图像401和 402，所以所选择的区域应当包括场景中既被左相机又被右相机捕获的特征。在具体实施 例中，由于既被左相机又被右相机捕获的场景非常相似，所以存在许多既被左相机又被 右相机捕获的特征。然而，如果既被左相机又被右相机捕获的场景在它们的视野中只有 很小的重叠区域，则所选择的区域应当至少包括该重叠的一部分。来自左相机的经校正的输出馈送401的被选区域404’被显示在来自左相机的 经校正的输出馈送401的下面。另外，来自右相机的经校正的输出馈送402的被选区域 403’被显示在来自右相机的经校正的输出馈送402的下面。所显示的被选区域403’和 404，是被进行了放大的被选区域403和404的版本。换而言之，被选区域401和402 中的每一个被进行数字放大并且经放大区域的结果被显示在所显示的被选区域403’和 404，中，其中所显示的被选区域403，和404，分别在来自左相机和右相机的经校正的 输出馈送的下面。通过进行放大，被选区域的尺寸增大并且容易由用户观察。在来自左相机的经校正输出馈送的所显示被选区域404’内的第一区域404A和 第二区域404B以及在来自右相机的经校正输出馈送的所显示被选区域403’内的第一区 域403A和第二区域403B通过用户终端125来确定。显然，两个第一区域403A和404A 选择垂直像素列的范围，并且第二区域403B和404B选择水平像素行的范围。然而，本 发明不限于此。第一区域403A和404A以及第二区域403B和404B都可以选择任意方向 的采样点的范围。实际上，这些方向不必相同。在显示400上，提供显示波形的部分410。在波形显示部分410中，显示第一波 形415和第二波形417。这些波形一般显示像素特性，例如，像素或像素群组内的红、 绿、蓝(RGB)分量。然而，本发明不限于此。实际上，这些波形可以显示像素或像素 群组的任意特性，例如，亮度水平、色差水平(Cr、Cb水平)等。在实施例中，第一波 形415显示多个迹线(trace)的叠加，其中，每个迹线对应于在图4的χ方向上延伸的所 选择的像素行之一。第一波形415的χ轴上的每个点对应于沿第二区域404Β的χ轴的像 素位置。所显示的这条线是红色的并且在第一波形中具有点404C。叠加其上的是示出通过对区域403Β执行类似的技术所生成的波形的线。所显示 的这条线是青色的并且在第一波形中具有点403C。这里应当注意，第一波形中的这两条 线是不同颜色的，以能够相互区分。然而，也可以在这些线重叠的地方，显示第三种颜 色(在实施例中，为白色)。第二波形417显示多个迹线的叠加，其中，每个迹线对应于在图4的y方向上延 伸的所选择的像素行之一。第二波形417的y轴上的每个点对应于沿第一区域404A的y 轴延伸的所选择的像素行之一。该迹线是红色的并且在第二波形中具有点404D。叠加其上的是示出针对第二区域403B的类似迹线的线。该迹线是青色的并且具 有点403D。任意两种不同颜色都可以用来区分这些线，并且可以用第三种颜色(在实施 例中，为白色)来显示共同的迹线。在点403C和404C处，可以看到非常相似的像素特性。实际上，点403C对应于 第二放大区域403，的场景中的按钮403E。类似地，点404C对应于被放大的第一区域404’的场景中的按钮404E。这些按钮是由左相机和右相机捕获的场景内的相同特征。 然而，从第一波形415来看，很显然点403C和404C在χ方向上不位于相同位置。这意 味着，来自左相机401的经校正的输出馈送和来自右相机402的经校正的输出馈送没有被 完全对准。换而言之，来自左相机401的经校正的输出馈送和来自右相机402的经校正 的输出馈送不完全重叠。实际上，通过以这种叠加方式提供第一波形，可以确定来自左 相机401的经校正的输出馈送对准来自右相机402的经校正的输出馈送的右方。类似地，点403D和404D示出非常相似的像素特性。实际上，点403D对应于 第一区域404中的按钮404F。类似地，点404D对应于第二区域403中的按钮403F。换 而言之，线403D和404D表示由左相机和右相机捕获的场景内的相同特征。然而，从第 二波形417可见，显然点403D和404D在y方向上不位于相同位置。因此，按钮403F 和404F在y方向上未完全对准。这意味着，来自左相机401的经校正的输出馈送和来自 右相机402的经校正的输出馈送在y方向上未完全对准。实际上，通过以这种叠加方式 提供第二波形417，可以确定来自左相机的经校正的输出馈送未被对准并且实际上在来自 右相机402的经校正的输出馈送的下方。实际上，如前所述，第一波形415中χ方向上的每个点对应于第二区域403B和 404B的χ方向上的像素位置，并且第二波形417的y方向上的每个点对应于第一区域 403A和404A的y方向上的像素位置。这意味着，通过得知点403C和404C之间的距 离，可以确定在来自左相机401的经校正的输出与来自右相机402的经校正的输出之间在 χ方向上的偏移。类似地，通过得知点403D和404D之间的距离，可以确定在来自左相 机401的经校正的输出与来自右相机402的经校正的输出之间在y方向上的偏移。这意 味着，通过简单地分析点403C和404C之间以及点403D和404D之间的距离，就可以确 定来自左相机401的经校正的输出和来自右相机402的经校正的输出在特定方向上何时被 充分对准。将了解，在经校正的输出在特定方向上偏移预定距离的情况下，对准可能是充 分的。例如，当拍摄3D连续镜头(footage)时，有必要在y方向上对准图像的同时将经 校正的输出在χ方向上偏移预定量。然而，对于图像拼接，希望在χ方向和y方向上都 完全对准图像。本发明不限于3D或图像拼接，并且也可以构想到任意方向上的任意水平 的对准。例如，在图像稳定化中，完全对准是有用的。此外，还可以对准在不同时刻拍 摄的图像。可以使用该信息来调节位于相机机架115上的相机105的对准。为了这样做， 将由工作站200生成控制伺服电机的适当信息并且将其馈送给伺服控制器(未示出)。 此外，该信息可以提供给手动机架操作员。然而，为了降低机架115的成本和设计复杂 度，在实施例中，可以变换来自左或右相机401或402的经校正的输出图像来实现这样的 对准。现在，将描述来自左相机401的经校正的输出馈送的该变换。尽管，仅描述一个 输出馈送的变换，但是本发明不限于此并且任意一个或两个图像都可以被变换。相机可以进行的三种移动是偏转(绕着图4的χ方向旋转)、俯仰(绕着图4的 y方向旋转)和滚转(绕着相机的光轴旋转)。可以在来自相机的输出馈送中复制相机的 这种移动。为了这样做，使用4x4矩阵中的旋转、缩放、变换和投影的集合来变换输出 馈送。这种类型的变换有时称为模型视图投影矩阵(model view projection matrix)。该变
11换需要左相机和右相机的视野。如前所述，可以确定来自左相机401的输出馈送位于来自右相机402的输出馈送 的右方。为了对此进行校正，并且如果需要，对左相机401的输出馈送施加将左相机401 的输出向右移动的偏转变换。还可以构想到平面移位。在来自左相机401的输出馈送被 变换之后，点403C和404C之间的距离被测量。如果点403C和404C之间的距离处在某 一阈值(例如，对于3D连续镜头是所希望的瞳孔间距离士 1像素)或者该阈值以下，则 偏转变换停止。然而，如果点403C和404C之间的距离在阈值之上，则偏转变换继续。此外，如上所述，在实施例中，由于知道区域404B和403B的宽度(S卩，χ方向 上的长度)，知道波形415的长度(即，该波形表示多少像素)，并且通过确定点403C和 404C之间的距离知道相机的视野(或等同的信息)，所以可以确定恰当地对准经校正的输 出馈送需要多少偏转变换。相比于迭代方法，这增大了对准进行的速度。在图像在χ方向上被恰当地对准之后，来自左相机401的经校正的输出馈送被施 加俯仰变换来将该馈送向上移。这是因为来自左相机的输出馈送被对准在来自右相机的 输出馈送下方。在来自左相机401的输出馈送被变换之后，点403D和404D之间的距离 被测量。如果点403D和404D之间的距离处在某一阈值(例如，完全对准士 1像素)或 该阈值以下，则俯仰变换停止。然而，如果点403D和404D之间的距离在阈值之上，则 俯仰变换继续。此外，在实施例中，知道区域404Α和403Α的高度(即，y方向上的长度)，知 道波形417的长度(即，该波形表示多少像素)并且通过确定两个点403D和404D之间 的距离知道相机的视野(或等同信息)。因此，可以确定要恰当地对准输出馈送需要多少 俯仰变换。相比于迭代方法，这增大了对准进行的速度。这里应当注意，尽管以上恰当的对准是通过在对一个图像施加水平偏移之后施 加垂直偏移来执行的，但是本发明不限于此。例如，可能需要对来自相机的输出馈送施 加滚转旋转校正。这将去除对任一相机施加的任意不正确的滚转角度。稍后，将参考图 6A来描述涉及滚转旋转的校正的本发明实施例。此外，如以上所述，对准处理假定两个 相机的聚焦长度相同。然而，在不能使用俯仰、偏转和滚转校正来获得对准的情况中， 施加缩放校正。这通过缩放一个或两个图像来实现。如果必要，在各个不同的聚焦长度 时，进行施加俯仰、偏转和滚转校正的处理。除了第一和第二波形415和417以外，还提供矢量显示器420。矢量显示器420 是已知的并且绘出色度信息。在本发明实施例中的矢量显示器420上，示出在第一波形 上绘出的像素的色度信息。通过绘制色度信息，可以执行色彩匹配。所以，通过在场景 中选择应当具有相同颜色的一个或多个特征，可以更改由任意相机捕获的特征的色彩特 性直到矢量显示器420上的色彩相同为止。另外还显示第一监视器输出406和第二监视器输出405。第一监视器输出406示 出来自左相机的输出馈送401和来自右相机的输出馈送402的立体图呈现。在第二监视 器405中示出放大区域403和404的立体图呈现。在第一监视器输出406附近提供按钮425(或按钮已经被按压的指示器)，按钮 425使得可以显示来自左右相机的输出馈送401和402之间的差而不是立体图呈现。在第 二监视器输出405附近设置了类似的按钮430，其示出第一区域403和第二区域404之间的差的呈现。将了解，在左右相机被对准时，即，来自左右相机的图像输出被对准时， 输出馈送之间的差将为0。换而言之，监视器输出将是灰色的。然而，当图像未被完美 地对准时，在每个像素处将显示差分值。该差分值将在第一监视器405上被呈现为指示 出对准不正确的区域的有色阴影。因此，差分特征提供附加检查来确保使用波形部分410 所确定的对准是正确的。尽管以上提及的是作为具体颜色的差分信号，但是本发明不限 于此。实际上，可以构想到指示正的或负的差分值的任意颜色。在确定图像被正确对准之后，从左右相机馈送输出的图像被缩放来确保使由之 前的调节造成的任意空白区域消失并且输出馈送填满可用的画面尺寸。在来自左相机和右相机的输出馈送正被对准时，用户有权使用设置画面。该设 置画面在单独的计算机上运行。然而，其也可以由工作站200运行，尽管其通常可以在 单独的屏幕上观察。在图5中示出设置画面的呈现。设置画面500用来控制对准，而且 还包括左右相机515的图形表示。其向用户提供观想相机布置的机会。另外，存在彼此 叠加的左右相机的图形表示520。此外，在区域505中示出在对准过程期间确定的并且由 用户终端125控制的变换参数。这些参数可以由用户手动调节，如果他们需要对对准后 的图像施加某些特殊的效果(例如，增大的前束)的话。通过调节相机对前束或水平平 面移位，明显的3D收敛被改变。这有将对象相对于将要显示所产生的图像的屏幕的平面 向前或向后移动的效果。此外，在恰当地对准图像来拍摄3D图像的情况中，有必要让χ方向上的图像之 间具有位移来生成3D图像。对对准的校正可以使用用户区域505来观想。最终，表示 对左右相机施加的变换的网格也被显示。这是有用的，因为其使得用户可以确定哪种变 换已经被施加于图像来校正对准。实际上，应当注意，变换复制相机的移动，而不是复 制图像将在其上被观察的平面的移动。由于预期将只有很小的校正将被施加于图像来恰 当地对准图像，所以，这些不容易被系统的用户辨别。因此，在网格上施加夸大变换的 权重，使得用户可以容易地观察变换。此外，应当注意，提供这，用户容易确定相机对 准得很不好并且它们应当被手动调节并且该校正处理应重新开始。这对于减少用来恰当 地对准图像要花费的时间是有用的。尽管已经参考恰当地对准图像说明了以上内容使得可以从已对准的图像来制作 3D图像，但是本发明不限于此。实际上，存在其中两个或更多图像的对准非常有用的许 多应用。例如，在图像拼接(其中，从多个合成图像制成全景图)中，有必要确保重叠 的区域是对准的。在该情况中，对准每个图像的不同部分是特别有用的。例如，对准不 同图像的不同区域的各个部分是有用的。所以，在图像拼接的情况中，将在一个图像的 最左侧的区域与在另一图像的最右侧的区域对准是有用的。换而言之，将图像的相互重 叠的区域完全对准是有用的。如前所述，在本发明的实施例中，可以针对滚转畸变和透镜畸变进行校正。在 图4中，每个图像的两个区域被选择。这些图像通过分析区域内的像素特性来对准。图 6A到图6D描述了更容易针对滚转畸变和透镜畸变进行校正的另一实施例。图6A示出没有滚转畸变的图像。图6B示出被施加了 20°逆时针滚转畸变的和 图6A—样的图像。在图像600A中，内圆形迹线605A和外圆形迹线610A被选择，而 在滚转畸变的图像600B中，内圆形迹线605B和外圆形迹线610B被选择。内圆形迹线和外圆形迹线是被分析的半径范围的边界。两个图像中的圆形迹线与场景中的相同特征 相交，即，图像600A中的网615A和滚转畸变的图像600B中的615B的第一部分，和图 像600A中的网620A和滚转畸变的图像600B中的620B的第二部分。从图6A和图6B可见，在内圆形迹线和外圆形迹线之间存在宽度为50像素的区 域(内圆形迹线具有距图像中心100像素的半径，并且外圆形迹线具有距图像中心150像 素的半径)。并且，在图6A和图6B中可见，图像600A和600B分别被水平线625A和 625B对半分开。该笔直的水平线是径向(radial)特征并且定义0°。此外，该直线穿过 捕获该图像的相机的光轴，尽管不一定如此。图6C示出与围绕图像600A中的内外圆形迹线之间的区域内的圆周的采样点的 图像特性相对应的波形，并且图6D示出与围绕图像600B中的内外圆形迹线之间的区域 内的圆周的采样点的图像特性相对应的波形。这是波形650D。另外，在图6D中，图 6C的波形650C被绘制在相同的轴上。这使得容易在波形之间进行比较。具体地，波形由指定范围中的不同半径处许多单个的迹线的叠加组成。单个 的迹线是针对沿那个半径的圆形路径以等间距的点采样的像素的像素特性相对角度的线 图。在采样点不是精确地落在像素位置上的地方，取最接近的4个像素并且特性被进行 双线性插值来估计那个采样点处的特性。以与上述方式类似的方式，图像特性是每个像 素的RGB值，尽管也可以构想到诸如Cr，Cb值之类的任意恰当的特性或不同的另一特 性。在实施例中，由于图像由像素组成并且内外的迹线是圆形的，所以图像中特性 被测量的点不一定位于像素点处。更具体地，在实施例中，由于图像由正交网格上的像 素组成，并且像素采样点在极坐标网格上，于是图像中特性被测量的点不一定处于像素 点处。因此，采样点处的特性必须要么从最近的像素位置插值或从最近的4个像素位置 进行双线性插值或用其它措施插值。从0°开始，每个半径处的每个采样点的图像特性的值被测量。在环绕图像600A的所有值都已经被计算之后，生成波形650C。波形650C实 际上是不同半径的许多迹线的叠加。从波形650C可见，点655C和660C特别显眼。它 们分别对应于图像600A中的网615A和620A的部分。从χ轴可见，点655C大约5°而 点660C大约185°。对滚转畸变的图像600Β执行类似的过程。这样的分析产生图6D中所示的波形 650D。从图6D中可见，点660D对应于图像600Β中的部分620Β而点655D对应于图 像600Β中的部分615Β。在图6D中，显而易见点660D位于约165°而点655D位于约 345°。通过比较波形650C和650D，显而易见图像600Β是图像600Α的滚转畸变的版 本并且滚转畸变量是20°。而且，通过比较波形650C和650D，显然滚转是逆时针方向 的。尽管已经参考测量两个图像之间的滚转畸变描述了前述滚转畸变校正，但是也 可以确定单个相机上的滚转畸变。为了实现这一点，如果场景中的特征处在已知的角 度，则可以使用以上技术来测量所捕获的图像中该特征的角度。通过测量图像中该特征 的角度，可以确定相机的滚转量。一旦滚转畸变被计算出，则可以将滚转畸变变换施加于图像来针对滚转畸变进行校正。这可以通过施加逐行校正来迭代地校正直到迹线匹配为止。参考图7A，示出没有透镜畸变的棋盘形图案700A。在该图案中，画出第一径 向线705A和第二径向线710A。这提供用于透镜畸变分析的边界线。第一径向线705A 和第二径向线710A横跨图案700A并且穿过图像700A的中心。该情况中该图像的中心 是相机715A的光轴，但是本发明不限于此。实际上，技术人员将了解，图像的中心可以 在图像700A的任意适当的点处。在图7C中示出与没有透镜畸变的棋盘形图案700A相对应的波形750C。该波 形由指定范围中不同角度的许多单个的迹线的叠加组成。单个的迹线是针对沿那个角度 的径向路径在等间距的点处采样的像素的像素特性相对距图像中心的距离的线图。由于 采样点是极坐标的并且像素布置在正交网格中，所以采样点未严格匹配像素位置。在采 样点没有精确地落在像素位置的情况中，取最接近的4个像素并且特性被进行双线性插 值来估计那个采样点处的特性。然而，构想到诸如邻接插值之类的其它插值方法。如以上关于图6A到图6D所说明的，由于线705A和710A不一定是笔直的，所 以在离开中心715的位置处的图像特性值被计算出作为最接近的4个像素的双线性插值。 还如上所述，每个位置的图像特性被绘制在波形上。换而言之，线705A和710A之间每 个位置的图像特性被绘制在波形750C上。在图7C中可见，755C处的波形类似于方波脉冲群。这是由于线705A和710A之 间的距离很小并且棋盘形图案具有不同的白色和黑色的块，在线705A和710A之间的距 离较小的情况下，这些块看起来像从中心开始以相同的距离从黑色变为白色。然而，朝 向图像700A的外部，线705A和710A之间的距离增大。这意味着，在区域760C中，跨 许多不同的像素位置发生从黑色向白色的改变。这导致具有许多不同转变的区域760C。图7B让图7A的棋盘形图像被施加大量负的透镜畸变。这示出为图像700B。 第一线705B和第二线710B被绘出横跨图像700B。与图7A类似，第一线705B和第二 线710B在点715B处穿过图像的中心。第一和第二线705B和710B的位置与图7A中的 图像700A中的相同。在图7D中示出与图像700B相对应的波形。以与关于图7C描述的方式类似的 方式，在图7D中，部分755D类似图7C中的部分755C。这是因为，在接近图像700B 的中心715B时第一线705B和710B之间的距离很小。图7C和图7D的波形通常会被绘 制在相同轴上这样容易进行比较。然而，朝向图像700B的外部区域，透镜畸变具有“挤压”图像的效果。换而言 之，黑白转变之间的像素数随着接近图像700B的边缘而减小。这可以在图7D中看到。 如前所述，部分755D类似于图7C中相对应的部分755C。然而，在部分760D中，黑白 转变之间的距离在它们变得越接近的范围内改变。尽管未被示出，但是如果在该图像中 存在较大程度的正的透镜畸变，这也将是可辨识的。具有正的透镜畸变，图像也看起来
“被挤压”。此外，如在之前的示例中一样，由于图7D的χ轴表示图像中的位置，所以可以 识别施加于图像700B的透镜畸变量。这使得可以容易地确定所需要的校正量。图8示出可以施加于图像来辅助两个图像的对准的极坐标迹线模板800。极坐 标迹线800包括外圆形迹线810和内圆形迹线820，其示出圆周波形中各个迹线的半径的范围和径向波形中各个迹线的角度的范围。它们包围的区域与前述被选择的区域404A和 404B类似。这使得两个有大小的圆形迹线中的一个能够被施加于两个图像。这用来针 对旋转误差进行校正，如参考图6A到图6D所述的。另外，提供在外圆形迹线810的中 心处相交的径向线825。这两条径向线使得能够校正透镜畸变，如参考图7A到图7D所 述的。已经参考工作站和用户终端描述了前述实施例。然而，本发明可以以不同方式 实施。例如，工作站和用户终端可以集成到包括所有必要的用户输入设备的一个产品。 此外，本发明的实施例可以是包含计算机可读指令的计算机程序。此外，计算机程序可 以包含在信号中，这些信号可以通过网络(例如互联网)转送，或者存储在诸如光盘之类 的存储介质上。最终，本发明可以实施为包含计算机程序的存储介质。尽管这里参考附图详细描述了本发明的说明性实施例，但是可以理解，本发明 不限于这些精确的实施例，并且本领域技术人员可以在不偏离由权利要求限定的本发明 的范围和精神的情况下实行各种更改和修改。
权利要求
1.一种将由第一相机捕获的第一图像与利用第二相机捕获的图像的至少一个片段对 准的方法，由所述第一相机和第二相机捕获的图像具有重叠的视野，该方法包括在所述第一图像中，确定指示所述重叠的视野内的位置处的图像特性的图像特性值；在所述第二图像中，确定指示所述重叠的视野内的位置处的图像特性的图像特性值；确定所述第一图像中的所述重叠的视野中和所述第二图像中的所述重叠的视野中相 对应的图像特性值之间的位置差；对所述第一图像施加变换，所述变换调节所述第一图像相对于所述第二图像的方 位，其中，当所述第一图像和第二图像中相对应的图像特性值之间的位置差是预定量 时，所述第一图像和第二图像被对准；选择所述第一图像和所述第二图像中所述重叠的视野中的至少一部分； 显示标识所述第一图像中的所述重叠的视野中的被选择的部分中的图像特性值的第 一曲线图，每个图像特性值被绘制在所述曲线图上与所述第一图像中具有这样的图像特 性值的位置相对应的点处；以及在所显示的第一曲线图上叠加所述第二图像中的所述重叠的视野中的被选择的部分 中的图像特性值，每个图像特性值被绘制在所述曲线图上与所述第二图像中具有这样的 图像特性值的位置相对应的点处，从而所述第一图像和第二图像中相对应的图像特性值 之间的位置差根据所绘制的图像特性值之间的距离被确定。
2.根据权利要求1所述的方法，包括在所述第一图像和所述第二图像两者的所述重叠的视野中选择第二区域； 显示标识所述第一图像中的所述重叠的视野中的所述第二区域中的图像特性值的第 二曲线图，每个图像特性值被绘制在该曲线图上与所述第一图像中具有这样的图像特性 值的位置相对应的点处；在所显示的第二曲线图上叠加所述第二图像中的所述第二区域中的图像特性值，每 个图像特性值被绘制在该曲线图上与所述第二图像中具有这样的图像特性值的位置相对 应的点处，从而所述第一图像和第二图像中相对应的图像特性值之间的位置差根据所述 第二曲线图中所绘制的图像特性值之间的距离被确定。
3.根据权利要求1所述的方法，其中，所述重叠的区域分别在所述第一图像和第二图 像的对端处。
4.根据权利要求1所述的方法，还包括显示矢量显示器，其中，所述矢量显示器同时 显示所述第一图像和第二图像中的所述重叠的区域中每个被选择的位置处的色度水平。
5.根据权利要求1所述的方法，包括选择所述重叠的区域内的区域并且在执行所 述确定步骤之前对所选择的区域执行缩放功能。
6.根据权利要求1所述的方法，包括在所述对准之前对所述第一图像和第二图像执行 色彩校正。
7.一种用于将由第一相机捕获的第一图像与利用第二相机捕获的图像的至少一个片 段对准的设备，由所述第一相机和第二相机捕获的图像具有重叠的视野，该设备包括确定器，用于在所述第一图像中，确定指示所述重叠的视野内的位置处的图像特性的图像特性值；所述确定器可操作 用于，在所述第二图像中，确定指示所述重叠的视野内的位置处 的图像特性的图像特性值，并且确定所述第一图像中的所述重叠的视野中和所述第二图 像中的所述重叠的视野中相对应的图像特性值之间的位置差；和变换装置，可操作用于对所述第一图像施加变换，所述变换调节所述第一图像相对 于所述第二图像的方位，其中，当所述第一图像和第二图像中相对应的图像特性值之间 的位置差是预定量时，所述第一图像和第二图像被对准；选择器，可操作用于选择所述第一图像和所述第二图像中所述重叠的视野中的至少 一部分；显示装置，可操作用于显示标识所述第一图像中的所述重叠的视野中的被选择的部 分中的图像特性值的第一曲线图，每个图像特性值被绘制在所述曲线图上与所述第一图 像中具有这样的图像特性值的位置相对应的点处；以及所述显示装置还可操作用于，在所显示的第一曲线图上叠加所述第二图像中的所 述重叠的视野中的被选择的部分中的图像特性值，每个图像特性值被绘制在所述曲线图 上与所述第二图像中具有这样的图像特性值的位置相对应的点处，从而所述第一图像和 第二图像中相对应的图像特性值之间的位置差根据所绘制的图像特性值之间的距离被确 定。
8.根据权利要求7所述的设备，其中，所述选择器还可操作用于在所述第一图像和所述第二图像两者的所述重叠的视野中选择第二区域；并且所述显示装置还可操作用于显示标识所述第一图像中的所述重叠的视野中的所 述第二区域中的图像特性值的第二曲线图，每个图像特性值被绘制在该曲线图上与所述 第一图像中具有这样的图像特性值的位置相对应的点处，并且在所显示的第二曲线图上 叠加所述第二图像中的所述第二区域中的图像特性值，每个图像特性值被绘制在该曲线 图上与所述第二图像中具有这样的图像特性值的位置相对应的点处，从而所述第一图像 和第二图像中相对应的图像特性值之间的位置差根据所述第二曲线图中所绘制的图像特 性值之间的距离被确定。
9.根据权利要求7所述的设备，其中，所述重叠的区域分别在所述第一图像和第二图 像的对端处。
10.根据权利要求7所述的设备，所述显示装置还可操作用于显示矢量显示器，其 中，所述矢量显示器同时显示所述第一图像和第二图像中的所述重叠的区域中每个位置 处的色度水平。
11.根据权利要求7所述的设备，包括选择装置，所述选择装置可操作用于选择所 述重叠的区域内的区域并且在所选择的区域被馈送给所述确定器之前对所选择的区域执 行缩放功能。
12.根据权利要求7所述的设备，包括色彩校正器，所述色彩校正器可操作用于在所 述对准之前对所述第一图像和第二图像执行色彩校正。
13.—种对准系统，包括连接到根据权利要求7所述的设备的被安装在机架上的多个 相机元件。
14.一种计算机程序，包含计算机可读指令，所述指令在被装载到计算机时，配置所述计算机来执行根据权利要求1所述的方法。
15. 一种存储介质，被配置为存储根据权利要求14所述的计算机程序。
全文摘要
本发明公开了用于图像对准的方法和设备。该方法将由第一相机捕获的第一图像与利用第二相机捕获的图像的至少一个片段对准，由第一和第二相机捕获的图像具有重叠的视野，该方法包括在第一图像中，确定指示重叠的视野内的位置处的图像特性的图像特性值；在第二图像中，确定指示重叠的视野内的位置处的图像特性的图像特性值；确定第一图像中的重叠的视野中和第二图像中的重叠的视野中相对应的图像特性值之间的位置差；以及对第一图像施加变换，该变换调节第一图像相对于第二图像的方位，其中，当第一和第二图像中相对应的图像特性值之间的位置差是预定量时，第一和第二图像被对准。
文档编号G06T7/00GK102013096SQ201010276400
公开日2011年4月13日 申请日期2010年9月6日 优先权日2009年9月4日
发明者理查德·札瑞德·库珀, 萨拉·伊丽莎白·威特 申请人:索尼公司