用于获取实时视频输出的对象的多个视图的方法和系统的制作方法

专利名称：用于获取实时视频输出的对象的多个视图的方法和系统的制作方法
技术领域：
本发明涉及一种用于获取实时一见频输出的对象的多个#见图的方 法和系统。
背景技术：
显微镜通过装置的光学器件和目镜(多个目镜)来提供狭窄视 野的高倍》文大图〗象。
一些显樣"竟^是供了变焦透4竟和/或可互换透4竟， 4吏得用户可以得到更宽的 一见野以有助于景物可3见化或4企查感兴趣区域("Ror)附近的对象。 一些显微镜配备有摄像机和显示器，使 得操作者不局限于通过目镜来观看，而可以同时观看显孩史镜的显示 器和周围的设备。已提出了一种微组件系统，其提供多个摄像机视图，使得高分 辨率显微镜视图的优点与在更宽视野中可获得的景物信息结合在一起。某些系统结合了两个位于相互垂直的观察点的显微镜例如， 一个/人上面(平面图)，而一个乂人侧面(侧面图)。有时，_渚如扫描 电子显孩M竟(SEM)的系统配置有访问端口，通过该访问端口可以 实现样品台的摄像机视图。用户可以在单独的监视器上观看台子的 运动。单视图显微镜使用麻烦并且用处不大，这是因为经常有视野之 外的、必须通过结合侧面放置样品台和利用光学器件将镜头拉远来才全查的细节。监视器类型的显示器允许操作者观看沿着显孩吏镜^L图 边缘的景物，但是多数的应用情况中，感兴趣区域都小到难以用肉 眼看到。多个摄像机可以有所帮助，但是需要操作者在多个屏幕之间转 换注意力或者手动地选择^L图。多个^L图会导致空间定向障碍并需 要一些图像心理旋转的技能。利用混乱的景物或有限工作距离的光 学器件，在物理上不太可能用第二个4聂^f象机来获取ROI的视图。显 樣史镜具有非常浅的景深并且ROI基本上是平坦的。在这种情况下， 相对于该平面倾斜的第二^f见图将不能4艮好地聚焦在景物上。因此，人们期望有一种改进的系统来获取感兴趣区域的多个视图。发明内容在第一优选方面，提供了 一种用于获取实时视频输出的对象的 多个一见图的方法，该方法包4舌获取对象的第一pf见图；获耳又该对象的第二4见图，第二^见图不同于第一^见图；以及使用第 一和第二视图之间的变换来使第一视图变形，使得 第一#见图的形状和位置与第二4见图相匹配；其中，通过应用4吏用了掩码(mask)的拷贝将变形后的 第一视图覆盖(overlay)在第二视图上，其中，通过变换来计 算该掩码。在第二方面，提供了一种用于获取实时视频输出的对象的多个 一见图的系统，该系统包4舌第一图像拍摄装置，用于获取对象的第一视图；第二图^f象拍才聂装置，用于获取该对象的第二碎见图，第二朝L 图不同于第一^L图；以及
变形才莫块，用于^f吏用第 一和第二3见图之间的单应性矩阵 (homography )来变形第一4见图，橫j寻第一4见图的形状和^f立置
与第二;f见图相匹配；
其中，通过应用使用了掩码的有条件拷贝将变形后的第一 视图覆盖在第二视图上，其中，通过单应性矩阵来计算该掩码。
该对象可以至少部分地净皮另 一对象遮蔽。
所述变才灸是通过解决图〗象间的移动以及构建4并嵌图(mosaic ) 来获取的。该变纟灸可以是单应性矩阵。
单应性矩阵可以通过以下等式来获取H^=HsHdH^CsH:s ，其 中，H :s是说明该拼嵌图中的参考系原,泉的任意偏移的简单平移， Hr是等3巨(isometry)或定标的欧几里德变4灸并将4并嵌图坐标;改到 模型空间，H^是投射变换，其将该模型投射到透视图坐标系统上， Hd是说明数字缩放中原点的改变的平移，Hs是数字缩放的定标因
子，以及H^是矩阵变换，其将第一图像的特征放到第二图像中该特 4i的正确^f立置。
通过至少一种预定的图像间跟踪算法来解决图<象间的运动。可 以参考预定时刻来构建拼嵌图，该方法进一步包括
确定将拼嵌图放到才莫型空间的变换；
恢复从模型空间到第二视图的变换；以及
确定预定时刻的从第 一视图到第二视图的变换。
变换可以基于可获得的图像数据。该模型空间可以是预定的模 型或者从第二视图中创建出的模型。预定时刻的从第 一视图到第二视图的变换可以由矩阵组合来确定。第二视图可以被缩放。可以提
供坐标变换来处理缩;改第二3见图的结果。可以在第一3见图的倾杀牛角 度(oblique angle)处获取第二碎见图。第一^L图和/或第二4见图可以 在处于对象平面的倾斜角度处提取。
图像拍摄装置可以是图像数字转换器或帧捕捉器。第 一 图像拍 摄装置可以经由显微镜来拍摄图像。拷贝可以是有条件的拷贝。当 变形引起4见差不 一致(parallax disparity )时，可以4吏用对象的阴影 来解决该一见差不一致。
本发明提供了 一种方法，使得显纟鼓镜的操作者能够看见关于3D 周围结构和环境的由显微镜提供的视图；例如，伸长的样品和应用 工具。本发明将从多个观察点获取的多个图像的可见数据融合到一 个观察点上。这使得操作者能够按照直觉设置来有效地观看和控制 这种任务，而不需要困扰于物理和心理上的观察点切换。该融合技 术可以恢复丢失的或模糊的数据，并提供看穿对象(诸如，可能遮 挡感兴趣区域的外围工具和主体显樣"竟)的能力。才喿作者可以在高 分辨率下观看焦距对准的显微镜图像，这就好像从透视观察点进行 观看。
本发明将来自 一个视图的视图投射到另 一视图的透视图上，使 得所投射的视图增加了通常被该视图中被遮蔽的视觉信息(图像)。 为操作者提供了数字缩放和摇摄(panning )的功能，使得可以按照 视野和细节分辨率的最佳或期望的结合来显示图像并帮助操作者解 决深度模糊。
本发明允许操作者在一个视图中观看来自多个信息源的视图内 容(真实的或合成的)，并且允许多种分辨率的数据结合在一个显示 器上。这结合了精细分辨率和宽视野的优点。本发明有助于手-眼 (hand-eye)协调并减少操作者的疲劳。本发明不需要现有技术提到的实时模型。相反，其能够单独使用实时图像并对它们加以变换 (变形)以再现隐藏的细节。没有现有知识、现有才莫型或^^型再现 能达到这点。本发明不依赖于现有知识或固定的配置。
附图"^兌明
现在将参照附图来描述本发明的实例，在附图中


图1是部分被显孩t镜透镜外壳所遮蔽的工作区(标有大"X") 的透—见图2是通过显微镜光学器件看到的图1的工作区的视图3示出了本发明的优选实施例，其中，图1的第一图像被数 字缩放，而图2的第二图像被投射到新图像中其相应位置上，而新 图像覆盖在第 一 图像上以提供穿过显微镜透镜外壳遮蔽结构的视 图4是图像叠加的处理流程图5是通过图4的处理获取的最终结果的图像；
图6是来自电子数据包序列的帧对(frame pair )的一 系列图像；
图7示出了作为来自该平面的冲更射细节的7见看该同一平面的两 个图像；
图8示出了4并嵌^f象，以建立两个不同分辨率等级的图^^空 间之间的一致性；
图9和图IO是通过跟踪显微镜图像并解决运动参数而形成的拼 嵌像的两个附加实例；图11是示出了从图像中恢复运动然后将景象再现为拼嵌
像的过程的一系列表示；以及
图12是从显微镜视图到其相应透视图的单应性矩阵变换的框 图，其中所述透视图由涉及拼嵌图空间和模型空间的其他变换组成。
具体实施例方式
参照图1和图2,才喿作者企图在通过显孩"竟7 7见看感兴趣区域 (ROI)的同时观看3D空间中靠近工作区(标有大"X") /感兴趣 区域ROI的工具/4笨针5、 6的位置。在图1中，在不可能看见揮:针 5、 6如何与ROI接触的地方拍才聂第一图像20。分辨率也不足以确 定探针5的针尖离ROI有多近。在图2中，在看见最前面的探针5 而不能感觉到其与平面4垂直放置并且看不见第二探针6也看不见 任何'X，之外的其他细节的地方拍摄第二图像30。
优选地，来自显微镜观察点的第二图像30被拍摄并被投射到从 不同观察点获取的第一图像20上。第一图像20具有更宽的视野并 位于第二图像30的倾斜角度处。这种投射的优点在于操作者能够在 更宽景物的背景中看见由显微镜7提供的细节，所述更宽景物的背 景包括3D空间中的结构，以及遮蔽ROI视图的结构。提供了实现 该才殳射的方法。尽管不同分I片率的两个^L图20、 30之间存在有限的 对应性，本发明还提供了一种方法，用于解决需要产生精确的数据 投射的坐标变换。找到了一种2D变换，将来自显微镜7下面的样 品的平面4的几何特征放到第二视图20中该平面4的投射上。 一旦 找出这种变换，就对来自显孩t镜7的实时图像进行变换并将其与第 二视图20的实况播送的图像混合在一起。显微镜7可以是任意适合 尺寸、形状、功率、或形式，并且可以包括扫描电子显樣i镜、缩放 X画射线i殳备(zooming X-Ray apparatus)等。可以在揮:4十5的平面 的倾斜角度处获取第一视图20和/或第二视图30。在图3中，显微镜图像30的变形的拷贝被覆盖到透视图中其占 据的平面4上。如果对操作者有益，则这种变形(或投射)应当是 精确的。可以通过使用计算机制图技术再现丢掉的细节，来扩大图 像30。图像扩大可以包括合并实时图像20、 30、拼嵌像60、 以及图形才莫型的韵:据。实时进4于该处理。实时可以理解为执4亍该梯: 作并更新该显示，4吏得图4象20、 30暂时一致，才乘作者察觉不出4壬何 延迟，并且保持可接受的帧速率。该投射引起了平面4之外的对象 的视差不一致。因此，探针5的占据3D空间的图像出现在不同的 透视图中。不一致的量与对象离平面4的距离有关，并有利地向操 作者4是供单一一见图中丢失的信息。这就好4象是正在7见看直4妻由光源 投射对象的阴影9。探针5的原透视图像20被重画到新图像40上。 由于阴影9提供了对深度的理解，所以其可以用于解决视差不一致。
参照图4，由诸如(例如)数码摄像机的两个图像拍摄装置21 、 31来实时4白才聂图4象20、 30。时4中50可以用于只于才i/f象才几21、 31的凄t 字转换器22、 32进行计时。尽管优选地相当同时地拍摄这些图像， 但是这不是最重要的。作为选择地，可以使用能够从两个或多个图 像拍摄源进行拍摄(优选地基本同时进行拍摄)的帧捕捉器(frame grabber )。对透^L图20进行任选地剪切和调整大小以产生ROI上的 数字缩放的效果。可以确定ROI，使得其位于显微镜视图30的位置 的中心之上。只于显樣Hfe—见图30进4亍变才灸，4吏其与透4见图20相匹配。 使用诸如(例如)单应性矩阵H的变换来变形(投射)显微镜图像 30, 4吏其透^L维度与缩;改的透一见图23相匹配。作为单应性矩阵的可 选方法，可以^f吏用才殳射变才奂(projective transformation )、 二维变4奂 或一般的线性变换。可以通过作为软件或硬件实施的变形模块来执 4亍变形。然后，变形一见图33净皮叠加在透4见图20上，以产生融合的 图像40。具体地，通过使用由同一变形单应性矩阵H所计算出的掩 码来应用有条件的拷贝而融合两幅图像23、 33。然后，可以将合成 的图像40拷贝到显示器41的显示緩冲器。图5是通过图4所示的处理所产生的实际融合的图^f象40。在新 图像40的中央，看见来自显微镜31的高分辨率图像23。由于是从 上面获取的，故该^L觉信息完全是2D的。矩形变形^L图33^殳射到 视图40中的四边形上。变形视图33的周围是缩放的透视图23的低 分辨率图像。平面4上的圆形特征匹配，但是3D的管脚结构展现 了视差。覆盖变形的显微镜图像33使操作者可以看穿遮蔽的管脚。
在图6中，上面的两个图像20、 30是从图像数字转换器(帧 捕捉器)接收到的原始输入图像，而中间的两个图像23、 33是变换 后的图4象，而下面的图^象是融合的图^f象结果40。位于图6左上方的 透视像20被缩放到下面的图23中所示的区域。在缩放的图像 23中，垂直管脚遮蔽了水平面4的一些细节。4吏用所需的变换(单 应性矩阵，H)，右上方的显樣t镜图像30被变形为透视图中的正确 形状和位置。最后，变形的图像33被覆盖在缩放的图像23上以产 生融合的图像40。在融合的图像40上，变形的图像33和缩放的图 像23之间存在图像分辨率的差别。操作者自由选择融合的视图40 中的缩》文的量；由于缩方文是凄t字的，所以其几乎^皮瞬时扭j亍。
在图7中，两个才聂4象才几21、 31正从两个不同的4见图20、 30来 观看平面4。在平面4上的特征和图^f象平面8上的特征之间存在一 一对应的关系。因此，在两个图l象平面8中出现的特4正之间存在一 一对应的关系。物理平面4引入了两个图像之间的单应性矩阵对应 (2D单应性矩阵'H，)。在世界坐标系中存在乂人每个摄像机21、 31 到平面4的单应性矩阵h"并因此通过合成存在/人第一掘j象才几21 到第二摄像机31的单应性矩阵
h卜《h^hL(h^)一1 。
必须确定两个一见图20、 30之间的所需的单应性矩阵H。当意义 不明确时，为了方便丢掉巧的指数。如果确定了单应性矩阵，则可以将图像从一个视图映射到另 一个视图上。来自显微镜31的有用的 视觉信息主要是平面的，因而可以使用平面的单应性属性来将数据 乂人一个图傳4更射到另 一个图4象上。单应性矩阵是可逆的并可以通过 矩阵合成(matrix composition )来链4妄。2D单应性矩阵4夸几^r凄t据 /人 一 个平面空间变才奐到另 一 个平面空间。例如，在齐次(homogeneous )坐标中的2D的点x产(x,y,l)变换为x, 4 x尸H^x,。 在该表示中，x的(下面的)指数指的是坐标系，而变换H从上指 凄丈坐标系到下指凄t坐标系。使用该系统的物理参数的知识可以计算两个视图之间的单应性 矩阵H。但是这将使得系统对于误差和干扰非常敏感。还可以通过 放置校准对象使其出现在两个视图中并通过将适当的误差函数最小 化来4吏用标准方案以解决变4奂的代Jt系凄t，而解决单应性。与之相 关联的一些问题包4舌a) 每次在物理安装出现改变(摄像机轻微移动、缩放甚至是重 调焦距)的时4吳，都不得不重复才交准；b) 系统的参凄t可随时间或周围条件的改变而漂移；c) 可能不能在两个视图中看见校准对象；以及d) 两个视图之间在等级上具有较大差异，校准将对测量误差高 度敏感。在优选实施例中，不存在对外部校准的依赖。通过显微镜图像 30的^艮踪移动可以实现强大的内部4交准，解决图^f象间的移动并创建 拼嵌像60。拼嵌像60的使用可以找到在不同等级下获取 的多个视图之间的对应性。该功能是自动的，并且可以在系统处于 正常和连续使用状态的同时执行该功能。参照图8，拼嵌图60被示出在上面的图像中，并由缝合在一起 的约三十个显微镜图像30组成。通过将该拼嵌图60配合到透视图 20中，在内部解决了图像间的单应性矩阵的校准，而没有使用摄像 机内和摄像机外的参数的任何知识。存在可在透视图20上辨认的拼 嵌图60上的特征，因而可以直接解决这两个图像空间之间的变换。 建立用于变换的对应性可以手动或自动地解决。图9示出了已经制作出的完整的环，位于两端的特4正#皮正确排 列。在误差易于在变换的链条中传播的情况下，在实施跟踪和再现 算法的过程中，这个环闭合问题是主要关心的问题。图IO示出了跟 踪算法可以在更有^i战性的区域(诸如(例如)当有4艮小或没有可 认出的特征穿过中央区域时)和金属性表面上获取成功。图lla示出了合成的固体平面形状。矩形代表了序列中的不同 瞬时的各个图^f象帧。图1 lb示出了如何将该序列拍才聂为多个单独的 帧，以及每个帧将如何出现在监视器上。不总是可能从这些简单形 状中推断出帧间的移动。例如，当图^f象只包括圓(图5至图6)时， 则旋转的量不确定。图llc示出了运动参数的恢复。每个帧被画在 其相对于参考帧(帧1)的正确位置处。图lld示出了通过对单独 的图像进行变换以适应在前一步骤中恢复的帧的再现。图lle是最 终的4并嵌图60。该处理创建了具有自己的坐标系的新图l象。当形成4并嵌图60时允许一^l殳的移动。这意p木着不必高4青度i也控 制移动参数并且甚至可以由操作者手动移动样品。与样品有关的4见 图帧的移动很常见。图像间的跟踪算法解决了随后导致拼嵌图60 的再现的移动参tt。在图像12中，帧时刻(instant)的单应性矩阵序列由显微镜视 图(U)、模型空间(M)、以及透视图(P)中的六个方框来表示， 参照所选择的时刻来构建拼嵌图60。帧时刻2被选择为参考时刻。相对于第二显微镜图像(U2)来组成拼嵌图60,以及参考第二透视 帧(P2)来制作模型65。 一旦找出从显孩史镜帧2 (U2)到透视帧2 (P2)的单应性矩阵，则其可以应用于所有其他的帧对(Ui， Pi}。接下来，确定将拼嵌图60放到模型空间65的变换。模型65 可以是之前已知的，或者可以是从一个或多个透一见图^f象20中创建 的。然后，恢复从模型空间65到参考透视像20的变换。通过 矩阵合成，来确定从显微镜视图(U2)中的参考帧到其同步透视图 (P2)的变换。然后，假设这种变换保持随后图像对(Ui, Pi)的正 确。最终的坐标变换要考虑任意的缩放效果，但是这没有在示图中 描述。由于这些操作针对数字图像，所以它们是等价于剪切和调整 大小的效果，因此它们是已知的并且可以由简单平移和定标矩阵来 表达。因此，按照下面的方式来组成从显微镜图像(U2)到缩放的 透视图(P2)的单应性矩阵zp—hlshldhlpHM Hmos 其中，所有的矩阵H均可以是(例如)3x3。如果需要或期望的"i舌，贝'j它Cl可以是(侈寸:fe口) 4x4。H:是说明拼嵌像60中的参考帧原点的任何偏移的简单平移，H^是等距(或定标的欧几里德变换)，并将该^并嵌图坐标;故到 模型空间65上，W是将模型65投射到透视图坐标系上的投射变换， Hd是说明数字缩i文过程中原点的改变的平移， Hs是数字缩放的定标因子。30中的特征放到其在相应缩放透视图 20中的正确位置的矩阵变换。可以将从拼嵌图60到模型65的变换分解为定标、旋转、及平 移。这提供了用外部显微镜缩放来对H进行参数化的机会。同样地， 可以为变量缩;改估计H，而不必重新;欧准所有的分量变换。变换H (全文)依赖于拼嵌像60的质量和范围。必须收集足够 多的图〗象，乂人而可以找到与才莫型65的对应性。显然，在更高的显孩吏 镜放大倍率下，在找出对应特征之前需要更多的图像20、 30。拼嵌 图60的质量依赖于找出好的图像间变换。高质量拼嵌图60是可实 现的。有利地，本发明提供了 一种原本从许多观看角度都不可能正常 观看到的景象的视图。所描述的方法和系统不需要外部的校准或精 确的校准步骤，而是自持的，并且不需要有经验的操作者来提供常 规的调整或重新配置。本发明使能了实时视频输出，并且能够在聚 焦变化或光学缩;改的情况下工作。本发明可以<吏用显樣M竟系统的现 有设备并需要最、的改变或添加昂贵的部件。该系统可以,皮容易地 重新配置，以适应才喿作者的偏爱或才喿作步-骤中的改变。该方法和系统可以用于动作控制，这是由于其能够解决移动变 换。例如，当图像坐标满足需要时，其能够用于触摸屏系统和鼠标 控制导航输入。如果显微镜是缩放X射线设备，则该方法和系统可 以用于半导体器件错误检测。本领域技术人员应当理解，在不背离概括描述的本发明的范围 或精神的情况下，可以对具体实施例中示出的本发明进行许多改变 和/或<奮改。因此，在所有方面都应当将这些实施例-现为示例性的而 非限制性的。
权利要求
1.一种用于获取实时视频输出的对象的多个视图的方法，所述方法包括获取所述对象的第一视图；获取所述对象的第二视图，所述第二视图不同于所述第一视图；以及使用所述第一视图和所述第二视图之间的变换来使所述第一视图变形，使得所述第一视图的形状和位置与所述第二视图相匹配；其中，通过应用使用掩码的拷贝将变形后的第一视图覆盖在所述第二视图上，其中，通过所述变换来计算所述掩码。
2. 根据权利要求1所述的方法，其中，所述对象至少部分地被另 一对象遮蔽。
3. 根据权利要求1所述的方法，其中，所述变换是通过解决图像 间的移动以及构建拼嵌图来获取的。
4. 根据权利要求1所述的方法，其中，所述变换是单应性矩阵。
5. 根据权利要求4所述的方法，其中，通过以下等式来获取所述 单应性矩阵H^=HsHdH^CsHL ,其中，HL是表示所述拼嵌 图中参考系原点的任何偏移的简单平移，H『是等距或定标的 欧几里德变换并将所述拼嵌图坐标放到模型空间上，H^是将 所述模型投射到透视图坐标系上的投射变换，Hd是表示数字缩 放中原点的改变的平移，Hs是数字缩放的定标因子，以及H纟p是将所述第 一 图像中的特征放到所述第二图^f象中所述特征的正 确位置的矩阵变才灸。
6. 根据权利要求3所述的方法，其中，所述图像间的移动是通过 使用至少一种预定的图像间跟踪算法来解决的。
7. 4艮据4又利要求3所述的方法，其中，参照预定时刻来构建所述 拼嵌图，所述方法进一步包括确定将所述拼嵌图放到模型空间的变换；恢复从所述模型空间到所述第二视图的变换；以及确定预定时刻的从所述第 一视图到所述第二视图的变换。
8. 根据权利要求7所述的方法，其中，所述变换基于可获得的图 像数据。
9. 根据权利要求7所述的方法，其中，所述模型空间是预定模型 和从所述第二视图创建出的模型中的 一种。
10. 根据权利要求7所述的方法，其中，通过矩阵合成来确定所述 预定时刻的从所述第 一视图到所述第二视图的变换。
11. 根据权利要求1所述的方法，其中，所述第二视图被缩放。
12. 才艮据4又利要求11所述的方法，进一步包括坐标变换，用于 处理缩;改所述第二3见图的结果。
13. 根据权利要求1所述的方法，其中，所述第二视图是在所述第 一视图的倾斜角度处获取的。
14. 根据权利要求1所述的方法，其中，所述拷贝是有条件的拷贝。
15. 根据权利要求1所述的方法，其中，当所述变形引起视差不一 致时，所述对象的阴影^皮用于解决所述^L差不一致。
16. —种用于获取实时视频输出的对象的多个视图的系统，所述系 统包4舌第一图像拍摄装置，用于获取所述对象的第一视图；第二图像拍摄装置，用于获取所述对象的第二视图，所述 第二-见图不同于所述第一一见图；以及变形模块，用于使用所述第一视图和所述第二视图之间的 变换来4吏所述第一一见图变形， -使得所述第一4见图的形状和位置 与所述第二一见图相匹配；其中，能够通过应用使用掩码的拷贝将变形后的第一视图 覆盖在所述第二视图上，其中，通过所述变换来计算所述掩码。
17. 根据权利要求16所述的系统，其中，所述图像拍摄装置是图 象数字转换器或帧捕捉器。
18. 根据权利要求16所述的系统，其中，所述对象至少部分地被 另一对象遮蔽。
19. 根据权利要求16所述的系统，其中，所述变换是通过解决图 像间的移动以及构建拼嵌图来获取的。
20. 根据权利要求16所述的系统，其中，所述变换是单应性矩阵。
21. 根据权利要求20所述的系统，其中，通过以下等式来获取所 述单应性矩阵h^=hshdh^h5thls ，其中，h:是说明所述拼嵌图中的参考系原点的任何偏移的简单平移，h;t是等距或定标的欧几里德变换并将所述4并嵌图坐标;汶到才莫型空间上，h犷是将所述模型投射到透视图坐标系上的投射变换，&是说明数 字缩放中原点的改变的平移，Hs是数字缩放的定标因子，以及 HgP是将所述第 一 图像中的特征放到所述第二图像中所述特征 的正确位置的矩阵变才灸。
22. 根据权利要求19所述的系统，其中，所述图像间的移动是通 过4吏用至少一种预定的图4象间跟踪算法来解决的。
23. 4艮据;纟又利要求19所述的系统，其中，参照预定时刻来构建所 述4并嵌图，所述方法进一步包括确定将所述拼嵌图放到模型空间的变换；恢复从所述模型空间到所述第二4见图的变换；以及确定预定时刻的从所述第 一视图到所述第二视图的变换。
24. 根据权利要求23所述的系统，其中，所述模型空间是预定模 型或从所述第二视图中创建出的模型。
25. 根据权利要求23所述的系统，其中，通过矩阵合成来确定所 述预定时刻的从所述第 一视图到所述第二视图的变换。
26. 才艮据冲又利要求16所述的系统，其中，所述第二一见图是缩》文的。
27. 根据权利要求26所述的系统，进一步包括坐标变换，用于 处理缩;故所述第二一见图的结果。
28. 根据权利要求15所述的系统，其中，所述第二视图是在所述 第一视图的倾斜角度处获取的。
29. 根据权利要求16所述的系统，其中，所述第一图像拍摄装置 经由显孩史镜来拍才聂图像。
30. 根据权利要求16所述的系统，其中，所述拷贝是有条件的拷 贝。
31. 4艮据权利要求16所述的系统，其中，当所述变形引起视差不 一致时，所述对象的阴影净皮用于解决所述#见差不一致。
32. 根据权利要求28所述的系统，其中，所述第一视图和所述第 二3见图中的 一个处于所述对象平面的倾斜角度处。
全文摘要
一种用于获取实时视频输出的对象的多个视图的方法，该方法包括获取对象的第一视图(30)；获取对象的第二视图(20)，第二视图不同于第一视图(30)；以及使用第一和第二视图(30、20)之间单应性矩阵来使第一视图(30)变形，使得第一视图(30)的形状和位置匹配第二视图(20)；其中，通过应用使用了掩码的有条件的拷贝将变形后的第一视图(33)覆盖在第二视图(20)上，通过单应性矩阵来计算掩码。
文档编号G06T5/00GK101405763SQ200680054028
公开日2009年4月8日 申请日期2006年3月1日 优先权日2006年3月1日
发明者安德鲁·沙克洛克 申请人:新加坡科技研究局