专利名称：利用运动补偿进行图像的深度提取的系统和方法
技术领域：
本公开一般地涉及计算机图形处理和显示系统，并更具体地涉及一种利用正向和反向深度预测进行图像的深度提取的系统和方法。
背景技术：
立体成像是在视觉上组合一个场景的从稍微不同的视点取得的至少两个图像以 便产生三维(“3D”)深度的错觉的处理。该技术依赖于如下事实人眼间隔一定距离，并 且因此没有观看完全相同的场景。通过为每只眼睛提供来自不同观察点(perspective)的 图像，欺骗观看者的眼睛感觉到深度。典型地，在提供两个有区别的观察点的情况下，分别 将组成图像称为“左侧”和“右侧”图像，也分别将其已知为基准图像和补充图像。然而，本 领域技术人员将认识到，可以组合多于两个视点来形成立体图像。在3D后期制作、视觉效果(VFX)工作流程和3D显示应用中，一项重要的处理是从 由左眼视像和右眼视像组成的立体图像中推断深度图。例如，最近商业化的自动 立体3D显示器要求图像加深度图(image-plus-d印th-map)输入格式，使得该显示器可以 生成不同的3D视图来支持多个视角。根据立体图像对推断深度图的处理在计算机视觉研究的领域中被称为立体匹配， 因为使用像素或块匹配以发现左眼和右眼视像中的对应点。新近，推断深度图的处理 在3D显示团体中也通常被已知为深度提取。根据各图像中与场景中的相同点对应的两个 像素之间的相对距离推断深度值。在众多计算机视觉应用(诸如，例如用于计算机辅助绘图(CAD)的快速对象建 模和原型成型、用于人机交互(HCI)的对象分割和检测、视频压缩和视觉监控(visual surveillance))中广泛使用数字图像的立体匹配，以便提供三维(3D)深度信息。立体匹配 从场景中位于不同位置和朝向的两个或多个摄像机(camera)获得场景的图像。在大约相 同的时间从每个摄像机获得这些数字图像，并且对应于空间中的3D点来匹配每个图像中 的点。通常，通过搜索一部分图像和使用约束(诸如核线约束)来匹配来自不同图像的点， 以便使一个图像中的点与另一图像中的点相关联。关于深度图提取已经进行了实质性的工作。关于深度提取的大部分先前工作集中 在单个立体图像对上而不是在视频上。然而，视频取代图像成为消费电子界的主导媒体。对 于视频而言，采用立体图像对的序列而不是单个图像对。在常规技术中，向每个帧对应用静 止深度提取算法。在大多数情形下，输出深度图的质量对于3D回放是足够的。然而，对于 具有大量纹理的帧而言，可以看见时间性的(temporal)抖动伪像，这是因为深度图在时间 方向上(即，在图像对序列的时间段中)未精确地对齐。常规系统已经提出通过在图像序 列上强制平滑度约束而使深度图提取处理沿时间方向稳定。然而，如果存在场景的大的运 动，则不得不考虑对象的运动以便沿时间方向精确地预测深度图。因此，存在对于使深度图提取处理沿时间方向稳定以减少时间性的抖动伪像的技 术的需求。存在用于考虑在时间上或者在图像序列上的对象运动的深度图提取的技术的进一步需求。
发明内容
提供了一种利用正向和反向深度预测进行图像的时空深度提取的系统和方法。本 公开的系统和方法在考虑对象运动的同时使深度图提取处理沿时间方向稳定，这导致了高 精确度的深度图。根据本公开的一方面，提供了一种将至少两个图像进行立体匹配的方法。该方法 包括从场景获取第一图像和第二图像的序列，所述序列包括第一图像和第二图像的多个 连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视 差；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动；在序列的第一 方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的 运动来补偿所估计的至少下一连续帧的视差；并且在序列的第二方向中基于所估计的至少 前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。第一图像包括立体对 的左眼视像而第二图像包括立体对的右眼视像。根据本公开的另一方面，提供了一种将至少两个图像进行立体匹配的系统。该系 统包括用于从场景获取第一图像和第二图像的部件，序列包括第一图像和第二图像的多 个连续帧；运动补偿器，用于估计第一图像中的至少一个点从至少一个帧到至少一个连续 帧的运动；以及视差估计器，被配置为对于至少一个帧估计第一图像中的至少一个点与第 二图像中的至少一个对应点的视差，在序列的第一方向中基于所估计的至少前一帧的视差 来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的 视差，并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中 的每一连续帧的视差最小化。根据本公开的又一方面，提供了一种机器可读的程序存储装置，其有形体现该机 器可执行的、用于将至少两个图像进行立体匹配的方法步骤的指令的程序，所述方法包括 从场景获取第一图像和第二图像的序列，所述序列包括第一图像和第二图像的多个连续 帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差； 估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动；在序列的第一方向 中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动 来补偿所估计的至少下一连续帧的视差；并且在序列的第二方向中基于所估计的至少前一 帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。
将对本公开的这些以及其他方面、特征和优点进行描述，或者根据要连同附图一 起阅读的优选实施例的以下详细描述，本公开的这些以及其他方面、特征和优点将变得清
林 疋。在附图中，贯穿各视图，相同的参考标记表示类似的元件图1是根据本公开的一方面的将至少两个图像进行立体匹配的系统的示例性图 示；图2是根据本公开的一方面的将至少两个图像进行立体匹配的示例性方法的流程图； 图3图示在对场景中感兴趣的点拍摄的两个图像之间的核线(bipolar line)几 何关系；图4图示在视差和深度之间的关系；图5是根据本公开的一方面的用于估计至少两个图像的视差的示例性方法的流 程图；图6是根据本公开的一方面的利用对象运动补偿进行深度提取的示例性方法的 流程图；图7图示用于增强立体图像的连续帧序列的深度图的正向和反向预测处理；以及图8图示根据本公开的一方面的使用正向运动场的正向和反向偏转(warping)。应理解，(各)附图用于例示本公开的构思的目的并且不一定是用于例示本公开 的唯一可能的配置。
具体实施例方式应理解可以以各种形式的硬件、软件或其组合来实施附图中所示的元件。优选 地，在一个或多个被适当编程的通用设备上以硬件和软件的组合来实施这些元件，所述通 用设备可以包括处理器、存储器以及输入/输出接口。本描述例示了本公开的原理。因此本领域技术人员应理解将能够设计出虽然未在 此被明确描述或示出、但是体现本公开的原理并且被包括在本公开的精神和范围内的各种布置。在此所叙述的所有示例和条件性语言意在教导性的目的，以帮助读者理解本公开 的原理和由发明人为促进本领域技术而贡献的构思，并且要被解释为不限于这种具体叙述 的示例和条件。另外，在此叙述的本公开的原理、方面、以及实施例的所有陈述、以及本公开的具 体示例，意在包含本公开的结构的和功能的两者的等效物。此外，这种等效物意在包括当前 已知的等效物以及将来开发的等效物这两者，即，所开发的无论结构如何、执行相同功能的 任何元件。因此，例如，本领域技术人员应理解在此呈现的框图表示体现本公开的原理的例 示性的电路的概念性视图。类似地，应理解任何流程图示、流程图、状态转换图、伪代码等 等表示实质上可以在计算机可读介质中表示的、并因此通过计算机或处理器执行的各种处 理，无论这种计算机或处理器是否被明确示出。可以使用专用硬件、以及能够执行软件的硬件与适合的软件相关联来提供附图中 所示的各种元件的功能。当由处理器提供时，可以由单个专用处理器、单个共享处理器、或 其中一些可以被共享的多个独立处理器提供所述功能。另外，术语“处理器”或“控制器”的 明确使用不应被解释为排他性地指代能够执行软件的硬件，其可以隐含地包括、而不限于 数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器 (“RAM”)、以及非易失性存储装置。还可以包括其它的常规的和/或定制的硬件。类似地，附图中所示的任何开关只 是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互作用、或甚至手动地执行它们的功能，如从上下文中具体理解的，具体技术可由实施者选择。在其权利要求中，被表达为用于执行所指定的功能的部件的任何元件意在包含执 行该功能的任何方式，所述任何方式例如包括a)执行该功能的电路元件的组合或b)与 用于执行软件的适当的电路组合以执行该功能的任何形式的软件(因此包括固件、微代码 等)。由这样的权利要求所限定的本公开在于以下事实以权利要求所请求的方式将所叙 述的各种部件所提供的功能组合并放在一起。因此，可以提供这些功能的任何部件被认为 等效于与在此所示出的那些部件。立体匹配是用于从立体图像(例如，左眼视像和右眼视像)推断深度图 的标准方法。在常规的自动立体显示器上进行的3D回放已经表明深度图的平滑度显著影 响作为结果的3D回放的外观。不平滑的深度图经常导致3D回放中的之字形边缘，这在视 觉上比具有不太准确的深度值的平滑的深度图的回放更糟糕。因此，对于3D显示和回放应 用而言，深度图的平滑度比深度准确度更重要。此外，基于全局优化的方法对于3D显示应 用中的深度估计而言是必须的。本公开提出了一种结合时间信息以提高深度图的平滑度的 深度提取技术。众多立体技术优化了以下成本函数(cost f unction)，该成本函数用于强制 空间相干性以及与数据的一致性。针对图像序列，时间分量对于提高所提取的深度图的准 确度是重要的。此外，如果在场景中或者在图像序列中存在对象的大的运动，则要考虑该对 象运动以沿时间方向精确地预测深度图。提供了一种利用运动补偿进行图像的时空深度提取的系统和方法。本公开的系统 和方法提供了一种结合时间信息以提高深度图的平滑度的深度提取技术。本公开的技术结 合正向和反向通道(pass)，其中使用图像序列的当前帧的前一帧的深度图来初始化/预测 当前帧处的深度提取，这使得计算更快并且更准确。该系统和方法进一步采用对象运动补 偿来增加深度预测的精确度。然后可以利用深度图或视差图与立体图像对一起进行3D回 放。本公开的技术在解决由深度图的不稳定造成的、2D+深度显示中3D回放的时间性抖动 伪像的问题时是有效的。现在参照附图，图1示出了根据本公开的实施例的示例性系统组件100。可以提供 扫描设备103用于将胶片印片或电影拷贝(film print) 104 (例如摄像机原始的胶片底片) 扫描为数字格式(例如，Cineon-格式或者运动画面和电视工程师协会(“SMPTE”)数字画 面交换(“DPX”)文件)。扫描设备103可以包括例如电视电影装置或者将根据胶片生成 视频输出的任何设备(诸如例如具有视频输出的Arri LocPro )。可替换地，可以直接使 用来自后期制作处理或者数字电影的文件106 (例如，已经是计算机可读形式的文件)。计 算机可读文件的潜在来源是AVID 编辑器、DPX文件、D5磁带等。所扫描的胶片印片被输入给后期处理设备102 (例如，计算机)。该计算机在各种 已知的计算机平台中的任一种上实现，所述计算机平台具有诸如以下的硬件一个或多个 中央处理单元(CPU)、诸如随机存取存储器(RAM)和/或只读存储器(ROM)之类的存储器 110，以及诸如键盘、光标控制设备(例如，鼠标或操纵杆)和显示设备之类的(多个)输入 /输出(1/0)用户接口 112。该计算机平台还包括操作系统和微指令代码。在此描述的各 种处理和功能可以是经由操作系统执行的微指令代码的一部分或者软件应用程序的一部 分(或者是其组合)。在一个实施例中，软件应用程序有形地体现在程序存储设备中，其可 以被上载到诸如后期处理设备102之类的任何合适的机器并且由该机器执行。另外，可以通过诸如并行端口、串行端口或者通用串行总线(USB)之类的各种接口和总线结构将各种 其他外围设备连接到该计算机平台。其他外围设备可以包括附加的存储设备124和印片机 (printer) 128。可以采用印片机128来印制胶片的修改版本126，例如胶片的立体版本，其 中可以使用作为以下描述的技术的结果的3D建模的对象来更改或者取代一个场景或多个 场景。 可替换的，可以将已经是计算机可读形式的文件/胶片印片106(例如数字电影， 其例如可以存储在外部硬盘驱动器124中)直接输入到计算机102中。注意，在此使用的 用语“胶片”可以指胶片印片或者数字电影。软件程序包括在存储器110中存储的立体匹配模块114，其用于将第一图像中的 至少一个点与第二图像中的至少一个对应点进行匹配。该立体匹配模块114还包括图像偏 转器(image warper) 116，其被配置为调整立体图像对的核线使得核线精确地成为图像的 水平扫描线。该立体匹配模块114还包括视差(disparity)估计器118，其被配置为估计第一图 像中的至少一个点与第二图像中的至少一个对应点的视差，并且根据所估计的视差对于第 一图像中的至少一个点中的每一个点与第二图像中的至少一个对应点来生成视差图。该视 差估计器118包括像素匹配成本函数132，被配置为对第一图像和第二图像中的像素进行 匹配；平滑度成本函数134，其向视差估计应用平滑度约束；以及时间成本函数136，被配置 为使所生成的视差图的序列在时间上对齐。提供运动补偿器137，其采用运动场算法或者运 动场函数来在图像序列上匹配图像中的块。视差估计器118还包括置信传播算法或置信 传播函数138，用于使所估计的视差最小化；以及动态编程算法或动态编程函数140，利用 被应用到第一图像和第二图像的确定性匹配函数的结果来初始化置信传播函数138以加 速置信传播函数138。立体匹配模块114还包括深度图生成器120，用于通过对视差图的视差值进行反 转(invert)而将视差图转换为深度图。图2是根据本公开的一方面的对至少两个二维(2D)图像进行立体匹配的示例性 方法的流程图。初始地，在步骤202，后期处理设备102获取至少两个2D图像，例如，具有左 眼视图和右眼视图的立体图像对。后期处理设备102可以通过获得计算机可读格式的数字 母版图像(master image)文件而获取至少两个2D图像。可以通过利用数字摄像机来捕捉 移动图像的时间序列而获取数字视频文件。可替换的，可以通过常规的胶片类型的摄像机 来摄制视频序列。在该情境下，经由扫描设备103扫描该胶片。应理解，无论胶片是被扫描还是已经是数字格式，胶片的数字文件都将包括关于 各个帧的位置的指示或信息(例如帧号、自胶片的起始起的时间等)。数字图像文件的每个 帧将包括一个图像，例如，I1^ 12、. . . In。可以通过具有相同设置的两个摄像机来摄制立体图像。对摄像机进行标定以使其 具有相同焦距、焦点高度和平行焦平面；或者，必须基于已知的摄像机参数对图像进行偏转 使得仿佛它们是被具有平行焦平面的摄像机所拍摄的(步骤204)。该偏转处理包括摄像 机标定(calibration)(步骤206)和摄像机调校(rectification)(步骤208)。标定和调 校处理调整立体图像的核线使得核线精确地成为图像的水平扫描线。参照图3，(\和Ok表 示两个摄像机的焦点，P表示两个摄像机感兴趣的点，而九和Pk表示点P被投影到成像平面的何处。每个焦平面上的交叉点被称作核点(印ipole)(由&和&表示)。右核线(例 如，Εκ-ρκ)是连接聚焦中心和左侧图像上的点的射线(ray)在右侧图像上的投影，因此左侧 图像上的像素在右侧图像上的对应点应位于右侧图像上的核线上，同样的情况适用于左侧 核线，例如E^Pp由于对应点发现沿着核线进行，调校处理将对应搜索简化为仅仅沿扫描 线搜索，这极大地减少了计算成本。对应点是图像中与同一场景点对应的像素。再次参照图2，在步骤210，对场景中的每个点估计视差图。一旦发现对应点，则计 算每个场景点的视差作为左眼图像和右眼图像中匹配点的相对距离。例如，结合图2参照 图4，如果左眼图像402中的点的水平坐标为X，而其在右眼图像404中的对应点的水平坐 标为X’，则视差d = χ’ -χ。然后，在步骤212，使用以下公式ζ = Bf/d将场景点406的视 差值d转换为深度值ζ (从场景点406 (也被称为收敛点)到摄像机408、410的距离)，其中 B是两个摄像机408、410之间的距离(也被称作基线)，而f是摄像机的焦距，在图4中示 出对此的证明。参照图5，提供了根据本公开的如上面步骤210所标识的用于估计视差图的方法。 初始地，获取立体图像对(步骤502)。计算视差成本函数，包括计算像素成本函数(步骤 504)、计算平滑度成本函数(步骤506)和计算时间成本函数(步骤508)。执行低成本的 立体匹配优化(例如，动态编程)来得到将两个图像进行立体匹配的初始的确定性的结果 (步骤510)。然后将该低成本优化的结果用于初始化置信传播函数以加速用于使序列的第 一帧的视差成本函数最小化的置信传播函数(512)。然后将使用预测深度图来初始化用于 该序列的随后帧的置信传播函数。现在将详细地描述图5中所示的视差估计及其公式表示。视差估计是上述的工作 流程中最重要的步骤。该问题包括使得左眼图像和右眼图像中的像素进行匹配，即发现右 侧图像和左侧图像中对应于同一场景点的像素。通过考虑视差图是平滑的，可以如下对立 体匹配的问题在数学上进行公式表示C(d(.)) = Cp(d(.)) + ACs(d(.))(1)其中d(.)是视差场(disparity field)，d (x，y)给出左眼图像中具有坐标(x,y) 的点的视差值，C是总的成本函数，Cp是像素匹配成本函数，而Cs是平滑度成本函数。平滑 度成本函数是用于强制视差图的平滑度的函数。在优化处理期间，对所有的视差场使得上 述成本函数最小化。对于局部优化，丢弃平滑度项Cs ；因此，在该优化处理期间不考虑平滑 度。除此之外，可以将Cp建模为像素亮度(intensity)的均方差
权利要求
1.一种将至少两个图像进行立体匹配的方法，该方法包括从场景获取第一图像和第二图像的序列(502)，所述序列包括第一图像和第二图像的 多个连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差 (504,506)；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动(605)；在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差 (508)，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差；以及在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每 一连续帧的视差最小化(512)。
2.如权利要求1的方法，其中第一图像包括立体对的左眼视像而第二图像包括立 体对的右眼视像。
3.如权利要求2的方法，其中估计至少下一连续帧的视差包括计算时间成本函数 (508)。
4.如权利要求3的方法，其中计算时间成本函数进一步包括从所估计的至少前一帧的视差预测当前帧的视差(602，608)；从当前帧的第一图像和第二图像估计当前帧的视差(610)；以及使所估计的当前帧的视差最小化(616)，其中利用所预测的当前帧的视差来初始化最 小化的步骤(618)。
5.如权利要求4的方法，其中预测当前帧的视差进一步包括估计从至少前一帧到当前帧的运动场(605)，以及利用所估计的运动场来偏转所估计的至少前一帧的视差(608)。
6.如权利要求5的方法，其中在序列的第二方向中使估计的视差最小化进一步包括利用所估计的运动场将所估计的当前帧的视差偏转到至少前一帧。
7.如权利要求1的方法，进一步包括使用置信传播函数使所估计的至少一个帧的视差 最小化(512)，其中利用低成本优化函数所确定的至少一个帧的估计视差来初始化置信传 播函数(510)。
8.如权利要求7的方法，进一步包括使用置信传播函数使所估计的至少一个连续帧的 视差最小化(512)，其中利用运动补偿后的所估计的至少前一帧的视差来初始化置信传播 函数。
9.如权利要求3的方法，其中估计视差的步骤包括计算像素匹配成本函数(504)。
10.如权利要求3的方法，其中估计视差的步骤包括计算平滑度成本函数(506)。
11.一种用于将至少两个图像进行立体匹配的系统(100)，包括用于从场景获取第一图像和第二图像的部件，序列包括第一图像和第二图像的多个连 续帧；运动补偿器(137)，用于估计第一图像中的至少一个点从至少一个帧到至少一个连续 帧的运动；以及视差估计器(118)，被配置为对于至少一个帧估计第一图像中的至少一个点与第二 图像中的至少一个对应点的视差，在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的视 差，并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的 每一连续帧的视差最小化。
12.如权利要求11的系统(100)，其中第一图像包括立体对的左眼视像而第二图 像包括立体对的右眼视像。
13.如权利要求11的系统(100)，其中视差估计器(118)包括时间成本函数(136)。
14.如权利要求17的系统(100)，其中视差估计器(118)被进一步配置为从所估计的至少前一帧的视差预测当前帧的视差，从当前帧的第一图像和第二图像估 计当前帧的视差以及使所估计的当前帧的视差最小化，其中利用所预测的当前帧的视差来 初始化最小化的步骤。
15.如权利要求14的系统(100)，其运动补偿器(137)被进一步配置为估计从至少前 一帧到当前帧的运动场，并且视差估计器(118)被进一步配置为利用所估计的运动场来偏 转所估计的至少前一帧的视差。
16.如权利要求15的系统(100)，其中视差估计器(118)被进一步配置为通过利用所 估计的运动场将所估计的当前帧的视差偏转到至少前一帧而在序列的第二方向中使所估 计的视差最小化。
17.如权利要求11的系统(100)，其中视差估计器(118)被进一步配置为使用置信传 播函数(138)使所估计的至少一个帧的视差最小化，其中利用低成本优化函数所确定的至 少一个帧的估计视差来初始化置信传播函数(138)。
18.如权利要求17的系统(100)，其中视差估计器(118)被进一步配置为使用置信传 播函数(138)使所估计的至少一个连续帧的视差最小化，其中利用运动补偿后的所估计的 至少前一帧的视差来初始化置信传播函数(138)。
19.如权利要求13的系统(100)，其中视差估计器(118)包括像素匹配成本函数 (132)。
20.如权利要求13的系统(100)，其中视差估计器(118)包括平滑度成本函数(134)。
21.一种机器可读的程序存储装置，其有形体现该机器可执行以执行用于将至少两个 图像进行立体匹配的方法步骤的指令的程序，所述方法包括从场景获取第一图像和第二图像的序列(502)，所述序列包括第一图像和第二图像的 多个连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差 (504,506)；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动(605)；在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差 (508)，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差；以及在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每 一连续帧的视差最小化(512)。
22.如权利要求21的程序存储装置，其中估计至少下一连续帧的视差包括计算时间成 本函数(508)。
23.如权利要求22的程序存储装置，其中计算时间成本函数进一步包括从所估计的至少前一帧的视差预测当前帧的视差(602，608)； 从当前帧的第一图像和第二图像估计当前帧的视差(610)；以及 使所估计的当前帧的视差最小化(616)，其中利用所预测的当前帧的视差来初始化最 小化的步骤(618)。
24.如权利要求23的程序存储装置，其中预测当前帧的视差进一步包括 估计从至少前一帧到当前帧的运动场(605)，以及利用所估计的运动场来偏转所估计的至少前一帧的视差(608)。
25.如权利要求M的程序存储装置，其中在序列的第二方向中使估计的视差最小化进 一步包括利用所估计的运动场将所估计的当前帧的视差偏转到至少前一帧。
全文摘要
提供了一种用于图像的时空深度提取的系统和方法。该系统和方法提供了从场景获取图像的序列(502)，所述序列包括图像的多个连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差(504，506)；估计第一图像中的至少一个点的运动(605)；在序列的正向方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差(508)，其中利用所估计的运动来补偿所估计的视差；并且在序列的反向方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化(512)。
文档编号G06T7/00GK102077246SQ200880130059
公开日2011年5月25日 申请日期2008年6月24日 优先权日2008年6月24日
发明者伊扎特·伊扎特, 尹永实, 张冬青 申请人:汤姆森特许公司