使用至少一个较高帧速率图像流提高图像流帧速率的方法和装置制造方法
【专利摘要】一种图像处理系统包括图像处理器，所述图像处理器被配置为获得具有第一帧速率的第一图像流和具有第二帧速率的第二图像流，所述第二帧速率低于所述第一帧速率，基于所述第一图像流和第二图像流的现有帧恢复所述第二图像流的附加帧，以及使用附加帧来为第二图像流提供增加的帧速率。基于所述第一图像流和第二图像流的现有帧为所述第二图像流恢复附加帧包括确定用于在各自的迭代中插入第二图像流中的连续现有帧的相应的对之间的一个或多个附加帧的集合。
【专利说明】使用至少一个较高帧速率图像流提高图像流帧速率的方法 和装置
【技术领域】
[0001] 领域总的来说涉及图像处理，并且更具体地，涉及具有不同帧速率的多个图像流 的处理。
【背景技术】
[0002] 图像处理在许多不同机器视觉应用中是重要的，并且这样的处理可能涉及从许 多不同的图像源获得的多个不同类型的图像，可能包括二维（2D)图像和三维（3D)图像。 例如，由诸如视频摄像机的图像源提供2D图像，以及由诸如结构光（SL)摄像机或飞行时 (ToF)摄像机的深度成像器提供3D图像。因此，传统的图像处理技术经常需要处理来自多 个不同源的图像流。然而，当不同的源以不同的帧速率产生图像时会产生问题。
[0003] 概述
[0004] 在一个实施例中，一种图像处理系统包括图像处理器，该图像处理器被配置来获 得具有第一帧速率的第一图像流和具有低于所述第一帧速率的第二帧速率的第二图像流， 基于所述第一和第二图像流的现有帧为第二图像流恢复附加帧，以及利用附加帧为所述第 二图像流提供增加的帧速率。仅作为示例，基于所述第一和第二图像流的现有帧为第二图 像流恢复附加帧可以示例性地包括：确定用于插入第二图像流中的相应对的连续现有帧之 间的一个或多个附加帧的集合。
[0005] 本发明的其它实施例包括（但不限于）方法、装置、系统、处理设备、集成电路和其 中嵌入有计算机程序代码的计算机可读存储介质。
【专利附图】
【附图说明】
[0006] 图1是在一个实施例中的图像处理系统的框图。
[0007] 图2示出了将恢复的附加帧插入到低帧速率图像流中以增加图1的系统中的图像 流的帧速率。
[0008] 图3是用于增加图1系统中的低帧速率图像流的帧速率的示例性处理的流程图。
[0009] 图4是用于增加图1系统中的低帧速率图像流的帧速率的另一示例性处理的流程 图。
[0010] 图5至图7是示出图1系统中的图像处理器的簇（cluster)对应模块的操作的流 程图。
【具体实施方式】
[0011] 在此将结合包括图像处理器或其它类型的处理设备的示例图像处理系统，以及用 于使用至少一个较高速率的图像流提高深度图像流或其它类型图像流的帧速率的实现技 术，说明本发明的实施例。然而，应理解，本发明的实施例更一般地适用于涉及处理具有不 同帧速率的多个图像流的任何图像处理系统或相关的设备或技术。
[0012] 图1示出了本发明的一个实施例中的图像处理系统100。图像处理系统100包括 图像处理器102,其通过网络104与多个处理设备106通信。图像处理器102从相应的图像 源107接收至少两个不同的图像流。更具体地，图像处理器102从高速率图像源107-1接 收具有第一帧速率的第一图像流F Sl，并从低速率图像源107-2接收具有比第一帧速率低的 第二帧速率的第二图像流Fs2。可以不受限制构思图像源107提供从给定场景的相同或相 似视点获得的图像流，使得可以在高帧速率图像流和低帧速率图像流中都呈现相似的像素 簇或其它图像分段。在本文中应用到帧速率的术语"高"和"低"是相对术语，并且不应解 释为需要任何特定绝对的帧速率。
[0013] 例如，高帧速率图像源107-1可以包括提供2D图像序列的视频摄像机或其它视频 源，而低帧速率图像源107-2可以包括提供深度图像序列的深度成像器，例如SL摄像机或 ToF摄像机。
[0014] 在其它实施例中，可以使用许多其它类型的图像源生成多个图像流，包括配置为 产生2D红外图像、灰度图像、彩色图像或其它类型的2D图像的2D成像器以及3D成像器 (例如，SL和ToF摄像机），其可以任意组合。
[0015] 示例性地，图像源107可以包括各自的图像源，每一个产生单独的图像流。可以单 独地安装传感器并将其布置为相互分开，或者，传感器可以包括一体的传感器的不同的部 分，其中所述一体的传感器具有用于产生第一图像流的第一组传感器和用于产生第二图像 流的第二组传感器。因此，可以从配置为对给定场景成像的相应的不同图像传感器获得第 一和第二图像流。此处，通常假定这样不同的图像传感器基本上捕获相同的场景，但是以不 同的帧速率捕获。
[0016] 尽管由分开的图像源107-1和图像源107-2提供图1的实施例中的第一图像流 FSl和第二图像流Fs2，但是在其它实施例中，可以仅仅使用单一的成像器或其它类型的图 像源来提供不同帧速率的多个图像流。因此，例如，第一和第二图像源107-1和107-2可以 代表单一的多流成像器的不同部分，例如，如上所示的不同的传感器。作为此处广泛使用的 术语，给定的图像源可以包括存储之前捕获的图像流以供图像处理器102或代表图像处理 器102的取回的存储器和其它存储设备。又例如，图像源可以包括提供一个或多个图像流 到图像处理器102用于处理的服务器。
[0017] 另外，在图1中仅处理两个输入图像流以提高其中一个图像流的帧速率，但是，在 其它实施例中，可以不止使用第一和第二图像流。例如，可以处理每一个都具有不同帧速率 的三个或更多个图像流，以恢复附加帧，来提高至少一个图像流的帧速率。
[0018] 在本实施例中，图像处理器102被配置为基于第一图像流FSl和第二图像流Fs 2的 现有帧为第二图像流Fs2恢复附加帧，并被配置为使用所述附加帧为第二图像流Fs 2提供增 加的帧速率。例如，图像处理器102可以增加第二图像流的帧速率，直到其基本上等于第一 图像流的帧速率，使得第一和第二图像流可以更容易地由一个或多个目标设备处理。
[0019] 更具体地，图像处理器102可以被配置为确定一个或多个附加帧的集合以用于插 入在第二图像流中相应对的连续现有帧之间。每一这样的确定可以认为是将要结合图3和 图4的流程图描述的示例性处理过程之一的迭代。对于给定的这样的迭代，基于第一图像 流中的多个对应的现有帧和第二图像流中的连续现有帧对中的对应的连续现有帧对，确定 一个或多个附加帧的特定集合，以用于插入在第二图像流中的连续现有帧对中对应的对之 间。
[0020] 在图2中示出了该技术，其中图2示出了第一图像流FSl的现有帧和第二图像流 Fs2的现有帧之间的对应的一个例子。在这一例子中，假定第二图像流是包括深度图像流的 深度流。由于第一图像流具有比第二图像流高的帧速率，所以第一图像流在图中示出的时 间段上包括比第二图像流多的帧。图中标为未知的第二图像流的帧是由图像处理器102为 第二图像流Fs 2恢复的以为第二图像流Fs2提供增加的帧速率的附加帧的例子。
[0021] 第二图像流Fs2中的两个连续现有帧对应于第一图像流FSl中的R+1个连续现有 帧，从而第一图像流F Sl中的第N现有帧对应于第二图像流中的第Μ现有帧，并且第一图像 流中的第（N+R)现有帧对应于第二图像流中的第（Μ+1)现有帧。如此，对于在该例子中的 第一图像流中的每R+1个连续现有帧，在第二图像序列中仅有两个连续现有帧。
[0022] 第一图像流FSl和第二图像流Fs2中对应的帧可以是由各自的图像传感器在基本 上相同的时刻捕获的帧。然而，在本上下文中术语"对应"应当被更宽泛地解释，以包含第 一和第二图像流的帧之间的其它类型的时间关系。
[0023] 在为第二图像流Fs2恢复附加帧中，图像处理器102确定用于插入第二图像流中 的第Μ现有帧和第（M+1)现有帧之间的R+1个附加帧。如下面将详细描述的，所确定的用 于插入第二图像流中的第Μ现有帧和第（Μ+1)现有帧之间的R+1个附加帧是基于第一图像 流中的对应的R+1个连续现有帧和第二图像流中的第Μ和第（Μ+1)现有帧确定的。例如， 恢复附加帧可以涉及：识别第一图像流的一个或多个现有帧的部分和第二图像流的一个或 多个现有帧的部分之间的对应性，以及使用来自已识别部分的图像信息形成至少一个所述 附加帧。在一些实施例中，这些部分被更特定地称为"簇"。
[0024] 从上述可见，本实施例中的图像处理器102被配置来生成修改的第二图像流 Fs2'，其包括在给定的时间段内的一个或多个附加帧，并且因此其具有比原始输入第二图 像流Fs2高的帧速率。
[0025] 应理解，仅通过说明性的例子呈现了图2中示出的特定布置，而在其它实施例中， 可以存在第一和第二图像流的帧之间的其它类型的对应性。本公开的技术可以以直接了当 的方式适用于任何具有帧速率比
【权利要求】
1. 一种方法，包括： 获得具有第一帧速率的第一图像流和具有比所述第一帧速率低的第二帧速率的第二 图像流； 基于所述第一图像流和第二图像流的现有帧为所述第二图像流恢复附加帧；以及 使用所述附加帧来为所述第二图像流提供增加的帧速率； 其中在至少一个包括耦接到存储器的处理器的处理设备中执行所述获得、恢复和使 用。
2. 如权利要求1所述的方法，其中获得所述第一图像流和第二图像流包括从深度成像 器获得作为深度图像流的、所述第一图像流和第二图像流中的至少一个图像流。
3. 如权利要求1所述的方法，其中获得所述第一图像流和第二图像流包括：从配置用 于对给定的场景成像的相应的不同图像传感器获得所述第一图像流和第二图像流。
4. 如权利要求1所述的方法，其中所述第二图像流中的两个连续现有帧对应于所述第 一图像流中的R+1个连续现有帧，从而如果所述第一图像流中的第N个现有帧对应于所述 第二图像流中的第Μ个现有帧，则所述第一图像流中的第（N+R)现有帧对应于所述第二图 像流中的第（Μ+1)现有帧。
5. 如权利要求4所述的方法，其中基于所述第一图像流和第二图像流的现有帧为所述 第二图像流恢复附加帧包括：确定用于插入所述第二图像流中的第Μ现有帧和第（Μ+1)现 有帧之间的R+1个附加帧。
6. 如权利要求5所述的方法，其中所确定的用于插入所述第二图像流中的第Μ现有帧 和第（Μ+1)现有帧之间的R+1个附加帧是基于所述第一图像流中的对应的R+1个连续现有 帧和所述第二图像流中的第Μ现有帧和第（Μ+1)现有帧确定的。
7. 如权利要求1所述的方法，其中基于所述第一图像流和第二图像流的现有帧为所述 第二图像流恢复附加帧包括：确定用于插入所述第二图像流中的相应对的连续现有帧的之 间的一个或多个附加帧的集合。
8. 如权利要求7所述的方法，其中对于给定的迭代，确定用于插入第二图像流中的所 述连续现有帧中的对应的一对之间的一个或多个附加帧的特定集合，所述确定是基于第一 图像流中多个对应的现有帧和第二图像流中的所述对应对的连续现有帧的。
9. 如权利要求1所述的方法，其中基于所述第一图像流和第二图像流的现有帧为所述 第二图像流恢复附加帧包括： 对所述现有帧中相应的帧应用聚簇操作，以产生相应的簇映射；以及 产生指示所述簇映射的簇之间的对应性的簇对应信息。
10. 如权利要求9所述的方法，还包括在对其应用聚簇操作之前，至少对所述第一图像 流和第二图像流中的至少一个图像流的现有帧的子集应用仿射变换。
11. 如权利要求9所述的方法，其中对所述现有帧中给定的现有帧应用的聚簇操作包 括基于统计区域合并的聚簇操作，其中，将所述给定的现有帧分到多个簇中，所述多个簇中 的每一个对应不同统计区域。
12. 如权利要求11所述的方法，其中所述基于统计区域合并的聚簇操作根据以下式， 对于所述给定的现有帧的任意两个统计区域凡和R 2，使用规定的合并谓词实现回归合并：
其中I Ri-r2 I表示区域札中的像素的数目和区域馬中的像素的数目之间的差的大小， 并且b (Ri)是区域Ri中像素的数目的函数并且是在所述给定的帧中的像素的最大可能值， 使得如果P (L R2)=真，则将区域&及R2合并到单一的簇中。
13. 如权利要求9所述的方法，还包括使用簇对应信息执行深度填充操作，其中，与恢 复所述附加帧关联地，将与第一图像流和第二图像流的一个或多个现有帧中的一个或多个 簇相关联的深度数据，添加到所述一个或多个所述附加帧中对应的簇。
14. 如权利要求1所述的方法，其中基于所述第一图像流和第二图像流的现有帧为所 述第二图像流恢复附加帧包括： 识别所述第一图像流的一个或多个现有帧的部分和所述第二图像流的一个或多个现 有帧的部分之间的对应性；以及 使用来自所述识别的部分的图像信息形成所述附加帧中的至少一个。
15. -种其中嵌入有计算机程序代码的计算机可读存储介质，其中所述计算机程序代 码当在处理设备中执行时，使得所述处理设备执行如权利要求1所述的方法。
16. -种装置，包括： 至少一个处理设备，其包括耦接到存储器的处理器； 其中所述至少一个处理设备被配置来获得具有第一帧速率的第一图像流和具有比所 述第一帧速率低的第二帧速率的第二图像流，基于所述第一图像流和第二图像流的现有帧 为所述第二图像流恢复附加帧；以及使用所述附加帧来为所述第二图像流提供增加的帧速 率。
17. 如权利要求16所述的装置，其中所述处理设备包括图像处理器，所述图像处理器 包括： 聚簇模块，配置为对所述现有帧中相应的现有帧应用聚簇操作，以产生相应的簇映射； 以及 簇对应模块，配置为产生指示所述簇映射的簇之间的对应性的簇对应信息。
18. 如权利要求17所述的装置，其中所述图像处理器还包括深度填充模块，所述深度 填充模块被配置为使用所述簇对应信息执行深度填充操作，其中，与恢复所述附加帧关联 地，将与第一图像流和第二图像流的一个或多个现有帧中的一个或多个簇相关联的深度数 据，添加到一个或多个所述附加帧中相应的簇。
19. 一种图像处理系统，包括： 第一图像源，提供具有第一帧速率的第一图像流； 第二图像源，提供具有比所述第一帧速率低的第二帧速率的第二图像流；以及 图像处理器，耦接到所述第一图像源和第二图像源； 其中所述图像处理器被配置为基于所述第一图像流和第二图像流的现有帧为所述第 二图像流恢复附加帧，以及使用所述附加帧为所述第二图像流提供增加的帧速率。
20. 如权利要求19所述的系统，其中所述第一图像源和第二图像源中的至少一个包括 深度成像器。
【文档编号】G06T1/00GK104254868SQ201380007015
【公开日】2014年12月31日 申请日期:2013年8月23日 优先权日:2013年1月30日
【发明者】D·V·帕克霍门库, I·L·马祖雷恩库, P·A·阿里塞切克, D·N·巴比恩, D·V·扎伊特塞弗 申请人:Lsi公司