专利名称：深度相机兼容性的制作方法
深度相机兼容性
背景技术：
相机可用于捕捉场景的静止图像。快速连续拍摄的若干静止图像可用于生成包括多个帧的电影，每一帧对应于不同的静止图像。尽管这样的图像在各种不同的应用中是非常有用的，但这样的图像并非很好地适于某些目的。具体而言，常规的静止图像和电影不提供足以准确地评估在场景中所捕捉的各种表面的相对深度的信息。已经开发了不同类型的深度相机以满足这种需求。然而，各种不同类型的深度相机可能产生在一个或多个方面都彼此不同的深度图像。这样，使用深度图像的应用仅仅与产生具有期望特性的深度图像的特定类型的深度相机相兼容。
发明内容
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。根据本公开的一方面，可以通过接收具有一个深度图像消费者所不支持的不支持类型的本机深度图像并将该本机深度图像处理成具有可由该深度图像消费者所支持的支持类型的仿真深度图像来提供深度图像消费者和深度图像生产者之间的兼容性。随后，可以将这种仿真深度图像输出给所述深度图像消费者。
图I示出示例的深度图像使用环境。图2示出根据本公开的一实施例的深度相机可交替系统。图3A和3B图解示出深度相机视锥体。图4A-4C示出根据本公开的示例深度图像生产者。图5示出用于提供在一个深度相机消费者和多个不同的深度相机生产者之间的兼容性的示例方法。图6示出提供深度相机兼容性的另一示例方法。图7图解示出在离开光源一定距离处的传感器上所创建的阴影效果的示例。图8图解示出说明通过阴影合成算法查找附有阴影的像素的示例图示。图9图解示出在深度抽象层内的示例图像处理块。图10更加详细地图解示出了图9的示例图像处理块。图11示意性地示出根据本公开的一实施例的计算系统。
具体实施例方式本公开涉及深度相机兼容性。如在此所述，兼容性技术允许同一计算系统使用不同型号的深度相机。一个应用开发者可以容易地创建与各种不同的深度相机相兼容的应用，这些深度相机包括在应用开发者创建应用时还不存在的深度相机。根据本公开的一个方面，应用开发者可以创建被配置为与通用虚拟深度相机一起工作的应用，并且兼容性技术可以将来自各种不同的深度相机的本机输入转换成一种与通用虚拟深度相机相兼容的形式。这样，应用可以与各种不同的深度相机相兼容，包括使用完全不同的深度查找技术(例如结构化光、飞行时间、立体视觉等)的深度相机。使用在此所述的技术，应用开发者不需要知晓用于支持各种不同的深度相机的乏味且艰难的工作，代之以可以为单个通用虚拟深度相机进行开发。同时，兼容性技术促进了可以提供改进性能、更低制造和/或操作成本、改进的能量效率和/或其他有用特性的新的深度相机的开发和实现。这样，当开发了新的相机技术时，这种技术就能在与先前开发的应用向后兼容的新相机中实现。图I示出计算系统10的非限制性示例，该计算系统可以设计具有提供如上所介绍的相机兼容性的深度相机可交替系统。具体而言，图I示出了游戏控制台12，该游戏控制台12可以用于玩各种各样不同的游戏、播放一种或多种不同的媒体类型、和/或控制或操纵非游戏应用。图I还示出高清电视(即或HDTV 16)形式的显示器14，该显示器14可被用 于向用户(诸如，用户18)呈现视觉信息。此外，图I示出了深度相机20形式的捕捉设备，该捕捉设备可被用于视觉地监视一个或多个用户(例如，用户18)。虽然是在游戏系统上下文中描述的，但应该理解可以在配置用于使用来自深度相机的深度图像的几乎任意计算系统中实现深度相机可交替系统。诸如游戏控制台12的计算系统可以用于识别、分析和/或跟踪诸如用户18之类的一个或多个目标。可将目标移动解释为操作系统和/或应用控制。事实上，操作系统和/或应用的任何可控方面可以通过用户18之类的目标的移动来控制。另外或可替换地，通过深度相机20获取的深度信息可以用于除跟踪目标之外的目的。作为示例，深度相机20可以被用于可视地调查一个房间和/或一个或多个物体。从深度相机20获取的深度信息可以被用于创建正被调查的房间和/或物体的三维计算机可读的模型。作为另一个示例，可以将深度相机用作在诸如车辆或机器人之类移动的计算系统上的近程传感器。诸如深度相机20之类的深度相机可以被用于提供这些和各种其他有用的功能。具体而言，可以为提供任意数目的不同的利用来自深度相机的深度信息的功能而开发和部署应用。然而，大多数应用包括用于减少来自深度相机的视场的真实世界的特性的复杂的算法和处理策略。例如，骨骼跟踪算法和处理策略可以被用于用跟踪诸如用户18的目标的骨骼的机器表示来建模该目标。作为另一个示例，地板查找算法可以被用于查找场景中的地板。没有使用在此所述的相机兼容性技术的应用可以被设计为接收特定格式和/或具有特定参数的深度信息。这种应用不能使用与所期望的格式和/或参数不匹配的深度信息。在一些情况中，与所期望的格式和/或参数不匹配的深度信息可能破坏这样的应用。每种不同类型的深度相机可以产生具有一个或多个格式化差异和/或不同的参数的深度信息。这样，直到现在，应用是考虑针对特定深度相机来设计的。然而，当应用被设计成仅与一个特定深度相机一起使用，该应用也就不能支持可以以未知格式和或用意料之外的参数来输出深度信息的新相机。图2图解地示出了提供在一个深度图像消费者32和多个不同的深度图像生产者34 (例如深度图像生产者34a、深度图像生产者34b以及深度图像生产者34c)之间的兼容性的深度相机可交替系统30。如在此所用，深度图像消费者是指被配置为利用来自深度相机的深度信息的任意操作系统、应用、服务、进程、模块、引擎或其他对象。深度相机可交替系统30相对于深度图像消费者可以使用的深度相机的型号提供了更多的灵活性。具有不同参数的相机、基于不同的深度查找技术的相机以及产生不同类型的深度图像的相机可以可交替地与深度相机可交替系统30 —起使用。作为示例，深度图像生产者34a可以包括使用结构化光技术来估计深度图像的深度相机；并且深度图像生产者34b可以包括使用飞行时间技术来估计深度图像的深度相机。由于深度相机可交替系统30，这两个相机都与深度图像消费者32相兼容。深度图像 消费者32不需要针对与这两个相机中的任一个相机的兼容性而特别设计。可以在这两个相机中的任一个相机发布之前开发深度图像消费者32。换句话说，深度相机可交替系统30促进了深度图像消费者和各种不同的深度相机(包括在深度图像消费者开发之后所开发的深度相机)之间的兼容性。如图2所示，深度相机可交替系统30包括初始化模块36、捕捉模块38、虚拟化模块40以及输出模块42。在至少一些实施例中，深度相机可交替系统30的初始化模块、捕捉模块、虚拟化模块、输出模块和/或其他组件可以被实现为应用编程接口(API)的一部分。API可以由操作系统、应用、库和/或其他对象实现以建立在深度图像生产者和深度图像消费者之间使用的通信约定。API可以包括用于在深度图像生产者和深度图像消费者之间通信的例程、数据结构、对象类和协议的规范。而且，API可以包括功能块或与功能块对接，所述功能块被配置为处理深度图像的各个方面，例如，如下参考虚拟化模块40和仿真模块44所描述的。初始化模块36可以被配置为了解诸如深度图像消费者32之类的深度图像消费者所支持的虚拟深度相机参数。为了允许这样的了解，可以开发诸如骨骼跟踪游戏应用之类的深度图像消费者以与除了特定深度相机(例如特定构造和型号的结构化光深度相机)之外的或取代特定深度相机的虚拟深度相机相兼容。在这种实例中，深度图像消费者可以被配置为提供深度图像消费者所期望的虚拟深度相机参数的指示(例如x-y-z分辨率、视锥体、深度图像类型等)。而且，初始化模块可以被配置为从深度图像消费者接收所支持的虚拟深度相机参数的指示。如上所述，初始化模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。所支持的虚拟深度相机参数的指示可以指定虚拟深度相机的期望视锥体和/或虚拟深度相机的期望分辨率。这样的期望的视锥体和/或期望分辨率可以不同于特定深度相机的本机视锥体和本机分辨率。所支持的虚拟深度相机参数的指示可以指定虚拟深度相机所基于的实际深度相机的型号。下面的描述概述了初始化模块36可以了解的不同参数的非限制性采样。深度相机通常在每个像素处测量从最近的表面到深度相机传感器的径向距离。通过从深度相机沿光线将该距离投射入建模真实世界的三维空间中，可以将这个距离转换成世界坐标。这种处理产生了不存在紧密的线性边界的三维样本区域。实际上，这些点由深度相机的视锥体(在两个同心球体的两个三维弧之间所捕获的空间(假设没有透镜畸变))来划界。图3A示出示例深度相机48的示例视锥体46。由深度相机可测量的景深来确定同心球体的位置。较小的同心球体具有等同于该深度相机的最小可测量距离的半径，而较大的同心球体具有等同于该深度相机的最大可测量距离的半径。在空间中的三维弧的大小由该深度相机的视野(例如视角)来确定。深度相机的视锥体的位置和方向由深度相机的物理位置和物理朝向来确定。在视锥体中包括了多少不同的像素是由该深度相机的分辨率来确定的。深度的敏感度(分辨率)取决于作为来自该深度相机的输出而被接收的每像素的位数。然而，实际的敏感度可能更低。参数(例如景深、视野、分辨率、位置、方向、透镜畸变等)对于不同的相机来说可以是不同的。在相机之间的参数中的差异可以造成困难，因为深度图像消费者对于这种差异可以是高度敏感的。这样，取代为接收来自具有某种深度相机参数的特定深度相机的深度图像来进行开发，可以开发深度图像消费者以与具有虚拟深度相机参数的虚拟深度相机相兼容。如下所述，深度相机可交替系统可以根据虚拟深度相机的虚拟参数有效地转换从实 际相机接收到的深度信息，这样，深度图像的消费者可以使用来自实际相机的深度信息。在一些实施例中，可以配置初始化模块36以生成瞄准指令37来方便瞄准与深度图像消费者的所支持的虚拟深度相机参数相兼容的深度相机。作为示例，深度图像消费者可能期望一个向下朝着地板瞄准的深度相机，以便扫描用户的脚。这样，可以生成瞄准指令以传达该期望。在深度相机包括定位电动机或其他自动重定位其自身的装置(例如深度图像生产者34c的深度相机)的实施例中，初始化模块可以被配置为向深度相机发送瞄准指令，以便深度相机可以根据该瞄准指令重定位自己。在一些实施例中，可以通过视觉和/或音频指令将瞄准指令传递给用户，以便用户手动重定位深度相机。在一些实施例中，可以将坐标系统抽象化，以便深度图像消费者将接收具有期望坐标系统的深度图像。在一些实例中，这可能涉及通过使用测量视线的硬件或通过测量地板相对于相机的角度来旋转坐标系统以与地板(例如)对齐。捕捉模块38可被配置为接收来自深度图像生产者的本机深度图像。作为一个非限制性示例，捕捉模块可以接收来自包括飞行时间相机的深度图像生产者的本机深度图像。如上所述，捕捉模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。深度图像生产者可以仅包括深度相机，或者深度图像生产者可以包括深度相机以及板外(off-board)处理引擎。如图4A所示，深度图像生产者34'可以包括相机上处理器52，它被配置为将原始深度数据(未示出)转换成本机深度图像54。在这样的情况下，可以配置捕捉模块38’来通过相机上处理器52接收本机深度图像54。如图4B所示，深度图像生产者34”可以包括相机外处理器56，它将原始深度数据60转换成本机深度图像54”。相机外处理器56可以是其上运行了深度图像消费者32”的计算系统10”的一部分。在这样的情况下，可以配置捕捉模块38”来通过相机外处理器56接收本机深度图像。如图4C所示，深度图像生产者34’ ”可以包括相机上处理器52’ ”和相机外处理器56’ ”，它们合作以将原始深度数据(未示出)转换成本机深度图像54’”。在这样的情况下，可以配置捕捉模块38’ ”以通过相机上处理器52’ ”和相机外处理器56’ ”接收本机深度图像54’ ”。具体而言，相机上处理器52’ ”可以向相机外处理器56’ ”传递已经相对于原始深度相机数据被部分处理过的中间数据62。如在图4B的示例中，相机外处理器56’ ”可以是其上运行例如深度图像消费者32’ ”的计算系统10’ ”的一部分。转回到图2，可以配置虚拟化模块40以将本机深度图像转换成具有与所述深度图像消费者相兼容的所支持的虚拟深度相机参数的虚拟深度图像。具体而言，可以配置虚拟化模块以根据通过初始化模块从深度图像消费者接收的虚拟参数的指示将本机深度图像转换成虚拟深度图像。虚 拟化模块可以可选择地被实现为API的一部分或作为与深度图像消费者和深度图像生产者用于通信的API相兼容的应用或服务。作为一个示例转换，可以配置虚拟化模块40以通过剪辑本机深度图像的视锥体来将本机深度图像转换成虚拟深度图像。在图3B中稍微图解示出了这种转换的一个示例。以实线示出了虚拟视锥体70。可以由虚拟深度相机参数来指定虚拟视锥体70。在同一视图中所叠加的是实际深度相机74的本机视锥体72。本机视锥体72以虚线示出。通过比较可以看出，本机视锥体72具有比虚拟视锥体70更宽的视野和更深的景深。这样，本机视锥体72不能与期望虚拟视锥体70的深度图像消费者相兼容。虚拟化模块可以剪辑本机视锥体到虚拟视锥体。换句话说，可以从深度图像中移除由深度相机74读取的位于虚拟视锥体的视野和/或景深之外的深度信息。在一些实施例中，所移除的信息可以简单地被忽略，而保持虚拟视锥体中的深度信息不变。在一些实施例中，所移除的深度信息可以被用于有选择地修改虚拟视锥体中的深度信息。作为另一个示例转换，可以配置虚拟化模块40以通过改变本机深度图像的分辨率(例如降低本机深度图像的分辨率)来将本机深度图像转换成虚拟深度图像。虚拟化任意重采样算法可被用于改变分辨率。作为非限制性示例，可以使用最近-邻居算法，其中具有希望分辨率的采样网格与来自实际深度相机的深度图像概念上对齐。采样网格的每个采样像素可以分配来自实际深度相机的与该采样像素最近的像素的深度值。作为其他非限制性示例，重采样算法可以取最近像素的平均或距离加权平均。上述提供的剪辑视锥体和改变分辨率的示例是非限制性的。应该理解，可以将深度图像消费者设计为期望具有任意数目的不同虚拟参数的虚拟相机，并且可以根据这样的参数来转换实际深度图像以便实现与深度图像消费者的虚拟深度相机的兼容。转回图2，在一些实施例中，虚拟化模块40可以包括仿真模块44，该仿真模块44被配置为通过将本机深度图像处理为具有深度图像消费者所支持的支持类型的仿真深度图像来将本机深度图像转换为虚拟深度图像。换句话说，深度图像消费者可以被设计为期望使用特定型号的深度相机和/或特定深度获取技术(例如结构化光或飞行时间)来创建的深度图像。当来自不同类型的深度相机的深度图像最终产生其中每个像素被分配了一个深度值的深度图像时，所述不同类型的深度相机之间的差异可以导致被分配给每个像素的深度值之间的各种差异。可以设计深度图像消费者来处理来自特定深度相机的特定类型的深度图像。这样，可以配置仿真模块44以将来自不支持的深度相机的深度图像改变为看上去好像其源自支持的深度相机。例如，仿真模块44可以将来自飞行时间深度相机的本机深度图像转换成仿真由结构化光深度相机所产生的深度图像的仿真深度图像。这个示例是非限制性的。可以配置仿真模块44以将来自几乎任意相机技术的本机深度图像转换成仿真由几乎任意其他类型的相机技术所产生的深度图像的仿真深度图像。
当仿真模块44可以是一些实施例中的虚拟化模块40的一部分时，应该理解在此所述的仿真技术可以独立于诸如视锥体剪辑和/或分辨率改变的任意其他虚拟化技术来执行。在任一情况下，仿真模块44可以可选地被实现为API的一部分或作为与深度图像消费者和深度图像生产者用于通信的API相兼容的应用或服务。当包括仿真模块时，仿真模块可以包括下述一项或多项噪声抑制模块80、边缘增强模块82、无效模块84、深度量化模块86、小物体校正模块88以及阴影模拟模块90。噪声抑制模块80可被配置为保持本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘。下面参考图6的118详细描述噪声抑制模块80的功能性。边缘增强模块82可被配置为增强本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘。下面参考图6的126详细描述边缘增强模块82的功能性。无效模块84可以被配置为无效在预定范围之外的具有组合的照明度和倾斜度的像素。下面参考图6的120-124详细描述无效模块84的功能性。深度量化模块86可被配置为量化深度值。下面参考图6的128详细描述深度量化模块86的功能性。小物体校正模块88可被配置为将更深的深度值分配给属于在阈值大小之下的物体的像素。下面参考图6的130详细描述小物体校正模块88的功能性。阴影模拟模块90可被配置为将阴影像素值分配给基本上由与飞行时间深度相机基本上隔开的虚拟照明器的虚拟有利位置所封闭的像素。下面参考图6的132详细描述阴影模拟模块90的功能性。虚拟化模块40将来自实际深度相机的本机深度图像转换为具有与深度图像消费者相兼容的所支持的虚拟深度相机参数的虚拟深度图像。输出模块42被配置为将这个虚拟深度图像输出给深度图像消费者。随后，深度图像消费者可以接收虚拟深度图像以用于分析和/或进一步处理。输出模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。虽然初始化模块36、捕捉模块38、虚拟化模块40以及输出模块42在以上是作为分离的模块来描述的，但应该理解，这些模块中的两个或更多模块可以在操作上组合到一个公共API中。图5示出用于提供在一个深度相机消费者和多个不同的深度相机生产者之间的兼容性的方法100。方法100可使用例如图2的深度相机可交替系统30来实现。在102，方法100包括接收所支持的虚拟深度相机参数的指示。如上所述，虚拟深度相机参数可以指定虚拟深度相机的视锥体、虚拟深度相机的分辨率、虚拟深度相机所基于的实际深度相机的型号和/或虚拟深度相机的其他特性。在104，方法100包括接收具有与深度图像消费者不兼容的不支持的深度相机参数的本机深度图像。在106，方法100包括将本机深度图像转换为虚拟深度图像，所述虚拟深度图像具有与深度图像消费者相兼容的所支持的虚拟深度相机参数。如上所述，转换本机深度图像可以包括下述一项或多项剪辑本机深度图像的视锥体、减少本机深度图像的分辨率和/或将本机深度图像处理成具有由深度图像消费者所支持的支持类型的仿真深度图像。在108，方法100包括将虚拟深度图像输出到深度图像消费者。由于虚拟深度图像被特别针对所支持的虚拟深度相机参数进行了定制，深度图像消费者可以使用所述虚拟深度图像。然而，由于方法100可以应用到来自不同的深度相机的各种不同的本机深度图像，深度图像消费者并没有被局限于接收来自单个特定类型的深度相机的深度图像。图6示出提供深度相机兼容性的另一方法110。在112，方法110包括从深度图像消费者接收该深度图像消费者所支持的虚拟深度相机参数。这包括，例如，接收与深度图像消费者相兼容的模型深度相机(例如结构化光深度相机)的指示。在114，方法110包括接收具有深度图像消费者所不支持的不支持类型的本机深度图像。例如，本机深度图像可以来自源，而不是模型深度相机。这样，本机深度图像可能与深度图像消费者不兼容并具有不支持的类型。继续上面介绍的示例，深度图像消费者可以支持来自结构化光深度相机的深度图像。然而，可以从诸如飞行时间深度相机之类的另一个源处接收本机深度图像，并且因此，该本机深度图像具有深度图像消费者不支持的类型。在116，方法110包括将本机深度图像处理成具有深度图像消费者所支持的支持类型的仿真深度图像。换句话说，可以修改仿真深度图像以仿真与深度图像消费者相兼容的深度图像，例如由模型深度相机产生的深度图像。继续上面介绍的示例，例如，从飞行时 间相机接收的本机深度图像可以被处理成仿真深度图像，该仿真深度图像仿真了由结构化光深度相机所产生的深度图像。如图6所示，将本机深度图像处理成仿真深度图像可以利用各种技术，如下将详细描述的那样。应该理解的是这样的技术并不是限制性的。而且，也可替换地或另外地应用在图6中未示出的其它技术。在118，方法110可以包括将边缘保持滤波器应用于本机深度图像。在处理从飞行时间深度相机所接收的本机深度图像的情况下，这样的本机深度图像可以具有随机噪声，所述随机噪声是飞行时间深度相机的标准副产品。然而，结构化光深度相机本身具有更加平滑的信号，并且这样的信号甚至可以在软件中进一步过滤。这样，为了仿真这种类型的更平滑的信号，从飞行时间深度相机所接收的本机深度图像可以被处理以抑制来自飞行时间深度图的噪声而无需损害显著的深度特征。为了这样做，可以使用边缘保持滤波器来抑制来自本机深度图像的噪声。例如通过使用在Perona-Malik的著作(使用各向不均扩散的缩放空间和边缘检测，关于图案分析和机器智能的IEEE会报，V. 12 n. 7，p. 629-639，1990)中所描述的那些内容的非线性部分差分方程以及Weickert等人(J. ffeickert, B. M. ter HaarRomeny, M. A. Viergever,用于非线性扩散滤波器的效率和可靠性方案，IEEE会报，图像处理，V. 7 n. 3,pp. 398-410，1998)来使用任意适合的方案。可以将边缘阈值参数设定到相机的深度准确度的上限(例如K=IO [cm])。通过将边缘保持滤波器应用到本机深度图像上，本机深度图像中的噪声等级可以显著下降，而本机深度图像中物体之间的断开性也能很好地被保留。继续图6，在120，方法110可以包括通过在照明图像(例如当从IR光检测到用于照明飞行时间分析中的场景时)上实施中值滤波器来构建置信图。在处理从飞行时间深度相机所接收的本机深度图像来仿真结构化光深度相机的深度图像的情况下，这样的置信图可以被用于仿真在结构化光深度相机中发生的像素无效现象。在结构化光技术中，通过查找图案匹配来计算深度；如果找到匹配，则可以相对准确地计算深度，然而如果找不到匹配，则不能计算深度且在该像素处的测量无效。在飞行时间技术中，通常可以在各处测量深度，但以不同的准确度(例如取决于照明等级)来测量。这样，在飞行时间深度图像中的照明等级可以容易地预测在哪里深度测量是不准确的(例如所述信号在阴暗区域中有太多噪声)，从而仿真结构化光深度图像。为了这样做，可以使用照明图像作为输入来构建置信图。通过首先在照明图像上实施中值滤波器以移除轮廓并抑制噪声来构建所述置信图。随后，对于每个像素，可以使用软阈值函数，例如
权利要求
1.一种提供深度相机兼容性的方法，所述方法包括 接收具有深度图像消费者所不支持的不支持类型的本机深度图像； 将所述本机深度图像处理成具有所述深度图像消费者所支持的支持类型的仿真深度图像； 输出具有所述支持类型的仿真深度图像。
2.如权利要求I所述的方法，其特征在于，接收所述本机深度图像包括从飞行时间深度相机接收所述本机深度图像。
3.如权利要求2所述的方法，其特征在于，处理所述本机深度图像包括将来自所述飞行时间深度相机的所述本机深度图像处理成所述仿真深度图像，其中，所述仿真深度图像仿真了由结构化光深度相机所产生的深度图像。
4.如权利要求3所述的方法，其特征在于，处理所述本机深度图像包括将边缘保持滤波器应用于所述本机深度图像。
5.如权利要求3所述的方法，其特征在于，处理所述本机深度图像包括通过在照明图像上实施中值滤波器来构建置信图。
6.如权利要求5所述的方法，其特征在于，构建所述置信图包括将所述中值滤波器和软阈值函数应用到所述照明图像。
7.如权利要求5所述的方法，其特征在于，处理所述本机深度图像还包括从本机深度图像中构建斜面图。
8.如权利要求7所述的方法，其特征在于，处理所述本机深度图像还包括将所述置信图和斜面图统一到无效测试图中。
9.如权利要求8所述的方法，其特征在于，还包括使位于预定范围之外的所述无效测试图的像素无效。
10.如权利要求3所述的方法，其特征在于，处理所述本机深度图像还包括下述项中的一项增强所述本机深度图像中具有不同的深度值的邻近像素区域之间的边缘、量化深度值以及将更深的深度值分配给属于阈值大小之下的物体的像素。
11.如权利要求3所述的方法，其特征在于，处理所述本机深度图像还包括将阴影像素值分配给基本上由与所述飞行时间深度相机基本上隔开的虚拟照明器的虚拟有利位置所封闭的像素。
12.如权利要求I所述的方法，其特征在于，还包括从所述深度图像消费者处接收该深度图像消费者的支持的虚拟深度相机参数。
13.如权利要求12所述的方法，其特征在于，接收支持的虚拟深度相机参数包括接收与所述深度图像消费者相兼容的模型深度相机的指示。
14.如权利要求13所述的方法，其特征在于，将所述本机深度图像处理成所述仿真深度图像包括修改所述本机深度图像以仿真由所述模型深度相机所产生的深度图像。
15.一种用于将来自飞行时间深度相机的本机深度图像转换成仿真由结构化光深度相机所产生的深度图像的仿真深度图像的深度相机可交替系统，包括 用于接收来自所述飞行时间相机的所述本机深度图像的捕捉模块； 噪声抑制模块，被配置为保持本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘；边缘增强模块，被配置为增强所述本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘； 无效模块，被配置为使位于预定范围之外的具有组合的照明度和倾斜度的像素无效； 深度量化模块，被配置为量化深度值； 小物体校正模块，被配置为将更深的深度值分配给属于在阈值大小之下的物体的像素；以及 阴影模拟模块，被配置为将阴影像素值分配给基本上由与所述飞行时间深度相机的虚拟照明器基本上隔开的虚拟有利位置所封闭的像素。
全文摘要
通过接收具有一个深度图像消费者所不支持的不支持类型的本机深度图像并将该本机深度图像处理成具有可被该深度图像消费者所支持的支持类型的仿真深度图像来提供深度图像消费者和深度图像生产者之间的兼容性。随后，可以将这种仿真深度图像输出给所述深度图像消费者。
文档编号G06T15/00GK102741887SQ201180007796
公开日2012年10月17日 申请日期2011年1月11日 优先权日2010年2月2日
发明者A·阿德莱尔, G·吉勒博阿, S·卡茨 申请人:微软公司