专利名称：从高质量的深度测量中学习的制作方法
技术领域：
本发明涉及深度测量，尤其涉及高质量的深度测量。
背景技术：
测量与深度相机的距离可能是困难的。测量准确性和精确度可能受到相机硬件的影响，诸如照明光和光电检测器灵敏度，其有效性可与诸如对比度和环境光水平之类的环境因素进行卷积。
发明内容
公开了用于提升从由深度相机收集的图像中导出的深度测量的准确性的方法和硬件的各实施例。在一个示例中，通过向原始图像数据应用加权函数来将深度相机所收集的原始图像转换成经处理的图像。在这一示例中，加权函数是从由深度相机收集的校准场 景的图像以及由高精确度测试源收集的校准场景的图像中生成的。提供本发明内容以便以简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
图I示出用于组装、校准和封装深度相机的深度相机组装系统的实施例。图2示出用于将深度相机与高分辨率测试源进行校准以及用于从如此校准的深度相机中输出经处理的图像的方法的实施例。图3示意性地示出用于使用高分辨率测试源从校准场景中生成基准图像的校准站的实施例。图4示意性地示出在稍后的时间用于使用深度相机从校准场景中生成本机图像的在图3中描绘的校准站的实施例。图5示意性地示出用于校准深度相机的校准站的另一实施例。图6示意性地示出用于校准深度相机的校准站的另一实施例。
具体实施例方式可通过使用户在媒体体验中感到身临其境来放大交互式媒体体验所提供的娱乐价值。例如，当用户使用自然、物理姿势来控制游戏体验时，可增强用户对视频游戏的欣赏。作为更具体的示例，用户可通过用户的手臂使用突然的挡开姿势而非对手持式游戏控制器的按钮按压来阻塞外来攻击。可以用面向监视用户身体位置的深度相机来检测物理姿势。然而，因为某些姿势在本质上可能是很小的，所以可能难以提供以与用户友好的体验兼容而不必在相机中包括复杂的照明和成像系统的精确度和准确性来检测这样的姿势的深度相机。具有这种复杂程度的系统可能是专用的，使得难以在典型的家庭环境中使用它们。由此，本文描述了提升由深度相机作出的深度测量的准确性的各实施例。在一个示例中，原始图像通过应用加权函数来处理。在这一示例中，加权函数是在深度相机制造过程中的校准步骤中生成的。如此处所使用的，校准可根据各实施例而具有不同的意义。例如，在某些实施例中，校准可以指在组装期间对深度相机的图像处理模块作出的调谐调整。因此，在出货之前制造和调谐每一个相机时都可以重复这样的校准。另外地或另选地，在某些实施例中，校准可以指在图像处理模块开发阶段期间对图像处理模块作出的调整。例如，本文所述的校准方法可在用于下一代深度相机的下一代图像处理模块的测试和制造开发期间执行。可以理解，在某些实施例中，这样的校准的规模和范围与在批量制造期间在相机级别执行的校准相比相对较大，并且可反映这样的下一代深度相机的开发目标。在这样的实施例中，一旦执行校准，校准可被合并到生产深度相机中，而无需在后续的批量制造阶段期间进行额外的校准。
在那一步骤，校准场景的图像被深度相机收集以及被高精确度测试源收集。图像之间的差异用于开发加权函数。在某些示例中，可开发多个加权函数以在特定用途情况下应用。因为校准步骤可在受控条件下执行，所以高精确度测试源可获得将不与消费者友好的深度相机兼容的准确性和精确度水平。此外，因为在大批量制造期间单组基准图像实际上可用于校准不限数量的深度相机，所以高精确度测试源的相对较高的成本(相对深度相机)可分布于许多深度相机之上，从而与包括更复杂和昂贵的照明和成像子系统的深度相机相比可降低深度相机的单位成本。图I示出用于组装、校准和封装深度相机的深度相机组装系统100的实施例。如上文所说明的，深度相机组装系统100可用于在深度相机的测试开发期间和/或在深度相机的批量制造期间组装、校准和封装深度相机。如图I所示，深度相机组装系统100包括用于组装深度相机110的深度相机组装站102。例如，在深度相机组装站102，照明子系统和成像子系统可以被安装在深度相机110中。在深度相机校准站104，深度相机110在校准模式中从一个或多个校准场景120中收集一个或多个本机图像132。本机图像132包括描述从校准场景120中的各部分和位置所反射的光强度的测试光强度信息。测试光强度信息可用于导出校准场景120的本机深度图，对于深度相机110的成像系统中包括的光电传感器的特定像素，本机深度图描述在该特定像素处入射的光从其反射的校准场景120的三维空间中的相应的物理位置。因此，本机深度图描述与校准场景120中包括的各反射性表面相对应的物理点的星座图。如下文将更详细地描述的，结合从由高精确度测试源从特定校准场景收集的基准图像130导出的基准深度图来使用特定校准场景的本机深度图，以在稍后执行的操作模式中(例如，在深度相机购买者用深度相机Iio收集图像时)调谐由深度相机110收集的原始图像的处理。以此方式，在某些情况下，在操作模式期间由深度相机110输出的经处理的图像可具有与由基准图像所展现的图像特性相对较类似的图像特性。一旦深度相机110在深度相机校准站104被校准，深度相机110就被传递至深度相机封装站106，在那里深度相机110被封装。封装可包括准备向消费者出货(例如，在批量制造场景中)和/或准备产品测试(例如，在下一代深度相机测试/开发场景中)，从而结束制造过程。在制造之后用户(诸如消费者或产品测试者)对深度相机110的第一次使用标志着上文描述的深度相机操作模式的启动。然而，可以理解，在某些实施例中，深度相机校准可在任何合适的时间执行，诸如在深度相机110被维修、检查和/或翻新的场景中。图2A和2B示出了说明用于校准深度相机的方法200的实施例的流程图。在图2A和2B所示的实施例中，方法200的在校准模式期间执行的部分在与深度相机兼容的计算设备的图像处理模块处执行，诸如在校准期间在操作上与深度相机连接的深度相机校准计算设备，而方法200的在操作模式期间执行的部分在深度相机的图像处理模块处执行。然而，可以理解，在某些实施例中，方法200可单独在深度相机处执行，而在另外一些实施例中，方法200的在校准模式期间执行的部分可由深度相机校准计算设备和深度相机执行。转向图2A，在202，方法200包括在深度相机的校准模式期间，从高精确度测试源接收基准图像，以及在204从基准图像中包括的校准光强度信息中导出基准深度图。如上所介绍的，基准图像是使用测试源针对特定校准场景收集的，该测试源能够在可接受的容忍度内以高度的准确性和/或精确度来生成该校准场景的深度信息。在某些实施例中，高精确度测试源能够生成特定校准场景的深度信息，该深度信息比由深度相机生成的深度信息可靠地更准确。为了简明起见，本文描述的各实施例涉及包括高分辨率飞行时间深度相机系统的高精确度测试源。在这样的系统中，校准光在某一时间由深度相机系统发出。在稍后的时间，校准光从在深度相机系统的光电传感器处成像和捕捉的对象的表面反射。从发射和捕捉之间的时间差中导出来自所反射的校准光的深度信息。然而，应该理解，可采用任何合适的测试源而不背离本发明的范围。非限制性的示例高精确度测试源包括高分辨率飞行时间深度相机系统、三维三角测量系统(诸如3-D激光扫描仪)以及激光检测和测距(LIDAR)系统。图3示意性地示出在时间Ttl深度相机校准站104的实施例。如图3所示，位于图像收集位置304处(被示为位置(XciJc^Zci))的高精确度测试源300收集位于场景位置302处(被示为位置(X1, Y1, Z1))的摩托车的基准图像130，场景位置302和图像收集位置304分开一合适的距离。如上文所说明的，基准图像130中包括的校准光强度数据用于导出基准深度图330。对于高精确度测试源300中包括的光电传感器的特定像素，基准深度图330描述了在该特定像素处入射的校准光从其反射的校准场景120的三维空间中的相应的物理位置。例如，图3所示的实施例描绘了从摩托车的前整流罩上的特定点的飞行时间光反射性信息中导出的基准图像距离信息306 (被示为“D/ )。在某些实施例中，高精确度测试源300可从多个校准场景120中收集多个基准图像130。该多个校准场景120可包括通过改变特定对象的光照条件(例如，在改变照明源温度、强度和/或位置的情况下)、通过改变对象距离和/或大小以及通过改变对象表面反射性(例如，引起镜面反射或漫射反射的表面)来生成的场景。该多个校准场景120可在考虑可如何使用深度相机的情况下来选择。例如，如果深度相机被配置为用于游戏控制台，则可将多个校准场景120的条件选择为类似于被配置为用于用户家庭中的休闲和社交活动的房间的条件。转回图2A，在206，方法200包括从正被校准的深度相机接收本机图像，以及在208，从基准图像中包括的测试光强度信息中导出本机深度图。为了简明起见，本文描述的深度相机是被配置为通过发出测试光并捕捉所反射的测试光(诸如从校准场景中包括的、对象的表面所反射的测试光)来收集本机图像的飞行时间深度相机。然而，应该理解，可采用任何合适的深度相机而不背离本发明的范围。一个非限制性的示例包括被配置为发出结构化光(诸如红外光)的三维扫描仪。图4示意性地示出图3所示的深度相机校准站104的实施例。在图4中，示出在稍后时间T1的深度相机校准站。如图4所示，深度相机110位于在收集基准图像130时高精确度测试源300所在的相同的图像收集位置304 (被示为(X。，Y0, Zci))。深度相机110收集位于与图3所示的相同的场景位置302 (被示为(XpYpZ1))处的摩托车的本机图像132。因此，在图4所示的实施例中，深度相机110和高分辨率测试源300被定位以使得深度相机110的角度在可接受的容忍度内匹配高精确度测试源300的角度。在被如此定位的情况下，可结合基准深度图330来使用从本机图像132中包括的测试光强度数据导出的本机深度图332以校准深度相机110，如下文更详细地描述的。在从多个校准场景120收集多个基准图像130的实施例中，深度相机110收集多个校准场景120的对应的本机图像132，并且对于所收集的每个本机图像132，深度相机110 被定位成匹配高精确度测试源300的相应角度。尽管上文提供的示例描述了从相同的相机位置和角度收集相应的基准图像130以及收集一个或多个本机图像132，但可以理解，在某些实施例中，可存在可接受的位置变化以补偿高精确度测试源300和深度相机110之间的角度差(例如，物理上的角度差和/或操作上的角度差)。此外，在某些实施例中，可接受的角度变化可能遭遇自在校准期间遇到的变化(例如，校准站配置和/或操作中的变化)。不管位置和/或角度变化的源是什么，在这样的实施例中，可执行合适的位置和/或角度测量来补偿这样的变化。如上文所说明的，从收集自特定校准场景的图像中导出的本机深度图和基准深度图可用于校准深度相机。因为从相同的(在可接受的容忍度内)校准场景的图像中导出相应的深度图，所以用于从本机图像中导出本机深度图的算法可在校准模式中被调整以生成类似于该场景的基准深度图的深度信息。如上所述的在图3和4的上下文中所设置的，可从基准深度图330和本机深度图332中导出加权函数，以使得对于特定的像素或像素区域，本机图像距离信息308 (被示为“Dn” )逼近基准图像距离信息306 (被示为“DK”)。例如，加权函数可被配置以使得Dk-Dn的差逼近零。转回图2A，在210，方法200包括拟合局部加权函数来针对校准场景的校准光强度信息来改变测试光强度信息。在某些实施例中，因为图像的深度信息可从光强度信息中导出，所以加权函数可被生成以在校准模式期间针对深度相机的特定像素的校准光强度来改变同一像素的本机测试光强度。然后，在操作模式中，加权函数可充当从深度相机的该特定像素接收的光强度水平的缩放因子(scalar)以被包括在经处理的图像中(与出现在对应的原始图像中的未经缩放的光强度信息相反)。一旦被缩放，经处理的图像的所得深度信息可以比原始图像的深度信息更准确和/或精确。例如，令LK(I，J)表示由深度相机提供的第K个本机图像的光电传感器的第I行和第J列(“像素中的像素所登记的测试光强度信息。因此，如果L*K(I，J)表示经处理的图像的第I行和第J列中的像素的强度，则ΙΛ(Ι，J)可从加权函数以及原始光强度信息中生成
权利要求
1.一种在与深度相机兼容的计算设备的图像处理模块处校准深度相机的方法(200)，所述方法包括 从所述深度相机接收(206)本机图像，所述本机图像包括可用于导出校准场景的本机深度图的测试光强度信息； 从高精确度测试源接收(202)相应的基准图像，所述基准图像包括可用于导出校准场景的基准深度图的校准光強度信息；以及 拟合(210)加权函数来针对校准场景的校准光強度信息来改变测试光强度信息。
2.如权利要求I所述的方法，其特征在于，所述校准场景是多个校准场景中的ー个，且所述加权函数是多个局部加权函数中的ー个，每ー个局部加权函数被拟合以针对所述多个校准场景中的特定校准场景的校准光強度信息来改变测试光强度信息。
3.如权利要求2所述的方法，其特征在于，还包括从所述多个局部加权函数中生成深 度相机的全局加权函数。
4.如权利要求I所述的方法，其特征在于，从高精确度测试源接收相应的基准图像包括从高分辨率飞行时间相机系统接收相应的基准图像。
5.如权利要求I所述的方法，其特征在于，接收相应的基准图像包括从3-D三角測量系统接收相应的基准图像。
6.如权利要求I所述的方法，其特征在于，接收相应的基准图像包括从激光检测和测距系统接收相应的基准图像。
7.如权利要求I所述的方法，其特征在于，所述加权函数是本机图像中包括的像素以及相应的基准图像中包括的相应的像素之间的方差、矩以及总变差中的一个或多个的函数。
8.如权利要求I所述的方法，其特征在于，拟合所述加权函数包括最小化所述测试光強度信息和所述校准光強度信息之间的差。
9.如权利要求8所述的方法，其特征在于，最小化所述差包括最小化本机图像的特定像素的本机深度图以及相应的基准图像中包括的相应的像素的基准深度图之间的差。
10.ー种包括图像处理模块(528)的深度相机计算设备(550)，所述图像处理模块被配置为输出通过向原始图像应用全局加权函数的经处理的图像，所述深度相机计算设备包括 深度相机(110);以及 数据保持子系统(520)，所述数据保持子系统保持可由逻辑子系统(522)执行来进行以下操作的指令 从所述深度相机接收原始图像， 根据加权函数(512)将原始图像转换为经处理的图像，所述加权函数被配置为，针对由高精确度测试源(300)从校准场景中收集的基准图像(130)的校准光強度信息，来改变由深度相机从由该深度相机从校准场景中收集的本机图像(132)中生成的测试光強度信息，以及 输出所述经处理的图像。
全文摘要
本发明描述了从高质量的深度测量中学习。提供了深度相机计算设备，包括深度相机以及保持可由逻辑子系统执行的指令的数据保持子系统。该指令被配置为从深度相机接收原始图像、根据加权函数将原始图像转换成经处理的图像以及输出经处理的图像。加权函数被配置为，针对由高精确度测试源从校准场景中收集的基准图像的校准光强度信息，来改变由深度相机从由该深度相机从该校准场景中收集的本机图像中生成的测试光强度信息。
文档编号H04N17/00GK102739936SQ201210086639
公开日2012年10月17日 申请日期2012年3月28日 优先权日2011年3月29日
发明者G·吉勒博阿 申请人:微软公司