飞行时间深度相机的制作方法
背景
飞行时间(tof)技术被用在多个领域以确定光行进通过媒介所花费的时间。例如，tof方法可被用于相机中以确定3维环境中的深度测量。
概述
提供了一种用于操作飞行时间(tof)深度相机的方法。该方法包括，使用图像处理模块，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，该多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光，并且调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准，并将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。以此方式，针对像素传感器的定时延迟校准可在相机被运输到消费者之后被更新。结果，tof深度相机的操作模式可被改变并且tof深度相机的性能状态可在生产出厂之后被修改，从而允许tof深度相机的适用性被扩展。具体地，tof深度相机的性能可被改善以更好地适合新操作环境。深度相机中的各种参数可被改变以改善相机操作，诸如照明频率，占空比(例如，光源和像素检测器占空比)、峰值功率和积分时间等，并且定时延迟可被调节以匹配参数改变。调节这些参数使得准确性、精度、深度噪声、近和远范围、信噪比、混合像素分辨率、运动模糊，和/或其它合适的性能特征在相机中被改变以提供期望的操作特征。因此，当这些参数能够在相机被运输到消费者之后动态更新时，深度相机的使用寿命可被延长并且相机的用户体验可被增强。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了飞行时间(tof)系统的示意性描绘；
图2示出了tof系统的操作的方法；
图3和4示出了tof系统的操作的另一方法；
图5示出了示例tof系统以及tof和tof系统中的定时延迟的图形表示；
图6示出了通过包括在多个像素传感器中的一个像素传感器接收的波形和从光源发出的波形之间的定时延迟的图形表示；
图7示出了tof深度相机的工厂校准期间获得的数据的线性回归的图形表示；以及
图8示出了示例性计算设备。
详细描述
深度相机可在娱乐和游戏系统中被用作输入设备来标识用户移动并响应于检测到的移动在设备中执行功能。深度相机还可被用于这些系统中以供面部识别、对象扫描等。然而，将理解深度相机可被用于大量其它系统中。
归因于相机内的硬件配置(例如，定时时钟和光源安排)，深度相机可能有定时延迟。具体而言，深度相机通常包括连接到像素传感器和激光器的定时机制。该像素传感器可能比激光器更接近定时机制。因此，在像素传感器接收的定时信号和定时信号触发的激光照明的实际时刻之间存在实质性延迟。该延迟导致深度误差，其在某些情况中可能是数十至数百厘米的量级。
为考虑这些延迟，tof深度相机可在它们的生产工厂被校准以确定针对相机中的每个像素传感器的设定定时延迟。定时延迟是取决于相机操作模式的量。这一操作模式可基于预期的操作环境来被确定。例如，游戏系统中的操作模式可被选择来供在室内环境(诸如起居室)中使用。工厂校准确定给定操作模式的定时延迟。这些经工厂校准的延迟是静态的且一旦相机被提供给消费者就不能被修改。以此方式固定定时延迟限制了相机的灵活性，因为它不允许对操作模式的改变。具体而言，更改光学参数(诸如照明频率、占空比、峰值功率、积分时间等)影响定时延迟，从而致使经工厂校准的定时延迟无效。结果，这些类型的深度相机的适用性受限，因为它们不能在现场动态更新。已开发了飞行时间(tof)系统和飞行时间系统的操作方法(如下所述)以改善定时延迟校准。
图1示出了tof系统100的示意性描绘。tof系统100包括tof深度相机102、校准计算设备104，以及更新计算设备106。校准计算设备104被配置来向tof深度相机102提供工厂校准。更新计算设备106被配置来在相机被销售或以其他方式提供给消费者之后向tof深度相机102提供生产后校准。换言之，更新计算设备106被配置来提供现场重新校准功能。提供现场重新校准通过允许定时基于相机的参数中的调整来重新计算定时误差而使得tof深度相机102的适用性能被提高。将理解，当新信息变得可用、软件算法被改善、相机在非预期操作环境中被使用等时，改变相机的参数可能是合乎需要的。结果，相机性能特征可被重新分发来针对未曾预料到的终端用户情形改善相机操作。
执行tof深度相机的工厂校准以及在tof深度相机102上更新校准的方法在此被更详细地讨论。进一步，在其它示例中，工厂校准和生产后动态校准可通过单个计算设备被提供。此外，如在图1中描绘的，更新计算设备106通过网络108(诸如因特网)与tof深度相机102电子通信。然而，已设想了其它合适的网络。校准计算设备104被示为与tof深度相机102直接电子通信。此外，校准计算设备104可通过合适的网络(包括但不限于网络108)与tof深度相机102通信。
tof深度相机102包括配置用于确定定时误差并执行在此更详细描述的附加功能的图像处理模块110。tof深度相机102还包括定时时钟112。定时时钟112与可被配置来存储占空比和频率组合的图像处理模块110电子通信。定时时钟112被配置来生成调制信号114(例如，调制电压)。将理解，调制信号114可以是类似的。例如，类似的调制信号可从定时时钟被发送到光源和像素快门。将理解，尽管相同信号可被从定时时钟发送到光源以及像素快门，归因于信号经由其传播的各电子连接中的差异，通过光源和像素快门接收的信号可具有轻微差异。因此，在一个示例中，发送到至少一个快门的调制信号和发送到光源的调制信号是同一信号。
调制信号114可被基于存储在图像处理模块110中的调制频率和占空比组合来被生成。如所示出的，调制信号114从定时时钟112被发送到光源116和像素阵列118。将理解，调制信号规定光源生成的波形的形状和定时。
光源116包括一个或多个激光器120和/或其它合适的光生成设备，诸如发光二极管(led)。激光器120被配置来生成光。在一个示例中，激光器被配置来发射红外频谱中的光(即，波长范围1毫米mm-700纳米nm内的光)。然而，已经构想了生成其它频谱的光的光源。
像素阵列118包括多个像素传感器122。像素阵列118进一步包括与多个像素传感器122的每一个像素传感器相关联的至少一个快门124。在一个示例中，两个快门可与多个像素传感器的每一个像素传感器相关联。此外，在其它示例中，将理解，快门被集成到多个像素传感器122中。再进一步，在一个示例中，像素阵列118可被集成到定时时钟112中。发送到像素阵列的调制信号规定快门操作的定时(例如，开和闭)。因此，调制信号确定由像素阵列接收的波形的定时。
将理解，光源116被配置来将其中生成的光投射到3维环境126，如通过箭头128所指示。光被反射离开3维环境126中的对象并返回多个像素传感器122，如通过箭头130所指示。将理解，快门124调理进入多个像素传感器122的光的定时。如所示，像素阵列118与图像处理模块110电子通信，如通过箭头132所指示。图像处理模块110还与定时时钟112电子通信，如通过箭头133所指示。此外，图像处理模块110被配置以基于从像素阵列118和定时时钟112接收到的信号来生成深度图134。
定时时钟12被配置来生成调制信号114并将调制信号114发送到多个像素传感器122和光源116，调制信号基于由图像处理模块110接收到的调制频率和占空比校准组合的经更新集合来被生成。此外，图像处理模块110被配置来基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合为多个像素传感器122的每一个像素传感器内插经更新的定时延迟校准。图像处理模块110被进一步配置来将定时延迟校准应用于与多个像素传感器122的每一个像素传感器相对应的像素数据，以生成3维环境的深度图，多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光。图像处理模块110还被配置来用定时延迟校准的经更新集合代替工厂预载的定时延迟校准的集合。因此，定时延迟校准的经更新集合可能不同于工厂预载的定时延迟校准的集合。这个动态校准在此更详细地讨论。
图2示出了tof系统的操作的方法200。方法200可被用于操作以上参考图1描述的tof系统100。然而，在其它示例中，方法200可被用于操作另一tof系统。
在202，该方法包括执行tof深度相机的工厂校准。执行tof深度相机的工厂校准可包括步骤204-213。在204，该方法包括确定工厂预载调制频率和占空比组合的集合。将理解，这些组合可基于预期的终端使用环境来被决定并输入到校准计算设备。
接着在206，该方法包括将工厂预载的频率和占空比组合上传到tof深度相机。上传这些组合可包括将组合从校准计算设备电子方式地传输(例如，有线地，无线地，等)到tof深度相机。进一步在一个示例中，在206，亮度校准可附加地或替换地被上传到tof相机。将理解，亮度校准可与发送到tof深度相机中的光源和像素传感器的信号的幅度相对应。
在208，该方法包括在经校准的深度获取定义的目标的深度数据，并为每个情况计算定时延迟的量。以此方式，已知深度值可被用于确定像素相位偏移。将理解，在某些示例中，归因于相机的配置，调制占空比可在各频率间不同。
接着在210，该方法包括归一化定时延迟，使得在调制占空比处于设定值时每个测量代表一情况的期望定时延迟。在一个示例中，设定值可以是50％占空比。然而，已经构想了占空比的其它设定值。在212，该方法包括，将线性拟合应用于定时延迟数据集并为每个像素传感器记录斜率和定时偏移。为每个像素传感器记录斜率和定时偏移可包括将斜率和定时偏移存储在存储器(诸如闪存存储)中的查找表中。数据的线性回归在此参考图6更详细地讨论。
在213，该方法包括基于线性拟合确定更新方程式的常数。在其它示例中，其它类型的拟合可被使用，诸如多项式、正弦，和/或线性+正弦拟合。具体地在一个示例中，斜率的值可定义方程式用于在相机被运输到消费者时的动态校准的更新方程式中的常数。更新方程式在此参考图4更详细地讨论。此外，步骤204和208-213的一个或多个可通过校准计算设备(诸如图1的校准计算设备104)来实现。将理解，步骤202-213中的工厂校准将相机设置为一旦相机在消费者手中就快速并高效地被校准。
在214，方法包括将tof深度相机运输到消费者。接着在216，方法包括在tof深度相机处接收频率和占空比校准组合的经更新集合。进一步在一个示例中，在216亮度值可被附加地或替代地由tof深度相机接收。频率和占空比校准组合的经更新集合可从更新计算设备(例如，图1的更新计算设备106)通过网络(诸如因特网)发送。
在218，该方法包括向更新方程式应用频率和占空比校准组合的经更新集合来为tof深度相机中的每个像素传感器确定定时延迟。接着在220，该方法包括基于tof深度相机中的定时延迟(例如，在218确定的定时延迟)来生成深度图。以此方式，相机的动态校准可基于占空比和频率组合的经更新集合来现场实现。因此，相机的适用性增加。
图3和4示出了tof系统的操作的另一方法300。方法300可被用于操作以上参考图1描述的tof系统100。然而，在其它示例中，方法300可被用于操作另一合适的tof系统。
在302，该方法包括确定工厂预载调制频率和占空比组合的集合。将理解，这些组合可基于预期的终端使用环境来被决定并输入到校准计算设备(例如图1的校准计算设备104)。接着在304，该方法包括将调制频率和占空比组合的工厂预载的集合传输到tof深度相机。
在306，该方法包括在tof相机处接收工厂预载调制频率和占空比组合的集合。接着在308，该方法包括在经校准的深度获取定义的目标的深度数据，并为每个情况计算定时延迟的量。
接着在310，该方法包括归一化定时延迟。将理解，定时延迟可基于在不同占空比获得的深度数据来被计算。归一化定时延迟可包括基于共同占空比调节定时延迟。换言之，在不同占空比测量的定时延迟被调节以适合于共同占空比。因此，定时延迟经由归一化被合适地缩放以考虑不同占空比。
在312，该方法包括为每个像素传感器确定校准算法中的常数。校准算法中的常数可与是基于以下示出并在此更详细讨论的方程式1确定的线性常数。然而，在其它示例中，替代的合适的方程式可被用作校准算法。以此方式确定常数使得相机能够被配置用于后续动态校准。
在314，该方法包括基于工厂预载调制频率和占空比校准组合来确定工厂预载定时延迟校准，并将工厂预载的定时延迟校准发送到tof深度相机。在316，该方法包括接收工厂预载的定时延迟校准。将理解，步骤302-316在将相机运输到消费者之前在工厂校准期间被实现。
接着在318，该方法包括将工厂预载的定时延迟校准应用于对应于多个像素传感器的每一个像素传感器的像素数据，以生成3维环境的深度图。
在320，该方法包括生成调制频率和占空比组合的经更新集合。在322，该方法包括将调制频率和占空比组合的经更新集合发送到tof深度相机。将理解，调制频率和占空比组合的经更新集合可通过诸如因特网等网络被发送。接着在324，该方法包括在tof深度相机处接收调制频率和占空比组合的经更新集合。
在326，该方法包括将调制信号发送到光源和多个像素传感器，该调制信号基于tof深度相机接收的调制频率和占空比校准组合的经更新集合而被生成。在一个示例中，光源包括生成红外频谱中的光的激光器。在328，该方法包括临时调制从光源发射到3维环境的光。在一个示例中，光源可被开和关或部分地开和关。步骤302、304、310、312和314通过校准计算设备来实现，而步骤306、308、316、318、324、326和328通过tof深度相机来实现。将理解，通过tof相机实现的各步骤可通过tof深度相机中的图像处理模块来实现。此外，步骤320和322通过更新计算设备来实现。
转到图4，在330，该方法包括基于从定时时钟发送的调制信号打开和关闭每个像素传感器中的至少一个快门，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在332，该方法包括基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准。将理解，定时延迟校准的经更新集合代替相机中工厂预载的定时延迟校准的集合。将理解，在此更详细描述的方程式1可被使用来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准。因此，内插经更新的定时延迟校准可包括将频率和占空比值输入到算法中。进一步在一个示例中，内插经更新的定时延迟校准包括计算多个定时延迟的平均。接着在334，该方法包括将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。在一个示例中，经更新的定时延迟校准被应用于光源生成的光的经调制的波形和每个像素传感器接收的光的波形的相位偏移。进一步在一个示例中，深度图包括深度像素矩阵。如所示，步骤330、332和334通过tof深度相机实现。
图5示出了与tof系统中的定时延迟相关的时序图。在图5中示出了定时时钟500。定时时钟500被配置来将调制信号发送到光源502和像素504，通过箭头506指示。将理解前述各组件是图1所示tof系统100的各组件的示例。
在描绘的示例中，光源502包括3个激光器。然而，已经构想了具有另选数量的激光器或其它光生成设备的光源。例如，光源可包括单个激光器或四个或更多个激光器。此外，在所描绘的示例中，像素504的每一个像素具有两个快门。然而，在其它示例中，具有另选数量的快门的像素可被使用。进一步在一个示例中，像素504可被集成到定时时钟500中。通过光源(且具体地3个激光器)生成的光的波形，在510示出。类似地，基于返回光经由像素生成的信号在512示出。在514还示出了波形相位误差。经由光源发射的光和返回光之间的tof被示出。此外，tof系统中的定时延迟也在图5中示出。将理解，系统中的定时误差由于多个因素而发生，诸如系统中电子组件的配置、电子组件中的等待时间等。波形相位误差在514被示出，而且像素快门中的像素歪斜也在图5中示出。将理解，以上描述的方法可被用于为像素确定定时延迟并在相机操作中考虑这些定时延迟。
图6示出了通过图1所示的多个像素传感器122中包括的像素传感器接收的调制信号602之间的定时延迟的示例图形表示600。将理解，像素传感器从定时时钟接收具有频率和占空比的调制信号。图6还示出从图1所示的光源116发送的波形604。将理解，从光源发送的波形可基于发送到光源的调制信号来被生成。y轴代表信号强度，而x轴代表时间。每个像素传感器的定时延迟是在为从光源发射并由像素传感器接收的光确定tof时应用于像素传感器的一段时间的延迟。每个像素传感器的定时延迟，表达为
将理解，每个像素传感器的定时延迟是调制信号从定时器行进通过各电子组件以激励像素传感器(例如，像素传感器中的快门)所花费的时间段。
为改善校准和时间段预测的质量，附加的技术可被使用来在计算线性拟合之前减少系统误差。具体地，所测量的数据样本距线性拟合的偏差可能由测量过程中的系统误差引起。具体而言，调制频率的多重谐波可存在于光源信号中。多重谐波可导致小的相位误差，其取决于调制频率和目标的距离。减少系统误差的一个技术包括在调制信号和光源信号之间，或在调制信号和像素阵列之间，引入电子延迟。这将导致估计的定时延迟被已知电子延迟增大。从估计的定时延迟减去已知电子延迟将给出定时延迟的附加估计。在没有系统误差的完美的tof相机系统中，具有不同已知电子延迟的定时延迟的这些不同估计将相等。然而，对于具有系统误差的tof系统，这些估计可导致估计的计算误差的不同值。对于这样的系统，在应用多个这样的各附加的电子延迟的同时多次执行定时延迟估计将导致定时延迟的许多类似但不相等的估计。这些定时延迟的多个估计可被，例如通过在所有估计的定时延迟上计算算术均值，来组合到定时延迟的单个“最终”估计中。定时延迟的这个最终估计可能一般比最初单个估计更精确。
图7是在tof深度相机工厂校准期间从单个tof深度相机获取的示例性数据的图形表示700。如所示，分数时段在y轴上而调制频率在x轴上。分数时段基本上是每个像素的定时延迟。将理解，数据点可被归一化到单个占空比值(例如，50％)以考虑不同数据点之间的不同占空比，如先前讨论的。o值(“测量”)代表在tof深度相机的工厂校准期间测量的数据点。x值(“经归一化的”)表示经归一化的数据点。将理解而，线性拟合702的斜率可类似于线性常数[δtl]，以上结合图6讨论的。
图8示出计算设备800的非限制性实施例，该计算系统可以进行上述方法和过程中的一个或多个。因此，将理解，以上描述的相机(例如，图1的tof深度相机102)和计算设备(例如，图1的校准计算设备104和/或更新计算设备106)可包括计算设备800中的一个或多个组件。
计算设备800包括逻辑机802和存储机804。计算设备800可任选地包括显示系统806、输入系统808、通信系统810和/或在图8中未示出的其他组件。
逻辑机802包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机804包括被配置成保持可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机804的状态(例如，保存不同的数据)。
存储机804可以包括可移动和/或内置设备。存储机804可包括光学存储器(例如，cd、dvd、hd-dvd、蓝光盘等)、半导体存储器(例如，ram、eprom、eeprom等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)等等。存储机804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机804包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机802和存储机804的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(fpga)、程序和应用专用的集成电路(pasic/asic)、程序和应用专用的标准产品(pssp/assp)、片上系统(soc)以及复杂可编程逻辑器件(cpld)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算设备800的一方面。在某些情况下，可以通过执行由存储机802所保持的指令的逻辑机804来实例化模块、程序或引擎。将理解，可以从同一应用、服务、代码块、对象、库、例程、api、函数等实例化不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、api、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在被包括时，显示系统806可用于呈现由存储机804保持的数据的视觉表示。此视觉表示可采取图形用户界面(gui)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示系统806的状态以视觉地表示底层数据的改变。显示系统806可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机802和/或存储机804组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入系统808时，输入子系统808可包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入系统可包括所选的自然用户输入(nui)部件或与其结合。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。nui组件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
当被包括在内时，通信系统810可以被配置成将计算系统800与一个或多个其他计算设备可通信地耦合。通信系统810可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在某些实施例中，通信系统可允许计算设备800经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。本公开的主题被进一步描述在以下段落中。根据一个方面，提供了一种用于操作飞行时间(tof)系统的方法。该方法包括，使用图像处理模块，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光，调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准，并将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。
在此方面，该方法可进一步包括，在图像处理模块处内插经更新的定时延迟校准之前，在图像处理模块处从更新计算设备接收调制频率和占空比校准组合的经更新集合。
在此方面，调制频率和占空比校准组合的经更新集合可通过网络发送。
在这个方面，该方法还可包括，在图像处理模块处在内插经更新的定时延迟校准之前，向与多个像素传感器的每一个像素传感器相对应的像素数据应用工厂预载定时延迟，以生成第二3维环境的第二深度图，该工厂预载定时延迟校准对应于工厂预载的调制频率和占空比校准组合的集合，工厂预载的调制频率和占空比校准组合的集合不同于调制频率和占空比校准组合的经更新集合。
在此方面，该方法还包括，在校准计算设备处，在应用工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，并基于工厂预载的调制频率和占空比校准组合来确定工厂预载的定时延迟校准。
在此方面，工厂预载调制频率和占空比校准组合可被归一化以确定该常数。
在此方面，内插经更新的定时延迟校准可包括计算多个定时延迟的平均。
在此方面，光源可包括激光器，该激光器生成的红外频谱中的光。
在此方面，经更新的定时延迟校准可被应用于光源生成的光的经调制的波形和像素传感器中的每一者接收的光的波形的相位偏移。
在此方面，深度图包括深度像素矩阵。
在此方面，由光源生成的光基于从定时时钟发送的调制信号来生成，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在此方面，该方法可进一步包括基于从定时时钟发送的调制信号打开和关闭每个像素传感器中的至少一个快门，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在此方面，发送到至少一个快门的调制信号和发送到光源的调制信号可以是同一信号。
在此方面，在内插经更新的定时延迟校准之前，在光源处，将从光源发射进入3维环境的光脉冲化。
根据另一方面，提供了用于操作飞行时间(tof)深度相机的方法。该tof深度相机包括配置用于生成调制信号并将调制信号发送到多个像素传感器和光源的定时时钟，该调制信号至少基于由图像处理模块接收的调制频率和占空比校准组合的经更新集合来生成；并且该图像处理模块被配置成(i)基于图像处理模块接收到的调制频率和占空比校准组合的经更新集合为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，(ii)将定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图，以及(iii)用定时延迟校准的经更新集合替代工厂预载的定时延迟校准，该多个像素传感器耦合到定时时钟并被配置成接收光源生成并在3维环境中反射的光。
在此方面，调制信号可以是发送到多个像素传感器和光源的类似的调制电压。
在此方面，多个像素传感器的每一个像素传感器可包括快门。
在此方面，tof系统可进一步包括，在配置用于以下的更新计算设备处，在应用工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，基于工厂预载的调制频率和占空比校准组合来确定工厂预载的定时延迟校准，并将校准算法传输到图像处理模块。
根据另一个方面，提供了一种用于操作飞行时间(tof)系统的方法。该方法包括使用定时时钟，向光源和多个像素传感器发送调制信号，该调制信号基于由tof深度相机接收的调制频率和占空比校准组合的经更新集合来生成；使用图像处理模块，至少基于调制频率和占空比校准组合的经更新集合为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，调制频率和占空比校准组合的经更新集合替代对应的工厂预载的定时延迟校准；将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。
在此方面，内插经更新的定时延迟校准可包括将调制频率和占空比校准组合的经更新集合输入到校准算法，该校准算法包括工厂校准期间确定的常数。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
- 还没有人留言评论。精彩留言会获得点赞！