使用查找表进行深度图纠正的制作方法
【专利说明】使用查找表进行深度图纠正
[0001 ] WS
[0002] 飞行时间（T 0 F)相机被越来越多地用在各种各样的应用中，例如，人类计算机交 互、汽车应用、测量应用和机器视觉。T0F相机可用于生成深度图，该深度图包含与场景中的 对象离相机的深度有关的信息。该深度指的是从相机延伸的假想线上的距离投影，其中该 距离是绝对径向距离。T0F相机处的光源照亮场景并且光由场景中的对象反射。相机接收反 射光，该反射光取决于对象到相机的距离而经历延迟。给定光速是已知的事实，可以生成深 度图。由于从接收到的光信号中提取深度所要求的计算要求最小量的计算，所以T0F相机对 于实时应用而言是理想的。
[0003] 然而，飞行时间测量可能遭受多种误差和不确定性，而这可能导致计算出的深度 图中的误差。例如，反射光可能经历来自场景内的不同表面的多次反射，这可能导致计算出 的深度中的严重误差。
[0004] 以下描述的各实施例不限于解决使用查找表进行深度图纠正的已知方法的任何 或全部缺点的实现。
[0005] 挺塗
[0006] 下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的 穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以 简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0007] 描述了使用查找表进行深度图纠正。在一个示例中，可以生成使用从照亮对象的 相机发射的光与在相机处接收到的从该对象反射的光之间的相位差来测量到对象的深度 的深度图。在各实施例中，深度图可能遭受收到光在被相机接收之前经历多次反射所导致 的误差。在一示例中，对对象离相机的估计距离的纠正可以被计算并存储在查找表中，该查 找表将收到光的振幅和相位映射到距离纠正。在一示例中，多个调频中的每一者的振幅和 相位可用于访问查找表，该查找表存储对对象距离的纠正并且允许获得准确的深度图。
[0008] 通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
[0009] 附图简述
[0010] 根据附图阅读以下【具体实施方式】，将更好地理解本发明，在附图中：
[0011] 图1是使用调相飞行时间深度相机来生成深度图的示意图；
[0012] 图2是计算深度图的示例方法的流程图；
[0013] 图3是使用调相飞行时间深度相机来生成具有反射的深度图的示意图；
[0014] 图4是生成包括振幅和相位信息的复度量的示例方法的流程图；
[0015] 图5是生成存储器高效的查找表的示例方法的流程图；
[0016] 图6是生成针对多径反射被纠正的深度图的示例方法的流程图；
[0017] 图7是一示例调相飞行时间深度相机的示意图；
[0018] 图8示出可在其中实现使用查找表进行深度图纠正的各实施例的示例性基于计算 的设备。
[0019] 在各个附图中使用相同的附图标记来指代相同的部件。
[0020] 详细描述
[0021] 下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构 建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作 本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
[0022] 虽然在本文中将本发明的示例描述并示出为用于使用具有双路径反射的数据查 找表进行深度图纠正系统中实现，但所描述的系统只是作为示例而非限制来提供的。如本 领域技术人员将领会的，本发明的示例适于应用在各种各样不同类型的深度图纠正系统 中，诸如用于纠正两个路径以上的反射的那些深度图纠正系统。
[0023] 在一实施例中，调相飞行时间深度相机可用于人类计算机交互，例如，与游戏系统 的交互。调相飞行时间深度相机可以近乎实时地生成深度图，并且因此适于跟踪人类移动， 例如，用于与电子设备(例如，游戏控制台、电视机和其他电子设备)交互的姿势。在其他实 施例中，调相飞行时间深度相机可用于距离测量、汽车应用（例如停车传感器和冲突避免系 统）以及其中测量到对象的准确距离的其他应用。术语"相机"和"深度相机"在此处与"调相 飞行时间相机"可互换地使用。
[0024] 图1是使用调相飞行时间深度相机来生成深度图的示意图。深度相机100包括光源 102和接收器104。光源102可以被布置成发射调制光。在一示例中，调制光的源102可以是非 相干光源，该非相干光源发射用频率的信号来调制的发射光106。在一示例中，来自设备 的光可以用高频(例如MHz范围内的频率)来调制以使得照明量周期性地改变。在一示例中， 照明的周期性改变可以采用窦函数的形式。
[0025]在一示例中，调制光的源102以多个调制频率来发射光，例如，三个调制频率。光源 102可以被选择为使得发射光的波长对于特定应用而言是最恰适的波长。在一示例中，光源 可以是不可见光源，例如，近红外光源。在另一示例中，光源可以是可见光源。在一实施例 中，光源可以被选为对于它要用于的应用而言恰适波长的光源。
[0026] 调制光的源可以照亮相机视野内的对象108并且至少一些光可以从对象向相机反 射回来。在一示例中，检测到的对象可以是人;然而，可以生成任何对象的深度图。反射光 110可以被接收器104检测到。在一示例中，反射光也被调制，而由于光在相机与对象之间的 往返行程上行经的距离所导致的延迟，反射光110可能与发射光106异相。对于接收器104的 每一像素112,可以为每一调频确定收到信号相对于发射光的振幅和相位差。在一示例中， 可以从每一像素112处的振幅和相位度量中计算深度图，该深度图包括场景中的对象例如 到正在与游戏系统交互的用户的强度和距离信息。
[0027] 图2是计算深度图的示例方法的流程图。如上详细描述的，调相飞行时间深度相机 处的光源照亮200-个或多个附近对象。该光源可以是以一个或多个频率来调制的光源。从 附近对象反射的光可被接收202。例如，振幅和相位度量可以是深度相机检测到的且在处理 器处接收到光的振幅和相位度量。处理器可以是深度相机处或另一计算设备处的处理器。 在一示例中，反射光可以用与光源相同的一个或多个频率来调制，并且可以为深度相机接 收器中接收到光的每一像素处的每一调频确定204收到反射光的振幅和相位。
[0028]处理器可以被布置成通过为深度相机接收器的每一像素计算距离度量来从反射 光的测得振幅和相位中计算206深度图。在每一像素处接收到的光的振幅可用于生成强度 图，或2D图像。可以从反射光相对于发射光的相移来确定对象离相机的深度。给定光速是已 知常数，可以从相移（以弧度为单位)计算对象深度（以米为单位)为：
[_]
[0030] 其中c是米/秒为单位的光速，fm〇d是MHz为单位的调频而Φ是弧度为单位的相移。 因此，可以为接收器的每一像素确定强度和距离，并且可以按照取决于接收器分辨率的分 辨率来生成深度图，g卩，从具有10000像素的接收器处接收到的调制光生成的深度图将具有 比从具有1000像素的接收器处接收到的调制光生成的深度图更高的分辨率。
[0031] 数量C/(2fMd)是在仅使用单频的情况下深度相机能够毫无疑义地测得的最大距 离。因此，一个或多个调频可以被选为提供对于正被使用的应用而言最恰适的距离度量。在 一个示例中，其中将深度相机用于游戏系统，一个或多个调频可以被选为提供近似等效于 房间尺寸的最大明确距离度量。例如，如果所要求的最大明确距离度量在4-10米的范围内， 则调频可以被选为在15-37.5MHz的范围内。然而，在另一示例中，多个调频可被组合以给出 明确度量。计算出的深度图可能遭受误差，这些误差可能导致距离确定中的不确定性。误差 源是多径反射，其中来自与目标对象不同的表面的光的一次或多次反射导致大距离失真。
[0032] 图3是使用调相飞行时间深度相机来生成具有多径反射的深度图的示意图。如上 文参考图1所描述的，深度相机300包括光源302和接收器304。光源302可以被布置成发射调 制光。在一示例中，调制光的源302可以是非相干光源，该非相干光源发射用频率f Md的信号 来调制的发射光306。在另一示例中，光源可以被布置成以多个调频f^fs，...，fn来发射光。 在一个示例中，在给定时间仅