边缘保持深度滤波的制作方法
【专利说明】边缘保持深度滤波
【背景技术】
[0001] 深度相机用于生成包括多个像素的深度图像。每一个像素包括可用于估计从相机 到由该像素成像的表面的距离的信息。该距离可以称为表面的深度。然而，像素信息可能 是有噪声的或者包括最终导致不太精确的深度估计的缺陷。
【发明内容】
[0002] 提供本
【发明内容】
来以简化的形式引入以下在【具体实施方式】中进一步描述的概念 的选择。本
【发明内容】
不意图标识所要求保护的主题的关键特征或本质特征，也不意图用于 限制所要求保护的主题的范围。另外，所要求保护的主题不限于解决在本公开的任何部分 中所指出的任何或全部缺点的实现。
[0003] 利用经调制光照光来光照场景，经调制光照光从场景中的表面反射为经调制反射 光。深度相机的多个像素中的每一个接收经调制反射光并且观察经调制光照光与经调制反 射光之间的相位差。对于多个像素中的每一个，识别该像素的边缘性，并且根据该像素的边 缘性来平滑该像素。
【附图说明】
[0004] 图1示出依照本公开的实施例的对深度信息进行滤波的示例方法。
[0005] 图2示意性地示出对场景进行成像的飞行时间深度相机。
[0006] 图3示意性地示出飞行时间深度相机的经调制光照与反射光之间的相位差。
[0007] 图4A示意性地示出在平滑之前的像素组。
[0008] 图4B示意性地示出在具有边缘保持的平滑之后的图4A的像素。
[0009] 图4C示意性地示出在没有边缘保持的平滑之后的图4A的像素。
[0010] 图5A示出从飞行时间深度相机的角度来看的图2的经成像的场景。
[0011] 图5B示出具有边缘图重叠的图5A的场景。
[0012] 图6A示意性地示出具有合理边缘的像素的3x3网格。
[0013] 图6B示意性地示出具有噪声并且没有合理边缘的像素的3x3网格。
[0014] 图7示意性地示出依照本公开的实施例的计算系统。
【具体实施方式】
[0015] 飞行时间深度相机利用经调制光来光照场景并且然后捕获经反射的经调制光。深 度相机的每一个像素用于查明光照光与经反射光之间的相位差。这样的相位差可以用于计 算从相机到反射经调制光的表面的距离。然而，这样的经计算距离可能受噪声和/或由深 度相机获得的相位差中的其它所不期望的像素到像素的变化的不利影响。为了减少由这样 的噪声和/或其它变化所造成的潜在的不利效果，本公开描述了对相位差进行滤波。另外， 这样的平滑被选择性地应用以便保持合理的深度边缘。特别地，向被认为对具有不同深度 的表面之间的边界进行成像的那些像素应用极少的平滑或不应用平滑。
[0016] 图1示出对深度图像进行滤波的方法100。在102处，方法100包括利用经调制光 照光来光照场景。经调制光照光可以包括具有多个不同调制频率的光。作为一个非限制性 示例，经调制光照光可以包括具有16兆赫兹分量、80兆赫兹分量和120兆赫兹分量的光。
[0017] 例如，图2示意性地示出利用经调制光照光206来光照场景204的深度相机202。 特别地，深度相机202包括将经调制光照光206照耀在场景204上的光照器208。光照器可 以包括一个或多个发光二极管、激光器和/或其它光源。经调制光照光206可以是任何合 适的单数或复数频率或频带。例如，经调制光照光可以完全处于红外或近红外光的一个或 多个带内。
[0018] 转回到图1，在104处，方法100包括接收经调制反射光。例如，图2示出接收经调 制反射光210的深度相机202,该经调制反射光210从场景204中的表面反射回到深度相机 202〇
[0019]深度相机202可以包括被配置成接收经调制反射光210的多个像素212。多个像 素212中的每一个可以被配置成针对一个或多个不同的调制频率检测所接收到的反射光 的时变幅度。照此，每一个像素能够查明到达该像素的反射光的特定调制。作为一个非限 制性示例，每一个像素可以被配置成在三个不同时间处对经调制光的强度进行采样，因而 允许确定周期性调制的相位。另外，每一个像素可以针对不同调制频率中的每一个进行这 样的米样。
[0020] 转回到图1，在106处，方法100包括在多个像素中的每一个处观察经调制光照光 与经调制反射光之间的相位差。可以针对经调制光照光的每一个不同的调制频率观察相位 差。作为一个示例，针对每一个像素从深度相机捕获的数据可以表示为：
其中A是经调制幅度并且^1:是相位差。
[0021] 例如，图3示意性地示出针对一个像素和一个调制频率的经调制光照光206'和经 调制反射光210'的理想化图线302。时间（t)在水平轴上表示，并且幅度（A)在竖直轴上 表示。可以基于匹配对应光照和反射光的调制参数而将输出光照光206'的时间与检测到 对应反射光210'的时间比较。例如，如果光照光具有周期性的最大值、最小值和/或其它 可识别参数，这样的参数可以在反射光中标识。图3示出经调制光照光206'的局部最大值 304与经调制反射光210'的对应局部最大值306之间的可观察相位差。虽然图3示出 相位差可以基于利用最大经调制强度进行光照与观察到在反射光中的对应最大经调制强 度之间的时滞来确定，但是要理解的是，任何合适的信号分析都可以用于确定相位差。类似 地，虽然图3示出正弦波调制，但是要理解的是，可以使用任何合适的调制。
[0022] 所检测到的相位差可以用于计算从相机到反射光的表面的距离，因为光的环程飞 行时间与反射表面的距离成比例。照此，可以将表面的深度表述为所检测到的相位差的函 数。
[0023] 图4Α示出对于一个调制频率、针对多个像素402的相对相位差的视觉表示。在图 4Α中，每一个像素的X和y坐标对应于该像素相对于其它像素的位置。每一个像素的ζ坐 标对应于针对该像素和该调制频率所检测到的相位差。具有较大z坐标的像素具有较大相 位差。在图4A中未表示出幅度。另外，要理解的是，z坐标表示相位差，其可以用于计算实 际深度，但是其自身不等于深度。
[0024] 转回到图1，在108处，方法100包括针对多个像素中的每一个而识别该像素针对 该调制频率的边缘性。特定像素的边缘性是该像素的相对相位差相比于一个或多个相邻像 素的(多个)相对相位差的度量。与具有类似相位差的其它像素相邻的像素将具有相对低的 边缘性。另一方面，与具有明显不同的相位差的像素相邻的像素将具有相对高的边缘性。
[0025]使用图4A作为示例，像素404具有相对低的边缘性，因为其具有与其所有相邻像 素近似相同的相位差（即z坐标)。另一方面，像素406具有相对高的边缘性，因为其三个相 邻像素(像素408,像素410和像素412)具有明显不同的相位差（即z坐标)。
[0026]数值可以用于表示特定像素的边缘性。例如，像素相对于一个相邻像素的押可 以计算如下：
其中#是具有等于针对特定调制频率的像素的相位差的角度的矢量，并且是具有 等于针对该特定调制频率的相邻像素的相位差的角度的矢量。
[0027]Ed.gq可以取〇和1之间的任何值。当相邻像素之间的相位差逼