专利名称：根据空间光图案生成深度数据的制作方法
技术领域：
本公开总体上涉及生成深度数据。
背景技术：
除非本文另外指出，否则本节中描述的素材不是本申请权利要求的现有技术，并且不应因包括在本节中而承认是现有技术。用于立体观看的图像包括可以针对左眼的图像和针对右眼的图像。典型地，观看者可以使用特殊眼镜，该眼镜使得右眼仅能看到针对右眼的图像，而左眼仅能看到针对左眼的图像，由此观看者能够感知三维场景。存在两种典型方法来传输针对立体观看的图像数据。第一方法可以涉及同时发送左眼和右眼图像，这导致需要传输两倍于普通2D图像数据的数据。第二方法可以涉及根据左眼图像和右眼图像生成深度图，然后和左眼或右眼图像一起传输结果的深度图。数据的接收方可以使用深度图来重建两个图像中的没有被发送的一个。第二方法还可能导致传输比正常2D图像数据更多的数据量。此外，需要在传输侧产生深度图可能会导致附加的计算负荷。
发明内容
根据一个或多个实施例，一种生成深度数据的方法包括:获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并且通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。根据一个或多个实施例，一种生成深度数据的装置包括:图像接收单元，配置成接收空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；以及深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。根据一个或多个实施例，一种生成深度数据的系统包括:投影单元，配置成投影空间光图案；成像单元，配置成捕获空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；以及深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。以上概要仅是示意性的并不意在以任何方式进行限制。除了上述示意性方面、实施例和特征以外，参照附图和以下详细描述其他方面、实施例和特征将变得显而易见。
说明书的结束部分中具体指出并且清楚地要求保护本公开的主题。根据以下说明和所附权利要求，结合附图，本公开的前述和其他特征将更加清楚。在认识到这些附图仅仅示出了根据本公开的一些实施例且因此不应被认为是限制本公开范围的前提下，通过使用附图以额外的特征和细节来描述本公开。图1是示出了深度数据生成系统的示例的图；图2是不出了空间光图案的不例的图；图3是示出了空间光图案的模糊度示例的图，其中空间光图案的模糊度在对象表面上沿深度方向单调增大；图4是示出了深度数据生成装置的配置示例的方框图；图5是示出了由深度数据生成装置执行的生成深度数据的方法的流程图；图6是示出了反射率校正单元的配置示例的方框图；图7是示出了由反射率校正单元执行的执行亮度校正的过程的流程图；图8是示出了深度图生成单元的配置示例的方框图；图9是示出了由深度图生成单元执行的用于确定深度数据的方法的流程图；以及图10是示出了沿深度方向的单调模糊度增大的示例的图；所有附图均按照本文所述的至少一些实施例设置。
具体实施例方式以下详细说明描述了各种示例以及特定细节来提供对于要求保护的主题的全面理解。然而，本领域技术人员可以理解，要求保护的主题可以实现为不具有本文公开的一个或多个特定细节。此外，在一些情况下，不再详细描述公知的方法、过程、系统、组件和/或电路以避免不必要地模糊要求保护的主题。在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，类似符号通常表示类似部件，除非上下文另行指明。
具体实施方式
部分、附图和权利要求书中描述的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性描述以及附图中图示的本公开的各方案可以以多种不同配置来设置、替换、组合、分割和设计，所有这些不同配置来设置、替换、组合、分割和设计均明确包含于此。本公开尤其涉及与生成深度数据相关的方法、装置、设备和/或系统。简言之，本文总体上描述了一种用于生成深度数据的方法和装置。在一些示例中，方法可以包括获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并且通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。图1是示出了根据本文所述至少一些实施例设置的深度数据生成系统的示例的图。图1所示的深度数据生成系统10可以包括投影单元11、成像单元12和深度数据生成装置13。为了便于描述，由坐标系的x、y和z轴来表示空间中的三个正交方向，其中z轴对应于投影单元11和成像单元12的深度方向。投影单元11可以配置成发射空间光图案。投影单元11可以是能够投影由胶片介质或类似介质生成的高清晰度图像的传统投影仪。备选地，投影单元11可以是使用液晶显示板的数字投影仪或使用数字微镜器件的DLP(数字光处理)投影仪。在这种情况下，可以将要投影的空间光图案的显示数据输入到投影单元11。成像单元12可以配置成捕获空间光图案投影到的一个或多个对象16到18的图像。成像单元12可以是使用成像器件(例如CCD (电荷耦合器件)图像传感器或CMOS (互补金属氧化物半导体)图像传感器)的摄像机。可以调整投影单元11和成像单元12的光学系统参数，以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。接下里将详细描述如何实现这种光学系统参数。成像单元12可以操作为静态摄像机从而一次产生单个图像，或者可以操作为视频或运动摄像机从而在激活状态期间连续产生一系列图像。将成像单元12产生或生成的图像提供到深度数据生成装置13。图像的提供可以经由暂时性介质14或非暂时性介质15。暂时性介质14可以是传输电信号的通信线路，或者可以是传输电磁信号的空间。非暂时性介质15可以是有形记录介质，例如紧致盘(CD)、数字多用途盘(DVD)、存储卡等。深度数据生成装置13可以配置成产生深度数据，深度数据指示了在与成像单元12捕获的图像中任意给定x、y位置相对应的像素处沿深度方向的位置z。可以从成像单元12捕获的图像中提取这种深度数据。即，深度数据生成装置13可以通过分析由成像单元12捕获的图像来生成对例如对象16到成像单元12的距离加以指示的深度数据。深度数据生成装置13可以生成对图像中所有像素处的深度加以表示的深度图。为了生成深度数据，投影单元11可以计算感兴趣像素周围的局部图像区域中图像的预定空间频率分量值。然后，投影单元11可以通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。如前所述，所捕获图像中空间光图案的模糊度可以沿深度方向z单调增大或减小。在这种情况下，预定空间频率分量值可以沿深度方向z单调增大或减小。深度和预定空间频率分量值之间的关系可以设置为数学公式。备选地，可以预先获取深度和预定空间频率分量值之间的关系并作为查找表等存储在存储器中。当确定深度数据时可以参考这种查找表，因此可以在表中定位与针对感兴趣像素计算的预定空间频率分量值相对应的深度值。图2是示出了根据本文所述至少一些实施例设置的空间光图案的示例的图。在该示例中，空间光图案可以是棋盘图案，其中沿垂直方向和水平方向交替地排列黑色方形区域和白色方形区域。投影单元11和成像单元12可以配置成实质上具有相同的视角。在这种情况下，与表面到投影单元11的距离z无关，该表面上由投影单元11投影的空间光图案的每个方形区域在成像单元12拍摄的图像中看起来具有恒定的二维尺寸。即，在图1所示的示例中，当由成像单元12观看时，投影到对象16的表面上的空间光图案看起来具有与投影到对象17或18的表面上的空间光图案相同的尺寸。投影单元11可以配置成在沿深度方向的点Zpf处具有焦点位置，因此焦点Zpf比成像单元12捕获的任意对象(例如16、17、18)更近。这种布置可以保证空间光图案的模糊度在位于深度z处的对象表面上沿深度方向z单调增大。投影单元11可以具有比任意对象距离投影单元11都远的焦点位置。这种布置可以保证空间光图案的模糊度在位于深度z处的对象表面上沿深度方向z单调减小。图3是示出了根据本文所述的至少一些实施例设置的对象表面上沿深度方向z单调增大的空间光图案的模糊度的示例。在图3中，由成像单元12捕获的图像30可以包括对象16的图像31 (参见图1)、对象17的图像32和对象18的图像33。如图1所示，可以沿深度方向z按照所示的顺序排列对象16、对象17和对象18，其中对象16距离成像单元12最近。在这情况下，投影到最近对象16上的空间光图案34可以最为清晰，投影到最远对象18上的空间光图案36可以最为模糊，而投影到对象17上的空间光图案35在清晰度方面居中。在感兴趣的局部图像区域中，通过分析预定频率分量的值可以从图像30中提取深度数据，该值是图像30中出现的空间光图案34、35和36的模糊程度的函数。可以配置由投影单元11投影的空间光图案以便出现在所捕获图像30中的空间光图案34、35和36精细到观看图像30的人不会辨认出存在空间光图案。可以通过使用数字投影仪来产生这种精细的光图案，数字投影仪可以采用具有大量像素的液晶显示板，例如1280X1024像素、1920X1080像素等。在通常的观看条件下，人类观众不会察觉到几个像素大小那么小的细节。即，图像中出现的空间光图案可以在高于当观察图像时对于人类视觉可察觉的空间频率的空间频率处具有周期性。这种布置可以保证，从美学观点来看，图像30的质量不会由于叠加空间光图案而被破坏。然而，可以注意到棋盘图案的每个方形区域的尺寸可以沿X方形和y方形是像素尺寸的至少两倍大。这种布置可以保证成像单元12实现了适当的采样间距以便提取有关空间光图案的频率分量的准确信息。以上关于图3的图像30中出现的空间光图案提供的描述没有考虑成像单元12的聚焦。例如，如果成像单元12是针孔摄像机，则成像单元12能够对任意距离处的任意对象聚焦。在这情况下，投影到给定对象表面上的空间光图案在所捕获的图像中可能会出现模糊，因为它在对象表面上。即，在一些情况下可以忽视成像单元12的聚焦。然而，在实际中成像单元12的光学系统的特性可能会影响出现在捕获的图像中的空间光图案的模糊度。即，当根据成像单元12捕获的图像来生成深度数据时，除了投影单元11的聚焦以外还需要考虑到成像单元12的聚焦。在一些情况下，成像单元12可以聚焦在作为感兴趣对象的对象16上。在其他情况下，成像单元12可以聚焦在作为感兴趣对象的对象17上，然后聚焦在作为下一个感兴趣对象的对象18上。下面将进一步描述如何考虑成像单元12的聚焦以及其焦点位置的改变。然而，这里可以注意到，与成像单元12的聚焦无关，可以容易地进行设置以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。通过以下方式可以提供这种单调特性:保证相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大(或减小)是主导的。图4是示出了根据本文所述的至少一些实施例设置的深度数据生成装置13的配置的示例的方框图。图4所示的深度数据生成装置13可以包括图像接收单元41、频率分量计算单元42、反射率校正单元43、深度图生成单元44和频率检测单元45。图5是示出了根据本文所述的至少一些实施例设置的由深度数据生成装置13执行的用于产生深度数据的方法的流程图。如图所示，示例方法可以包括如一个或多个框S1、S2、S3、S4、S5和/或S6所示的一个或多个操作、动作或功能。例如，由于可以使用图4所示的深度数据生成装置13来实现图5中的方法，参考图4和图5来描述用于生成深度数据的方法。图像接收单元41可以从成像单元12接收空间光图案投影到的一个或多个对象的图像。在该图像中，空间光图案的模糊度可以沿深度方向单调增大或减小。可以在框SI开始处理。在框SI，频率检测单元45可以将图像划分为块，每一个块可以是包括像素阵列的矩形图像区域。处理可以从框SI继续到框S2。在框S2，频率检测单元45可以向每一块应用正交变换，例如傅里叶变换或哈达马变换，以针对每个块获取频率分量F (u，V)。这里，F(u,v)可以是像素数据b(x，y)的离散傅里叶变换(或哈达马变换或任意其他正交变换)，像素数据b(x，y)表示与感兴趣块相对应的像素阵列的像素值。坐标X和y可以表示感兴趣块中的像素位置。变量u表示沿X方向的空间频率，变量V表示沿y方向的空间频率。处理可以从框S2继续到框S3。在框S3，频率检测单元45可以将所有块的F (u，v)相加以获取S (U，v)，并可以得到阈值频率以上的频率范围内的S(u，v)的最大值。当图像中具有N个块时，S(u，v)可以
是第一块的F (u，V)、第二块的F (u，V)、第三块的F (u，v)......以及第N块的F(u，v)之和。
由于图像中包括特定空间频率处的空间光图案周期性，S(u，v)可以在特定阈值频率以上的频率范围内的该空间频率处具有局部最大值。通过考虑空间光图案具有周期性时的空间频率可以确定该阈值频率。例如，可以将阈值频率设为低于上述空间频率但高于可归于所捕获场景的图像信息的大多数频谱。由于可归于所捕获场景的图像信息(即，除了可归于投影空间光图案的图像信息以外)的大多数频谱处于较低频率处，设置这种阈值频率使得可以检测可归于投影空间光图案的频谱的局部最大值。按照这种方式，可以检测到空间光图案具有周期性时的空间频率(Um, vffl)。处理可以从框S3继续到框S4。在框S4，频率分量计算单元42可以向坐标(x，y)处每个感兴趣像素周围的局部图像区域应用正交变换，例如傅里叶变换或哈达马变换，以获取频率分量Fx,y (um，vm)。该局部图像区域可以是以坐标(x，y)为中心的矩形图像区域。这里，Fx,y(u，v)可以是像素数据的离散傅里叶变换(或哈达马变换或任意其他正交变换)，像素数据是局部图像区域的图像阵列的像素值。处理可以从框S4继续到框S5。在框S5，反射率校正单元43可以针对不同对象反射率来校正Fx,y(um，vm)。由投影单元11投影的空间光图案可以被对象表面反射到达成像单元12。反射光的强度可以取决于对象表面的反射率。结果，所捕获图像的像素值(即，亮度值)取决于每个对象表面的反射率。随着对象表面的反射率增大，位于与该对象表面相对应的图像区域中的像素的像素值也可以增大。由此Fx, Juii1, vj的值也取决于对象表面反射率。反射率校正单元43可以去除由对象表面反射率的差异引起的Fx,y(um，Vm)的变化。接下来将详细描述该校正处理。处理可以从框S5继续到框S6。在框S6，深度生成单元44可以根据校正的FxiyOv vj和查找表来生成深度图。查找表可以指示深度(即，沿z方向的位置)和空间频率分量值Fx,yOv Vm)之间的关系。可以预先准备该查找表并将其存储在存储器中。图6是示出了根据本文所述的至少一些实施例设置的反射率校正单元43的配置示例的方框图。图6所示的反射率校正单元43可以包括全局平均亮度计算单元61、校正单元62和局部平均亮度计算单元63。图7是示出了根据本文所述的至少一些实施例设置的由反射率校正单元43执行的用于执行亮度校正的方法的流程图。如图所示，示例方法可以包括如一个或多个框S21、S22和/或S23所示的一个或多个操作、动作或功能。例如，由于可以使用图6所示的反射率校正单元43来实现图7中的方法，参考图6和图7来描述用于执行亮度校正的方法。处理可以在框S21开始。在框S21，全局平均亮度计算单元61可以计算整个图像的平均亮度DCa。可以通过将所有像素值相加并将得到的和除以像素的数目来计算整个图像的平均亮度dca。备选地，可以通过与Fx,y (iv vm) —起获取的直接当前分量Fx,y (O，0)来计算整个图像的平均亮度DCao由于直接当前分量Fx,y(0，0)与局部图像区域中像素值的总和成比例，全局平均亮度计算单元61可以使用Fx，y(0，0)来获取整个图像的平均亮度DCa。处理可以从框S21继续到框 S22。在框S22，局部平均亮度计算单元63可以计算坐标(x，y)处每个感兴趣像素周围的局部图像区域的平均亮度DCxy。可以通过将局部图像区域的所有像素值相加并将得到的和除以像素的数目来计算局部图像区域的平均亮度DCxy。备选地，可以从直接当前分量Fx,y(0，0)直接获取局部图像区域的平均亮度DCxy。处理可以从框S22继续到框S23。在框S23，校正单元62可以针对亮度校正将Fj^yOv vm)与DCA/DCxy相乘。可以注意到局部图像区域的局部平均亮度DCxy可以与对应于该局部图像区域的对象表面的反射率成比例。此外，Fx,y(Um，Vm)的值也与对应于该局部图像区域的对象表面的反射率成比例。因此，与DCA/DCxy相乘能够从Fx,y(um，vffl)中去除对象表面反射率变化的影响。还可以注意到为了去除对象表面反射率变化的影响，将Fx,y(um，vffl)与1/1)(；7相乘就足够了。图8是示出了根据本文所述的至少一些实施例设置的深度图生成单元44的配置示例的方框图。图8所示的深度图生成单元44包括摄像机参数获取单元81、A(Z)计算单元82、LUT生成单元83、深度计算单元84、和指示了 B(Z)的LUT(查找表)85。A(z)可以表示沿深度方向的位置和由投影空间光图案的投影单元11引起的空间光图案的模糊度之间的关系。B(Z)可以表示沿深度方向的位置和由捕获图像的成像单元12引起的空间光图案的模糊度之间的关系。图9是示出了根据本文所述的至少一些实施例设置的由深度图生成单元44执行的用于确定深度数据的方法的流程图。如图所示，示例方法可以包括如一个或多个框S31、S32、S33、S34和/或S35所示的一个或多个操作、动作或功能。所示的示例方法通过组合投影单元11的聚焦效果和成像单元12的聚焦效果来确定深度数据。例如，由于可以使用图8所示的深度图生成单元44来实现图9`中的方法，通过参考图8和图9来描述用于确定深度数据的方法。处理可以在框S31开始。在框S31，摄像机参数获取单元81可以从成像单元12获取沿z方向的焦点位置zcf和光圈大小D。摄像机参数获取单元81还可以获取焦点位置(xtf, yrf),成像单元12在x-y平面内的该点处聚焦在对象表面上。典型地以焦距f 和f 数N的形式来提供光圈大小D。然后，光圈大小D( S卩，入射光孔的直径)可以被计算为D = f/N。处理可以从框S31继续到框S32。在框S32，A(z)计算单元82可以根据焦点位置Zrf和光圈大小D，根据深度z来计算由摄像机光学系统(即，成像单元12)引起的空间图案频率的深度相关幅度变化A(Z)。该深度相关幅度变化A(Z)可以表示当由聚焦于焦点位置Zrf的成像单元12观看时，位于深度z处的表面上空间光图案的空间频率(um，Vm)的幅度。该空间光图案可以是在位于深度z的表面上没有模糊的理想空间光图案。即，在不存在由投影单元11引起的空间光图案的模糊的情况下，深度相关幅度变化A(Z)可以仅考虑到由成像单元12引起的空间光图案的模糊。可以如下获取深度相关幅度变化A(Z)。可以将聚焦在距离Zef的成像单元12的点扩展函数表示为psf (X, y), psf(x, y)在具有直径Dz/(zef+z)的圆形区域内的值为(2(zcf+z)/Dz)2/pi (pi = 3.14......)，该圆形区域外的值为零。因此，当 p(x, y) = p0(x,
y)*psf(x, y, z)时,位于深度z的空间光图案可以出现在由成像单元12捕获的图像中，其中Po(x，y)是位置Zrf处的空间光图案，符号表示卷积运算。可以将p(x，y)相对于X和y的正交变换(例如傅里叶变换或哈达马变换)表示为P (u，v) = P0 (u，v) PSF (u，v, z)，其中P0(u,v)和PSF(u,v,z)分别是pQ(x,y)和psf(x,y, z)的正交变换。然后，深度相关幅度变化A(Z)可以等于P(um，vm)，其中(Um，Vni)是空间光图案具有周期性时的空间光频率。处理可以从框S32继续到S33。在框S33，LUT生成单元83可以根据A(Z)和B(Z)，生成对Fx,y(um,vm)和深度z之间的关系加以指示的查找表Bc(z)，其中B(Z)表示由投影系统11引起的空间光图案的模糊度。可以按照以下方式预先获取B(Z)。首先，按照图1所示的连接，投影单元11可以将空间光图案(例如棋盘图案)投影到位于深度z的空白平坦表面(例如，白色平坦表面)上，同时聚焦于深度zpf。然后，由聚焦于位于深度z处该表面上的成像单元12捕获位于深度Z的表面上的该空间光图案的图像。所捕获的图像中的空间光图案p(x，y，z)可以包括由投影单元11引起的模糊，但可以不包括由成像单元12引起的模糊。当将相对于X和y的p(x, y, z)的正交变换称作P(u, v, z)时,可以将B(z)表示为P (um, vm, z)。将预先按照这种方式获取的B(Z)作为查找表B(Z)存储在存储器中。然后，将同时以由投影单元11引起的模糊度和由成像单元12引起的模糊度作为因子的深度相关幅度变化表示为A(Z)B(Z)。即，可以将A(Z)B(Z)存储为查找表Bc(Z)。可以注意到，备选地，通过投影单个光斑而不是例如棋盘图案的空间光图案，可以将B(Z)获取为点扩展函数的深度相关特性。还可以注意至IJ，可以备选地作为近似投影单元11的点扩展函数的数学公式来获得B (z)。点扩展函数可以类似于之前所述的psf (x，y，z)，或者可以表示为高斯函数。当将B(Z)提供为数学公式时，也可以将Be (z)获取为数学公式而不是查找表。处理可以从框S33继续到框S34。在框34，深度计算单元84可以针对亮度因子对Fx, y(um，vffl)进行标准化。如前所述，针对反射率变化由反射率校正单元43校正的频率分量的值可以是Fx,y(um，vm)DCA/DCxy0在图9的框SI，可以从成像单元12获取焦点位置(xrf，yrf)，成像单元12在对象表面上x-y平面中的该点处聚焦。可以将该焦点位置(xrf, ycf)处Fx,y(um, vm)DCA/DCxy的值表示为Rxy。然后，深度计算单元84可以通过将所捕获的图像中任意给定空间坐标(x，y)处Fx,y Ov vjDCA/DCxy的值与Be (zcf) /Rxy相乘，对该值进行标准化。该标准化过程可以保证焦点深度Zrf处的焦点位置(xrf，ycf)的空间频率(IV vffl)的幅度等于Bc(zrf)。处理可以从框S34继续到框S35。在框S35，深度计算单元84可以根据标准化的Fx,y(um，vj和Be (z)来确定每个像素位置处的深度。即，深度计算单元84可以参考查找表Bc(Z)来得到与(Fx,y(um，vffl)DCa/DCxy) XBc(Zef)/Rxy相关联的深度z。在查找表Be (Z)中得到的深度z可以是对应于像素位置(x，y)的对象表面在由成像单元12捕获的场景中所处的深度。按照上述方式，在深度图生成单元44生成的深度图中，可以同时考虑到由投影单元11引起的空间光图案的模糊度和由成像单元12引起的空间光图案的模糊度。此外，如前所述，与成像单元12的聚焦无关，可以容易地进行设置以便所捕获图像中空间光图案的模糊度沿深度方向z单调增大或减小。通过以下方式可以提供这种单调特性:保证相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大(或减小)是主导的。图10是示出了根据本文所述的至少一些实施例设置的沿深度方向单调模糊度增大的示例的图。水平轴可以表示深度z，垂直轴可以表示空间频率(um，Vm)的幅度。特性曲线91可以对应于A(Z)，A(z)可以表示由成像单元12引起的空间光图案的模糊度。成像单元12可以在感兴趣对象处具有焦点位置，因此特性曲线91可以沿深度方向z在该焦点位置处具有最大波峰。特性曲线92可以对应于B(Z)，B(z)可以表示由投影单元11引起的空间光图案的模糊度。投影单元11可以沿深度方向z在最近位置处具有焦点位置，因此，随着深度z增大，特性曲线单调下降。即，随着深度z增大，由特性曲线92表示的模糊度可以单调增大。如图10所示，进行设置以便相对于由成像单元12引起的沿深度方向的模糊度改变，由投影单元11引起的沿深度方向的单调模糊度增大是主导的。因此，随着深度z增大，对应于Bc(z) =A(Z)B(Z)的特性曲线93可以单调下降。S卩，随着深度z增大,通过组合由投影单元11引起的模糊度和成像单元12引起的模糊度获取的模糊度可以单调增大。利用这种模糊度特性，可以根据空间频率(IVvm)的给定幅度来唯一地确定深度数据。本公开中对于术语“响应”或“响应于”的引用并不局限于仅响应特定特征和/或结构。特征还可以响应于其他特征和/或结构，并且还处于该特征和/或结构内。此外，当
本文中或随后的权利要求书中使用诸如“耦接”或“响应”或“响应于”或“与......进行
通信”等术语或短语时，应当广义地理解这些术语。例如，在使用短语“耦接”的上下文中，该短语可以是指适当地在通信上、电学上和/或操作上耦接。根据对于存储在计算系统存储器(例如计算机存储器)中的数据比特或二进制数字信号的操作的算法或符号表述来呈现前述详细描述的一些部分。这些算法描述或表述是数据处理技术领域的普通技术人员使用的技术示例，以便将其工作的实质传达给该领域中的其他技术人员。这里的算法总体上被视为运算的自相一致序列或导致期望结果的类似处理。在该上下文中，运算或处理涉及物理量的物理操纵。典型地，尽管不是必要地，这种物理量可以采用能够被存储、传送、组合、比较或操纵的电或磁信号的形式。主要针对常见用途，有时便利地将这种信号称作比特、数据、数值、元素、符号、字符、术语、数、数字等。然而，应当理解所有这些和类似术语均与适当的物理量相关联，并且仅为便利标记。除非特别另外指出，如根据以下讨论中显见的是，可以理解，贯穿本说明书讨论使用的术语(例如“处理”、“计算处理”、“计算”、“确定”等)是指计算设备的动作或处理，该计算设备操纵或变换计算设备的存储器、寄存器或其他信息存储设备、传输设备或显示设备中被表示为物理电子或磁量的数据。以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一个或多个计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路
坐、
寸/ o本领域技术人员应认识到，本领域普通以上述方式描述设备和/或工艺，以及此后使用工程实践来将所描述的设备和/或工艺集成到数据处理系统中。也即，这里所述的设备和/或工艺的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或多项:系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制电机(例如，用于感测位置和/或速度的反馈；用于移动和/或调节成分和/或数量的控制电机)。典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。本公开所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，这里组合任意两个部件实现具体功能可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合的具体示例包括但不限于物理上可配对和/或物理上交互的部件，和/或无线交互和/或可无线交互的部件，和/或逻辑交互和/或可逻辑交互的部件。至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词(例如，不定冠词应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有
A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和
B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。还应当理解,术语“优化”可以包括最大化和/或最小化。术语“最小化”和/或这里使用的类似术语可以包括全局最小值、局部最小值、近似全局最小值和/或近似局部最小值。类似地，还应当理解，术语“最大化”和/或这里使用的类似术语可以包括全局最大值、局部最大值、近似全局最大值、和/或近似全局最大值。说明书中对“实现”、“一种实现”、“一些实现”或“其他实现”的引用可以意味着结合一种或多种实现描述的特定特征、结构或特性可以包括在至少一些实现中，而不必包括在所有实现中。先前说明书中出现的“实现”、“一种实现”或“一些实现”不必全指相同实现。尽管本文已经使用各种方法和系统描述并示出了特定示例技术，本领域技术人员应当理解，在不脱离要求保护的主题的前提下，可以进行各种其他修改并替换等同物。此夕卜，在不脱离本文所述的中心思想的前提下，可以进行多种修改以将特定情形与要求保护的主题的教旨相适配。因此，要求保护的主题不局限于所公开的特定示例，这种要求保护的主题还可以包括落在所附权利要求及其等同物的范围内的所有实现方式。
权利要求
1.一种生成深度数据的方法，包括: 获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小； 计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并且 通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。
2.根据权利要求1所述的方法，还包括:检测图像的空间频谱在阈值频率以上的频率范围内具有最大值时的空间频率，其中空间频率分量的计算值是检测到的空间频率处的空间频率分量值，图像中空间光图案至少在所述阈值频率以上的空间频率处具有周期性。
3.根据权利要求1所述的方法，其中，图像中空间光图案具有周期性的空间频率高于当观察图像时对于人类视觉可察觉的空间频率。
4.根据权利要求1所述的方法，其中，局部图像区域是矩形区域，计算空间频率分量值包括通过向矩形区域应用正交变换来计算空间频率分量。
5.根据权利要求1所述的方法，还包括:针对图像的局域图像区域中出现的对象的反射率来校正空间频率分量的计算值。
6.根据权利要求5所述的方法，其中，通过将计算值除以局部图像区域中图像的平均亮度来校正计算值。
7.根据权利要求1所述的方法，还包括: 获取对沿深度方向的位置和由用于投影空`间光图案的投影系统引起的空间光图案的模糊度之间的第一关系加以指示的第一数据； 获取对沿深度方向的位置和由用于捕获图像的成像系统引起的空间光图案的模糊度之间的第二关系加以指示的第二数据；并且 根据第一数据和第二数据计算深度和空间频率分量值之间的预设关系。
8.根据权利要求7所述的方法，其中，获取第二数据包括: 获取对沿深度方向的成像系统的焦点位置和成像系统的透镜光圈尺寸加以指示的数据；并且 根据接收到的数据，相对于沿深度方向的不同位置计算由成像系统引起的空间光图案的模糊度。
9.根据权利要求7所述的方法，其中，获取第一数据包括: 将空间光图案从投影系统投影到平坦单调表面； 通过使用聚焦在所述表面上的成像系统来捕获投影在所述表面上的空间光图案的图像；并且` 相对于沿深度方向的不同点处设置的平坦单调表面，执行投影空间光图案和捕获空间光图案的图像。
10.一种生成深度数据的装置，包括: 图像接收单元，配置成接收空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小； 频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；以及深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。
11.根据权利要求10所述的装置，还包括:频率检测单元，配置成检测图像的空间频谱在阈值频率以上的频率范围内具有最大值时的空间频率，其中空间频率分量的计算值是检测到的空间频率处的空间频率分量的值，图像中空间光图案至少在所述阈值频率以上的空间频率处具有周期性。
12.根据权利要求10所述的装置，其中，图像中空间光图案具有周期性时的空间频率高于当观察图像时对于人类视觉可察觉的空间频率。
13.根据权利要求10所述的装置，其中，频率分量计算单元配置成通过向作为局部图像区域的矩形区域应用正交变换来计算空间频率分量。
14.根据权利要求10所述的装置，还包括:反射率校正单元，配置成针对图像的局域图像区域中出现的对象的反射率来校正空间频率分量的计算值。
15.根据权利要求14所述的装置，其中，反射率校正单元配置成通过将计算值除以局部图像区域中图像的平均亮度。
16.根据权利要求10所述的装置，其中，深度图生成单元包括: 数据存储单元，配置成存储对沿深度方向的位置和由用于投影空间光图案的投影系统引起的空间光图案的模糊度之间的第一关系加以指示的第一数据； 模糊度数据获取单元，配置成获取对沿深度方向的位置和由用于捕获图像的成像系统引起的空间光图案的模糊度之间的第二关系加以指示的第二数据；以及 关系计算单元，配置成根据第一数据和第二数据计算深度和空间频率分量值之间的预设关系。
17.根据权利要求16所述的装置，还包括参数获取单元，配置成获取对沿深度方向的成像系统的焦点位置和成像系统的透镜光圈尺寸加以指示的数据，其中模糊度数据获取单元配置成根据焦点位置和透镜光圈，相对于沿深度方向的不同位置计算由成像系统引起的空间光图案的模糊度。
18.—种生成深度数据的系统，包括: 投影单元，配置成投影空间光图案； 成像单元，配置成捕获空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小； 频率分量计算单元，配置成计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；以及 深度图生成单元，配置成通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。
19.根据权利要求18所述的系统，还包括反射率校正单元，配置成针对图像的局域图像区域中出现的对象的反射率，通过将计算值除以局部图像区域中图像的平均亮度来校正空间频率分量的计算值。
20.根据权利要求18所述的系统，其中，深度图生成单元包括: 数据存储单元，配置成存储对沿深度方向的位置和由投影单元引起的空间光图案的模糊度之间的第一关系加以指示的第一数据；模糊度数据获取单元，配置成获取对沿深度方向的位置和由成像单元引起的空间光图案的模糊度之间的第二关系加以指示的第二数据；以及 关系计算单元，配置成根据第一数据和第二数据计算深度和空间频率分量值之间的预设关 系。
全文摘要
总体上描述了用于根据空间光图案生成深度数据的技术。在一些示例中，一种生成深度数据的方法包括获取空间光图案投影到的一个或多个对象的图像，其中在图像中空间光图案的模糊度沿深度方向单调增大或减小；计算感兴趣像素周围的局部图像区域中图像的空间频率分量值；并通过使用深度和空间频率分量值之间的预设关系来确定与空间频率分量的计算值相对应的深度数据。
文档编号G06T1/00GK103109158SQ20108006756
公开日2013年5月15日 申请日期2010年10月5日 优先权日2010年10月5日
发明者上平员丈, 铃木雅洋 申请人:英派尔科技开发有限公司