组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统的制造方法与工艺

组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统相关申请案的交叉引用本申请案根据35U.S.C.§119(e)权益主张2012年11月14日申请的美国临时专利申请案第61/726,387号的优先权并主张2012年年12月21日申请的美国非临时专利申请案第13/723,873号的优先权，这些专利申请案的内容明确地通过引用结合在此。技术领域各种特征是有关于主动深度感测，且更具体来说是有关于用于在执行使用结构光的主动深度感测系统时补偿场景中的对象的不同反射率/吸收系数的技术。

背景技术：
在主动感测中，在被常称作“结构光”的过程中使用已知图案(例如，代码掩码)来照明场景或对象。投影于场景或对象上的图案的结构编码所述场景或对象的深度信息。一旦在接收到的图像中找到所述图案，便可重构3维场景或对象。可使用已知的所投影图案与经解码图案之间的关系来导出关于所捕获场景的深度信息。接收器/相机传感器可从入射光捕获场景的图像，所述入射光是来自于光源到所述场景(例如，个人、对象、场所等)上的反射。入射光的强度可取决于：(a)场景中的表面的反射系数性质；(b)产生所投影图案的光的功率；和/或(c)环境光。如果相机传感器上的入射光太强，那么其使传感器饱和。如果入射光太弱，那么相机传感器不捕获场景的反射率的变化。即使在场景内，取决于图像中正被捕获的表面的类型，仍可以同时发生两种情境(例如，所捕获光太强和太弱)。如果系统中不包含对入射光强度的调整，那么对于广泛范围的情境(不同环境光、光源的不同预设功率、不同表面类型)来说不可能捕获所投影图案(例如，代码掩码)的照度的变化。因此，需要一种解决方案以在执行使用结构光系统的场景深度感测时补偿入射光强度的变化。

技术实现要素：
下文呈现本发明的一或多个方面的简化概述，以便提供对此些方面的基本理解。此概述并非本发明的所有所涵盖特征的广泛综述，且既不希望识别本发明的所有方面的关键或至关重要要素，也不希望划定本发明的任何或所有方面的范围。其唯一目的是以简化形式呈现本发明的一或多个方面的一些概念以作为稍后呈现的更详细描述的序言。一种适于在使用结构光的主动深度感测系统中补偿表面反射率差别的装置。所述装置可包含接收器传感器和处理电路。所述接收器传感器可用来捕获上面投影有代码掩码的场景的多个图像，其中所述接收器传感器在两个或两个以上曝光时间捕获所述多个图像。所述处理电路可适于通过从每一图像提取所述代码掩码的可解码部分来组合所述多个图像中的所述两者或两者以上以产生组合图像。另外，所述处理电路进一步适于基于所述组合图像且使用所述代码掩码来断定所述场景的深度信息。在一个实例中，所述处理电路可进一步适于：(a)从所捕获的所述多个图像来断定一或多个参数；和/或(b)根据所述一或多个参数来动态地调整所述接收器传感器的所述曝光时间以改进在多个随后所捕获图像中对所述代码掩码的解码。所述接收器传感器可适于：(a)使用第一曝光时间来捕获上面投影有所述代码掩码的所述场景的第一图像；和/或(b)使用第二曝光时间来捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二曝光时间经选择以减少所述第一图像中的曝光过度或者曝光不足。类似地，还可提供一种用于在使用结构光的主动深度感测系统中补偿表面反射率差别的方法。可捕获上面投影有代码掩码的场景的多个图像，其中所述接收器传感器在两个或两个以上曝光时间捕获所述多个图像。可通过从每一图像提取所述代码掩码的可解码部分来组合所述多个图像中的所述两者或两者以上以产生组合图像。可基于所述组合图像且使用所述代码掩码来断定所述场景的深度信息。在一个实例中，可从所捕获的所述多个图像来断定一或多个参数。随后，可根据所述一或多个参数来动态地调整所述接收器传感器的所述曝光时间以改进在多个随后所捕获图像中对所述代码掩码的解码。另一个特征可包含：(a)使用第一曝光时间来捕获上面投影有所述代码掩码的所述场景的第一图像；和/或(b)使用第二曝光时间来捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二曝光时间经选择以减少所述第一图像中的曝光过度或者曝光不足。另一个实施方案提供一种适于在使用结构光的主动深度感测系统中补偿表面反射率差别的装置。所述装置可包含第一接收器、第二接收器和处理电路。所述第一接收器传感器可用来捕获上面投影有代码掩码的场景的第一图像，其中所述第一接收器传感器在第一曝光时间捕获所述第一图像。所述第二接收器传感器可用来捕获上面投影有代码掩码的所述场景的第二图像，其中所述第二接收器传感器在第二曝光时间捕获所述第二图像。所述处理电路可适于通过从每一图像提取所述代码掩码的可解码部分来组合所述第一图像和所述第二图像以产生组合图像。所述处理电路还可适于基于所述组合图像且使用所述代码掩码来断定所述场景的深度信息。在各种实施方案中，所述第一图像和所述第二图像可同期被捕获和/或以用于所述代码掩码的相同照度级被捕获。还提供一种用于在使用结构光的主动深度感测系统中补偿表面反射率差别的方法。所述方法可(a)使用第一接收器传感器来捕获上面投影有代码掩码的场景的第一图像，其中所述第一接收器传感器在第一曝光时间捕获所述第一图像；(b)使用第二接收器传感器来捕获上面投影有代码掩码的所述场景的第二图像，其中所述第二接收器传感器在第二曝光时间捕获所述第二图像；(c)通过从每一图像提取所述代码掩码的可解码部分来组合所述第一图像和所述第二图像以产生组合图像；和/或(d)基于所述组合图像且使用所述代码掩码来断定所述场景的深度信息。附图说明将在下面的具体实施方式中以及在附图中描述本发明的这些和其它样本方面。图1说明用于主动感测的系统，其中3维(3D)场景是从2维(2D)图像或信息构建的。图2说明主动感测，其中使用已知图案来照明场景或对象并获得从2维图像和/或信息产生3维信息所用的深度信息。图3说明可如何感测对象或场景的深度。图4说明示范性代码掩码400，其使用三个灰度级(例如，黑色、白色和灰色)。图5说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。图6说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。图7说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的另一种方法。图8说明使用结构光的示范性深度感测系统，其动态地调整正被捕获的场景中的对象的表面的不同反射率/吸收系数。图9说明可如何在形状调制载体内表示二进制码字。图10说明使用载体层和代码层的代码微结构的进一步细节。具体实施方式在以下描述中，给出特定细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解，可在没有这些特定细节的情况下实践所述实施例。举例来说，可以框图绘示电路以便避免以不必要的细节混淆所述实施例。在其它情况下，可不详细绘示熟知电路、结构和技术以便不混淆所述实施例。词语“示范性”在本文中用以意谓“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案或实施例未必解释为比其它实施例优选或有利。同样，术语“实施例”并不要求所有实施例均包含所论述特征、优势或操作模式。概述提供用于在执行使用结构光的主动深度感测时补偿场景中的对象的不同反射率/吸收系数的技术。提供各种特征，所述特征动态地适应并补偿正被捕获的场景中的对象的反射率/吸收的变化。第一特征提供接收器传感器，所述接收器传感器捕获上面投影有代码掩码的场景的图像。从所述所捕获图像来断定一或多个参数。随后根据所述一或多个参数来动态地调整投影光源的光源功率以改进在随后所捕获图像中对代码掩码的解码。可随后基于所捕获图像、基于代码掩码来断定场景的深度信息。在一个实例中，光源功率被固定于特定照度，而接收器传感器的曝光时间则被调整。在另一个实例中，接收器传感器的曝光时间被维持/保持于固定值，而光源功率则被调整。第二特征提供接收器传感器，所述接收器传感器在两个或两个以上(不同)曝光时间捕获上面投影有代码掩码的场景的多个图像。通过从每一图像提取代码掩码的可解码部分来组合所述多个图像中的所述两者或两者以上以产生组合图像。可随后基于组合图像且使用代码掩码来断定场景的深度信息。第三特征实现使用两个接收器传感器且每一者在不同曝光时间来捕获场景或对象。第一接收器传感器在第一曝光时间捕获上面投影有代码掩码的场景的第一图像。第二接收器传感器在第二曝光时间捕获上面投影有代码掩码的场景的第二图像。随后通过从每一图像提取代码掩码的可解码部分来组合第一图像和第二图像以产生组合图像。可随后基于组合图像且使用代码掩码来断定场景的深度信息。主动深度感测图1说明用于主动感测的系统，其中3维(3D)场景是从2维(2D)图像或信息构建的。一或多个特征用于在执行使用结构光的主动深度感测系统时补偿场景中的对象的不同反射率/吸收系数。编码器/形状调制器100可用来产生代码掩码，随后由发射器装置102经由发射信道104来投影所述代码掩码。可将代码掩码投影到目标(例如，场景或对象)上且由接收器传感器105来捕获反射光以作为图像(例如，代码掩码图像)。这个接收到的图像可经解码106并用于呈现、产生和/或提供目标的3维版本110a-e。主动感测依赖于能够从正被投影于目标上的代码掩码来认出所有空间代码(即，码字)。可将本文中描述的各种特征和方面实施为本文中说明的系统和装置的一部分。图2说明主动感测，其中使用已知图案来照明场景或对象并获得从2维图像和/或信息产生3维信息所用的深度信息。此处，发射器202使光场投影穿过代码掩码204(例如，具有代码的图像)从而将码字投影于对象或场景206上。接收器208(例如，相机传感器)捕获所投影代码掩码210和其中的码字。此实例说明如何将代码掩码204的区段/部分/窗口212投影(作为区段/部分/窗口214)到对象或场景206的表面(例如，所投影区段/部分/窗口216)上。所投影区段/部分/窗口216可随后由接收器208捕获为所捕获片段218。区段/部分/窗口212可用作可唯一地识别的码字。因此，通过以此方式用唯一码字覆盖场景或对象206，可识别/标记场景或对象206的区段/部分，且可使用此信息进行深度感测。从接收器208(相机传感器)所捕获的图像，可识别场景或对象206上的多个片段。每一片段218可在接收器208处唯一地识别，且其相对于其它片段的位置可从经译码掩码204的已知图案断定。从每一片段/部分/窗口识别代码可涉及图案分段(例如，以解决失真)和所感知片段/部分/窗口到相对应的代码的解码。另外，三角测量可应用于每一所捕获片段/部分/窗口以断定定向和/或深度。多个此些片段/部分/窗口可经组合以将所捕获图像图案拼接在一起。以此方式，可产生场景、目标或对象206的深度图207。图3说明可如何感测对象或场景的深度。此处，发射器302是在与接收器304相同的基线参考平面上。所述发射器经由孔口或透镜将代码掩码310投影到场景或对象上。此处，出于说明的目的，将所投影片段/部分/窗口312(表示码字)绘示为所发射的代码掩码310的一部分。这个代码片段/部分/窗口312可在第一距离或第二距离处投影于场景或对象306上。接收器304经由接收器孔口来捕获所投影代码掩码310。可了解，当场景或对象306位于更近处时(例如，距发射器第一距离)，所投影片段312出现在距其初始位置距离d1处。同时，当场景或对象308位于更远处(例如，距发射器第二距离)时，所投影片段/部分/窗口312出现在距其初始位置距离d2处(其中d2＜d1)。也就是说，对象距发射器/接收器越远(例如，发射器302到场景或对象308)，在接收器处接收到的所投影片段/部分/窗口距其原始位置越近(例如，传出的投影与传入的投影更加平行)。相反，对象距发射器/接收器越近(例如，发射器302到场景或对象306)，在接收器处接收到的所投影片段/部分/窗口距其原始位置越远。因此，接收到的码字位置与所发射的码字位置之间的差别给出了场景或对象的深度。在一个实例中，...