具有同时的结构化和非结构化照明的数字相机单元的制作方法

背景

红外(ir)光有时被用于数字摄影，因为其对于人类眼睛不可见。尽管ir光在传统摄影中可被过滤掉，但是相机传感器能够检测并测量它。例如，摄像机的“夜视”可利用ir光来照明场景。同样ir光可被用于计算机视觉，特别是在弱光条件下，以便得到相比于用可见光可能更稳健的照明。

概述

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

在一个实例中，一个装置包括照明单元和数字图像捕捉单元，所述照明单元配置用于同时用非结构化光照明场景的第一部分并用结构化光照明场景的第二部分，所述数字图像捕捉单元配置用于捕捉被照明场景的至少一个图像帧。

在其它示例中，连同装置的特征一起讨论了系统和方法。

通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。

附图简述

根据附图阅读以下详细描述将更好地理解本说明书，在附图中：

图1是装置的一个示例的框图；

图2是系统的一个示例的框图；

图3是方法的一个示例的流程图；

图4是方法的另一示例的流程图；

图5是方法的另一示例的流程图；

图6示出了包括人脸的场景，其第一部分为围绕眼睛的区域，而第二部分为围绕第一部分的区域；以及

图7是示出以相比于场景的其余区域而言更高的功率照明感兴趣区域的图示。

在各个附图中使用相同的附图标记来指代相同的部件。

详细描述

下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。

虽然本发明示例中的一些示例在本文中可被描述和解说成实现在智能电话或平板计算机中，但它们只是装置的示例而非限制。如本领域技术人员将理解的，这些示例适合应用于结合了数字图像捕捉单元或数字成像系统(例如，单独的数字相机设备，例如紧凑相机、slr(单镜头反光)照相机，或无反光镜可换镜头相机)的各种不同类型装置。

图1是示出了装置100的一个示例的框图，装置100可被实现为结合数字图像捕捉单元或数字成像系统的任何形式的计算设备和/或电子设备。例如，装置100可被实现为单独的数字相机设备，例如，紧凑相机、slr照相机，或无反光镜可换镜头相机，或装置100可被实现为智能手机、平板计算机、可穿戴相机或web相机。

装置100包括照明单元106。照明单元106被配置来同时用非结构化光照明场景的第一部分以及用结构化光来照明场景的第二部分。场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。照明单元106可被实现为例如发光二极管(led)。

照明单元106可包括被配置来提供结构化光的衍射光学元件(doe)107。衍射光学元件107可以是可开关的。衍射光学元件107可被实现为例如可被安装在例如照明单元106前面的透镜，使得从照明单元106发射的光穿透过该透镜。衍射光学元件107可包括第一部分，该第一部分配置用于允许从照明单元106发射的光穿透而不改变，从而提供非结构化光。衍射光学元件107可进一步包括第二部分，该第二部分配置用于在从照明单元106发射的光中引起预定图案，从而提供结构化光。

装置100进一步包括数字图像捕捉单元105。数字图像捕捉单元105被配置来捕捉被照明场景的至少一个图像帧。数字图像捕捉单元105可包括至少一个光学系统，该光学系统包括透镜布置和图像传感器，诸如电荷耦合设备(ccd)传感器或互补金属氧化物半导体(cmos)传感器。数字图像捕捉单元105可进一步包括卷帘快门。场景可包括感兴趣区域，并且照明单元106可被进一步配置来以比场景的其余区域更高的功率来照明感兴趣区域。

图2示出系统200的一个示例的框图。系统200包括装置210，装置210可被实现为结合了数字图像捕捉单元或数字成像系统的任何形式的计算设备和/或电子设备。例如，装置210可被实现为单独的数字相机设备，例如，紧凑相机、slr照相机，或无反光镜可换镜头相机，或装置210可被实现为智能手机、平板计算机、可穿戴相机或web相机。

系统200包括照明单元220。照明单元220被配置来同时用非结构化光照明场景的第一部分以及用结构化光来照明场景的第二部分。场景的第二部分可部分、完全、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。照明单元220可被实现为例如发光二极管(led)。照明单元220是可重新附连到装置210的。

照明单元220可包括被配置来提供结构化光的衍射光学器件(doe)221。衍射光学元件221可以是可开关的。衍射光学元件221可被实现为例如可被安装在例如照明单元220前面的透镜，使得从照明单元220发射的光穿透该透镜。衍射光学元件221可包括第一部分，该第一部分配置用于允许从照明单元220发射的光穿透而不改变，从而提供非结构化光。衍射光学元件221可进一步包括第二部分，该第二部分配置用于在从照明单元220发射的光中引起预定图案，从而提供结构化光。

装置210进一步包括数字图像捕捉单元215。数字图像捕捉单元215被配置来捕捉被照明场景的至少一个图像帧。数字图像捕捉单元215可包括至少一个光学系统，该光学系统包括透镜布置和图像传感器，诸如电荷耦合设备(ccd)传感器或互补金属氧化物半导体(cmos)传感器。数字图像捕捉单元215可进一步包括卷帘快门。场景可包括感兴趣区域，并且照明单元220可被进一步配置来以比场景的其余区域更高的功率来照明感兴趣区域。

装置100、210可包括一个或多个处理器101、211，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制装置100、210的操作的任何其他合适类型的处理器。可在装置100、210处提供包括操作系统103、213或任何其他合适的平台软件的平台软件，以允许在该设备上执行应用软件104、214。

可使用装置100、210能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器102等计算机存储介质和通信介质。诸如存储器102、212之类的计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，ram、rom、eprom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在装置100、210内示出了计算机存储介质(存储器102、212)，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路来访问。

图3示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤300处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。在步骤302处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。

如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。

图4示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤400处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。

在图4的示例中，场景包括感兴趣区域，并且照明步骤400包括以比场景的其余区域更高的功率来照明感兴趣区域。在步骤402处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。

如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。

图5示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤500处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。

在图5的示例中，非结构化光被用于虹膜识别而结构化光被用于深度计算。在步骤502处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。

如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。

图6示出了包括人脸610的场景600。用非结构化光照明的第一部分611是围绕眼睛的区域，而用结构化光照明的第二部分612是围绕第一部分的区域。场景600的第二部分612可部分、完全、或完全不覆盖场景600的第一部分611。在此，非结构化光可被用于例如虹膜识别而结构化光可被用于例如深度计算。

场景可包括两个以上的部分，其中至少一些可用与第二部分类似的结构化光或具有与照明第二部分的结构化光不同结构的结构化光来照明。例如，致密结构可被用于需要更多精度的部分，而稀疏结构可被用于需要较少精度的部分。

图7示出了以比场景的其余区域更高的功率对感兴趣区域的照明。场景700包括人脸710。除了具有如上讨论的用非结构化光照明的第一部分和用结构化光照明的第二部分的场景以外，场景700进一步包括感兴趣区域720(roi)。在图7的与虹膜识别相关的示例中，感兴趣区域720包括眼睛区域或虹膜区域。感兴趣区域720可覆盖场景的第一部分和/或场景的第二部分。

曲线730表示用于控制照明单元或led的功率或电流。图7的示例与包括卷帘快门的数字图像捕捉单元相关。换言之，曝光和帧读出从顶行开始，而底行曝光可例如比顶行曝光迟几十毫秒开始。因此，线731表示行曝光开始，而线732表示行曝光停止。点741表示当照明单元被打开或高功率时(即当卷帘快门曝光达到上面的虚线指示的roi顶部时)的时刻，而点742表示当照明单元被关闭或低功率时(即当卷帘快门曝光达到下面的虚线指示的roi底部时)的时刻。

在图7的示例中照明单元或led可与数字图像捕捉单元的帧读出同步被打开或关闭，使得仅例如虹膜区域(roi)720用高功率照明。替换地，代替打开关闭ir光，其可被调到高功率和低功率。这对于眼睛可能更方便，因为如果某些光始终发射那么照明源闪烁是不那么可见的。例如，大体20％的功率可被用于roi之外，反之大体上100％功率可被用于roi内。

虹膜识别通常利用红外照明单元而数字图像捕捉单元匹配ir波长。通常，近红外(nir)被使用。然而，人类眼睛通常还可看见部分nir辐射，因此nir照明单元可能对用户可见。特别地，如果nir波长接近于红色(即，接近800nm)，nir照明单元可能实际上看起来像常规红led。此外，如果功率高和/或曝光时间长，ir辐射可能对眼睛有害。

图7的示例允许减少从照明单元发射的平均功率。减少平均功率可促进使得例如ir照明单元更少可见/刺激并且对眼睛更少伤害。此外，如果在距离x的合适曝光所需ir能量是100％，则由于平方反比定律，在2x距离所需ir能量是400％。此外，能够减少从照明单元发射的平均功率是有益的。

图1－7所揭示的至少某些示例能够通过使用单个照明单元提供对场景的非结构化光和结构化光的同时照明。如上所讨论的，非结构化光可被用于例如虹膜识别而结构化光可被用于例如深度计算。

这可提供更安全的认证，因为与虹膜识别并发进行可判定可见对象具有脸的三维(3d)形状(即，它不是例如纸张或显示器)。同样，利用脸部3d信息可提供更多安全认证。此外，深度信息可被用于图像捕捉参数的优化，诸如引导自动对焦、自动曝光和/或照明单元控制。此外，深度信息可被用于安全决策，诸如用于在脸靠近装置到比预定阈值更近时关闭照明单元。此外，深度信息可被用于功率优化，诸如用于检测何时在装置前不存在东西，并且作为响应将照明单元电源关闭/功率调低。此外，在视频电话中深度信息可被用于例如移除/模糊背景。此外，图1－7中揭示的至少一些示例可被用于水下和/或暗处，因为它们不依赖于外部光源，诸如阳光或室内光照。

装置的一个实施例包括照明单元和数字图像捕捉单元，所述照明单元被配置来同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，所述数字图像捕捉单元被配置来捕捉被照明场景的至少一个图像帧。

在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。

在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域。

在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。

在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。

在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。

在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。

在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。

在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。

在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。

在一个实施例中，替换地或附加地，所述装置包括移动通信装置。

系统的一个实施例包括一装置，所述装置包括数字图像捕捉单元，和被配置来同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分的照明单元，所述照明单元可重新附连于所述装置，其中所述数字图像捕捉单元被配置来捕捉被照明场景的至少一个图像帧。

在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。

在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域。

在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。

在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。

在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。

在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。

在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。

在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。

在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。

在一个实施例中，替换地或附加地，所述装置包括移动通信装置。

方法的一个实施例包括通过照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉单元捕捉被照明场景的至少一个图像帧。

在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。

在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明包括以比所述场景的其余区域更高的功率来照明所述感兴趣区域。

在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。

在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。

在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。

在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。

在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。

在一个实施例中，替换地或附加地，所述方法进一步包括将非结构化光用于虹膜识别以及将结构化光用于深度计算的至少一个。

在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。

在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。

在一个实施例中，替换地或附加地，所述装置包括移动通信装置。

一种装置的实施例包括照明单元、数字图像捕捉单元、至少一个处理器，和存储程序指令的至少一个存储器，这些程序指令在由所述至少一个处理器执行时使得所述装置：通过所述照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉捕捉被照明场景的至少一个图像帧。

一种计算机可读存储介质的实施例，包括用于使得装置的至少一个处理器执行操作的可执行指令，所述操作包括：通过照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉单元捕捉被照明场景的至少一个图像帧。

此处所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备中，并且因此术语“计算机”和“基于计算的设备”各自包括移动电话(包括智能电话)、平板计算机和许多其他设备。

本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。

这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制哑(“dumb”)或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的hdl(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。

本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如dsp、可编程逻辑阵列等等之类的专用电路来实现。

对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的提及是指那些项目中的一个或多个。

此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。

此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或装置可以包含额外的框或元件。

可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。