用于深度信息捕捉的装置、方法和计算系统与流程

用于深度信息捕捉的装置、方法和计算系统
1.本技术是申请日为2015年11月19日、申请号为201580035674.8、发明名称为“带有可移动镜元件、用于具有三维飞行时间捕捉的相机系统的照明器”的发明专利申请的分案申请。
技术领域
2.本发明领域大体涉及计算系统外围设备，并且更具体地，涉及带有可移动镜元件、用于具有三维飞行时间捕捉的相机系统的照明器。


背景技术：

3.许多现有的计算系统包括传统相机作为集成外围设备。当前的趋势是通过将深度捕捉集成进其成像部件来增强计算系统成像能力。深度捕捉可被用于，例如，执行各种智能物体识别功能，诸如脸部识别(例如，用于安全系统解锁)或手势识别(例如，用于非接触用户界面功能)。
4.一个深度信息捕捉方法，称为“飞行时间(time-of-flight)”成像，从系统发出光到物体上，并且对于图像传感器的多个像素的每一个测量发出光和在传感器上接收其反射图像之间的时间。通过飞行时间像素产生的图像对应物体的三维分布，其特征为在不同的(x，y)像素位置的每一个处有唯一的深度度量(z)。
5.由于许多具有成像能力的计算系统本质上是可移动的(例如，手提电脑、平板电脑、智能手机等)，因此将光源(“照明器”)集成进系统以实现“飞行时间”操作带来了许多设计挑战，诸如成本挑战、封装挑战和/或功率消耗挑战。


技术实现要素：

6.描述了一种包括具有飞行时间照明器的相机系统的装置。飞行时间照明器具有光源和一个或多个可倾斜镜元件。所述一个或多个可倾斜镜元件将照明器的光引导至照明器视场内的仅一区域。
7.描述了一种具有飞行时间相机系统的装置，所述飞行时间相机系统包括第一器件，其用于从光源发射光并将所述光射在一个或多个可倾斜镜上。照明器还包括第二器件，其用于倾斜所述一个或多个可倾斜镜以将所述光引导至所述照明器视场的仅一区域。
8.描述了一种用于深度信息捕捉的装置，包括：相机系统，包括飞行时间照明器，所述飞行时间照明器包括光源和多个独立地可倾斜镜元件，所述多个独立地可倾斜镜元件将从光源发射的发散光引导至照明器视场内的仅一区域，其中，所述多个独立地可倾斜镜元件独立地以不同的相应角度倾斜，以使从所述光源发射的发散光准直，使得在从所述多个独立地可倾斜镜元件反射时，形成指向所述区域的具有更小发散角和更集中的光的光束。
9.描述了一种用于深度信息捕捉的方法，包括：用飞行时间相机系统照明器执行以下步骤：从光源发射发散光并且将所述发散光射在多个独立地可倾斜镜元件上；以及倾斜所述多个独立地可倾斜镜元件，来将所述发散光引导至照明器视场内的仅一区域，其中，所
述多个独立地可倾斜镜元件独立地以不同的相应角度倾斜，以使从所述光源发射的发散光准直，使得在从所述多个独立地可倾斜镜元件反射时，形成指向所述区域的具有更小发散角和更集中的光的光束。
10.描述了一种用于深度信息捕捉的计算系统，包括：应用处理器，所述应用处理器包括多个处理核心和存储控制器，所述存储控制器联接至系统存储器；2d/3d相机系统，联接至所述应用处理器，所述2d/3d相机系统包括飞行时间照明器，所述飞行时间照明器具有光源和多个独立地可倾斜镜元件，所述多个独立地可倾斜镜元件将从光源发射的发散光引导至照明器视场内的仅一区域，所述多个独立地可倾斜镜元件独立地以不同的相应角度倾斜，以使从所述光源发射的发散光准直，使得在从所述多个独立地可倾斜镜元件反射时，形成指向所述区域的具有更小发散角和更集中的光的光束。
附图说明
11.以下描述和附图被用于例示本发明的实施例。在附图中：
12.图1a示出了照明器及其视场；
13.图1b示出了第一感兴趣的照明区域；
14.图1c示出了第二感兴趣的照明区域；
15.图1d示出了感兴趣的照明区域的扫描；
16.图1e示出了不同尺寸的感兴趣的照明区域；
17.图2a示出了具有可移动镜元件的照明器的侧视图；
18.图2b示出了在图2a的机械臂下侧上的光源；
19.图3a(i)和3a(ii)例示了通过调整透镜和可移动镜元件之间的距离来改变感兴趣的照明区域的尺寸；
20.图3b(i)和3b(ii)例示了发射光束的方向可以通过关于透镜调整可移动镜元件的侧向偏移来确定；
21.图3c(i)和3c(ii)例示了发射光束的方向可以通过倾斜可移动镜元件的角度来确定；
22.图3d(i)和3d(ii)例示了发射光的方向可以通过多个镜的独立倾斜操纵而沿特定方向或区域集中。
23.图4a示出了具有可移动镜元件的照明器的第一实施例；
24.图4b示出了具有可移动镜元件的照明器的第二实施例；
25.图4c示出了具有可移动镜元件的照明器的第三实施例；
26.图5示出了具有可移动镜元件的照明器执行的方法；
27.图6a示出了拥有具有可移动镜元件的飞行时间照明器的相机系统的实施例的第一描绘；
28.图6b示出了图6a的实施例的第二描绘；
29.图7示出了计算系统的实施例。
具体实施方式
[0030]“智能照明”飞行时间系统解决了上述设计挑战中的一些。如在以下讨论中将更清
楚的，“智能照明”飞行时间系统可以只将光发射到照明器视场内的“感兴趣区域”上。因此，发射的光学信号的强度足够强以在图像传感器处产生可检测的信号，而同时，照明器的功率消耗不会从计算机系统的功率源显著地提取。
[0031]
一个智能照明方法是使用可移动镜元件来帮助将来自光源的光收集并集中成更强的光束，所述更强的光束可以被引导至照明器的视场内的各个感兴趣区域。紧接着参考图1a至1d讨论了这个特定方法的一些特征的回顾。
[0032]
参考图1a，照明器101拥有视场102，照明器能够在该视场102上发光。在某些情况下和/或当支持某些应用操作时，照明器101可仅引导光至视场102内的较小区域。作为一例，参考图1b，仅视场102内的区域103被照亮。作为对比，如图1c中所观察到的，仅视场内的区域104被照亮。在各个实施例中，如以下进一步更详细讨论的，照明区域可被引导至视场102内的基本上任何位置。
[0033]“智能照明”处理的挑战是这样的需求：发射具有足够强度以在图像传感器处产生可检测信号的光信号，而同时避免产生发射光的光源的过多功率消耗。因此，一个方法是通过物镜收集集中光源的发散光以产生较不发散的光(诸如平行的或更加聚焦的光)，来有效地减小所述光源的自然发射角。将较不发散的光束刻意成形为更窄的束即有效地将更大的光信号功率集中到照明器视场内的更小的感兴趣区域103、104上。
[0034]
另外，在需要更大的照明区域的情况下，智能照明技术可使用较小的照明区域“扫描”更大的区域。例如，如在图1d中观察到的，如果一应用需要照亮视场102内的更大区域105，则照明器可以通过跨区域105扫描较小尺寸的照明区域来有效地照亮区域105。如图1d中所描绘的，在时间t1照明区域中心在位置106处，在时间t2照明区域中心在位置107处，在时间t3照明区域中心在位置108处，并且在时间t4照明区域在位置109处。这里，只要从传感器得到的信息被理解为跨大约从时间t1到时间t4的时间段，则更大尺寸的区域105的照明可以被理解，尽管使用了较小尺寸的照明区域。
[0035]
仍进一步，如图1e中所观察到的，在各个实施例中，照明区域110、111的尺寸本身可以被改变。大体上，更大的照明区域尺寸可以被容忍，其程度与可以容忍的在传感器处的更弱接收信号强度(例如，感兴趣物体越靠近照明器，冲突的环境光较少，等)的程度相当、并且/或者与可以容忍的从功率源提取的更高功率消耗程度相当。当然，照明区域越大，照明器为了有效照亮更大的感兴趣区域所需要执行的扫描活动越少。可以理解，一些情况可以允许单独的照明区域足够大，可以充满整个视场102。
[0036]
因此，总而言之，图1a的照明器101将光功率从其光源(一个或多个)集中在较小的照明区域上，以提高在接收器处接收的信号的强度。因为照明器101照亮较小的区域，因此照明器被设计为有能力将所述较小的照明区域移动至视场102内的各个位置。在一些情况下照明器101可以跨更大的表面面积扫描较小的照明区域，以有效地照亮更大的表面面积。另外，照明器101可被设计为调整照明区域的尺寸。
[0037]
要照亮视场的哪个区域、要具有什么尺寸的照明区域、以及要不要执行任何扫描，是根据计算系统的特定条件/情况和/或其执行的特定应用的。一些情况/条件/应用的例子包括，举例来说，人脸的智能识别(例如，用于计算系统安全访问)或人手的形成的智能识别(例如，用于支持手势识别的计算系统的用户界面)。这里，人的脸或者手(“感兴趣的物体”)倾向于仅消耗视场102的部分。
[0038]
图2a和图2b描绘了各种照明器实施例的高水平视图，所述各种照明器实施例包括可移动镜元件以将发射光束引导至视场内的特定位置。如图2a中所观察到的，光源205居于机械臂204的下侧上或至少机械地联接至机械臂204的下侧。在其他实施例中，光源可以被固定或机械联接至其他特征部，诸如透镜保持器202的下侧。从光源205发射的光206被引导至可移动镜元件203的表面。从可移动镜元件203反射的光被透镜201收集(或通过光学表面)并且从照明器发射。下面进一步给出关于镜元件203的各种移动可以如何影响光束的指向和尺寸的更彻底的讨论。
[0039]
图2b示出了光源205的实施例(例如从看图2a的机械臂204的下侧的视角)。如图2b中所观察到的，光源被实施为半导体芯片205，所述半导体芯片205具有成阵列的光源设备207，诸如成阵列的垂直腔侧发射激光器(vertical cavity side emitting laser：vcsel)或成阵列的发光二极管(led)。
[0040]
在典型的实施中，光源阵列207发射不可见(例如，红外(ir))光，使得反射的飞行时间信号不干扰相机系统的传统可见光图像捕捉功能。另外，在各个实施例中，阵列内的光源中的每一个可被连接至相同的正极和相同的负极，使得阵列内的所有光源全部打开或者全部关闭(可以想到，替代实施例可以被设计为允许阵列内的光源的子集被一起打开/关闭)。
[0041]
光源阵列倾向于发射出比单个光源更均匀的光。这里，每个光源(诸如单独的led或vcsel)本身倾向于发射非均匀的光。即，被单独的led或vcsel照亮的区域的表面面积将倾向于具有较亮的点和较暗的点。通过将多个光源集成为阵列，从不同设备发射的光线趋于重叠，导致来自一些光源的暗点被其他光源的亮点照射。由此，来自阵列的总发射光趋于具有更均匀的强度分布。
[0042]
另外，个体光源通常具有宽的发射光发散角。个体光源的宽发散角导致来自作为整体的光源阵列207的宽发散角。对于多个可能的实施例，在从镜元件203反射之后，物镜201收集发散的光并形成一束发射光207，所述一束发射光207是平行的或者是汇聚的或至少具有较小的发散角。替代地，在具有多个独立地“可倾斜”镜的实施例中，通过将不同的镜倾斜不同的角度，发射光可被收集进特定区域，以将发射光凝聚到照明器内的特定区域。
[0043]
收集和/或凝聚来自光源阵列204的发散光并且形成一束更集中的光增大了发射光束的单位面积的光学强度，其转而导致在传感器处的更强的接收信号。根据一个计算，如果来自光源阵列的发散角是60
°
，则使得发射光束的发散角减小到30
°
将以4.6的系数增大传感器处的信号强度。使得发射光束的发散角减小到20
°
将以10.7的系数增大传感器处的信号强度。
[0044]
通过来自光源阵列207的发射光的光学集中(与简单地从光源阵列204发射更高强度的光相比)来提高传感器处的接收信号强度，保存了电池寿命，因为光源阵列207将能够充分照亮感兴趣的物体而不消耗大量功率。
[0045]
图3a至3c提供了如何通过可移动镜元件203的移动来影响照明区域的尺寸和位置的一些基本例子/实施例。
[0046]
如图3a中所观察到的，照明区域的尺寸可以通过改变物镜301和镜元件303之间的竖直距离来调整。如以上所讨论的，物镜301从发散光源形成更准直的光束。随着可移动镜303移动靠近透镜301(图3a(i))，更窄半径的分散光被透镜收集，导致具有更窄宽度的发射
光束形状。反过来，随着可移动镜元件303移动远离透镜301(图3a(ii))，更宽半径的分散光被透镜301从光源阵列收集，导致具有更宽宽度的发射光束形状。
[0047]
如图3b中所观察到的，视场内的照明区域的位置可以通过改变镜元件303相对于透镜301的水平位置来调整。在图3b的特定方法中，透镜301的位置被固定，并且镜元件303沿着一平面可控制地移动，所述平面与透镜301的平面平行并居于其之下。大体上，镜元件303和透镜301之间的不对准越大(沿平面301测量)，来自照明器的发射光束的指向角越大。另外，不对准的方向确定发射光束的指向方向。例如，如图3b(i)中所观察到的，沿第一方向的不对准产生沿第一光束方向指向的光束。相比之下，沿第二相反的方向的不对准，如图3b(ii)所观察到的，产生沿与第一光束方向的指向方向相反的第二光束方向的光束。
[0048]
镜元件303的侧向移动可需要移动光源的能力，使得发射光可“追踪”镜303的定位。例如，简单地参考图2a，当镜203沿着-x方向移动远离光源205时，臂204的倾斜角可需要增大，以确保从光源205发射的光到达镜(类似地，如果镜沿+x方向移动靠近光源，则倾斜角需要减小)。类似地，当镜元件203沿着y轴线朝任一方向移动时，臂204的y定位可沿着y轴线移动相同的量(或臂可绕x轴线倾斜)。通过将透镜301(而不是镜元件303)设计为沿竖直方向移动，如图3a所示，镜303相对于透镜301的竖直移动可以不需要任何光源移动而实现。
[0049]
任何需要的光源移动是根据照明器的光学设计的。大体上，光源越是不容易需要被移动，镜303移动地越少并且/或者镜303被设计为移动地越少。如果光源移动被认为是合适的，则机电设备(例如，音圈促动器、被联接以驱动传动装置的电马达、或者其他机电设备)可被联接至光源(例如，通过机械臂)以实现这样的移动。
[0050]
图3c示出了一可行的更加简洁的解决方案，在所述解决方案中镜元件303被设计为“倾斜”以产生特定的光束指向。如图3c(i)和3c(ii)所观察到的，发射光束将近似指向垂直于镜303的表面的方向。因此，镜303受控的倾斜可以被用于可控制地引导从照明器发射的光束的指向。透镜301可还被设计以沿竖直(z)方向移动，以改变发射光束的横截面尺寸。
[0051]
图3d示出了，通过将多个镜倾斜不同的角度，光可以被集中，而可能不需要使用透镜。例如，如图3d(i)中所观察到的，光朝向右方区域的集中可以通过将左侧镜303l和右侧镜303r中间的镜303m向右倾斜、将左侧镜303l向右倾斜比镜303m更少的量、将右侧镜303r向右倾斜比镜303m更多的量来实现。类似地，如图3d(ii)中所观察到的，光朝向左方区域的集中可以通过将左侧镜303l和右侧镜303r中间的镜303m向左倾斜、将左侧镜303l向左倾斜比镜303m更少的量、将右侧镜303r向左倾斜比镜303m更多的量来实现。由于通过独立的镜的倾斜将光集中的能力，可以想到，可不需要使用透镜来进一步将光集中，尽管许多实施例可选择包括透镜(例如，用于进一步集中或聚焦光)。
[0052]
另外，尽管如以上所讨论地，独立的倾斜可被利用以提供光的集中，但还可以的是，多个镜可被倾斜基本相同的角度(例如，镜303l、303m和303r都倾斜相同的角度)以有效地构造从照明器而来的光学路径，其与以上参考图3c讨论的、并且例如包括透镜的使用的原理表现相似。
[0053]
图4a示出了用于调整镜403相对透镜401的侧向位置的可移动镜组件。如图4a中所观察到的，一对促动器音圈马达411、412(每一个都具有弹簧回位件414、404，视图中用于促动器411的回位弹簧被臂404挡住)被用于分别限定镜403沿x和y方向的每一个的位置。即，一个音圈马达412和回位弹簧414建立镜403的x位置，并且另一个音圈马达411和回位弹簧
(观察不到)建立物镜403的y位置。
[0054]
每个促动器411、412包括基于音圈马达的电动力的朝内或朝外突出的各内构件416、417。即，沿着镜403的特定轴线的位置由马达力限定，所述马达力由各内构件416、417穿过下平台410、抵靠其各回位弹簧而施加，镜403附接在所述下平台410上。马达力由施加至马达的线圈的电压限定。在典型实施例中，线圈与内部的各内构件416、417成整体，并且马达的周围的外构件包括永磁体。响应于被驱动通过线圈的电流的磁场与永磁体的磁场相互作用，这确定施加至内构件的力。这里，具有弹簧回位件的音圈马达通常具有直接的电流-位置关系，并且因此不需要位置传感器用于反馈控制。
[0055]
图4b示出了可移动透镜组件，所述可移动透镜组件被设计为调整镜403的倾斜角，使得镜403的平面可面向任何指向方向。这里，每一个具有弹簧回位件424、425的一对音圈马达421、422被用作促动器，以限定沿着可倾斜平台420(镜附接至所述可倾斜平台420)的外边缘的两个点的每一个的竖直位置。镜/平台绕x轴线的倾斜角实质上由第一马达421抵靠其回位弹簧424施加的力限定。镜/平台绕y轴线的倾斜角实质上由第二马达422抵靠其回位弹簧425施加的力限定。从这些基本情境，用于镜/平台的任何倾斜角可以根据马达施加的各力和弹簧施加的反作用力而建立。
[0056]
图4c示出了另一可倾斜镜的实施例，其中镜的倾斜通过一个或多个微机电系统(mems)镜产生。如图4c中所描绘的，可倾斜镜组件实施为成阵列的mems镜431。在其他实施例中，可以实施不同于阵列或者仅单独的mems镜的mems镜的布置。取决于实施，mems镜431可以被固定在静止的或者可移动的框架430中。如果框架430是可移动的，其可以例如被实施为可倾斜平台，诸如图4b中的可倾斜平台420。
[0057]
如本领域已知的，mems可以被实施为绕单独的轴线可倾斜。例如，如图4c中所描绘的，阵列431的每个mems镜仅可绕y轴线倾斜。就此，其意味着，光束指向仅可被沿着x轴线引导。然而，转盘马达432可以被联接至框架430的下侧，以有效地旋转mems镜431绕之倾斜的轴线。通过转盘马达432的动作，光束可以指向任何方向。可以实现镜沿着多于一个单独轴线倾斜的mems镜技术可以导致集成具有减小的角度摆动范围的转盘马达、或者完全省去马达，取决于mems设备本身的旋转范围。
[0058]
图4c的mems方法可以被设计为与图3d的讨论一致，在所述图3d的讨论中，阵列内的多个镜关于彼此倾斜不同的角度，以产生发射光的集中。这里透镜401可被用于，例如进一步集中或聚焦发射光，或者，透镜401可以被省去并且，例如被诸如窗子的另一光学表面替代。
[0059]
尽管上述讨论强调了音圈马达的使用，但其他实施例可以使用诸如压电促动器或步进马达的其他设备。
[0060]
图5示出了由飞行时间相机系统执行的方法。所述方法包括从光源发射光并且将光射在一个或多个可倾斜镜上。所述光还包括倾斜所述一个或多个可倾斜镜以将光引导至照明器视场的仅一区域。
[0061]
图6a和6b示出了集成的传统相机和飞行时间成像系统600。图6b提供了更详细的描绘，其中照明器壳体被移除。系统具有连接器601用于与例如更大的系统/模板(诸如手提电脑、平板电脑或智能手机的系统/母板)形成电接触。取决于布置和实施，连接器601可以联接至排线(flex cable)，所述排线例如形成与系统/母板的实际连接，或者连接器601可
以直接接触系统/母板。
[0062]
连接器601附接至平面板602，所述平面板502可被实施为导电和绝缘层交替的多层结构，其中导电层被设计样式(patterned)以形成支撑系统600的内部电连接的电子迹线。
[0063]
集成的“rgbz”图像传感器603安装至平面板602。集成的rgbz图像传感器包括不同种类的像素，其中的一些对可见光敏感(例如，对红色可见蓝色光敏感的r像素的子集、对可见绿色光敏感的g像素的子集以及对蓝色光敏感的b像素的子集)，其他则对ir光敏感。rgb像素被用于支持传统“2d”可见图像捕捉(传统的拍照)功能。ir敏感像素被用于支持2d ir图像捕捉和使用飞行时间技的3d深度轮廓成像。尽管基本的实施例包括rgb像素用于可见图像捕捉，但其他实施例可使用不同的彩色像素方案(例如，青色、品红和黄色)。
[0064]
对于ir敏感像素，集成的图像传感器603可还包括特殊的信号线或其他电路以支持飞行时间检测，所述特殊的信号线或其他电路包括，例如，时钟信号线和/或指示ir光的接收的正时(考虑到从光源发射ir光的正时)的其他信号线。
[0065]
集成的图像传感器603可还包括多个模拟-数字转换器(adc)，以将从传感器的rgb像素接收的模拟信号转换为数字信号，所述数字信号代表相机透镜模块604前的可见像。平面板602可类似地包括信号迹线以将多个adc提供的数字信息承载至连接器601，用于被计算系统的更高端部部件处理，所述更高端部部件诸如图像信号处理管线(例如，其集成在应用处理器上)。
[0066]
相机透镜模块604集成在集成的rgbz图像传感器603上方。相机透镜模块604包括成系统的一个或多个透镜，以将穿过孔接收的光聚焦到图像传感器603上。因为相机透镜模块对可见光的接收可干扰图像传感器的飞行时间像素对ir光的接收，并且反过来，因为相机透镜模块对ir光的接收可干扰图像传感器的rgb像素对可见光的接收，所以图像传感器603和透镜模块604中的一个或二者可包括成系统的滤波器(例如滤波器610)，所述滤波器被布置为实质上阻挡要被rgb像素接收的ir光，并且实质上阻挡要被飞行时间像素接收的可见光。
[0067]
包括可移动镜组件615和机械臂(具有附接在其下侧的光源)的照明器607还被安装在平面板601上。具有可移动镜的照明器的实施例在上文已经参考图1至4a、b、c讨论。
[0068]
尤其是，用于照明器的一个或多个支持集成电路(未在图6中示出)可以被安装在平面板602上。所述一个或多个集成电路可包括led或者用于驱动各电流通过光源阵列的光源设备的激光驱动电路、以及用于驱动与可移动镜组件的音圈马达相关的线圈的每一个的线圈驱动电路。led或激光驱动电路和线圈驱动电路二者可包括各数字-模拟电路，以将通过连接器701接收的数字信息转换为用于光源或音圈的特定电流驱动强度。激光驱动可附加地包括时钟电路以生成时钟信号或具有成序列的1s和0s的其他信号，其在被驱动通过光源时将导致光源重复地打开和关闭，使得深度测量可以重复地做出。
[0069]
在一实施例中，图6a和6b的集成系统600支持三种操作模式：1)2d模式；2)3d模式；以及，3)2d/3d模式。在2d模式的情况下，系统表现为传统相机。如此，照明器607被禁用并且图像传感器被用于通过其rgb像素接收可见图像。在3d模式的情况下，系统捕捉在相机透镜模块604和照明器607的视场中的物体飞行时间深度信息。如此，照明器607被激活并且发射ir光(例如，成打开-关闭-打开-开闭的序列)到物体上。ir光被从物体反射，通过相机透镜
模块604接收，并且通过图像传感器的飞行时间像素感测。在2d/3d模式的情况下，以上描述的2d和3d模式二者是同时有效的。
[0070]
图7示出了示例性计算系统700的描绘图，所述示例性计算系统诸如是个人计算系统(例如，台式的或手提的)或诸如平板设备或智能手机的移动或手持计算系统。如图7中所观察到的，基本的计算系统可包括中央处理单元701(其可包括，例如，多个通用处理核心715 1至715n，以及布置在应用处理器上的主存储控制器717)、系统存储器702、显示器703(例如，触屏、平板)、本地有线点对点链路(例如，usb)接口704、各种网络i/o功能705(诸如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，wifi)接口706、无线点对点链路(例如，蓝牙)接口707以及全球定位系统接口708、各种传感器709 1至709n、一个或多个相机710、电池711、功率管理控制单元712、扬声器和麦克风713以及音频编码器/解码器714。
[0071]
应用处理器或多核处理器750可包括在其cpu 701内的一个或多个通用处理核心715、一个或多个图形处理单元716、存储管理功能717(例如，存储控制器)，i/o控制功能718和一个或多个图像信号处理器管线719。通用处理核心715通常执行计算系统的操作系统和应用软件。图形处理单元716通常执行图形密集供能，以例如生成显示在显示器703上的图形信息。存储控制功能717与系统存储器702相互作用，以将数据写到系统存储器702/从系统存储器702读取数据。图像信号处理管线719接收来自相机710的图像信息并且处理原始图像信息用于下游使用。功率管理控制单元712大体控制系统700的功率消耗。
[0072]
触屏显示器703、通信接口704-707、gps接口708、传感器709、相机710、以及扬声器/麦克风编码解码器713、714都可以被视为相对于整个计算系统的各种形式的i/o(输入和/或输出)，所述整个计算系统在适当情况下包括集成外围设备(例如，所述一个或多个相机710)。取决于实施，这些i/o部件中的各种可以被集成在应用处理器/多核处理器750上，或者可以位于远离应用处理器/多核处理器750的管芯或者位于应用处理器/多核处理器650的封装的外侧。
[0073]
在一实施例中一个或多个相机710包括集成的传统可见图像捕捉和飞行时间深度测量系统，诸如以上参考图6a和6b描述的系统600。在应用处理器或其他处理器的通用cpu核心(或具有指令执行管线以执行程序代码的其他功能块)上执行的应用软件、操作系统软件、设备驱动软件和/或固件可将命令引导至相机系统以及从相机系统接收图像数据。
[0074]
在命令的情况下，命令可包括进入或者退出以上参考图6a和6b描述的2d、3d或2d/3d系统状态中的任一个。另外，命令可被引导至照明器的可移动镜组件以产生发射光的特定指向方向。
[0075]
本发明的实施例可包括上述各种处理。所述处理可以通过机器可执行指令实施。指令可以被用于使得通用或专用处理器执行某些处理。替代地，这些处理可以通过包括用于执行所述处理的硬连线逻辑的特定硬件部件来执行，或者通过编程计算机部件和定制硬件部件的任何组合来执行。
[0076]
本发明的元件可还被提供为用于存储机器可执行指令的机器可读媒介。机器可读媒介可包括但不限于，软盘、光盘、cd-rom以及磁光盘、闪存、rom、ram、eprom、eeprom、磁卡或光卡、传播媒体或适于存储电子指令的其它类型的媒体/机器可读媒介。例如，本发明可以被下载为计算机程序，其可以通过实施在载波或其他传播媒介中的数据信号经由通信链
路(例如，调制解调器或网络连接)从远程计算机(例如，服务器)被传递至请求计算机(即，客户端)。
[0077]
在前述说明中，本发明已被参考其特定示例性实施例描述。然而，显然可以对其做出各种修改和改变而不偏离如所附权利要求所述的本发明的更宽的精神和范围。说明和附图因此应被看作示例性的而不是限制性的。