利用二维输入选择对三维深度图像进行深度雕塑的制作方法
相关申请的引用
本申请要求2018年9月26日在美国提交的名称为“利用二维输入选择对三维深度图像进行深度雕塑”的临时申请62/736,658号的权益，其内容通过引用全文纳入本申请中。
本主题涉及允许用户使用二维输入来改变三维空间的可穿戴设备(如眼戴设备)以及移动设备和技术。
背景
包括便携式眼戴设备(如智能眼戴设备、头饰和头戴设备)在内的可穿戴设备等计算设备、移动设备(如平板电脑、智能手机和笔记本电脑)以及当前的个人计算机都集成了图像显示器和摄像头。利用二维(2d)输入在计算设备上观看、操纵所显示的三维(3d)图像内容(例如视频、图片等)并与其交互可能很难，利用二维(2d)输入包括利用触摸屏设备、触笔或计算机鼠标等。例如，在二维空间中操纵三维图像很难结合到计算设备中。
图形用户界面(gui)是一种用户界面，其允许用户通过二级符号等图形图标和视觉指示符来导航计算设备，而不是基于文本的用户界面。利用二维输入在图像显示器上导航所显示的三维gui内容是很麻烦的。
在计算设备上查看三维空间需要许多次鼠标点击和用计算机鼠标进行选择。因此，存在利用二维用户输入来简化用户与三维图像交互的需要。
附图简述
附图中仅以例举的方式而非限定的方式示出了一个或多个实施例，在附图中相同的附图标记表示相同或类似的元件。
图1a是深度雕塑系统中使用的眼戴设备示例硬件配置的右侧视图，其中用户的二维输入选择被应用于初始深度图像以生成深度雕塑图像。
图1b是图1a眼戴设备右组块的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头和电路板。
图1c是图1a眼戴设备示例硬件配置的左侧视图，其示出了深度捕捉摄像头的左侧可见光摄像头。
图1d是图1c眼戴设备左组块的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头和电路板。
图2a是深度雕塑系统中使用的眼戴设备另一示例硬件配置的右侧视图，其示出了深度捕捉摄像头的右侧可见光摄像头和深度传感器以生成初始深度图像。
图2b和2c是包括两种不同类型图像显示器的眼戴设备示例硬件配置的后视图。
图3示出了图2a眼戴设备的后透视截面图，描述了深度传感器的红外摄像头、框架前部、框架后部和电路板。
图4是穿过图3眼戴设备红外摄像头和框架截取的截面图。
图5示出了图2a眼戴设备的后透视图，描述了深度传感器的红外发射器、深度传感器的红外摄像头、框架前部、框架后部和电路板。
图6是穿过图5眼戴设备红外发射器和框架截取的截面图。
图7描述了由眼戴设备深度传感器的红外发射器发射的红外光图案和由眼戴设备深度传感器的红外摄像头捕捉的红外光发射图案反射变化的示例，以测量原始图像中像素的深度，从而生成初始深度图像。
图8a描述了由深度传感器的红外摄像头捕捉的红外光作为红外图像以及由可见光摄像头捕捉的可见光作为原始图像以生成三维场景的初始深度图像的示例。
图8b描述了由左侧可见光摄像头捕捉的可见光作为左侧原始图像以及由右侧可见光摄像头捕捉的可见光作为右侧原始图像以生成三维场景的初始深度图像的示例。
图9是示例深度雕塑系统的高级功能块图，该深度雕塑系统包括具有用于生成初始深度图像的深度捕捉摄像头的眼戴设备以及经由各种网络连接的用户输入设备(例如触摸传感器)、移动设备和服务器系统。
图10示出了图9深度雕塑系统移动设备的硬件配置的示例，其包括接收二维输入选择并应用于初始深度图像以生成深度雕塑图像的用户输入设备(例如触摸屏设备)。
图11是可以在深度雕塑系统中实施的方法流程图，该方法将用户的二维输入选择应用于初始深度图像以生成深度雕塑图像。
图12-13示出了具有人类对象的各种对象特征和初始深度图像的第一个二维输入选择所呈现的室内三维场景的初始图像示例。
图14-15示出了生成的第一个深度雕塑图像的示例，该示例基于第一个二维选择将图12-13的人类对象初始深度图像进行旋转，以深度雕塑人类对象的右脸颊对象特征。
图16-17示出了生成的第二个深度雕塑图像的示例，该示例基于下一个(第二个)二维选择将人类对象的第一个深度雕塑图像进行旋转，以深度雕塑人类对象的左脸颊对象特征。
图18示出了生成的第三个深度雕塑图像的示例，该示例基于另一下一个(第三个)二维选择将图16-17的人类对象第二个深度雕塑图像进行旋转，以深度雕塑人类对象的前额对象特征。
图19示出了图18生成的第三个深度雕塑图像的右旋转，用于显示深度图像和深度雕塑图像三维模型的深度。
图20示出了图18生成的第三个深度雕塑图像的左旋转，用于显示深度图像和深度雕塑图像三维模型的深度。
详细说明
在以下详细说明中，为了对相关教示能够有透彻的理解，通过示例的方式阐述了许多具体细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实施本教示。在其它实例中，为了避免不必要地使本教示的各个方面难以理解，本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路，而不闸述细节。
本文使用的术语“耦合”或“连接”是指任何逻辑、光学、物理或电连接等，通过这些连接，由一个系统元件产生或提供的电信号或磁信号被传递给另一个耦合或连接的元件。除非另外描述，否则耦合或连接的元件或设备不一定彼此直接连接，可由可修改、操纵或携载电信号的中间组件、元件或传播介质分离。术语“在…上”是指由元件直接支撑，或由通过集成到该元件中或由该元件支撑另一元件的该元件间接支撑。
出于说明和讨论的目的，仅以示例的方式给出了如任何附图所示的眼戴设备、相关部件以及结合有深度捕捉摄像头的任何完整设备的方向。在用于深度雕塑的操作中，眼戴设备可在适合于眼戴设备特定应用的任何其它方向上定向，例如向上、向下、向侧面或任何其它方向。此外，在本文所使用的范围内，前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部、侧面、水平、垂直和对角线等任何方向术语仅以示例的方式使用，且不限于任何深度捕捉摄像头或如本文另外描述所构造的深度捕捉摄像头部件的方向或定向。
示例的其它目的、优点和新特点将部分地在下面的说明中阐述，并且对于本领域技术人员来说，在查看下面的附图后将部分地变得显而易见，或者可以通过示例的生产或操作而获知。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
现在详细说明在附图中示出并在下面讨论的示例。
图1a是深度雕塑系统中使用的眼戴设备100示例硬件配置的右侧视图，其示出了深度捕捉摄像头的右侧可见光摄像头114b以生成初始深度图像。如下文进一步描述的，在深度雕塑系统中，将用户的二维输入选择应用于初始深度图像以生成深度雕塑图像。
眼戴设备100包括右侧光学组件180b，右侧光学组件180b具有图像显示器以呈现深度图像和深度雕塑图像等图像。如图1a-b所示，眼戴设备100包括右可见光摄像头114b。眼戴设备100可以包括多个可见光摄像头114a-b，其形成被动类型的深度捕捉摄像头，例如立体摄像头，其中右侧可见光摄像头114b位于右组块110b上。如图1c-d所示，眼戴设备100还可以包括左侧可见光摄像头114a。或者，在图2a的示例中，深度捕捉摄像头可以是包括单个可见光摄像头114b和深度传感器(见图2a的元件213)的主动类型深度捕捉摄像头。
左侧和右侧可见光摄像头114a-b对可见光范围波长敏感。可见光摄像头114a-b中的每一个具有不同的面向前的视场，其重合以允许生成三维深度图像，例如，右侧可见光摄像头114b具有所描述的右侧视场111b。一般来说，“视场”是场景中通过摄像头在空间中特定位置和方向可见的部分。当图像被可见光摄像头捕捉时，视场111a-111b之外的对象或对象特征不被记录在原始图像(例如，照片或图片)中。视场描述了可见光摄像头114a-b的图像传感器在给定场景的捕捉图像中接收给定场景电磁辐射的角度范围。视场可以被表示为视锥的角度大小，即视角。视角可以水平、垂直或对角的方式测量。
在示例中，可见光摄像头114a-b的视场视角在15°到30°之间，例如24°，分辨率为480x480像素。“视场角”描述了可见光摄像头114a-b或红外摄像头220(见图2a)的镜头可以有效成像的角度范围。通常，摄像头镜头产生的图像圈足够大以完全覆盖胶片或传感器，可能包括一些朝向边缘的渐晕。如果摄像头镜头的视场角没有充满传感器，则图像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于视场角。
这种可见光摄像头114a-b的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和视频图形阵列(vga)摄像头，例如640p(例如，640×480像素，总共30万像素)、720p或1080p。本文使用的术语“重合”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重合达30％或更多。本文使用的术语“基本重合”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重合达50％或更多。
来自可见光摄像头114a-b的图像传感器数据与地理定位数据一起被捕捉，由图像处理器数字化，并存储在存储器中。由相应的可见光摄像头114a-b捕捉的左侧和右侧原始图像在二维空间域中，包括二维坐标系上的像素矩阵，该二维坐标系包括针对水平位置的x轴和针对垂直位置的y轴。每个像素包括颜色属性(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)和位置属性(例如，x位置坐标和y位置坐标)。
为了提供立体视觉，可见光摄像头114a-b可耦合到图像处理器(图9的元件912)，用于数字处理以及捕捉场景图像的时间戳。图像处理器912包括用于从可见光摄像头114a-b接收信号并将来自可见光摄像头114的那些信号处理成适于存储在存储器中的格式的电路。时间戳可以由控制可见光摄像头114a-b操作的图像处理器或其它处理器添加。可见光摄像头114a-b允许深度捕捉摄像头模拟人的双眼视觉。深度捕捉摄像头提供基于来自具有相同时间戳的可见光摄像头114a-b两个捕捉图像来再现三维图像的能力。这样的三维图像允许具有身临其境的逼真体验，例如，用于虚拟现实或视频游戏。
对于立体视觉，在给定时刻及时捕捉场景的一对原始红、绿和蓝(rgb)图像(左侧和右侧可见光摄像头114a-b各有一个图像)。当(例如，通过图像处理器)处理从左侧和右侧可见光摄像头114a-b的面向前的左侧和右侧视场111a-b捕捉的原始图像对时，生成深度图像，用户可以在(例如移动设备的)光学组件180a-b或其他图像显示器上感知所生成的深度图像。所生成的深度图像在三维空间域中，可包括三维位置坐标系上的顶点矩阵，该三维位置坐标系包括针对水平位置(例如长度)的x轴、针对垂直位置(例如高度)的y轴以及针对深度(例如距离)的z轴。每个顶点包括颜色属性(例如，红色像素光值、绿色像素光值和/或蓝色像素光值)、位置屈性(例如，x位置坐标、y位置坐标和z位置坐标)、纹理属性和/或反射率属性。纹理属性量化深度图像的感知纹理，例如深度图像顶点区域中的颜色或亮度的空间排列。
通常，深度的感知来自于由可见光摄像头114a-b捕捉的左侧和右侧原始图像中给定3d点的视差。视差是当在可见光摄像头114a-b的视角下被投影时同一3d点的图像定位的差异(d＝xleft-xright)。对于具有平行光轴、焦距f、基线b和对应图像点(xleft，yleft)和(xright，yright)的可见光摄像头114a-b，可以利用根据视差确定深度的三角测量来导出3d点的位置(z轴位置坐标)。通常，3d点的深度与视差成反比。也可以使用各种其他技术。稍后更详细地说明三维深度图像和深度雕塑图像的生成。
在示例中，深度雕塑系统包括眼戴设备100。眼戴设备100具有框架105、从框架105的左侧面170a延伸的左侧眼戴设备腿110a、以及从框架105的右侧面170b延伸的右侧眼戴设备腿110b。眼戴设备100还包括深度捕捉摄像头。深度捕捉摄像头包括：(i)具有重合视场的至少两个可见光摄像头；或(ii)至少一个可见光摄像头114a-b和深度传感器(图2a的元件213)。在一个示例中，深度捕捉摄像头包括左侧可见光摄像头114a，其具有左侧视场111a且连接到框架105或左侧眼戴设备腿110a，以捕捉场景的左侧图像。眼戴设备100还包括右侧可见光摄像头114b，其连接到框架105或右侧眼戴设备腿110b且具有右侧视场111b，以捕捉(例如，与左侧可见光摄像头114a同时)与左侧图像部分重合的场景右侧图像。
深度雕塑系统还包括计算设备，例如主机(例如，图9-10的移动设备990)，通过网络耦合到眼戴设备100。深度雕塑系统还包括图像显示器(眼戴设备的光学组件180a-b；图10中移动设备990的图像显示器1080)，用于呈现(例如显示)一系列图像。一系列图像包括初始图像和深度雕塑图像，初始图像可以是二维空间中的原始图像或经处理的原始图像(例如，在校正之后)。深度雕塑系统还包括图像显示驱动器(图9中眼戴设备100的元件942；图10中移动设备990的元件1090)，耦合到图像显示器(眼戴设备的光学组件180a-b；图10中移动设备990的图像显示器1080)，控制图像显示器以呈现一系列图像，包括初始图像和深度雕塑图像。
深度雕塑系统还包括用于接收用户二维输入选择的用户输入设备。用户输入设备的示例包括触摸传感器(图9的元件991，用于眼戴设备100)、触摸屏显示器(图10的元件1091，用于移动设备1090)，以及用于个人电脑或笔记本电脑的电脑鼠标。深度雕塑系统还包括处理器(图9中眼戴设备100的元件932；图10中移动设备990的元件1030)，耦合到眼戴设备100和深度捕捉摄像头。深度雕塑系统还包括处理器可访问的存储器(图9中眼戴设备100的元件934；图10中移动设备990的元件1040a-b)，以及存储器中的深度雕塑编程(图9中眼戴设备100的元件945；图10中移动设备990的元件945)，例如在眼戴设备100本身、移动设备(图9的元件990)或深度雕塑系统的另一部分(例如图9的服务器系统998)中。处理器(图9的元件932)执行编程(图9的元件945)将眼戴设备100配置为经由深度捕捉摄像头生成与初始图像对应的初始深度图像。初始深度图像由顶点矩阵形成。每个顶点代表三维场景中的像素。每个顶点都有位置属性。每个顶点的位置属性基于三维位置坐标系，包括针对水平位置的x轴上的x位置坐标、针对垂直位置的y轴上的y位置坐标以及针对深度的z轴上的z位置坐标。
处理器(图10的元件1030)执行深度雕塑编程(图10的元件945)将深度雕塑系统的移动设备(图10的元件990)配置为执行以下功能。移动设备(图10的元件990)通过图像显示器(图10中的元件1080)呈现初始图像。移动设备(图10的元件990)经由用户输入设备(图10的元件1091)接收来自用户的所呈现初始图像的二维输入选择。移动设备(图10的元件990)经由用户输入设备(图10的元件1091)跟踪所呈现的初始图像从初始触摸点到最终触摸点的二维输入选择的运动。移动设备(图10的元件990)计算初始射线，该初始射线是从三维位置坐标系的原点顶点到与呈现的初始图像初始触摸点相对应的初始顶点的投影。原点顶点对应于深度捕捉摄像头。移动设备(图10的元件990)计算最终射线，即从初始触摸点到与呈现的初始图像最终触摸点相对应的最终顶点的投影。移动设备(图10的元件990)确定初始射线和最终射线之间的旋转矩阵，该旋转矩阵描述了从初始射线到最终射线的旋转以导出深度雕塑区域。移动设备(图10的元件990)通过将旋转矩阵应用于深度雕塑区域中初始深度图像顶点的位置属性来生成深度雕塑图像。移动设备(图10的元件990)经由图像显示器(图10的图像显示器1080)呈现深度雕塑图像。本文描述的各种深度雕塑编程(图9-10的元件945)功能可以在深度雕塑系统的其它部分内实现，例如眼戴设备100或除了移动设备(图10的元件990)之外的另一台主机，例如服务器系统(图9的元件998)。
在一些示例中，二维输入选择生成深度雕塑照片滤镜效果，响应于手指划过触摸屏显示器(例如，组合的图像显示器1080和用户输入设备1091)，将该深度雕塑照片滤镜效果作为旋转矩阵应用于初始深度图像。为了获得深度雕塑效果，导出表示拖拽的初始触摸点(例如第一触摸点)和最终触摸点(例如最后触摸点)。为每个触摸点确定三维射线。在深度图像模型中，每个选择的二维空间触摸点对应于x、y、z坐标，因此每个触摸点可以被映射到初始深度图像中的真实三维顶点。射线可以是具有单位长度和方向的三维标准化向量。来自相应的初始触摸点和最终触摸点的两条射线(初始射线和最终射线)中的每一条都具有由于顶点的深度(z坐标是已知的)而已知的长度。初始射线从初始深度图像中深度捕捉摄像头的原点向初始触摸点发射射线，最终射线从初始触摸点向最终触摸点发射射线。然后计算初始射线和最终射线之间的旋转，并且获得旋转矩阵。然后，将该旋转矩阵应用于三维像素(即顶点)，该三维像素是通过在三维空间中移动而被深度雕塑的，基于该变换，其表现为变形效果。然后，可以通过网络传输经由在移动设备(图10的元件990)上执行的聊天应用来与朋友共享具有深度雕塑照片滤镜效果的深度雕塑图像。
图1b是图1a眼戴设备100右组块110b的横截面顶视图，描述了深度捕捉摄像头的右侧可见光摄像头114b和电路板。图1c是图1a眼戴设备100的示例硬件配置的左侧视图，示出了深度捕捉摄像头的左侧可见光摄像头114a。图1d是图1c眼戴设备左组块110a的横截面顶视图，描述了深度捕捉摄像头的左侧可见光摄像头114a和电路板。左侧可见光摄像头114a的结构和布局与右侧可见光摄像头114b基本相似，除了连接和耦合在左侧面170a上。如图1b的示例所示，眼戴设备100包括右侧可见光摄像头114b和电路板，该电路板可以是柔性印刷电路板(pcb)140b。右铰链226b将右组块110b连接至眼戴设备100的右侧眼戴设备腿125b。在一些实例中，右侧可见光摄像头114b、柔性pcb140b或其它电连接器或触点的组件可位于右侧眼戴设备腿125b或右铰链226b上。
右组块110b包括组块本体211和组块帽盖，在图1b的横截面中省略了组块帽盖。布置在右组块110b内的是各种互连电路板，例如pcb或柔性pcb，其包括用于右侧可见光摄像头114b的控制器电路、麦克风、低功率无线电路(例如，用于经由bluetoothtm的无线短程网络通信)、高速无线电路(例如，用于经由wifi的无线局域网通信)。
右侧可见光摄像头114b耦合到柔性pcb240或设置在柔性pcb240上，并且被可见光摄像头镜头盖覆盖，可见光摄像头镜头盖穿过形成在框架105中的开口对准。例如，框架105的右边缘107b连接到右组块110b并且包括用于可见光摄像头镜头盖的开口。框架105包括面向前侧面，该面向前侧面被配置为离开用户的眼睛面向外。用于可见光摄像头镜头盖的开口形成在面向前侧面上并穿过面向前侧面。在示例中，右侧可见光摄像头114b具有面向外的视场111b，其具有眼戴设备100用户右眼的视线或视角。可见光摄像头镜头盖也可以粘附到右组块110b的面向外表面，在该面向外表面中形成具有面向外的视场角但在不同的向外方向上的开口。该耦合也可以是经由中间部件的间接耦合。
左侧(第一)可见光摄像头114a连接到左侧光学组件180a的左侧图像显示器，以捕捉由眼戴设备100的佩戴者在左侧原始图像中观察到的左眼观看的场景。右侧(第二)可见光摄像头114b连接到右侧光学组件180b的右侧图像显示器，以捕捉由眼戴设备100的佩戴者在右侧原始图像中观察到的右眼观看的场景。左侧原始图像和右侧原始图像部分重合以呈现所生成的深度图像的三维可观察空间。
柔性pcb140b布置在右组块110b内，并耦合到右组块110b中的一个或多个其它组件。尽管被示为形成在右组块110b的电路板上，但右侧可见光摄像头114b可以形成在左组块110a的电路板、眼戴设备腿125a-b或框架105上。
图2a是用于深度雕塑系统的眼戴设备100的另一示例硬件配置的右侧视图。如图所示，深度捕捉摄像头包括框架105上的左侧可见光摄像头114a和深度传感器213，以生成初始深度图像。在这里不是利用至少两个可见光摄像头114a-b来生成初始深度图像，而是利用单个可见光摄像头114a和深度传感器213来生成深度图像，例如初始深度图像。如在图1a-d的示例中那样，将来自用户的二维输入应用于初始深度图像以生成深度雕塑图像。深度传感器213的红外摄像头220具有面向外的视场，该视场与左侧可见光摄像头114a基本重合，以获得用户的视线。如图所示，红外发射器215和红外摄像头220与左侧可见光摄像头114a都位于左边缘107a的上部。
在图2a的示例中，眼戴设备100的深度传感器213包括红外发射器215和捕捉红外图像的红外摄像头220。可见光摄像头114a-b通常包括蓝光滤镜以阻挡红外光检测，在示例中，红外摄像头220为可见光摄像头，例如低分辨率视频图形阵列(vga)摄像头(例如，640×480像素，总共30万像素)，其中蓝色滤镜被移除。红外发射器215和红外摄像头220都位于框架105上，例如，红外发射器215和红外摄像头220都被示为连接到左边缘107a的上部。如以下进一步详细描述的，框架105或左组块110a和右组块110b中的一个或多个包括电路板，该电路板包括红外发射器215和红外摄像头220。例如，红外发射器215和红外摄像头220可以通过钎焊连接到电路板。
红外发射器215和红外摄像头220的其他布置也可以实现，包括其中红外发射器215和红外摄像头220都在右边缘107a上或者在框架105上的不同位置内的布置，例如，红外发射器215在左边缘107b上而红外摄像头220在右边缘107b上。然而，至少一个可见光摄像头114a和深度传感器213通常具有基本重合的视场以生成三维深度图像。在另一示例中，红外发射器215在框架105上并且红外摄像头220在组块110a-b之一上，或者反之亦然。红外发射器215可以基本上连接在框架105、左组块110a或右组块110b上的任何地方，以在用户视力范围内发射红外图案。类似地，红外摄像头220可以基本上连接在框架105、左组块110a或右组块110b上的任何地方，以捕捉用户视力范围内三维场景的红外光发射图案中的至少一个反射变化。
红外发射器215和红外摄像头220被布置为面向外，以获得具有佩戴眼戴设备100的用户所观察对象或对象特征场景的红外图像。例如，红外发射器215和红外摄像头220被直接定位在眼睛的前面、在框架105的上部中或在框架105的任一端处的组块110a-b中，具有面向前的视场以捕捉用户正在注视的场景图像，用于对象深度和对象特征深度的测量。
在一个示例中，深度传感器213的红外发射器215在场景的面向前视场中发射红外光照明，红外光照明可以是近红外光或其他低能量辐射的短波长光线。或者或另外，深度传感器213可包括发射除红外之外的其他波长光的发射器，并且深度传感器213还包括对该波长敏感的、接收并捕捉具有该波长图像的摄像头。如上所述，眼戴设备100耦合到例如眼戴设备100本身或深度雕塑系统的另一部分中的处理器和存储器。眼戴设备100或深度雕塑系统随后可以在生成例如初始深度图像之类的三维深度图像期间处理所捕捉的红外图像。
图2b-c是包括两种不同类型的图像显示器的眼戴设备100示例硬件配置的后视图。眼戴设备100具有被配置为由用户佩戴的形式，其在示例中就是眼镜。眼戴设备100可以采取其他形式并且可以结合其他类型的框架，例如，头戴设备、耳机或头盔。
在眼镜示例中，眼戴设备100包括框架105，框架105包括左边缘107a，左边缘107a经由适于用户鼻子的鼻梁架106连接到右边缘107b。左边缘和右边缘107a-b包括各自的孔175a-b，其保持各自的光学元件180a-b，例如镜头和显示设备。如本文所用，术语镜头是指具有导致光会聚/发散或导致很少或不引起会聚或发散的曲面和/或平面的透明或半透明的玻璃盖片或塑料盖片。
虽然显示为具有两个光学元件180a-b，但眼戴设备100可包括其它布置，例如单个光学元件或可不包括任何光学元件180a-b，这取决于眼戴设备100的应用或预期用户。如进一步示出的，眼戴设备100包括邻近框架105的左侧侧面170a的左组块110a和邻近框架105的右侧侧面170b的右组块110b。组块110a-b可以在相应侧面170a-b上集成到框架105中(如图所示)，或者实现为在相应侧面170a-b上附接到框架105的单独组件。或者，组块110a-b可以集成到附接到框架105的眼戴设备腿(未示出)中。
在一个示例中，光学组件180a-b的图像显示器包括集成图像显示器。如图2b所示，光学组件180a-b包括任何合适类型的合适显示器矩阵170，例如液晶显示器(lcd)、有机发光二极管(oled)显示器或任何其它这样的显示器。光学组件180a-b还包括光学层176，光学层176可以包括镜头、光学涂层、棱镜、反射镜、波导管、光条和任何组合的其它光学部件。光学层176a-n可以包括棱镜，该棱镜具有合适的尺寸和配置并且包括用于接收来自显示器矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176a-n的棱镜在形成于左边缘和右边缘107a-b中的相应孔175a-b的全部或至少一部分上延伸，以允许用户在用户的眼睛通过相应左边缘和右边缘107a-b观看时看到棱镜的第二表面。光学层176a-n的棱镜的第一表面从框架105面向上，并且显示器矩阵置于棱镜上面，使得由显示器矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定为使得光在棱镜内被折射并且被光学层176a-n的棱镜的第二表面指向用户的眼睛。在这点上，光学层176a-n的棱镜的第二表面可以是凸面，以将光指向眼睛的中心。棱镜的尺寸和形状可以可选地确定为放大由显示器矩阵170投影的图像，并且光穿过棱镜，使得从第二表面观看的图像在一维或多维上大于从显示器矩阵170发射的图像。
在另一示例中，光学组件180a-b的图像显示设备包括如图2c所示的投影图像显示器。光学组件180a-b包括激光投影仪150，其是使用扫描镜或振镜的三色激光投影仪。在操作期间，激光投影仪150等光源设置在眼戴设备100的眼戴设备腿125a-b之一中或眼戴设备腿125a-b之一上。光学组件180a-b包含一个或多个光条155a-n，其跨越光学组件180a-b镜头的宽度或跨越镜头的位于镜头的前表面与后表面之间的深度而间隔开。
当由激光投影仪150投射的光子穿越光学组件180a-b的镜头时，光子遇到光条155a-n。当特定光子遇到特定光条时，光于要么指向用户的眼睛，要么传到下一个光条。激光投影仪150调制和光条调制的组合可以控制特定的光子或光线。在实例中，处理器通过机械、声学或电磁起始信号来控制光条155a-n。虽然被示为具有两个光学组件180a-b，但眼戴设备100可以包括其他布置，例如单个或三个光学组件，或者光学组件180a-b可以根据眼戴设备100的应用或预期用户而采用不同的布置。
如图2b-c进一步所示，眼戴设备100包括邻近框架105的左侧侧面170a的左组块110a和邻近框架105的右侧侧面170b的右组块110b。组块110a-b可以在相应的侧面170a-b上集成到框架105中(如图所示)，或者实现为在相应的侧面170a-b上附接到框架105的单独组件。或者，组块110a-b可以集成到附接到框架105的眼戴设备腿125a-b中。
在一个示例中，图像显示器包括第一(左侧)图像显示器和第二(右侧)图像显示器。眼戴设备100包括保持相应的第一和第二光学组件180a-b的第一和第二孔175a-b。第一光学组件180a包括第一图像显示器(例如，图2b的显示器矩阵170a，或图2c的光条155a-n’和投影仪150a)。第二光学组件180b包括第二图像显示器(例如图2b的显示器矩阵170b，或图2c的光条155a-n″和投影仪150b)。
图3示出了图2a眼戴设备的后透视截面图。描述了红外摄像头220、框架前部330、框架后部335和电路板。可以看出，眼戴设备100框架105左边缘107a的上部包括框架前部330和框架后部335。框架前部330包括向前侧面，该向前侧面被配置为面向外远离用户的眼睛。框架后部335包括向后侧面，该向后侧面被配置为面向内朝向用户的眼睛。红外摄像头220的开口形成在框架前部330上。
如框架105左边缘107a中上部圈出的横截面4-4所示，作为柔性印刷电路板(pcb)340的电路板被夹在框架前部330和框架后部335之间。还更详细地示出了左组块110a经由左铰链326a附接到左侧眼戴设备腿325a。在一些示例中，深度传感器213的部件(包括红外摄像头220、柔性pcb340或其他电连接器或触点)可位于左侧眼戴设备腿325a或左铰链326a上。
在示例中，左组块110a包括组块本体311、组块帽盖312、面向内的表面391和面向外的表面392(标记但不可见)。布置在左组块110a内的是各种互连电路板，例如pcb或柔性pcb，其包括用于对电池充电的控制器电路、面向内的发光二极管(led)和面向外的(向前的)led。尽管包括红外发射器215和红外摄像头220的深度传感器213示出为形成在左边缘107a的电路板上，但是也可以形成在右边缘107b的电路板上，例如，与右侧可见光摄像头114b组合，以捕捉在生成三维深度图像中使用的红外图像。
图4是穿过红外摄像头220和框架的截面图，对应于图3眼戴设备圈出的横截面4-4。在图4的横截面中可以看到眼戴设备100的各个层。如图所示，柔性pcb340设置在框架后部335上并连接到框架前部330。红外摄像头220设置在柔性pcb340上并由红外摄像头镜头盖445覆盖。例如，红外摄像头220被回流到柔性pcb340的背面。回流通过使柔性pcb340经受将焊膏熔化以连接两个部件的受控热而将红外摄像头220附接到形成于柔性pcb340背面上的电接触垫。在一个示例中，回流用于将红外摄像头220表面安装在柔性pcb340上并电连接这两个部件。然而，应当理解，例如，可以使用通孔将来自红外照摄像头220的引线经由连接线连接到柔性pcb340。
框架前部330包括用于红外摄像头镜头盖445的红外摄像头开口450。红外摄像头开口450形成在框架前部330的向前侧面上，该向前侧面被配置为远离用户的眼睛面向外并且朝向用户正在观察的场景。在该示例中，柔性pcb340可以经由柔性pcb粘合剂460连接到框架后部335。红外摄像头镜头盖445可以经由红外摄像头镜头盖粘合剂455连接到框架前部330。该连接可以是经由中间部件的间接连接。
图5示出了图2a眼戴设备的后透视图。眼戴设备100包括红外发射器215、红外摄像头220、框架前部330、框架后部335以及电路板340。和图3一样，从图5中可以看出，眼戴设备100框架的左边缘上部包括框架前部330和框架后部335。红外发射器215的开口形成在框架前部330上。
如框架左边缘中上部中圈出的横截面6-6所示，电路板(其为柔性pcb340)被夹在框架前部330和框架后部335之间。还更详细地示出的是左组块110a经由左铰链326a附接到左侧眼戴设备腿325a。在一些示例中，深度传感器213的组件(包括红外发射器215、柔性pcb340或其他电连接器或触点)可位于左侧眼戴设备腿325a或左铰链326a上。
图6是穿过红外发射器215和框架的截面图，对应于图5眼戴设备圈出的截面6-6。在图6的横截面中示出了眼戴设备100的多个层，如图所示，框架105包括框架前部330和框架后部335。柔性pcb340设置在框架后部335上并连接到框架前部330。红外发射器215设置在柔性pcb340上并由红外发射器镜头盖645覆盖。例如，红外发射器215回流到柔性pcb340的背面。回流通过使柔性pcb340经受将焊膏熔化以连接两个部件的受控热而将红外发射器215附接到形成于柔性pcb340背面上的接触垫。在一个示例中，回流用于将红外发射器215表面安装在柔性pcb340上并电连接这两个部件。然而，应当理解，例如，可以使用通孔将来自红外发射器215的引线经由连接线连接到柔性pcb340。
框架前部330包括用于红外发射器镜头盖645的红外发射器开口650。红外发射器开口650形成在框架前部330的向前侧面上，该向前侧面被配置为远离用户的眼睛面向外并且朝向用户正在观察的场景。在该示例中，柔性pcb340可以经由柔性pcb粘合剂460连接到框架后部335。红外发射器镜头盖645可以经由红外发射器镜头盖粘合剂655连接到框架前部330。该耦合也可以是经由中间部件的间接耦合。
图7描述了由深度传感器213的红外发射器215发射的红外光781发射图案的示例。如图所示，红外光782发射图案的反射变化被眼戴设备100深度传感器213的红外摄像头220捕捉为红外图像。红外光782发射图案的反射变化被用于测量原始图像(例如左侧原始图像)中像素的深度以生成例如初始深度图像的三维深度图像。
该示例中的深度传感器213包括红外发射器215和红外摄像头220，红外发射器215用于投射红外光图案，红外摄像头220用于捕捉由空间中的对象或对象特征所投射红外光的变形红外图像，如眼戴设备100的佩戴者所观察到的场景715所示。例如，红外发射器215可以发射红外光781，红外光781落在场景715内的对象或对象特征上，如同大量的点。在一些示例中，红外光作为线图案、螺线、或同心环的图案等发射。红外光通常对于人眼是不可见的。红外摄像头220类似于标准的红、绿和蓝(rgb)摄像头，但是接收并捕捉的是红外波长范围内光的图像。为了深度感知，红外摄像头220耦合到图像处理器(图9的元件912)和深度雕塑编程(元件945)，根据所捕捉的红外光的红外图像判断飞行时间。例如，然后所捕捉的红外图像中变形的点图案782可以由图像处理器处理，根据点的位移确定深度。通常，附近的对象或对象特征具有点进一步分散的图案，而远处的对象具有更密集的点图案。应当理解，前述功能可以体现在系统的一个或多个部件中深度雕塑编程或应用(元件945)的编程指令中。
图8a描述了由具有左侧红外摄像头视场812的深度传感器213红外摄像头220捕捉的红外光的示例。红外摄像头220将三维场景715中红外光782发射图案的反射变化捕捉为红外图像859。如进一步所示，可见光由具有左侧可见光摄像头视场111a的左侧可见光摄像头114a捕捉为左侧原始图像858a。基于红外图像859和左侧原始图像858a，生成三维场景715的三维初始深度图像。
图8b描述了由左侧可见光摄像头114a捕捉的可见光和由右侧可见光摄像头114b捕捉的可见光的示例。可见光由具有左侧可见光摄像头视场111a的左可见光摄像头114a捕捉为左侧原始图像858a。可见光由具有右侧可见光摄像头视场111b的右侧可见光摄像头114b捕捉为右侧原始图像858b。基于左侧原始图像858a和右侧原始图像858b，生成三维场景715的三维初始深度图像。
图9是示例深度雕塑系统900的高级功能块图，其包括经由各种网络连接的可穿戴设备(例如眼戴设备100)、移动设备990和服务器系统998。眼戴设备100包括深度捕捉摄像头，例如可见光摄像头114a-b中的至少一个；以及深度传感器213，被示为红外发射器215和红外摄像头220。或者深度捕捉摄像头可包括至少两个可见光摄像头114a-b(一个与左侧侧面170a相关联，一个与右侧侧面170b相关联)。深度捕捉摄像头生成深度图像961a-n的初始深度图像961a，其是作为红色、绿色和蓝色(rgb)成像场景纹理映射图像(例如，从初始图像957a-n导出)的渲染三维(3d)模型。
移动设备990可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接925和高速无线连接937两者与眼戴设备100连接的任何其他此类设备。移动设备990连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。
眼戴设备100还包括光学组件180a-b的两个图像显示器(一个与左侧侧面170a相关联，一个与右侧侧面170b相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。光学组件180a-b的图像显示器用于呈现图像，例如初始图像957a-n和深度雕塑图像967a-n。图像显示驱动器942耦合到光学组件180a-b的图像显示器以控制光学组件180a-b的图像显示器来呈现图像，例如初始图像957a-n和深度雕塑图像967a-n。眼戴设备100还包括用户输入设备991(例如触摸传感器)，用于接收用户的二维输入选择。
图9所示的眼戴设备100位于一个或多个电路板上，例如位于边缘或眼戴设备腿中的pcb或柔性pcb上。或者或此外，所描述的部件可以位于眼戴设备100的组块、框架、铰链或鼻梁架中。左侧和右侧可见光摄像头114a-b可包括数码摄像头元件，例如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件、镜头或可用于捕捉数据(包括具有未知对象的场景图像)的任何其它相应的可见光捕捉元件。
眼戴设备100包括存储器934，其包括深度雕塑编程945，以执行本文所述的用于深度雕塑的功能子集或全部功能，其中用户的二维输入选择被应用于初始深度图像以生成深度雕塑图像。如图所示，存储器934还包括由左侧可见光摄像头114a捕捉的左侧原始图像858a、由右侧可见光摄像头114b捕捉的右侧原始图像858b、以及由深度传感器213的红外摄像头220捕捉的红外图像859。
存储器934还包括多个深度图像961a-n，包括经由深度捕捉摄像头生成的初始深度图像961a。在图11中示出了概述可在深度雕塑编程945中执行各功能的流程图。存储器934还包括由用户输入设备991接收的二维输入选择962(例如，初始触摸点和最终触摸点)。存储器934还包括初始射线963、最终射线964、旋转矩阵965、深度雕塑区域966、关联矩阵968、左侧和右侧校正图像969a-b(例如，删除朝向镜头末端的渐晕)，以及图像视差970，所有这些都是在深度图像961a-n(例如初始深度图像961a)的图像处理期间生成的，目的是生成相应的深度雕塑图像967a-n(例如，深度雕塑图像967a)。
在变换期间，基于二维输入选择962的初始触摸点和最终触摸点来获得初始深度图像961a的顶点。当选择顶点并将其拖拽为初始触摸点时，在三维(3d)空间中拖拽顶点。因为经由用户输入设备991、1091接收的用户输入是在二维(2d)空间中的，所以该顶点随后通过旋转利用2d输入在3d空间中被拖曳。如果射线通过像素被发射，则存在相对于使用放射摄像头模型的深度捕捉摄像头的放射射线，该放射摄像头模型发射到初始深度图像961a的3d空间中。例如，假设像素x1对应于初始触摸点并且具有初始射线963。现在假设不同的像素x2对应于最终触摸点并且具有最终射线964。可以描述像素x1(第一触摸点)和像素x2(最终触摸点)之间的旋转。可计算初始射线963与最终射线964之间的旋转矩阵965，描述初始触摸点(第一触摸点)与最终触摸点(最后触摸点)之间的旋转。通过将向量乘以旋转矩阵965，将旋转矩阵965应用于深度的3d空间z位置坐标，以获得3d空间中的新的z位置坐标。但是深度雕塑图像967a中的2d位置坐标(x和y)仍然对应于x2(最后触摸点)。该变换创建顶点x1沿其移动的弧，并且获得具有顶点更新位置的新的更新网格(深度雕塑图像967a)。更新后的网格可从原始摄像头视点或不同视点被显示为深度雕塑图像967a。
如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942耦合到高速电路930并由高速处理器932操作，以便驱动光学组件180a-b的左侧图像显示器和右侧图像显示器。高速处理器932可以是能够管理眼戴设备100所需的任何通用计算系统高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936管理到无线局域网(wlan)的高速无线连接937上高速数据传输所需的处理资源。在某些实施例中，高速处理器932执行操作系统，例如眼戴设备100的linux操作系统或其他这样的操作系统，并且该操作系统被存储在存储器934中用于执行。除了任何其他责任之外，执行眼戴设备100软件架构的高速处理器932还用于管理对于高速无线电路936的数据传输。在某些实施例中，高速无线电路936被配置为执行电气和电子工程师协会(1eee)802.11通信标准，在本文中也被称为wi-fi。在其他实施例中，可以由高速无线电路936执行其他高速通信标准。
眼戴设备100的低功率无线电路924和高速无线电路936可包括短程收发器(bluetoothtm)和无线广域、局域或广域网络收发器(例如，蜂窝式或wifi)。包括经由低功率无线连接925和高速无线连接937通信的收发器的移动设备990可以使用眼戴设备100的架构的细节来实现，网络995的其他元件也是如此。
存储器934包括能够存储各种数据和应用的任何存储设备，这些数据和应用尤其包括由左侧和右侧可见光摄像头114a-b、红外摄像头220和图像处理器912生成的摄像头数据，以及为了由图像显示驱动器942在光学组件180a-b的图像显示器上显示而生成的的图像。虽然存储器934被示为与高速电路930集成，但是在其他实施例中，存储器934可以是眼戴设备100的独立元件。在某些此类实施例中，电的路由线可提供通过包含高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其它实施例中，高速处理器932可管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。
如图9所示，眼戴设备100的处理器932可以耦合到深度捕捉摄像头(可见光摄像头114a-b；或可见光摄像头114a、红外发射器215和红外摄像头220)、图像显示驱动器942、用户输入设备991和存储器934。如图10所示，移动设备990的处理器1030可耦合到深度捕捉摄像头1070、图像显示驱动器1090、用户输入设备1091和存储器1040a。眼戴设备100通过由眼戴设备100的处理器932执行存储器934中的深度雕塑编程945，能够执行任何下述的全部功能或功能于集。移动设备990通过由移动设备990的处理器1030执行存储器1040a中的深度雕塑编程945，能够执行任何下述的全部功能或功能子集。可在深度雕塑系统900中划分各项功能，使得眼戴设备100生成深度图像961a-n，但是移动设备990对深度图像961a-n执行图像处理的剩余部分以生成雕塑深度图像967a-n。
处理器932、1030对深度雕塑编程945的执行将深度雕塑系统900配置为执行各项功能，包括经由深度捕捉摄像头生成与初始图像957a相对应的初始深度图像961a的功能。初始深度图像961a由顶点矩阵形成。每个顶点表示三维场景715中的像素。每个顶点都具有位置属性。每个顶点的位置属性都基于三维位置坐标系，包括针对水平位置的x轴上的x位置坐标、针对垂直位置的y轴上的y位置坐标以及针对深度的z轴上的z位置坐标。每个顶点还包括颜色属性、纹理属性或反射属性中的一个或多个。
深度雕塑系统900经由图像显示器180a-b、1080呈现初始图像957a。眼戴设备100经由用户输入设备991、1091接收来自用户的所呈现初始图像957a的二维输入选择962。深度雕塑系统900经由用户输入设备991、1091跟踪二维输入选择962从所呈现初始图像957a的初始触摸点到最终触摸点的运动。
深度雕塑系统900计算初始射线963，其是从三维位置坐标系的原点顶点到与所呈现初始图像957a的初始触摸点相对应初始顶点的投影。原点顶点对应于深度捕捉摄像头。深度雕塑系统900计算最终射线964，其是从原点顶点到与所呈现初始图像957a的最终触摸点相对应最终顶点的投影。深度雕塑系统900确定初始射线963和最终射线964之间的旋转矩阵965，其描述了从初始射线到最终射线的旋转以导出深度雕塑区域966。深度雕塑系统900通过将旋转矩阵965应用于深度雕塑区域966中初始深度图像961a顶点的位置属性来生成深度雕塑图像967a。深度雕塑系统900经由图像显示器180a-b、1080呈现深度雕塑图像967a。
变换意味着将旋转矩阵应用于初始深度图像961a的真实世界三维坐标，其中，原点顶点是深度捕捉摄像头的三维位置，例如，x，y，z＝(0，0，0)。二维输入选择962在用户输入设备991、1091上的二维移动基本上描述了围绕该旋转中心的旋转。这样的深度雕塑提供了利用二维输入选择962(例如二维空间)来与三维深度图像961a-n交互并编辑三维深度图像961a-n的直观方式。
在深度雕塑系统900的一个示例中，处理器包括第一处理器932和第二处理器1030。存储器包括第一存储器934和第二存储器1040a。眼戴设备100包括用于通过网络925或937(例如，无线短程网络或无线局域网)进行通信的第一网络通信924或936接口、耦合到第一网络通信接口924或936的第一处理器932、以及第一处理器932可访问的第一存储器934。眼戴设备100还包括第一存储器934中的深度雕塑编程945。第一处理器932执行深度雕塑程序945将眼戴设备100配置为执行经由深度捕捉摄像头生成与初始图像957a相对应的初始深度图像961a的功能。
深度雕塑系统900还包括通过网络925或937耦合到眼戴设备100的主机，例如移动设备990。主机包括用于通过网络925或937进行通信的第二网络通信接口1010或1020、耦合到第二网络通信接口1010或1020的第二处理器1030以及第二处理器1030可访问的第二存储器1040a。主机还包括第二存储器1040a中的深度雕塑编程945。
第二处理器1030执行深度雕塑编程945将主机配置为执行经由第二网络通信接口1010或1020通过网络从眼戴设备100接收初始深度图像961a的功能。第二处理器1030执行深度雕塑编程945将主机配置为经由图像显示器1080呈现初始图像957a。第二处理器1030执行深度雕塑编程945将主机配置为经由用户输入设备1091(例如触摸屏或计算机鼠标)接收用户的二维输入选择962。第二处理器1030执行深度雕塑编程945将主机配置为经由用户输入设备1091跟踪二维输入选择962从初始触摸点到最终触摸点的运动。第二处理器1030执行深度雕塑编程945将主机配置为计算初始射线963。第二处理器1030执行深度雕塑编程945将主机配置为计算最终射线964。第二处理器1030执行深度雕塑编程945将主机配置为确定初始射线963和最终射线964之间的旋转矩阵965，该旋转矩阵965描述了初始射线和最终射线之间的旋转。第二处理器1030执行深度雕塑编程945将主机配置为通过将旋转矩阵965应用于初始深度图像961a顶点的位置属性来生成深度雕塑图像967a。第二处理器1030执行深度雕塑编程945将主机配置为经由图像显示器1080呈现深度雕塑图像967a。
在该示例中，深度雕塑系统900针对初始顶点和最终顶点周围的初始深度图像961a顶点计算关联矩阵968，关联矩阵968确定旋转矩阵965对每个顶点的影响权重。基于计算出的关联矩阵968，通过将旋转矩阵965应用于深度雕塑区域966中初始深度图像961a顶点的位置属性来生成深度雕塑图像967a。如果将旋转矩阵965应用于单个顶点，则将出现尖峰或收缩。为了生成平滑的(弯曲的)深度雕塑图像967a，计算关联矩阵968作为触摸点周围的影响区域。对于初始触摸点，可以设置具有特定半径的圆。然后(例如，利用边缘检测)计算每个顶点相对于圆中心的量或关联度(如分段)，因此每个顶点具有关于顶点如何受旋转矩阵965影响的在0和1之间的权重。基本上每个顶点都根据这个权重移动。如果权重为1，则根据旋转矩阵965变换顶点。如果权重为0，则顶点不移动。如果权重是1/2，则顶点将来到原始位置和变换位置之间的中途。
在一个示例中，眼戴设备100的深度捕捉摄像头包括至少两个可见光摄像头，所述至少两个可见光摄像头包括具有左侧视场111a的左侧可见光摄像头114a和具有有侧视场111b的右侧可见光摄像头114b。左侧视场111a和右侧视场111b具有重合的视场813(参见图8b)。可以类似地构造移动设备990的深度捕捉摄像头1070。
经由深度捕捉摄像头生成初始深度图像961a可包括以下全部功能或功能子集。首先，经由左侧可见光摄像头114a捕捉包括左侧像素矩阵的左侧原始图像858a。第二，经由右侧可见光摄像头114b捕捉包括右侧像素矩阵的右侧原始图像858b。第三，从左侧原始图像858a创建左侧校正图像969a，从右侧原始图像858b创建右侧校正图像969b，对准左侧和右侧原始图像858a-b并且去除来自左侧和右侧可见光摄像头114a-b中每一个相应镜头(例如，在来自渐晕的镜头边缘处)的变形。第四，通过将左侧校正图像969a与右侧校正图像969b的像素相关联来提取图像视差970，以计算每个相关像素的视差。第五，至少基于针对每个相关像素所提取的图像视差970来计算初始深度图像961a顶点的z位置坐标。例如，可以利用半整体块匹配(sgbm)来实现左侧像素和右侧像素的相关联。
在示例中，眼戴设备100的深度捕捉摄像头包括至少一个可见光摄像头114a和深度传感器213(例如红外发射器215和红外摄像头220)。至少一个可见光摄像头114a和深度传感器213具有基本重合的视场812(参见图8a)。深度传感器213包括红外发射器215和红外摄像头220。红外发射器215连接到框架105或眼戴设备腿125a-b以发射红外光图案。红外摄像头220连接到框架105或眼戴设备腿125a-b，以捕捉红外光发射图案中的反射变化。可以类似地构造移动设备990的深度捕捉摄像头1070。
经由深度捕捉摄像头生成初始深度图像961a可包括以下功能的全部或子集。首先，经由至少一个可见光摄像头114a捕捉原始图像858a。第二，经由红外发射器215在位于所发射的红外光781所到达的场景715中的多个对象或对象特征上发射红外光781的图案。第三，经由红外摄像头220捕捉红外光782的发射图案在多个对象或对象特征上的反射变化的红外图像859。第四，基于反射变化的红外图像859计算从深度捕捉摄像头到多个对象或对象特征的相应深度。第五，将反射变化的红外图像859中的对象或对象特征与原始图像858a相关联。第六，至少基于计算出的相应深度来计算初始深度图像961a顶点的z位置坐标。
在示例中，通过将旋转矩阵965应用于初始深度图像961a顶点的位置属性来生成深度雕塑图像967a，包括将旋转矩阵965乘以初始深度图像961a的每个顶点以获得三维位置坐标系上新的x位置坐标、新的y位置坐标和新的z位置坐标。
深度雕塑图像967a是连续反复生成的一系列深度雕塑图像967a-n中的一个。在一些示例中，深度雕塑系统900反复执行全部功能或功能于集以生成一系列深度雕塑图像967a-n中的每一个。首先，响应经由图像显示器180a-b、1080呈现深度雕塑图像967a，深度雕塑系统900经由用户输入设备991、1091接收用户的深度雕塑图像967a下一个二维输入选择962b。第二，深度雕塑系统900经由用户输入设备991、1091跟踪下一个二维输入选择962b从所呈现的深度雕塑图像967a的下一个初始触摸点到下一个最终触摸点的运动。第三，深度雕塑系统900计算下一个初始射线963b，其是从三维位置坐标系的原点顶点到对应于深度雕塑图像967a上下一个初始触摸点的下一初始顶点的投影。第四，深度雕塑系统900计算下一个最终射线964b，其是从原点顶点到与所呈现的深度雕塑图像967a的下一个最终触摸点相对应的下一最终顶点的投影。第五，深度雕塑系统900确定下一个初始射线963b和下一个最终射线964b之间的下一个旋转矩阵965b，其描述了所呈现的深度雕塑图像967a从下一个初始射线963b到下一个最终射线964b的旋转，以导出下一个深度雕塑区域966b。第六，深度雕塑系统900通过将下一个旋转矩阵965b应用于深度雕塑图像967a在下一个深度雕塑区域966b中顶点的位置属性来生成下一个深度雕塑图像967b。第七，深度雕塑系统900经由图像显示器180a-b、1080呈现下一个深度雕塑图像967b。
在一个示例中，用户输入设备991、1091包括触摸传感器，所述触摸传感器包括输入端表面和耦合到输入端表面以接收用户输入的至少一个手指接触的传感器阵列。用户输入装置991、1091进一步包含感测电路，其集成到触摸传感器中或连接到触摸传感器且连接到处理器932、1030。将感测电路配置为测量电压以跟踪输入端表面上的至少一个手指接触。经由用户输入设备991、1091接收用户的二维输入选择962的功能包括在触摸传感器的输入端表面上接收用户输入的至少一个手指接触。经由用户输入设备991、1091跟踪二维输入选择962从初始触摸点到最终触摸点的运动的功能包括经由感测电路跟踪从输入端表面上的至少一个手指接触从初始触摸点到触摸传感器输入端表面上最终触摸点的拖曳。
基于触摸的用户输入设备991可以集成到眼戴设备100中。如上所述，眼戴设备100包括在眼戴设备100的侧面170a-b上集成到或连接到框架105的组块110a-b。框架105、眼戴设备腿125a-b或组块110a-b包括电路板，该电路板包括触摸传感器。该电路板包括柔性印刷电路板。触控传感器设置于软性印刷电路板上。传感器阵列是电容性阵列或电阻性阵列。电容性阵列或电阻性阵列包括形成二维直角坐标系的网格，以跟踪x和y轴位置坐标。
服务器系统998可以是作为服务或网络计算系统一部分的一个或多个计算设备，例如，其包括处理器、存储器和通过网络995与移动设备990和眼戴设备100通信的网络通信接口。眼戴设备100与主机连接。例如，眼戴设备100经由高速无线连接937与移动设备990配对，或者经由网络995与服务器系统998连接。
眼戴设备100的输出部件包括视觉部件，例如如图2b-c所述的光学组件180a-b的左侧和右侧图像显示器(例如，液晶显示器(lcd)、等离子体显示面板(pdp)、发光二极管(led)显示器、投影仪或波导管等显示器)。光学组件180a-b的图像显示器由图像显示驱动器942驱动。眼戴设备100的输出部件还包括声学部件(例如扬声器)、触觉部件(例如振动电机)、其它信号发生器等。眼戴设备100、移动设备990和服务器系统998的输入部件可以包括字母数字输入部件(例如键盘、被配置为接收字母数字输入的触摸屏、光键盘或其他字母数字输入部件)、基于点的输入部件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其它触觉输入部件)、音频输入组件(例如麦克风)等。
眼戴设备100可以可选地包括附加的外围设备元件。这样的外围设备元件可包括生物计量传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件可包含任何i/o部件，包括输出部件、运动部件、位置部件或本文所述的任何其它此类元件。
例如，生物计量部件包括用于检测表情(例如手表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、排汗或脑电波)、识别人(例如声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件包括加速度传感器部件(例如加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等。位置部件包括生成位置坐标的位置传感器部件(例如全球定位系统(gps)接收器部件)、用于生成定位系统坐标的wifi或bluetoothtm收发器、高度传感器部件(例如高度计或气压计，气压计用于检测可从其导出海拔高度的气压)、方向传感器部件(例如磁力计)等，还可经由低功率无线电路924或高速无线电路936利用无线连接925和937从移动设备990接收此类定位系统坐标。
图10是经由图9的深度雕塑系统900通信的移动设备990示例的高级功能块图。移动设备990包括用户输入设备1091，用于接收二维输入选择，以应用于初始深度图像961a，生成深度雕塑图像967a。
移动设备990包括闪存1040a，闪存1040a包括深度雕塑编程945以执行本文所描述的用于深度雕塑功能的全部或于集，其中用户的二维输入选择被应用于初始深度图像961a以生成深度雕塑图像967a。如图所示，存储器1040a还包括由左侧可见光摄像头114a捕捉的左侧原始图像858a、由右侧可见光摄像头114b捕捉的右侧原始图像858b、以及由深度传感器213的红外摄像头220捕捉的红外图像859。移动设备1090可包括深度捕捉摄像头1070，该深度捕捉摄像头1070包括至少两个可见光摄像头(具有重合视场的第一和第二可见光摄像头)或至少一个可见光摄像头以及具有基本重合视场的深度传感器，和眼戴设备100一样。当移动设备990包括和眼戴设备100一样的部件时，例如深度捕捉摄像头，左侧原始图像858a、右侧原始图像858b和红外图像859可经由移动设备990的深度捕捉摄像头1070捕捉。
存储器1040a还包括经由眼戴设备100的深度捕捉摄像头或经由移动设备990本身的深度捕捉摄像头1070生成的多个深度图像961a-n，包括初始深度图像961a。图11中示出了概述可在深度雕塑编程945中实现功能的流程图。存储器1040a还包括二维输入选择962，例如由用户输入设备1091接收的初始触摸点和最终触摸点。存储器1040a还包括初始射线963、最终射线964、旋转矩阵965、深度雕塑区域966、关联矩阵968、左侧和右侧校正图像969a-b(例如，消除朝向镜头末端的渐晕)以及图像视差970，所有这些都是在初始图像957a-n、深度图像961a-n(例如初始深度图像961a)进行图像处理期间生成的，以生成相应的深度雕塑图像967a-n(例如深度雕塑图像967a)。
如图所示，移动设备990包括图像显示器1080、用于控制图像显示的图像显示驱动器1090以及与眼戴设备100类似的用户输入设备1091。在图10的示例中，图像显示器1080和用户输入设备1091一起被集成到触摸屏显示器中。
可使用的触摸屏型移动设备的示例包括(但不限于)智能电话、个人数字助理(pda)、平板电脑、笔记本电脑或其它便携式设备。然而，触摸屏型设备的结构和操作是通过示例的方式提供，并且如本文所述的主题技术并不希望仅限于此。出于这个讨论的目的，图10提供了示例移动设备990的块图图示，该示例移动设备990具有用于显示内容并接收用户输入作为用户接口(或作为用户接口的一部分)的触摸屏显示器。
本文所讨论焦点的活动通常涉及与将经由用户输入设备1091接收用户的二维输入选择应用于所显示的初始深度图像961a有关的数据通信，以便在便携式眼戴设备100或移动设备990中生成深度雕塑图像967a。如图10所示，移动设备990包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(xcvr)1010，其被示为wwanxcvr。移动设备990还包括附加的数字或模拟收发器，例如用于经由nfc、vlc、dect、zigbee、bluetoothtm或wifi等短程网络通信的短程xcvr1020。例如，短程xcvr1020可以采用与在无线局域网中实现一个或多个标准通信协议兼容类型的任何可用的双向无线局域网(wlan)收发器的形式，所述标准通信协议例如ieee802.11和wimax下的wi-fi标准之一。
为了生成用于定位移动设备990的位置坐标，移动设备990可以包括全球定位系统(gps)接收器。或者或此外，移动设备990可以利用短程xcvr1020和wwanxcvr1010中的任一个或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、wifi或bluetoothtm的定位系统可以生成非常精确的位置坐标，尤其是在组合使用时。这样的位置坐标可以经由xcvr1010、1020通过一个或多个网络连接被传输到眼戴设备。
收发器1010、1020(网络通信接口)符合现代移动网络所使用的各种数字无线通信标准中的一个或多个。wwan收发器1010的示例包括(但不限于)被配置为根据码分多址(cdma)和第三代合作伙伴计划(3gpp)网络技术(包括但不限于3gpp类型2(或3gpp2)和lte，有时被称为“4g”)进行操作的收发器。例如，收发器1010、1020提供信息的双向无线通信，该信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及与网络相关输入、以及去往/来自移动设备990的用于深度雕塑的各种类型的移动消息通信。
如上所述，通过收发器1010、1020和网络的这些类型的若干通信涉及支持与进行深度雕塑的眼戴设备100或服务器系统998通信的协议和程序，例如传输左侧原始图像858a、右侧原始图像858b、红外图像859、深度图像961a-n和深度雕塑图像967a-n。例如，这样的通信可以通过无线连接925和937经由短程xcvr1020传输去往和来自眼戴设备100的分组数据，如图9所示。例如，这样的通信还可以通过图9所示的网络(例如因特网)995经由wwanxcvr1010利用ip分组数据传输来传输数据。wwanxcvr1010和短程xcvr1020两者都通过射频(rf)发送和接收放大器(未示出)连接到相关联的天线(未示出)。
移动设备990进一步包括微处理器，显示为cpu1030，其在本文中有时被称为主控制器。处理器是具有被构造和布置成执行一个或多个处理功能(通常是各种数据处理功能)的元件的电路。虽然可使用离散逻辑部件，但示例是利用形成可编程cpu的部件。例如，微处理器包括一个或多个集成电路(ic)芯片，结合执行cpu功能的电于元件。例如，处理器1030可以基于任何已知的或可用的微处理器架构，例如使用arm架构的精简指令集计算(risc)，如当今在移动设备和其他便携式电子设备中普遍使用的那样。当然，其它处理器电路可用于形成cpu1030或智能电话、笔记本电脑和平板电脑中的处理器硬件。
微处理器1030通过配置移动设备990以(例如)根据可由处理器1030执行的指令或编程来执行各种操作而充当移动设备990的可编程主控制器。例如，这样的操作可以包括移动设备的各种一般操作，以及与深度雕塑编程945和与眼戴设备100和服务器系统998的通信有关的操作。虽然可以通过使用硬连线逻辑来配置处理器，但是移动设备中的典型处理器是通过执行编程来配置的通用处理电路。
移动设备990包括用于存储数据和编程的存储器或存储设备系统。在该示例中，存储器系统可以包括闪存1040a和随机存取存储器(ram)1040b。ram1040b用作处理器1030所处理的指令和数据的短期存储，例如用作工作数据处理的存储器。闪存1040a通常提供长期存储。
因此，在移动设备990的示例中，闪存1040a用于存储处理器1030执行的编程或指令。取决于设备的类型，移动设备990存储并运行移动操作系统，通过该移动操作系统执行深度雕塑编程945等特定应用。深度雕塑编程945等应用可以是本地应用、混合应用或网络应用(例如由网络浏览器执行的动态网页)，在移动设备990上运行，以基于所接收的二维输入选择962从深度图像961a-n生成深度雕塑图像967a-n。移动操作系统的示例包括谷歌安卓系统(googleandroid)、苹果ios系统(i-phone或ipad设备)、windowsmobile、amazonfireos、rim黑莓操作系统等。
应当理解，移动设备990仅是深度雕塑系统900中的一种类型的主机，并且可利用其他布置。例如，服务器系统998(例如图9所示的服务器系统)，在生成初始深度图像961a之后，通过眼戴设备100的深度捕捉摄像头对初始深度图像961a进行深度雕塑。
图11是具有可在深度雕塑系统900中实施的步骤的方法流程图，将用户的二维输入选择962应用于初始深度图像961a以生成深度雕塑图像967b。因为图11的块中内容前面已经进行了详细说明，此处不再赘述。
图12-13示出了具有人类对象1205的各种对象特征(例如，人的头部、脸颊、前额、鼻子、头发、牙齿、嘴巴等)的室内三维场景715呈现的初始图像957a和初始深度图像961a的第一个二维输入选择962a的示例。在图12中，第一个二维输入选择962a的初始触摸点是对人类对象1205的右脸颊对象特征的鼠标光标选择。在图13中，第一个二维输入选择962a的最终触摸点是在房间中远离右脸颊的自由空间上的鼠标光标选择。
图14-15示出了第一个生成的深度雕塑图像967a的示例，该示例基于第一个二维选择962a将图12-13的人类对象1205初始深度图像961a进行旋转，以深度雕塑人类对象1205的右脸颊对象特征。如图14所示，右脸颊对象特征在深度雕塑区域966a内，并且右脸颊对象特征向外延伸以在深度雕塑区域966a内凸出，该深度雕塑区域966a由第一个二维输入选择962a的最终触摸点和初始触摸点界定。在图14中，下一个(第二个)二维输入选择962b的下一个初始触摸点962b是对人类对象1205的左脸颊对象特征的鼠标光标选择。在图15中，下一个(第二个)二维输入选择962b的最终触摸点是在房间中远离左脸颊的自由空间上的鼠标光标选择。
图16-17示出了生成的第二个深度雕塑图像967b的示例，该示例基于下一个(第二个)二维选择962b将图14-15的人类对象1205第一个深度雕塑图像967a进行旋转，以深度雕塑人类对象1205的左脸颊对象特征。如图16所示，左脸颊对象特征在深度雕塑区域966b内，并且左脸颊对象特征向外延伸以在深度雕塑区域966b内凸出，深度雕塑区域966b由下一个(第二个)二维输入选择962b的最终触摸点和初始触摸点界定。在图16中，另一(第三个)下一个二维输入选择962c的下一个初始触摸点962c是对人类对象1205的左前额对象特征上的鼠标光标选择。在图17中，另一下一个(第三个)二维输入选择962c的最终触摸点是对人类对象1205的头发对象特征的鼠标光标选择。
图18示出了生成的第三个深度雕塑图像967c的示例，该示例基于另一下一个(第三个)二维选择962c将图16-17的人类对象1205第二深度雕塑图像967b进行旋转，以深度雕塑人类对象1205的前额对象特征。如图18所示，前额对象特征在深度雕塑区域966c内，并且前额对象特征向外延伸以在深度雕塑区域966c内凸出，深度雕塑区域966c以下一个(第二个)二维输入选择962b的最终触摸点和初始触摸点界定。图19示出了图18生成的第三个深度雕塑图像967c的右旋转，用于显示深度图像961a-n和深度雕塑图像967a-n三维模型的深度(z轴)。图20示出了图18生成的第三个深度雕塑图像967c的左旋转，用于进一步显示深度图像961a-n和深度雕塑图像967a-n三维模型的深度(z轴)。
本文描述的用于眼戴设备100、移动设备990和服务器系统998的任何深度雕塑功能可以体现在一个或多个应用中，如前文所述。根据一些实施例，“功能”、“应用”、“指令”、或“编程”是执行在程序中所确定功能的程序。可以采用各种编程语言来创建以面向对象的编程语言(例如objective-c、java或c++)或程序编程语言(例如c语言或汇编语言)等各种方式构造的一个或多个应用程序。在具体示例中，第三方应用程序(例如，由特定平台供应商以外的实体使用androidtm或者iostm软件开发工具包(sdk)开发的应用程序)可能是在iostm，androidtm，
因此，机器可读介质可采取许多形式的有形存储介质。例如，非易失性存储介质包括光盘或磁盘，例如任何计算机中的任何存储设备等，例如可用于实现附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，例如这种计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的导线。载波传输介质可以采用电信号或电磁信号的形式，或者采用声波或光波的形式，例如在射频(rf)和红外(ir)数据通信期间产生的声波或光波。因此，例如计算机可读介质的常见形式包括：软盘、硬盘、磁带、任何其它磁介质、cd-rom、dvd或dvd-rom、任何其它光学介质、穿孔卡片纸带、具有孔图案的任何其它物理存储介质、ram、prom和eprom、快闪eprom、任何其它存储器芯片或盒、传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码和/或数据的任何其它介质。许多这些形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。
保护的范围仅由所附权利要求书限定。当根据本说明书和随后的申请过程进行解释时，该范围旨在并且应当被解释为与权利要求中所使用语言的普通含义一样宽，并且应当被解释为包括所有等同结构和功能。然而，权利要求无意包含未能满足《专利法》第101、102或103节要求的主题，也不应当以这种方式解释它们。特此放弃对该主题的任何非故意采纳。
除上文所述之外，所陈述或说明的任何内容均无意或不应被解释为导致将任何部件、步骤、特征、目标、利益、优势等捐献于公众，而不管其是否在权利要求书中陈述。
应当理解，除了在本文中另外阐述的特定含义之外，本文使用的术语和表达具有与这些术语和表达相对于它们相应的各自研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其它变型旨在涵盖非排他性包含，使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤，而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面有“一个”修饰的元件，在没有进一步限制的情况下，不排除在包含该元件的过程、方法、制品或设备中存在附加的相同元件。
除非另有说明，在本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如，除非另有明确说明，否则参数值等可能与规定的数量相差±10％。
另外，在前面的具体实施方式中，可以看出，为了简化本公开，在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求在此结合到具体实施方式中，其中每个权利要求独立地作为单独要求保护的主题。
虽然上文已经描述了被认为是最佳方式和其它示例的内容，但是应当理解，可以在其中进行各种修改，可以以各种形式和示例来实现本文公开的主题，并且它们可以应用于许多应用中，在此仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念真实范围内的任何和所有修改和变化。
- 还没有人留言评论。精彩留言会获得点赞！