平视显示器的键盘化身的制作方法
【专利摘要】在一些实施例中，本发明涉及使用平视显示器（HUD）或头戴式显示器（HMD）来观看用户手指与通信地连接到计算设备的输入设备的表示。将键盘/手指表示连同从计算设备接收的应用显示一起显示。在一个实施例中，输入设备具有加速计，用以检测输入设备中的倾斜运动，并将该信息发送给计算设备。一个实施例在HUD/HMD显示器中提供了按键或控件促动的可视反馈。还描述和要求保护了其它实施例。
【专利说明】平视显示器的键盘化身
【技术领域】
[0001]概括地说，本发明的实施例涉及平视显示器(heads up display)，具体地说，本发明的实施例涉及用于使用平视或者头戴式显示器来观看该显示器中的屏幕或监视器视图之外还观看键盘/输入设备和手指相对于该输入设备的位置的系统和方法。
【背景技术】
[0002]存在允许用户在不必低头的情况下观看显示器的各种机制。平视显示器(HUD)和头戴式显示器(HMD)允许人们在不低头看计算机的情况下观看显示器。HUD/HMD变得更小和更加灵活，更像一付太阳眼镜，因此更加流行。在现有系统中，HUD/HMD可以用作笔记本计算机的显示器。当在飞机上和平视有利的其它场所中工作时，这是非常有用的。旁边的人看不到用户的显示器，用户使用笔记本工作不需要太大的空间；在飞机上的经济舱中尝试使用笔记本计算机可能是非常不舒适的。
[0003]在现有技术的情况下，触摸打字员已经可以在飞机上使用了 HUD/HMD与笔记本，并且可以在不必看笔记本键盘的情况下使用笔记本上的键盘和鼠标。但是，大多数人在他们打字时，仍需要相对于他们的手指能够看到键盘，并且看到指点设备和音量控制的位置也是有帮助的。而HUD/HMD并不允许这些。
【专利附图】
【附图说明】
[0004]通过本发明的以下详细描述，本发明的特征和优点将变得显而易见，其中:
[0005]图1示出了根据本发明实施例使用具有集成的照相机的智能电话、键盘和HMD的键盘化身系统的实施例；
[0006]图2A示出了根据本发明实施例来自与面向照相机相反的视点的键盘和手指的图像；
[0007]图2B示出了根据本发明在图2A中看到的键盘和手指的旋转图像；
[0008]图2C示出了根据本发明实施例图2A-B的图像转换到从用户角度所看到的视角；
[0009]图3A示出了根据本发明实施例用于观看HUD/HMD的综合显示，其组合了来自用户会话的期望的显示输出和手指/键盘的图像；
[0010]图3B示出了根据本发明实施例用于观看HUD/HMD的综合显示，其组合了来自用户会话的期望的显示输出和化身手指/键盘表示；
[0011]图4示出了一种键盘化身系统的实施例,其中该键盘化身系统使用安装在与输入板HMD相稱合的扩展玛(docking station)中的照相机；以及
[0012]图5示出了一种键盘化身系统的实施例，其中该键盘化身系统使用照相机和HMD，所述照相机安装在与输入板具有相对位置的平台上。
【具体实施方式】
[0013]本发明的实施例是与无线显示技术有关的系统和方法，在实现变得更小的情况下，该系统和方法可以应用于平视显示器和头戴式显示器(HUD/HMD)，从而允许无线HUD/HMD。无线协议802.11在一些商业航班中是可用的，并且在不久的未来可能变得更加普遍，其使得能利用本申请所描述的实施例。随着这些协议在将来允许增加的带宽，可以使用蓝牙技术。用户可以把集成的笔记本照相机安放在适当位置，以低头观看键盘上的用户手指，并随后在HUD/HMD连同所期望的显示上看到他们的手指。但是，使用该方法，视频与用户所需要的正常键盘角度是“颠倒的”，并且对于清楚地观看手指和键盘来说，光线状况可能不足够好。使用单一键盘布局和触摸板限制了用户体验。在本发明的实施例中，用户可以容易地改变输入设备，同时继续戴着HUD/HMD。在实施例中，可以使用系统装配的光源或者红外线光源，来获得输入设备上的手指位置的更清晰图片。
[0014]说明书中对于本发明的“一个实施例”或者“实施例”的提及是指结合该实施例所描述的具体特征、结构或者特性包括在本发明的至少一个实施例中。贯穿说明书在各个地方出现短语“在一个实施例中”未必都是指代同一实施例。
[0015]为了解释的目的，给出了特定的配置和细节，以便提供对本发明的透彻理解。但是，对于本领域普通技术人员来说显而易见的是，可以在不使用本申请所给出的这些特定细节的情况下实现本发明的实施例。此外，为了避免造成本发明的模糊，省略或者简化了公知的特征。贯穿本说明书可以给出各个示例。这些示例只是本发明的特定实施例的描述。本发明的范围并不限于所给出的示例。为了说明和简化的目的，在本申请的描述中，术语平视显示器(HUD)还可以用于指代头戴式显示器(HMD)，反之亦然。
[0016]本发明的实施例包括:充分地利用现有技术，允许用户看到他们的手指相对于键盘和其它控制在HUD或HMD上的表示的系统。这允许非触摸打字员在不必直接观看笔记本的情况下使用笔记本。
[0017]在一个实施例中，物理键盘不是必须的。具有激光平面或照相机的硬质表面(本申请中称为“输入板”)可以用于放置在用户的膝盖上，或者放置在盘式桌面上。输入板在大小上可以是紧凑的，或许具有标准纸张的大小(8.5x11英寸)。HUD/HMD可以为用户显示虚拟键盘，对于用户来说虚拟键盘好像是位于输入板之上。输入板不需要具有按键或者控件的标记，但可以仅印有网格或者角标。用户可以在该表面上打字，并也可以将该虚拟表示交换到各种其它虚拟输入设备上。
[0018]输入板可以与加速计和其它传感器相耦合，以便检测用户的倾斜和姿势。例如，用户可以在该板上布置虚拟销子，以形成定制的弹球游戏。随后，用户将使用轻弹姿势或者使整个输入板倾斜，来使虚拟球在该表面各处移动。该可视反馈(其包括用户的手的表示)将在HMD/HUD上进行显示。
[0019]图1示出了根据本发明实施例的用于HUD/HMD的键盘化身的高级组件。可以使用具有绕轴旋转的照相机111的笔记本(或者其它计算设备)101来捕捉在键盘上的用户
(120)手部。在实施例中，照相机111可以与智能电话110集成在一起。图2A示出了根据一个实施例从照相机的角度看到的在键盘上的用户手部的示例图像。可以对这些视频帧进行拉伸以校正照相机角度，使得该视频图像呈现为来自用户的视角(与照相机视角相反)。可以在应用中采用简单的转置算法，来获取输入的视频并使其倒转(图2B)。可以使用另一种算法，来稍微地对图像进行改变，以便向用户呈现一种显示，所述显示模拟的视图和角度就好像是该照相机处于用户眼睛的附近位置(图2C)。这些转置算法是可配置的，所以用户可以选择更期望的透视图像。
[0020]现参见图3A，随后，应用可以显示300与在使用的主应用(例如，word处理器、电子表格程序或画图程序、游戏等等)301相邻的键盘和手指视频303。这种视频方法需要适当的光线和来自集成照相机111的特定照相机角度。
[0021]在另一个实施例中，并不是观看键盘和用户的手的实际摄影图像或视频，而是用户观看手在键盘上的虚拟表示或者化身，如图3B中所示。在该实施例中，用户手指在键盘上或者在键盘附近的位置可以通过红外线进行感测，或者通过其它移动传感器进行感测。随后，提供手指相对于键盘603的人工表示(化身)602以替代视频图形(303)，并随后与当前应用601—起显示。该方法创建了虚拟现实系统和真实物理控制之间的混合。在该方法中，常规的照相机输入是可选的，因此节省了能量，并具有在很大范围的光线状况下进行使用的能力，并且不用关注适当的照相机角度。可以在HUD/HMD上显示600手和键盘的化身602/603以及正在使用的应用601，如图3A中所示(但其使用化身而不是实际视频)。这种化身表示还可以包括游戏控制器和/或虚拟输入设备选择用户界面(U/I) 605。
[0022]创建和显示手和键盘的表示，可以用多种方式来执行。一种方法是分析输入的标准视频或输入的红外馈送。随后，可以通过软件、固件或硬件逻辑来分析常规的视频或红外视频，以便创建用户的手和键盘的表示。对于较差的可见光线状况来说，可以使用用于增强视频清晰度的多种方法，例如，改变在视频转换中使用的波长、捕捉与使用中的照相机可获得的频谱相比更小的频谱、或者提供另外的光源(例如，照相机装配的LED)。
[0023]在另一个实施例中，在121 (图1)处并不是使用实际键盘，可以使用输入板。该输入板可以由柔性材料制成以便能卷起，或者由具有折痕的更硬的板制成以便折叠，从而易于运输。输入板可以包括可见网格，或者可以使用销子或其它临时固定单元将输入板放置在相对于照相机或感测设备的已知位置，以便提供用户手指对于输入板按键、按钮或其它输入指示符的已知视角。使用输入板避免了当空间很小时将全尺寸的膝上型设备放置在用户面前的需要。与全尺寸输入设备相比，输入板还可以在更小的规模上对输入设备虚拟化。
[0024]再次参见图1，已知有多种形式的可以购买的HUD和HMD130，例如具有眼镜的形式。这些眼镜的显示不管怎样都是从计算设备发送的。与PC相耦合的视频照相机111已经用于跟踪手部来实现姿势识别。可以通过标准的图像拉伸算法来对照相机视角进行校正，以便呈现为用户视角。键盘121的水平和垂直线可以提供参考点，以便消除角度失真或者在用户的方向上使角度颠倒近似30度(或者与用户的视线相一致的其它视角)。可以使用激光平面技术来实现输入板，例如可从Celluon公司获得的投影键盘中使用的技术。当用户的指尖打断与所述表面平行的投影平面时，注册了输入。或者，可以使用诸如能从HewlettPackard获得的Touchsmart系统中的技术。该技术是跟踪用户的手指如何打断平面的LED和光传感器的阵列。也可以使用各种电阻式触摸板技术或电容式触摸板技术。
[0025]在另一个实施例中，输入板可以具有另外的传感器(例如，加速计)。随后，板的倾斜用信号通知存在输入，以用于该板上的虚拟样品的移动。用于驱动这种应用的物理软件已经在多种智能电话、PDA和游戏软件中使用。但是，现有的系统并不提供关于手指相对于输入设备的位置的可视反馈。在一个实施例中，HUD显示器将向用户显示图像表示，具有倾斜方向的输入板的化身或者视频。另一个实施例只在显示器中显示游戏结果，期望用户能够使用他/她的手感觉到这种倾斜。[0026]在一个实施例中，输入板不具有显式的控件或按键位置，或者这些控件是可配置的。用于用户输入的游戏或应用控件(605)可以被配置为相对于视频板上的网格或位置，或者被配置为与照相机相距一定的距离，等等。一旦进行了配置，与该板相关联的输入感测装置就将能够识别用户已经发起了哪个控件。在实现输入板的倾斜或移动的实施例中，可能期望将照相机安装在该输入板上，以简化移动的识别。此外，可以基于用户的期望或者应用，关闭或者打开该倾斜方向的可视反馈。
[0027]用于输入板的(RGB或红外)照相机可以用于相对于输入板来跟踪用户的手和手指。当没有使用具有照相机的膝上型计算机时，可以将照相机安装在输入板上。与单一照相机相比，两个照相机可以提供更佳的性能，以防止来自单一照相机的“阴影”。这些照相机可以安装在用于保护镜头的小旋钮上。已经提出了这种双照相机系统，并被指定用于跟踪姿势。或者，诸如具有集成的Webcamlll的智能电话110之类的计算设备，可以停靠(dock)在输入板上，其中用户面向的照相机处于某一位置以捕捉用户的手部位置。
[0028]在一个实施例中，可以使用用于接收视频或传感器输入并解释手指位置的逻辑。已提出和实现了用于识别手部姿势的系统(参见，USPN6，002, 808以及2009年8月18日第一版出现在 IEEE Conference on Multimedia and Expo2009, ICME2009, June28-Jul.3, 2009，pp.938-941 中、Chai 等人发表的 “Robust Hand Gesture Analysis And ApplicationIn Gallery Browing”，其中该文献可在下面的URL地址处获得:ieeexplore*ieee*org/stamp/stamp, jsp?arnumber=05202650);以及使用3D照相机识别面部特征的系统(参见，Haker 等人在 IEEE Sym.0n Signals Circuits &Systems (ISSCS), session on Alg.For3DToF-cameras (2007)，pp.109-112 中发表的 “Geometric Invariants for Facial FeatureTracking with3D TOF Cameras”)。应当注意的是,在本文档中出现的URL中的句点已经用星号进行了替代，以避免无意的超链接。可以采用所使用的或提出的用于识别姿势和面部特征的方法来识别手部和手指在键盘或者输入设备附近的移动，如本申请所描述的。
[0029]已存在识别图像或视频中的手指以分析姿势输入的逻辑或软件。这些现有的算法可以识别人体部位，并解释它们的运动。在一个实施例中，手指或手部识别算法逻辑单元与用于将该视频或化身图像添加到向HUD/HMD发送的复合视频的逻辑单元相耦合。因此，用户所看到的图像或视频将包括键盘/输入设备、手部视频或化身、以及监测器输出。来自于键盘或其它输入控件的反馈环允许化身表示指示何时促动了真实的控件。例如，在图像中在手指的指尖上面可以出现快速状态指示符，以显示促动了下面的控件。
[0030]在使用手指和键盘的化身的实施例中，可以将手指的图像可视地表示为是部分透明的。因此，当直接在一个按键/控件上使得一个指示符变得显著以显示该按键/控件被压下时，用户可以在显示器上通过手指图像的透明性看到该指示符，即使用户的实际手指正在覆盖键盘或者输入板上的控件也是如此。
[0031]参见图4，该图示出了使用输入板而不是键盘的替代实施例。用户120具有无线连接到计算设备401的HUD/HMD430，用于接收与输入板415上的手指位置和应用显示(301)相对应的图像。在该替代性实施例中，用户在输入板415处打字或者提供输入。输入板415可以耦接到扩展坞413。照相机或者具有集成照相机的智能设备411可以停靠在该扩展坞413中，其中扩展坞413可以放置在相对于输入板415的已知位置。应当理解的是，可以使用多种方式用板的位置来校准照相机，如上所述。扩展坞413可以包括:用于向计算设备401发送输入板和手指位置的视频的发射机。扩展坞还可以装备有传感器，以识别按键按压、鼠标点击和输入板的移动(当装备有加速计时)，并将输入选择发送给计算设备401。应当理解的是，如上所述的任何一个通信路径都可以是有线的或者无线的，并且这些通信路径可以使用已知的或者将要发明出的任何传输协议，只要通信协议具有用于实时视频的带宽即可。例如，在本申请提交时存在的蓝牙协议可能不具有用于视频的适当带宽，但是视频友好的蓝牙协议和收发机可能在不久的未来是可用的。
[0032]在图5中示出了另一种替代性实施例。该实施例类似于图4中所示的实施例。但是，在该实施例中，输入板415a没有直接耦接到扩展坞。相反，输入板可以通过其自己的发射机(没有示出)传输用户输入。照相机411可以耦接或者停靠在单独的平台423上，其中平台423被放置在或调校到与输入板415a的已知相对位置。该平台(其可以与照相机或智能设备完全地集成在一起)向计算设备401发送输入板和键盘位置的视频。计算设备401向用户HUD/HMD130发送显示和键盘/手指视频或化身。
[0033]在一个实施例中，计算设备401在将视频发送给HUD/HMD130之前，将其转换到适当的视角。应当理解的是，在不脱离本发明的示例性实施例的范围的情况下，照相机的功能、相对位置的校准、视频转换/转置、输入识别和应用等等可以分布在任意单处理器或多处理器、多核计算设备或多线程计算设备中的多于一个的处理器或处理器核心当中。
[0034]例如，在一个实施例中，照相机耦接到智能设备，其中该智能设备执行输入板/手指视频向化身表示的转换，之后将该化身图像发送给计算设备，以便与应用显示进行合并。如果与实际视频表示所需要的帧速率和/或像素相比，化身表示是以更低的帧速率和/或更少的像素来生成的，则该实施例可以减少从照相机到计算设备的通信中的带宽需求。
[0035]在另一个实施例中，可以将照相机集成到HUD/HMD中。在该情况下，将需要键盘/手指图像的最小转换，这是由于已经从用户的视角看到了该图像。一个实施例需要HUD/HMD或集成的照相机具有发射机以及接收机，以便向计算设备发送照相机图像，从而集成到显示中。在另一个实施例中，HUD可以包括图像集成器，用以将从计算设备接收的应用或游戏显示与手指和键盘的视频或化身图像集成。这消除了从照相机向计算设备发送图像随后再发送回HUD的需要。HUD/HMD安装的照相机的照相机运动可能需要另外的转换和稳定逻辑，以便图像看上去更稳定。可以在输入板/设备上布置可视标记，以作为用于帮助稳定图像的参考点。
[0036]本申请描述的技术并不限于任何特定的硬件或者软件配置；它们可以适用于任何计算、消费电子或者处理环境。这些技术可以用硬件、软件或二者的组合来实现。
[0037]对于仿真，程序代码可以表示使用硬件描述语言或者另一种功能描述语言的硬件，其中该功能描述语言本质上提供期望如何执行所设计的硬件的模型。程序代码可以是汇编语言或者机器语言，或者是可以进行编译和/或解释的数据。此外，在本领域通常以一种形式或者其它形式提及软件是采取某种动作或者产生某种结果。这些表达只是陈述处理系统执行程序代码使得处理器执行某种动作或者产生某种结果的简略方式。
[0038]每个程序可以用高级过程编程语言或者面向对象编程语言来实现，以便与处理系统进行通信。但是，如果期望的话，可以用汇编语言或者机器语言来实现程序。在任何情况下，语言都是可以对被编译或被解释的。
[0039]程序指令可以用于使通用或专用处理系统执行本申请所描述的操作，其中使用这些指令对该处理系统进行了编程。替代地，这些操作可以由包含用于执行这些操作的硬线逻辑的特定硬件组件来执行，或者可以由编程的计算机组件和定制硬件组件的任意组合来执行。本申请所描述的方法可以被提供成计算机程序产品，计算机程序产品可以包括机器可存取介质，其中所述机器可存取介质上存储有指令，这些指令可以用于对处理系统或其它电子设备进行编程以执行这些方法。
[0040]程序代码或指令可以存储在例如易失性存储器和/或非易失性存储器中，例如，存储设备和/或相关联的机器可读介质或机器可存取介质(其包括:固态存储器、硬盘驱动器、软盘、光存储器件、带、闪存、存储棒、数字视频盘、数字多用途光碟(DVD)等等)，以及诸如机器可存取生物状态保持存储器之类的更特殊的介质。机器可读介质可以包括用于以机器可读形式来存储、发送或接收信息的任何机制，并且所述介质可以包括:对程序代码进行编码的电、光、声或者其它形式的传播信号或者载波能够穿过的有形介质，例如，天线、光纤、通信接口等等。程序代码可以以分组、串行数据、并行数据、传播信号等等的形式进行发送，并且程序代码可以以压缩或加密格式进行使用。
[0041]程序代码可以用在诸如移动或静止计算机、个人数字助理、机顶盒、蜂窝电话和寻呼机、消费电子设备(其包括DVD播放器、个人视频记录仪、个人视频播放器、卫星接收机、立体声接收机、电缆TV接收机)和其它电子设备之类的可编程机器上执行的程序来实现，其中每一个都包括处理器、可由所述处理器读取的易失性存储器和/或非易失性存储器、至少一个输入设备和/或一个或多个输出设备。程序代码可以应用于使用输入设备所输入的数据，以便执行所描述的实施例和生成输出信息。该输出信息可以应用于一个或多个输出设备。本领域普通技术人员应当理解的是，所公开主题的实施例可以用各种计算机系统配置来实现，其中这些计算机系统配置包括多处理器或多核处理器系统、微计算机、大型计算机、以及实际上可以嵌入到任何设备的普适或微型计算机或处理器。此外，所公开主题的实施例还可以在分布式计算环境中实现，在该环境中，任务或者其一部分可以由通过通信网络链接在一起的远程处理设备来执行。
[0042]虽然可以将操作描述成串行过程，但事实上，这些操作中的一些可以并行地、同时地和/或在分布式环境下执行，其中程序代码本地和/或远程地存储，以便由单一处理器或多处理器机器进行存取。此外，在一些实施例中，在不脱离所公开主题的精神的情况下，可以对操作的顺序进行重新排列。程序代码可以由嵌入式控制器使用，或者结合嵌入式控制器进行使用。
[0043]虽然已经参照示例性实施例对本发明进行了描述，但该描述并不是旨在以限制性含义进行解释。这些示例性实施例的各种修改，以及对于本领域普通技术人员来说显而易见的与本发明有关的、本发明的其它实施例，都认为落入本发明的精神和范围之内。
【权利要求】
1.一种系统，包括: 计算设备，其与用于用户输入的输入设备通信地耦合； 照相机，其用于捕捉所述用户与所述输入设备的物理交互的视频图像；以及平视显示器设备，其用于接收显示图像，所述显示图像包括应用显示和所述用户与所述输入设备的物理交互的表示。
2.如权利要求1所述的系统，其中，所述计算设备从所述输入设备无线地接收输入事件。
3.如权利要求1所述的系统，其中，所述照相机安装在通信地耦合到所述计算设备并与所述输入设备相分离的平台上。
4.如权利要求1所述的系统，其中，所述照相机安装在耦合到所述输入设备的扩展坞上。
5.如权利要求4所述的系统，其中，所述照相机与智能设备集成，并且其中，所述智能设备安装在所述扩展坞中。
6.如权利要求1所述的系统，其中，所述输入设备包括键盘或者输入板中的一个。
7.如权利要求6所述的系统，其中，所述输入设备包括输入板，并且其中，所述输入板被配置为能够实现所述用户与所述输入板的交互在所述平视显示器中的虚拟表示。
8.如权利要求7所述的系统，其中，所述输入板的虚拟表示被配置为:响应于用户选择而表不多个输入设备中的一个。
9.如权利要求6所述的系统，其中，所述输入设备包括能够进行卷起或折叠中的至少一个的柔性输入板。
10.如权利要求1所述的系统，其中，所述计算设备被配置为:在向所述平视显示器发送从所述照相机接收的视频表示之前，将所述视频表示转换到用户视角方向。
11.如权利要求10所述的系统，其中，所述计算设备被配置为:将用户视角的视频表示和应用显示进行组合，并且向所述平视显示器发送组合显示。
12.如权利要求10所述的系统，其中，所述计算设备被配置为:向所述平视显示器发送所述应用显示，并且其中，所述平视显示器被配置为:将所接收的应用显示与所述用户视角的视频表示进行组合，以向所述用户显示。
13.如权利要求1所述的系统，其中，所述用户与所述输入设备的物理交互的表示是视频图像、化身图像以及混合的视频和化身图像中的一种。
14.如权利要求13所述的系统，其中，所述用户的物理交互的表示包括:响应于用户输入而显示虚拟控件的促动。
15.如权利要求1所述的系统，其中，所述用户与所述输入设备的物理交互的表示还包括所述用户的手的部分透明表示，所述部分透明表示覆盖在所述输入设备的表示之上。
16.如权利要求1所述的系统，其中，所述照相机安装到所述平视显示器上。
17.如权利要求16所述的系统，其中，所述照相机被配置为:直接向所述平视显示器发送视频图像，并且其中，所述平视显示器被配置为:将从所述计算设备接收的所述应用显示与从所述照相机接收的视频图像进行融合，以向所述用户进行组合显示。
18.—种方法,包括: 由平视显示器接收应用显示的表示，以便向佩戴所述平视显示器的用户显示；由所述平视显示器接收所述用户与输入设备的交互的表示；以及 在所述平视显示器上向所述用户显示所述应用显示和所述用户与所述输入设备的交互的组合显示。
19.如权利要求18所述的方法，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是作为组合显示而被所述平视显示器接收的。
20.如权利要求18所述的方法，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是以未组合状态接收的，并且所述方法还包括:所述平视显示器在向所述用户显示所述组合显示之前，对所接收的显示进行组合。
21.如权利要求18所述的方法，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到计算设备的照相机所捕捉的图像而生成的，所述计算设备被配置为:执行所述应用以供显示，并且其中，所述照相机安装在下列部件中的一个上:Ca)通信地耦合到所述输入设备的智能设备，(b)所述平视显示器，(c)在相对于所述输入设备的一位置处放置的平台，或者(d )所述计算设备的键盘输入。
22.如权利要求21所述的方法，其中，在所述平视显示器上进行显示之前，所述用户与所述输入设备的交互的照相机表示将被转换到表示所述用户交互的用户视点的方向。
23.如权利要求21所述的方法，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
24.一种方法，包括: 接收用户与输入设备的交互的表示，所述输入设备通信地耦合到在计算设备上运行的应用；` 响应于所述输入设备上的用户输入，操作所述应用； 将与所述应用相对应的显示的表示和用户与所述输入设备的交互的表示进行组合；以及 向平视显示器单元发送所述显示的所组合的表示，以向所述用户显示。
25.如权利要求24所述的方法，还包括: 将所述用户与所述输入设备的交互的表示转换到与所述用户的视线相一致的方向。
26.如权利要求25所述的方法，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到所述计算设备的照相机所捕捉的图像而生成的，并且其中，所述照相机安装在下列部件中的一个上:(a)通信地耦合到所述输入设备的智能设备，(b)所述平视显示器，(c)在相对于所述输入设备的一位置处放置的平台，或者(d)所述计算设备的键盘输入。
27.如权利要求26所述的方法，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
28.一种其上存储有指令的非暂时性计算机可读介质，当所述指令在机器上被执行时，使所述机器执行下列操作: 由平视显示器接收应用显示的表示，以便向佩戴所述平视显示器的用户显示； 由所述平视显示器接收所述用户与输入设备的交互的表示；以及 在所述平视显示器上向所述用户显示所述应用显示和所述用户与所述输入设备的交互的组合显示。
29.如权利要求28所述的介质，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是作为组合显示而被所述平视显示器接收的。
30.如权利要求28所述的介质，其中，所述应用显示的表示和所述用户与所述输入设备的交互的表示是以未组合状态接收的，并且还包括:所述平视显示器在向所述用户显示所述组合显示之前，对所接收的显示进行组合。
31.如权利要求28所述的介质，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到计算设备的照相机所捕捉的图像而生成的，所述计算设备被配置为:执行所述应用以供显示，并且其中，所述照相机安装在下列部件中的一个上:Ca)通信地耦合到所述输入设备的智能设备，(b)所述平视显示器，(c)在相对于所述输入设备的一位置处放置的平台，或者(d )所述计算设备的键盘输入。
32.如权利要求31所述的介质，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
33.如权利要 求31所述的介质，其中，在所述平视显示器上进行显示之前，所述用户与所述输入设备的交互的照相机表示将被转换到表示所述用户交互的用户视点的方向。
34.一种其上存储有指令的非暂时性计算机可读介质，当所述指令在机器上被执行时，使所述机器执行下列操作: 接收用户与输入设备的交互的表示，所述输入设备通信地耦合到在计算设备上运行的应用； 响应于所述输入设备上的用户输入，操作所述应用； 将与所述应用相对应的显示的表示和用户与所述输入设备的交互的表示进行组合；以及 向平视显示器单元发送所述显示的所组合的表示，以向所述用户显示。
35.如权利要求34所述的介质，还包括: 用于将所述用户与所述输入设备的交互的表示转换到与所述用户的视线相一致的方向的指令。
36.如权利要求35所述的介质，其中，所述用户与输入设备的交互的表示是响应于通信地耦合到所述计算设备的照相机所捕捉的图像而生成的，并且其中，所述照相机安装在下列部件中的一个上:(a)通信地耦合到所述输入设备的智能设备，(b)所述平视显示器，(C)在相对于所述输入设备的一位置处放置的平台，或者(d)所述计算设备的键盘输入。
37.如权利要求36所述的介质，其中，所述照相机耦合到智能设备，所述智能设备执行输入板/手指视频向化身表示的转换，之后将化身图像作为所述用户与所述输入设备的交互的表示进行发送。
【文档编号】G02B27/01GK103534665SQ201280021362
【公开日】2014年1月22日 申请日期:2012年4月3日 优先权日:2011年4月4日
【发明者】G·J·安德森, P·J·科里维奥 申请人:英特尔公司