用于手持电子装置的用户接口控制器方法和设备的制作方法

专利名称：用于手持电子装置的用户接口控制器方法和设备的制作方法
技术领域：
本发明大体涉及手持电子装置的领域，并且更具体地涉及与在手 持电子装置显示器上呈现的信息的人类交互的领域。
背景技术：
小型的手持电子装置正在变得足够复杂，从而使得与这些手持电 子装置的友好交互的设计成为挑战。特别地，在很多手持电子装置上 使用的较小、高密度、全色显示器上能够呈现的信息需要与用在膝上 型电脑和台式计算机上的鼠标相似的功能，从而便利与显示器上的信 息的人类交互。用于提供这种交互的一种技术是以尖头物体接触显示 表面，以识别在显示器上显示的物体或区域，但是在操作较小手持装 置例如蜂窝电话的许多情况下，这不是容易完成的。


通用实例示出本发明，并且不限制于参考附图，在附图中，相同 的参考数字表示相同的元件，并且在附图中
图1是示出根据本发明的一些实施例的手持装置的功能框图。
图2是示出根据本发明的一些实施例的手持电子装置并包括引导 物体和一些虚拟几何线的透视图。
图3是示出根据本发明的一些实施例的相机的图像平面的平面图。
图4是示出根据本发明的一些实施例的手持电子装置和引导物体 的截面图。
图5是示出根据本发明的一些实施例的包括物体标记图像的手持 电子装置的图像平面的平面图。
图6是根据本发明的一些实施例的可被用于位置和方向的引导物 体的图。
图7是根据本发明的一些实施例的显示表面的平面图。
图8是示出根据本发明的一些实施例的手持电子装置并且包括引
导物体和一些虚拟几何线的透视图。
图9是示出根据本发明的一些实施例的手持电子装置并且包括一
些虚拟几何线的正视图。
图10、 11和12示出根据本发明的一些实施例的在手持装置中使 用的方法的一些步骤的流程图。
本领域技术人员将理解，附图中的元件为了简单和清楚而示出， 并不必然按照比例绘制。例如，在附图中的一些元件的尺寸可能相对 于其他元件被放大扩大，以帮助改善对于本发明的实施例的理解。
具体实施例方式
在根据这里所述的本发明的实施例来详细描述特定的人类交互技 术之前，应该知道，实施例主要在于关于与手持电子装置的人类交互 的方法步骤和设备部件的组合。因此，在适当地方已经利用附图中的 常用符号来表示设备部件和方法步骤，仅仅显示与理解实施例相关的 那些特定细节，从而使得本公开不与对于受益于这里描述的本领域技 术人员显而易见的细节弄混。
参考图1，示出根据本发明的一些实施例的手持电子装置100的 功能框图。该手持电子装置100包括显示器105、第一相机110、以及 耦合到显示器105和第一相机110的处理功能115。该手持电子装置 100可以进一步包括第二相机130、光源120、 一个或多个传感器125 以及电话功能(function) 135，其中每个(被包括的)也被耦合到处理
功能115。根据本发明，独特地包括手持电子装置100作为相比传统装 置充分改进了与手持电子装置100的人类交互的设备，并且在这里还 描述用于实现关于手持电子装置100的这些改进的方法。
手持电子装置100被优选地设计为在通常使用时能够被抓握在一 只手中。因此，显示器105相比于例如膝上型计算机、台式计算机以 及设计用于桌面、墙壁或自立(sdf-standing)安装的电视机的这些电 子装置的显示器来说，典型地较小。手持电子装置100可以是蜂窝电 话，在这种情况下其将包括电话功能135。特别地，当手持电子装置 100是蜂窝电话时，则在很多情况下，显示器105将为大约2X2厘米 的量级。本发明能够对其提供有意义的益处的多数电子装置100将具 有小于100平方厘米的显示器可视面积。显示器105的可视表面可以 是平坦的或接近平坦的，但是替换的结构也可以与本发明一起使用。 显示器105的技术可以是与手持电子装置兼容的任何可用技术，用于 传统显示器的技术包括但是不局限于液晶、电致发光、发光二极管以 及有机发光装置。显示器100可以包括除了为了实际目的而必需与显 示面板配合使用的驱动电路之外的电路；例如，可以包括可以从处理 功能115接收视频信号并将该视频信号转换为显示驱动电路所需要的 电子信号的电路。这些电路可以例如包括微处理器、相关联的程序指 令以及相关的处理电路，或者这些电路可以是专用电路。
蜂窝电话功能135可以提供任何可用类型的一个或多个蜂窝电话 服务。某些传统技术是根据例如GSM、 CDMA 2000、 GPRS等的标准 执行的时分多址(TDMA)、码分多址(CDMA)或模拟的技术。电话 功能135包括必需的无线电发射机和接收机、以及操作该无线电发射 机和接收机的处理、按需编码和解码语音、麦克风，以及可以包括电 话需要的键盘和键盘感应功能。电话功能135由此在很多例子中包括 可以包括微处理器、相关联的程序指令以及相关电路的处理电路。
手持电子装置100可以由一个或多个电池供电，并且可以具有相
关联的电力转换和调节功能。然而，手持电子装置100可以可选择地 由电源供电，并且依然获得本发明的益处。
第一相机110与当前在蜂窝电话中可用的相机相似。第一相机110 在所提供的透镜光学器件的特性上有一些不同，因为在被划分为二维 的一些实施例中，本发明可能不能大大受益于大于大约IO厘米(例如，
从5厘米到15厘米)的视野范围深度。在一些可能包括那些被分类为 二维的实施例中以及在被划分为三维的一些实施例中，第一相机110
可能受益于非常短，也就是接近零厘米的视野深度，并且通过大于大
约50厘米则不能提供充分改进的益处。在一个例子中，本发明可以利 用具有从大约5厘米到大约25厘米的范围的视野深度而提供充分的益 处。这些值优选在对于手持装置常见的环境光条件下获得，这些环境 光条件可以包括接近完全黑暗、明亮的阳光以及在那些之间的环境光 条件。如下更详细所述的，在本发明的一些实施例中提供所获得得期 望的视野深度的方法。单色相机对于本发明的一些实施例可能是非常 适合的，而在其他实施例中可能需要彩色相机。
处理功能115可以包括微处理器、存储在适合存储器中的相关联 的程序指令、以及相关电路，诸如存储器管理和输入/输出电路。处理 功能115电路可能在两个或多个集成电路中，或处理功能115电路全 部在一个集成电路中，或处理功能115电路连同手持电子装置100的 其他功能都在一个集成电路中。
参考图2，示出根据本发明的一些实施例的手持电子装置100的 透视图，其包括引导物体260和一些虚拟几何线。在该手持电子装置 100的这个视图中所示的是显示器的可视表面210、相机开孔215、光 源开孔220、传感器开孔235、作为开关的传感器245以及键盘区域240。 如由点线226所示，第一相机110在这个例子中具有圆锥形的视野， 具有视野的轴230。视野的轴230基本上垂直于显示器的表面210。(显 示器可视表面被假设为基本平行于手持电子装置100的表面)。对于
典型的显示器105来说，该轴可以被认为定向为基本上垂直于显示器
105,这些显示器105在它们的结构上是平面的。相机开孔215可以包 括相机镜头，并且还可以被称为相机镜头215。
引导物体260可以是多种物体之一，这些物体之一可以被描述为 伸长杆(wand)，该伸长杆在图2所示的特定实施例中包括安装在手 柄的一端处的球270。其他实施例可以是人员的手指、手指甲或在指尖 上携载的套管状装置。引导物体260可以用手抓握(在图2中没有示 出)。当引导物体是具有球270的伸长杆时，球270具有这样的表面， 该表面可以经由从球270的表面投射255的光，在第一相机110的图 像平面301 (图3)上产生图像370 (图3)。球的表面在这里被称为 引导物体标记，以及在其他实施例中可能有多个引导物体标记。当实 施例包括手指时，可能有仅仅一个引导物体标记，诸如手指甲或套管 状装置。投射255到图像表面301上的光可能是例如从球270的表 面反射的环境光；从光源120发射并从球270的表面反射的光；或者 在球270内生成并透射通过透明或半透明的球表面的光；或者在球270 的表面处生成的光。引导物体260的其他部分(手柄)的表面(在这 个例子中不是引导物体标记)的图像360也可以利用反射光而被投射 到图像平面301上。在一些实施例中，引导物体标记可以覆盖整个引 导物体。
参考图3，示出根据本发明的一些实施例的第一相机110的图像 平面301的平面图。图像平面301可以是用来捕捉视频图像的成像装 置的有效(active)表面，例如光电管的扫描矩阵。在图3所示的例子 中，成像装置的有效表面具有外周302,该外周302近似对应于第一相 机110的视野的限制。在图像平面301上产生的引导物体260的图像 360和球270的图像370被称为物体标记的图像(或物体标记图像)。 如下将进一步详细描述的，在可选择实施例中可以实现引导物体260, 该引导物体260生成可选择的物体标记图像。在本发明的可选择实施 例中，可以在引导物体上提供多于一个的物体标记。在很多实施例中，
引导物体被设计为利用一只手舒适地抓握及在手持电子装置100上移 动，而手持电子装置100则被抓握在另一只手中。第一相机110利用 可以包括本领域技术人员公知的技术来生成一连串视频图像。响应于
引导物体260相对于手持电子装置100的移动，物体标记图像370可 以出现在接连的视频图像中的不同的位置和方位处。应该知道，通常， 因为物体标记是通过传统透镜在图像平面上的投影，而传统透镜产生 相对于引导物体的二维视图的成比例型式(scaled version)而发生变形
的图像，所以物体标记图像不只是引导物体的二维视图的成比例型式 (其中该二维视图的平面垂直于视野的轴)。因此，在这个例子中的
物体标记图像不是圆，而更像是椭圆。
处理功能115独特地包括第一功能，其使用可能包括公知传统 技术诸如边缘识别的技术来执行物体标记图像370的目标识别；以及 第二功能，其使用可以包括公知传统技术的技术来确定引导物体260 的参考点271 (图2)的至少二维位置。当引导物体是诸如手指、指甲 或套管状物体的物体时，参考点271可以是在手指尖、手指甲或套管 状物体处的点。在一个实施例中，使用坐标系，将参考点271的二维 位置定义为参考点271在图像平面301上的投射位置，该坐标系是一 组正交矩形轴305、 310，这组正交矩形轴在图像平面内的原点是图像 平面与视野225的轴230相交的点。虽然这没有识别在具有相同原点 的三维直角坐标系中的参考点271自身的二维位置，但是以这种方式 来定义物体标记的投射位置对于于本发明的很多应用是适用的。在所 述例子中，第一功能将物体标记图像370识别为被投射稍微修改后的 圆，而第二功能确定在图像平面301的正交坐标系305、 310中的物体 标记图像370的中心的二维位置。在一些实施例中，物体标记图像可 能充分接近圆，这是使用圆的方程来识别的。在其他实施例中，处理 功能115的第一功能识别比投射的球更复杂的物体标记，诸如指尖、 手指甲或套管状装置的图像，而处理功能115的第二功能确定引导物 体的三维位置和定向。处理功能115的第三功能保持从由第一相机110 生成的连续视频图像的至少一些所获得的引导物体260的历史位置(或
方位，当利用第二功能确定时；或位置及方位两者)。处理功能115 的第一、第二和第三功能通过术语"生成在第一相机的视野内的引导 物体的轨迹"被包括在这里，而"引导物体的轨迹"通常组成引导物 体的三维位置的近期历史，并且还可以包括在可能为很多秒的时间周 期内的引导物体的定向，但是在一些情况中可以组成"引导物体的轨 迹"的更通常定义的子集，例如仅仅是引导物体的当前位置。
如下将更详细描述的，处理功能可以响应于用于跟踪的坐标系中 的引导物体260的轨迹而执行修改显示在显示器105上的场景的进一 步功能。与这个方面相关的是将引导物体的轨迹从用于跟踪引导物体 的坐标系映射到显示器105上，该轨迹的映射具有在图3中示为正方 形320的外周。应理解，将引导物体的轨迹映射到显示器105可能比 图3中可推断出的简单关系更复杂，其中，如果显示器是正方形的， 则如在关于第一相机110的坐标系中定义的引导物体轨迹的坐标和显 示器的关系可以是单调的成比例关系。容易看到，如果显示器是矩形 的，则通过在x和y方向上使用不同的比例值，可以将显示器映射为 所示的正方形。也可以使用其他的映射。例如，可以在x和y方向上 使用公共比例因子来映射矩形显示器；在这种情况下，对应于显示器 的x和y轴的引导物体260的移动距离将是不同的。
参考图4，示出根据本发明的一些实施例的手持电子装置100和 引导物体260的截面图。参考图5，示出手持电子装置100的成像平面 301的平面图，其包括当引导物体260在图4所示的相对于手持电子装 置100的位置时由球的表面产生的物体标记图像370。引导物体不一定 处在如图2或3所示的相对于手持电子装置100的位置处。图4和5 还示出具有在第一相机开孔215的镜头的投射中心处的原点的三维坐 标系。使用三维坐标在这个例子中以三维来定义引导物体260的位置， 该位置也就是球270的中心的位置，并且被识别为Phi((])) 405、 Theta(0) 510以及R 410。 Theta是相对于图像平面301中的参考线505绕着视 野225的轴230在图像平面301中的旋转角。Phi是从视野225的轴230
的倾斜角，并且R是从原点到引导物体260的位置(参考点271)的距 离。在图5中，具有恒定的cj)值(例如30°)的所有位置的轨迹的投影 是圆。应理解，物体标记图像370的尺寸随着到球270的距离R的减 少而增加，此外，球270的图像从当(t)是零度时的圆改变为椭圆形，随 着())的增加该椭圆形变得更加细长。可以根据球270的椭圆图像的尺寸 诸如椭圆的长轴571的测量以及根据角度(j)来确定R。可以根据在图像 平面301上的主轴571的中心距离轴230与图像平面301的交点的距 离来确定角度(|)。因此，确定引导物体260的三维位置。但是，进一步 从参照图3-5给出的描述中得知，因为这些例子的物体标记是球，所以 可能不能利用所述的测量来确定引导物体260的定向。当使用比球更 复杂的引导物体诸如指甲或套管状物体时，适用相同的原理但是需要 使用更复杂的公式。例如，引导物体距离第一相机开孔的距离与物体 标记图像的尺寸相关联的原理依然是正确的，但是确定物体标记图像 的尺寸可能更加困难，并且可能包括确定引导物体的定向。
可以通过位于引导物体上的6个独特可识别的点，来完成通过使 用相机图像确定在三维坐标系中的引导物体的位置和定向。然而，还 应该理解，更简单的方法经常可以提供期望的位置和定向信息。例如， 可能仅仅确定参考图3-5描述的引导物体260的手柄的定向就足够满意 了 (也就是，不分析围绕手柄的轴的转动量)。此外， 一些理论的模 糊(theoretical ambiguity)是可以接受的，例如在上面的例子中假设手 柄总是指向远离相机。为了一些用途，可以使用仅仅三维位置而不需 要定向，但是在其他用途中，可以使用仅仅二维位置而不需要定向。 根据在这里更详尽描述的本发明的实施例，三维位置可能足够了。在 这些实施例的一些中，基准点距离图像平面的距离可以以与使用在其 他两个维度中的基准点的位置的方式完全无关的方式进行使用。
多种技术可以被用来利用处理功能115协助引导物体的识别。大 体说来，这些方法的目标是提高在引导物体260的某些点或区域的图 像相对于围绕那些点或区域的图像之间的亮度对比率以及边缘锐度，
并使得定义的点位置的确定计算起来较为简单。在上述的伸长杆的情 况下，利用在球的中心处的定义点位置，使用球来投射圆形或近似圆 形，图像基本上与伸长杆的定向无关(只要手柄的厚度相比于球270
的直径非常小)。球270可以被涂覆以高度漫反射白色涂层，从而当
在多种环境条件中操作时提供较高的亮度对比率。为了在可能更多的
环境条件中进行操作，球270可以被涂覆以回射反光涂层，并且手持 电子装置100可以设有光源120,该光源120具有位于接近第一相机开 孔215的开孔220。球270可以是光源。在一些实施例中，图像处理功 能可以仅仅对物体标记图像的一个光带(例如蓝)起反应，其可以由 在物体标记中的光源产生或可以选择性地由物体标记反射。对于除了 伸长杆260之外的引导物体，相似的改进可以是有帮助的。例如，套 管状物体可以具有反射白色涂层，或具有特定颜色的指甲抛光的指甲 尤其在较差的照明条件下可以提高检测可靠性。
当有多个引导物体标记时，相对于在距离第一相机110的正常距 离处的视野，尺寸较小的引导物体标记可以是特别有利的。引导物体 可以采用适于用在手持电子装置100的短范围内(如上所述)以及适 于需要的跟踪信息量的任何形状。例如，在此以上描述的伸长杆可能 最适用于二维和三维位置信息，而没有定向信息。添加到伸长杆的手 柄的引导物体标记(例如， 一对回射反光带)，可以允许在很多情况 下相当令人满意的有限定向确定。在需要全部定向和三维位置的情况 下，引导物体可能需要具有一个或多个充分间隔开的引导物体，从而 在正常使用时，在引导物体的所有定向上可以唯一地识别出6个引导 物体。通常，图像处理功能用来识别引导物体标记的图像以及跟踪引 导物体的参数包括已知用于目标识别的那些参数，并且可以包括诸如 边缘检测、对比度检测、形状检测等的图像检测参数，其中每个图像 检测参数可以具有阈值和增益设置，该阈值和增益设置用来增强目标 检测。 一旦已经识别出引导物体标记的图像，可以使用第一组公式来 确定引导物体的位置(也就是，相对于引导物体的主体固定的定义点 的位置)，以及可以使用第二组公式来确定定向。更典型地，第一和
第二组公式是将诸如斜率和边缘的端部之类的中间值转换为在所选择 坐标系中的标记位置和定向的公式。
为了降低处理功能115的复杂性的目的，期望使用反射引导物体 标记。这提供了使得引导物体标记看来比图像中的其他物体更亮的益 处。如果可以充分增加这种相对亮度，则快门速度可以增加到相机基 本上检测不到其他物体的程度。当减少在图像的不期望物体的数量时， 可以使用简单得多的算法来识别在图像中的引导物体标记。因为需要 计算更少的结果，这种复杂性的降低转化为降低的功耗。因为可以降 低存储器需求，所以这种复杂性的降低还降低了处理功能成本，并且 可以选择更少的专用处理加速器、或者更慢更小的处理器芯。特别地，
反射材料可以是回射反光的而不是更常见的镜面反射器或Lambertian 反射器，其中，该回射反光材料高效地直接向着光源将光发射回去， 在该镜面反射器中以角度a入射的光线被以角度反射(例如在镜 中)，而该Lambertian反射器以在所有角度上的均匀分布来反射光。 当使用回射反光器时，需要在非常靠近相机镜头215的地方包括光源 120例如LED，从而使得镜头215在由回射反光的引导物体标记向着光 源发射回来的光的圆锥体内。在图6中示出了可以提供三维位置和多 数正常定向的确定的引导物体的一个实施例，其是在一端处具有火柴 棍人(stick figure) 605的伸长杆600的图。火柴棍人605向用户提供 引导物体的定向的自然指示(natural indication)，并且包括多个回射 反光器610。(可选择地，回射反光器610可以由发光部件来代替，其 可以使用不同颜色来简化对于引导物体标记的识别，但是其相比于回 射反光器将增加伸长杆的复杂性，并且其可能不能在所有环境照明条 件下都良好工作。)
在其他实施例中，视野的轴可以被引导从垂直于显示器离开。例 如，视野的轴可以被引导为使得其典型地当手持电子设备被抓握在用 户的左手中时指向垂线的右侧。由于到引导物体的背景中除了用户脸 之外的物体的更长范围，这可以改进在背景中的图像标记的边缘检测 和对比率，否则其具有用户脸。该远离用户脸的视野轴的偏移可能需
要手持电子装置的左手型式和右手型式，所以备选方案是提供可以被 手动转换(shifted)以提高在多种环境下的准确图像检测的概率的第一 相机110。
现在参考图7，示出根据本发明的一些实施例的显示表面210的
平面图。该视图示出包括字符和图标的场景。在这里使用术语场景来
表示显示在显示器上的随着时间可能变化的一组信息。例如，如所示 的文本屏幕可能通过添加字符、改变字符或删除字符、或者例如通过
将图标改变为另一图标来发生改变。对于其他用途，场景可以是被呈 现在显示器105上的视频图像的一帧。如上所述，可由处理功能使用 引导物体的轨迹来修改显示器105上的场景。这些修改包括但是不局 限于在显示器上的一个或多个连续场景中移动光标物体；在显示器 上的一个或多个连续场景中选择一个或多个场景物体；以及调节在显 示器上的连续场景的观察透视(viewing perspective)。光标物体705 可以呈现为类似于图7所示的文本插入标记，但是替换地也可以是任 何图标，该图标包括但是不局限于诸如沙漏或加号或箭头的常见光标 图标，这些光标图标可以闪烁也可以不闪烁或具有其他类型的变化外 观。光标物体705可以响应于二维的引导物体的位置而进行移动，并 且可以与其他命令结合使用，以执行常见的光标功能，例如选择一个
或多个字符或图标。命令可以是用于影响光标物体的动作、使用或外 观的任何命令，包括但是不局限于那些与鼠标键相关联的命令，例如 点击左键、点击右键等。命令或者可以是影响与光标无关的功能的命 令。这些功能的例子包括但是不局限于音量水平变化和信道选择。可 以使用用于手持电子装置的任何输入传感器来输入命令，该输入传感 器例如一个或多个按压或滑动开关、旋转拨号盘、小键盘开关(keypad switch)、与命令识别功能耦合的麦克风以及在显示器表面210或其他 位置中的接触式传感器。命令传感技术可以是由图像处理功能进行的 对于视频图像中的引导物体260的独特轨迹的检测，其被保存用于特 定应用中的命令，例如远离显示器105的引导物体的非常快的移动。
根据本发明的一些实施例，如下更详细所述，在最佳定义引导物体距 离手持电子装置的距离的一个维度上，以特定方式不同的引导物体的 连续位置的检测，被用来启动一个命令或多个命令之一。命令传感技 术可以包括对于引导物体标记的独特图案的检测。例如，通常不被激 励的物体标记可以响应于在用户的部分上的操作而发光，该操作例如 按下在引导物体上的按钮。可选择地或附加的技术是响应于用户的手 行为而改变物体标记的颜色或亮度。
命令可以启动绘图功能，该绘图功能响应于光标的动作而绘制场 景物体，其中，光标的动作是响应于引导物体的动作的。这种绘制可
以采用任何类型，例如创建新图片，或者采用在从另一源获得的场景 上的覆盖手画线的方式。作为一个例子，另一计算装置的用户可以发 送图片到手持装置100，并且手持装置的用户可以通过调用绘图命令并 使用引导物体围绕第一场景物体在场景之上绘制第二场景物体，来识 别第一场景物体(例如在人群中的一个人的图片)。然后，手持装置 100的用户可以将标记后的图片返回到计算装置(例如，通过蜂窝消 息)，用于呈现给计算装置的用户。
虽然上面已经描述了二维位置跟踪的例子，二维位置和定向跟踪
也可以是有用的，例如用于仅仅呈现为台和队列杆(queue stick)的平 面图的简单的台球游戏。当施加利用在基本上与用于二维位置的两个 维度正交的维度中的引导物体260的移动所独立生成的命令时，该维 度是基本上识别距离手持电子装置100的距离的维度，则不使用在手 持电子装置上的任何键就可以玩这个游戏。
现在参考图8，示出根据本发明的一些实施例的类似于图2所示 的手持电子装置100的透视图。参照手持电子装置定义虚拟表面805 和SIO，在这个例子中该虚拟表面805和810是虚拟平面(planar surface)，用于由处理功能115使用来基本上基于引导物体260距离手 持装置100的距离而生成命令事件。在一些实施例中，可以仅仅使用
一个虚拟平面。
参考图9，示出根据本发明的一些实施例的手持电子装置900的
截面图。手持电子装置900包括具有视野轴905和由线910、 915所示 的视野外周的相机，此外的与手持电子装置100相同地操作。两个虚 拟表面920、 925示出为不是平面的，但是具有和图8所示的虚拟表面 相同的功能；也就是，它们是参照手持电子装置定义的，并由处理功 能115用来基本上基于引导物体260距离手持装置100的距离而生成 命令事件。在这个例子中，因为当打开手持电子装置900而由引导物 体使用时，该手持电子装置900向用户呈现两个平面表面901、 902， 而不是图2所示的一个平面，所以用户对于距离手持电子装置的特定 距离的感知通过使用非平面虚拟表面920、 925被更好的匹配。因为电 子装置900的两个平面901、 902成小于180度的角，可以由弯曲的虚 拟表面920、 925比平面更好地近似用户对于距离手持单元的均匀距离 的感知。通常，本发明的实施例可以使用允许用户可接受地与手持电 子装置IOO交互的任何三维表面或多个三维表面。
参考图10，示出根据本发明的一些实施例的手持装置100、 900 中使用的独特方法的步骤。在步骤1005，在显示器105上呈现信息。 在步骤1010，处理由相机捕捉的视频图像以跟踪在相机的视野内的引 导物体诸如引导物体260 (图2)的三维位置，并且还可以跟踪引导物 体的定向。在步骤1015，生成引导物体的二维位置，其中，该二维位 置被用来修改在显示器例如显示器105 (图l)上的场景中的对应位置。 "控制在显示器上的场景中的对应位置"表示可以影响显示器的一些 可视方面(visual aspect)，诸如响应于基本上在图像平面例如图像平 面301 (图3)中的两个维度上的对于引导物体的跟踪来布置的光标或 其他图标。此外，"控制在显示器上的场景中的对应位置"不需要是 准确的一对一的对应。在一个例子中，当光标已经达到显示器上的位 置并且二维位置改变了少于某个阈值(在引导物体基本上在第三维度 的方向上移动的同时)，该方法将冻结在场景中的该位置。在步骤1020，
响应于引导装置的当前位置与关于手持电子装置定义的虚拟表面的比 较，来控制手持电子装置100、 900的功能。
参考图11，流程图示出本发明的一些实施例的步骤1020的细节。 在这些实施例中，仅仅定义一个虚拟表面，例如参照手持电子装置100、 卯0来定义图8的表面S05或者图9的表面920。当由处理功能跟踪的 引导物体的位置横穿虚拟表面，也就是，在表面上的一点处从表面的 一侧穿到另一侧时，手持装置的处理功能在步骤1105生成事件。在这 些实施例的一些中，处理功能还生成虚拟表面的横穿方向。通过使用 以这些形式(利用或不利用方向指示)之一来生成的事件，处理功能 可以生成基本上任何传统单鼠标键事件的等效。处理功能可以以基本 上同时的方式使用引导装置的二维位置来控制在显示器上的对应位 置，而不管引导物体在(单个)虚拟表面的哪侧上。
参考图12，流程图示出本发明的一些实施例的步骤1020的细节。 在这些实施例中，定义至少两个表面，例如图S的表面805、 810以及 图9的表面920、 925。使用图9的例子，利用两个表面920、 925定义 三个区域。当由处理功能跟踪的引导物体的位置处于包围比虚拟表面 925距离手持电子装置100、 900更远的那些位置的区域中时，手持装 置的处理功能在步骤1205通过生成重复的第一事件来控制功能。当跟 踪的引导物体的位置处于包围比虚拟表面920更接近手持电子装置 100、 900的那些位置的区域中时，处理功能在步骤1205生成重复的第 二事件。当引导物体处在虚拟表面920和925之间时，处理功能可以 仅仅使用引导装置的二维位置来控制在显示器上的对应位置，但是当 引导装置处在其他两个区域之一中时，处理功能可以在产生重复的事 件的同时，基本上同时地使用引导装置的二维位置来控制在显示器上 的对应位置。在这些实施例的一些例子中，第一事件可以被用来逐渐 减少音量控制或降低巻动控制(scroll control)，而第二事件可以被分 别用来逐渐地增加音量控制或升高巻动控制。
步骤1205的更通常的描述可以是对于多个区域中的至少一个 (例如在上个例子中的三个区域中的两个)，根据引导物体处在该多 个区域的至少一个的哪个中来控制功能，并且其中，由参照手持电子 装置定义的至少两个虚拟表面来定义该多个区域(在上个例子中为三 个)。每个区域具有包括多个虚拟表面的至少一个的边界。
在对于其中使用多个区域的至少一个来控制功能的实施例的扩展 中，可以在控制功能的(多个)区域中定义分区，以增加在区域中定 义的控制的模式或状态的数量。当参照手持电子装置仅仅定义一个虚 拟表面，结果在由虚拟表面定义的全部两个区域中仅仅一个区域被用 于控制功能时，可以使用这种方法。当然，可以通过定义多于一个的 虚拟表面来定义和使用控制功能的两个或多个这样的区域。在这些情 况下，"该功能"可以包括多个子功能，每个子功能可以方便地与一 组分区或区域相关联。在一些情况下，子功能可以被描述为分开的功
在一个或多个区域中定义分区的实施例中，分区可以是区域的相 互不相容(exclusive)的部分。在一个或多个区域中定义分区的实施例 中，处理功能使用分区来控制功能的模式或状态，并且不同时地使用 用于控制显示器的对应位置的引导物体的二维位置。在具有多于一个 的虚拟表面的那些实施例中，应理解，这些表面被定义为不与相机的 视野相交。在一些实施例中，区域或分区边界可以随着时间而变化。 例如，虚拟表面可以响应于相对于彼此的手持装置的部件的定向的改 变而进行变化，或者在环境条件中的变化。
在使用分区的例子中，包括比虚拟表面810 (图8)距离手持电子 装置IOO (图8)更远的位置的区域可以被分为四个象限，对于用户这 些象限可以描述为右上象限(分区I)、右下象限(分区II)、左下象 限(分区III)和左上象限(分区IV)。此外，包括比虚拟表面805 (图 8)更靠近手持电子装置800 (图8)的位置的区域可以被分为两半，
这两半对于用户可以被描述为左一半(分区V)和右下象限(分区VI)。 分区I和II可以被用来控制音量设置子功能，分区II和IV可以被用来 控制信道设置子功能，以及分区V和VI可以被用来控制手持装置的设 置的功能的滚动子功能。
其中使用一个或多个虚拟表面来控制功能的手持电子装置的模式 不需要是该手持电子装置的永久模式。例如，对于手持电子装置的物 理控制，或者对另一个例子来说的对于区域的分区的物理控制，可以 将手持电子装置的操作模式改变为不同的模式。不同的操作模式可以 改变虚拟表面的数量(例如从0到l或2)、分区的数量，并且可以相 应地调用由起到控制作用的区域所控制的不同功能。
应理解，呈现在显示器105上的场景可以是已经被存储在存储器 中、或从存储器产生的、或由手持装置100接收到的场景。在一些实 施例中，如现在公知的，手持装置100可以具有第二内置相机，用于 捕捉静止或视频图像，或者第一相机可以用于捕捉作为场景呈现在显 示器上的静止或视频图像，该场景用于使用引导物体进行修改。
应理解，手持电子装置的处理功能15和包括功能105、 110、 120、 125、 130、 135的其他功能的一个或多个的部分，可以包括一个或多个 传统处理器以及对应的唯一存储的程序指令，这些程序指令控制该一 个或多个处理器以执行这里所述的一些或所有功能；这样，部分处理 功能115以及部分其他功能105、 110、 120、 125、 130、 135可以被解 释为执行这些功能的方法的步骤。可选择地，这些功能115以及部分 功能105、 110、 120、 125、 130、 135可以由没有存储程序指令的状态 机来执行，其中，功能115、 105、 110、 120、 125、 130、 135的每个 功能或一些部分的一些组合可以被实现为定制逻辑(custom logic)。 当然，可以使用两种方法的组合。因此，在这里已经描述了用于手持 电子装置的方法和设备。
在之前的说明书中，已经参考特定实施例描述了本发明及其益处 和优点。然而，本领域技术人员将知道，可以在不偏离在以下的权利 要求中阐明的本发明的范围的情况下，可以进行多种修改和变化。因 此，说明和附图都被认为是描述性的而不是限制性的，并且所有这些 修改都意图被包括在本发明的范围内。益处、优点、对于问题的解决 方案、以及可能导致任何益处、优点或解决方案发生或变得更加显著 的任何因素不被解释为任何权利要求或所有权利要求的关键、必需或 实质特征或因素。
如这里的使用，术语"包括"、"包括(comprising)"或其任何 其他变体意图覆盖非排他性的包括，例如，包括一系列因素的过程、 方法、物品或设备不仅仅包括那些因素而是还包括其他没有明显列出 或这些过程、方法、物品或设备固有的其他因素。
如这里使用的"组"表示非空的组(例如对于这里定义的组来说， 每个组包括至少一个部件)。如这里使用的术语"另外"被定义为至 少第二个或更多。如这里使用的术语"包括"和/或"具有"被定义为 包括。如这里参考光电技术使用的术语"耦合"被定义为连接，虽然 不一定是直接连接，并且也不一定是机械连接。如这里使用的术语"程 序"被定义为设计用于在计算机上执行的指令序列。"程序"或"计 算机程序"可以包括例程、功能、过程、对象方法、对象实现、可执 行应用程序、小应用程序、小服务程序、源代码、目标代码、设计用 于在计算机系统上执行的指令的共享库/动态负载库和/或其他序列。进 一步知道，关系术语的使用，如果有的话，比如第一和第二，顶部和 底部等等，仅仅被用来将一个实体或行为从其他的实体或行为区分开， 而不必然要求或意味着在这些实体或行为之间存在任何实际的这些关 系或顺序。
权利要求
1.一种手持电子装置的用户接口控制器，包括显示器，生成视频图像的相机；以及耦合到所述显示器和所述相机的处理功能，所述处理功能在所述显示器上呈现信息，处理所述视频图像，以生成在所述相机的视野内的引导物体的位置的三维轨迹，生成所述引导物体的二维位置，所述二维位置被用来控制在所述显示器上的场景中的对应位置，以及响应于所述引导物体的所述轨迹与关于所述手持电子装置而定义的虚拟表面的比较，来控制所述手持电子装置的功能。
2. 根据权利要求1所述的用户接口控制器，进一步包括当所述 比较的结果是所述轨迹横穿所述虚拟表面时生成事件，并且基本上同 时地生成所述二维位置。
3. 根据权利要求1所述的手持电子装置的用户接口控制器，其中， 所述显示器具有小于100平方厘米的可视面积。
4. 根据权利要求1所述的手持电子装置的用户接口控制器，其中， 所述相机在通常使用所预期的照明条件下具有至少10厘米的视野范围 深度。
5. 根据权利要求1所述的手持电子装置的用户接口控制器，其中， 所述相机的所述视野的轴被定向为基本上垂直于所述显示器的方向。
6. 根据权利要求1所述的手持电子装置的用户接口控制器，其中， 所述视野的轴被定向为从操作者的脸的预期方向偏移的方向。
7. 根据权利要求1所述的手持电子装置的用户接口控制器，其中， 由所述手持电子装置的操作者来移动所述相机的所述视野的轴。
8. 根据权利要求l所述的手持电子装置的用户接口控制器，其中， 处理所述视频图像以生成所述引导物体的位置轨迹的所述处理功能响 应于一个或多个引导物体标记的图像，该引导物体标记的图像具有以 下一个或多个特征每个物体标记图像是包括至少一个定义的点位置的定义形状的投射，每个物体标记图像相对于所述视野在尺寸上较小， 每个物体标记图像相比于即时环境具有较高的亮度对比率，以及 每个物体标记图像主要包括在特定光带中的光。
9. 根据权利要求l所述的用户接口控制器，其中，对于多个区域 的至少一个，根据所述引导物体处于所述多个区域的至少一个的哪一 个中来控制所述功能，并且其中，利用多个虚拟表面来定义所述多个 区域，该多个虚拟表面是参照所述手持电子装置来定义的。
10. —种在手持电子装置中使用的用户接口方法，该手持电子装 置具有生成视频图像的相机并且具有显示器，所述用户接口方法包括在所述显示器上呈现信息；处理所述视频图像，以生成在所述相机的视野内的引导物体的位 置的三维轨迹；生成所述引导物体的二维位置，所述二维位置被用来控制在所述 显示器上的场景中的对应位置；以及响应于所述引导装置的所述轨迹与关于所述手持电子装置定义的 虚拟表面的比较，来控制所述手持电子装置的功能。
全文摘要
一种手持电子装置(100)的用户接口控制器，其具有生成视频图像的相机，在该手持电子装置的显示器(105)上呈现(1005)信息，处理(1010)该视频图像以跟踪在相机的视野(225)内的引导物体(260)的三维位置，生成(1015)用于控制在显示器上的场景中的对应位置的引导物体的二维位置，并响应于引导装置的轨迹与关于手持电子装置定义的虚拟表面(805、810、920、925)的比较来控制(1020)手持电子装置的功能。
文档编号G09G5/00GK101185114SQ200680018224
公开日2008年5月21日 申请日期2006年4月14日 优先权日2005年5月27日
发明者凯文·W·杰利, 布鲁斯·A·奥古斯丁, 拉塞尔·D·马雷亚兴, 詹姆斯·E·克伦肖, 迈克尔·S·希姆斯 申请人:摩托罗拉公司