手持设备可以 像照相机一样工作。图像传感器例如可以包括电荷耦合器件（CCD)照相机。
[0159] I.输入设备功能
[0160] 1.触摸手势
[0161] 手持电子设备可被设计为识别施加到触摸屏和/或外壳的触敏表面的触摸手势， 从而控制手持电子设备的各个方面。手势是与输入设备之间的程式化交互，其被映射到一 个或多个特定的计算操作。手势可以通过各种手和手指的运动来执行。手势一般包括触弦 (contact chord)，例如一个或多个手指，以及与该弦相关联的动作。可替换地或可附加地， 手势可以利用铁笔作出。在所有这些情况下，输入设备（即触摸屏和/或触敏表面）接收 手势，并且手持电子设备的控制器执行指令来执行与手势相关联的操作。手持电子设备可 以包括触摸手势操作程序，该程序可以是操作系统的一部分或分离的应用程序。手势操作 程序一般包括一组指令，这组指令识别手势的发生，并将手势和/或响应于手势将执行的 一个或多个动作告知一个或多个软件代理。例如，可被使用的手势在以下专利中被更详细 地公开：2004 年 7 月 30 日递交的题为 "Gestures for Touch Sensitive Input Devices" 的美国专利申请No. 10/903, 964和2005年1月18日递交的题为"Mode-Based Graphical User Interfaces for Touch Sensitive Input Devices"的美国专利申请No. 11/038, 590〇
[0162] 2. 3-D空间手势
[0163] 根据一个实施例，手持电子设备可被设计为识别由加速计测量的3-D空间手势， 并且基于该3-D空间手势来控制手持电子设备的各个方面。空间手势是设备本身的程式化 动作，其被映射到一个或多个特定计算操作。3-D空间手势可以通过各种手和手臂的动作来 作出，例如摇动、挥动等等。加速计测量与3-D空间手势相关的运动，并且控制器识别该运 动为3-D空间手势，并随后执行指令以执行与3-D空间手势相关联的操作。手持电子设备 可以包括3-D空间手势操作程序，其可以是操作系统的一部分或者是分离的应用程序。手 势操作程序一般包括一组指令，这组指令识别手势的发生，并将手势和/或响应于手势将 执行的一个或多个动作告知一个或多个软件代理。
[0164] 一种示例性的3-D手势是摇动设备。摇动会致使手持设备在模式或状态之间转 换。可替换地，摇动手持设备会致使发生选择事件。例如，在媒体播放器的情况下，摇动设 备可能致使设备随机地在图片或歌曲的组中选择图片或歌曲。可替换地，摇动设备可能致 使设备在歌曲序列中选择下一图片或歌曲。
[0165] 其它手势可以包括平移或旋转设备。从一侧向另一侧平移手持设备（在其正面朝 上时）可被用来发起设备中的镜头摇动或滚动，或者上下移动设备（在其正面朝上时）可 被用于发起对焦。旋转设备可被用于致使设备改变模式或状态。在某些情况下，例如，设备 的朝向对应于特定模式。例如，第一模式可能与0度相关联，第二模式可能与90度相关联， 第三模式可能与180度相关联，第四模式可能与270度相关联。在所有这些情况下，设备可 被配置为在设备被转动时保持被显示的部分垂直。就是说，无论设备的朝向怎样，都保持垂 直的图像。
[0166] 3-D空间手势甚至可以基于更复杂的运动，例如手语、书写运动等等。
[0167] 3.基于多个输入执行动作
[0168] 由于设备可能具有多个输入模式，因此手持设备可以被配置为从不同的输入设备 接收同时输入，并且基于多个同时输入执行动作。可被组合以产生新命令的输入可以从语 音、2-D触摸手势、3-D空间手势、致动器等中选择。例如，该特征在经由语音选择执行呼叫 时可能有用。呼叫者可能用语言表达"Τ0Μ"，这致使设备拨打"Τ0Μ"的电话号码。如果"Τ0Μ" 具有多个电话号码，则用户可以将口头命令"TOM"与3-D空间手势相结合，例如通过摇动来 选择Tom的第二电话号码。本领域技术人员将意识到各种其他的可能性。
[0169] 4.区分轻触摸和重触摸
[0170] 如上所述，力感测和触摸感测相结合有助于两种不同类型的交互，轻触摸和重触 摸。轻触摸可被用于执行不会导致主要事件发生的被动动作，例如内容导航和内容操作。被 动事件的示例包括移动光标、滚动、摇动镜头等等。重触摸交互可被用于选择屏幕上的按钮 或发起命令（例如致使发生重要改变）。
[0171] 图25是用于实现该技术的触摸方法400的图。方法400开始于框402,其中一个 或多个触摸被检测到。触摸不仅包括X和y分量，还包括z分量。X和y分量可以由触感设 备（例如触摸屏、触摸板或触摸外壳）提供。z分量可以由位于触感设备的触摸表面后面的 力传感器或显示致动器来提供。
[0172] 在框402之后，方法前进到框404,其中判断触摸是轻触摸还是重触摸。该判断一 般基于触摸的力或压力（z分量）。例如，如果触摸的力小于预定阈值，则认为该触摸是轻触 摸，并且如果触摸的力大于预定阈值，则认为该触摸是重触摸。如果确定触摸是轻触摸，方 法则前进到框406,其中与触摸相关联的被动动作被发起。如果确定触摸是重触摸，则执行 与触摸相关联的主动动作（框408)。
[0173] 触摸方法还可以包括将一个或多个触摸分类成主要触摸或辅助触摸的框。主要触 摸是希望导致动作执行的触摸，而辅助触摸是不希望导致动作执行的触摸。手势是主要触 摸的示例，而放在触摸区域上用于夹持设备的拇指是辅助触摸的示例。一旦触摸被分类成 主要或辅助，辅助触摸被过滤出，然后针对主要触摸执行关于触摸是轻触摸还是重触摸的 判断。
[0174] 5.新触摸词汇表的示例
[0175] 施加在触感设备上的z压力可以与触摸的X和y位置组合来形成新触摸词汇表。 应该意识到，这之前，触摸词汇表只包括X和y位置而不包括Z压力。提出的触摸词汇表包 括多个变量，包括UI模式、触摸的力（例如轻或重）、所用手指的数目、在触摸期间是否存在 任何运动、触摸的持续时间以及触摸位置，所有这些变量中的全部或某些可被组合以形成 各种行为和用户反馈。
[0176] UI模式一般与设备的模式或状态相关。每个设备包括各种状态，每个状态可能需 要不同的UI模式。媒体播放器（模式）例如可以包括一组分层结构的层（状态），其中每 一层需要不同的UI。
[0177] 如上所述，触摸的力例如可以被描述为轻或重。轻触摸可以发生在用户轻轻地触 摸触摸表面的表面时，即手指在表面上滑动，并且主要在X和y方向上移动。重触摸可以发 生在用户用一定量的力按下触摸表面时，即手指主要靠着触摸表面在z方向上移动。
[0178] 在触摸期间的运动被用于描述手指在触摸事件期间是保持静止还是在X-Y平面 上显著移动（例如平移、旋转等等）。运动可被描述为根本没有或者在某个特定方向上挥击 或旋转。例如，挥击可以向上、向下、向右、向左或者它们的某种组合，而旋转可以是顺时针 的或者逆时针的。
[0179] 持续时间被定义为手指在任意一个点停留的时间量。持续时间可以是变量，或者 它可以包括诸如短和长之类的状态。触摸位置可是随机的点或特定位置，例如屏幕上的按 钮。
[0180] 图26是实现该技术的附加触摸方法500。该方法开始于框502,此时一个或多个 触摸被检测到。然后，在框504中，UI模式被确定。在框506中，判断触摸是轻触摸还是重 触摸。可替换地，框502和504可以反过来，从而有效地产生针对每种模式的触摸方法的实 例。在框508中，不同触摸（例如手指）的数目被确定。在框510中，判断触摸是静止的还 是运动的。在框512中，触摸的持续时间被确定。在框514中，触摸的位置被确定。在框 502-514之后，方法前进到框516,其中基于UI模式、触摸的压力、触摸的数目、触摸是否移 动、触摸的持续时间和触摸位置来执行动作。取决于每个特性的值，动作可以是被动的或主 动的。
[0181] 与音乐播放器相关联的触摸词汇表的一个示例如图27A-E所示。
[0182] V.输出设备
[0183] A.显示屏
[0184] 手持电子设备的主要输出通常是显示屏。显示屏以文本、字符或图形的形式提供 可视信息。显示屏通常是平板设备，但是其它类型的显示屏也可被使用。显示屏可以是液 晶显示屏（LCD)，例如能够呈现文本和符号的字符LCD，或者能够呈现图像、视频和图形用 户界面（⑶I)的图形IXD。可替换地，显示屏可以对应于基于有机发光二极管（0LED)的显 示屏或者基于电子墨水的显示屏。
[0185] 优选地，显示屏可被配置为基本上充满外壳的前表面。显示屏可以从外壳的一边 延伸到外壳的另一边，外壳可以包括围绕显示屏边缘的小沟缘。在任意一种情况下，显示屏 都构成手持电子设备的前表面的主要部分，从而消除了用于与传统用户接口相关联的按钮 或开关的任意空间。
[0186] 如上所述，除了输出可视信息之外，显示屏还可以像输入设备一样工作。例如，触 摸屏可被放置在显示屏上面，并且/或者传感器可被布置在显示屏下面，以感测设备何时 被按下或以其他方式被移动。在大多数情况下，手持设备的小外形规格要求将输入接口放 置在中间，以允许在用手携带和使用设备的同时对其进行操作。显示屏区域提供了中间的 位置，该中间位置可以被左手和右手触及。
[0187] 显示屏区域可以由多于一个显示屏构成。例如，显示屏区域可以由一对左右并排 或上下排列的显示屏构成。第一显示屏可被用于呈现标准屏幕，而第二显示屏可被用于呈 现控制屏幕，如以上参考图5-8所述。此外，第一显示屏可以是传统显示屏，而第二显示屏 可以是显示屏致动器。此外，第一显示屏可以具有第一类型，而第二显示屏可以具有第二类 型。例如，第一显示屏可以是IXD，而第二显示屏可以是基于电子墨水的显示屏。
[0188] 决定使用不同类型可能基于如下事实：显示屏之一可能专用于标准查看区域，而 另一显示屏可能专用于控制区域。由于这两个区域要求不同的分辨率，因此更高分辨率的 显示屏可被用于标准区域，而较低分辨率的显示屏可被用于控制区域。可替换地或者可附 加地，尤其在可接受较低分辨率的控制区域中，显示屏之一可被选择以减小电池消耗。在某 些情况下，虽然使用两种不同的显示屏，但是显示在其上的图像可以组合以形成单个统一 的图像。
[0189] B.扬声器
[0190] 手持设备还可以包括扬声器。扬声器是从放大器接受代表音频信息的电子信号并 将它们转换成声波的组件。结合音乐播放器功能，扬声器可被用于听音乐，或者结合蜂窝电 话功能，扬声器可被用于接听传入呼叫。扬声器可被放置在顶部表面，或者可能被放在手持 设备的前面的顶部沟缘上。这种布置当设备被用作蜂窝电话时特别适合。
[0191] C.指示器（LED)
[0192] 手持设备还可以包括一个或多个指示器，用来提供用户反馈或指示与设备相关联 的事件。所述事件可以与信号、设备的状况或状态相关。例如，指示器提供电池寿命的状态 或在有传入呼叫时向用户报警。包括光源（例如发光二极管（LED))的指示器通常在事件 发生时亮起，并且在事件停止时熄灭。此外，指示器可以进行开关（闪光）或者以增大或减 小的强度循环，并且在某些情况下，指示器甚至可能改变颜色，以便提供关于正被监视的事 件的更详细的信息。
[0193] 指示器可以是传统指示器，通常包括小而清晰的塑料插入件（plastic insert)， 该塑料插入件位于LED前方并且被插入在外壳的开口内，从而使得其存在于外壳的表面 上。LED本身也可以被放置在外壳的开口中而不使用插入件。可替换地，指示器可被配置为 不打断外壳的表面。在这种配置中，光源被整个放在外壳内，并且被配置为照亮外壳的一部 分，从而使得外壳改变其外观，即改变其颜色。
[0194] D.音频/触觉反馈设备
[0195] 手持设备可以包括扬声器或蜂鸣器，用来向用户提供音频反馈。这些设备可以与 上述指示器类似地工作，或者它们可以被用于增强致动GUI元件（例如软按钮或滚动轮盘） 的感觉。例如，扬声器可以被配置为在用户按下虚拟按钮或者旋转虚拟滚动轮盘时输出"点 击"噪声。该特定特征增强了用户体验并且使得虚拟UI感觉上更像物理UI。
[0196] 手持设备还可以包括触觉机构。触觉学是应用触感和控制来与计算机应用程序进 行交互的科学。触觉机构本质上允许用户感觉信息，即信号被发送到手。触觉机构可能是 多种多样的。它们可以包括马达、振动器、电磁设备等等，所有这些都能够以振动或摇动的 形式提供力反馈。触觉机构可以与上述指示器类似地工作（警告），或者它们可被用于增强 致动GUI元件（例如软按钮或滚动轮盘）的感觉。例如，触觉机构可以被配置为在用户按 下虚拟按钮或者旋转虚拟滚动轮盘时振动。该特定特征增强了用户体验并且使得虚拟UI 感觉上更像物理UI