专利名称：使用触摸敏感控制表面与桌面进行间接用户交互的制作方法
使用触摸敏感控制表面与桌面进行间接用户交互背景在这一数字时代，大多数人们熟悉两个普遍存在的计算环境固定计算和随身(on-the-go)计算。所建立的固定计算领域涉及主要为用户的重量级、固定沉浸设计的计算系统。通常，固定计算领域内密集的人机交互涉及用户与“窗口、图标、菜单和定点设备”元素的交互。这被称为WMP型交互。显然，台式计算机是固定计算领域的一部分，其它名义上“便携式”的计算设备(诸如膝上型或笔记本)通常适合纳入该领域的上下文内，因为这样的设备被设计为供固定用户使用。第二种新兴的领域被称为随身计算(S卩，移动计算)。如其名字所暗示，这一领域的计算设备旨在主要由用户在她通常字面上“动身”时使用。该领域基于通常提供除仅仅计算以外的功能的高度便携式的设备(例如，移动或智能电话)。与固定计算领域对比，随身计算领域为其用户提供轻量的移动接合。
尽管固定计算领域中可用的应用中有一些也在随身计算领域中可用，随身用户没有完全接合固定计算领域中可用的重型固定沉浸的真正能力。自然地，便携式随身计算设备具有比典型的固定计算设备小得多的屏幕尺寸。单为这个原因，随身用户无法体验对固定计算领域中的用户可用的严肃、深入的交互。概述在此所描述的是使用用户输入设备(如移动电话)的触摸敏感控制表面为与二维虚拟空间(“桌面”)进行的间接用户交互提供用户交互风格类的技术。所描述的一些技术使得用户能够借助于来自手持式设备的触摸表面的输入在大的虚拟二维空间中指点、平移和缩放，且用户交互的输出被呈现在可视显示单元(而非触摸表面)上。提供这一概述以便以简化形式介绍在以下详细描述中进一步描述的一些概念。这一概述并不意图标识出所要求保护的主题的关键特征或必要特征，也不预期用来帮助确定所要求保护的主题的范围。例如，术语“技术”是指以上上下文和整篇文档中所允许的设备、系统、方法和/或计算机可读指令。附图简述参照附图描述该详细描述。附图中，参考数字最左边的数位标识其中该参考数字首次出现的图。在所有附图中使用相同数字表示相似的特征或组件。图I例示实现用于在此所描述的一种或多种间接用户交互风格的技术的示例性计算环境。图2-4是根据在此所描述的技术的一种或多种实现的至少一种示例性用户交互风格(称为“戳刺器(Jabber)”)的例示。图5-7是根据在此所描述的技术的一种或多种实现的另一种示例性用户交互风格(称为“游戏杆”)的例示。图8-9是根据在此所描述的技术的一种或多种实现的另一种示例性用户交互风格(称为“抓取器(Grabber)”)的例示。
图10是实现在此所描述的技术的至少一个示例性进程的流程图。
详细描述在此所描述的是使得随身计算领域(on-the-go-computing realm)的便携式设备的用户可以使其沉浸于重量级的固定计算领域的技术。在此描述的是用于使用用户输入设备(如移动电话)的触摸敏感控制表面为与呈现设备的二维虚拟空间(“桌面”)进行间接用户交互的技术。在此所描述的技术引入用户交互风格类，用户交互风格类可以使得用户能够借助于来自手持式设备的触摸表面的输入在大的虚拟二维空间中指点、平移、变焦(zoom)和缩放(scale)，且用户交互的输出被呈现在外部可视显示单元上。所描述的技术具有大的外部可视显示单元的更大可视面积(例如，物理上更大且视觉上更舒服的显示器和/或更高的像素分辨率)的优点以及便携式移动计算设备的便利。借助于在此所描述的一种或多种技术的实现，移动电话的小型触摸屏例如像鼠标和/或键盘那样工作，供用户与计算系统交互。存在其他触摸屏场景，例如用于智能电话。然而，对于那些场景，触摸屏足以完全访问所显示的区域，且触摸屏和输出显示器之间的用户交互是直接的。对于这些其他现有的触摸屏输入场景，触摸屏与显示器区域同延(coextensive)。此外，因为用户正在实际上触摸同延的触摸屏，她可以看到她正在触摸的位置。在此情况中，用户交互是直接的。 例如，如果用户希望激活程序，用户简单地触摸程序的图标。用户知道她正在触摸程序的图标，因为她可以看到恰好就在该图标被显示在显示区域的位置上的屏幕的直接触摸。与现有方法相反，新的用户交互风格包括一个比所显示的区域小的触摸屏，并且，因为触摸屏不是显示区域的部分，所以用户交互是间接的。更具体地，输入设备(例如，移动电话)与显示区域分离。因此，触摸屏不与显示区域同延。即是说，输入触摸屏的区域和输出显不区域之间不存在对应。正如在此所描述，一个或多个新的用户交互风格解决分辨率失配。在移动电话的触摸屏和可视显示单元之间、或在触摸屏和呈现设备(例如，壁挂式显示器)的较大的二维虚拟空间(即，“桌面”)之间可能存在这样的失配。并且，新的用户交互风格解决用户如何通过使用电话的触摸屏间接地与桌面交互的问题。更具体地，使用移动电话的盲操作来完成间接交互。为方便读者，提供包括小节标题和相应概述在内的这一简要介绍，并且这一简要介绍和下列小节并不意图限制权利要求书的范围。示例件计算环境图I例示可以实现所述技术的示例性计算环境100，该技术用于使用随身计算领域的便携式用户输入设备的触摸敏感控制表面与固定计算领域的二维虚拟空间的间接用户交互。示例用户交互也可以被称为“抬头、放手”。环境100可以包括至少一个计算设备102，计算设备102具有可视显示单元104和通信上耦合108到计算设备102的用户输入设备 106。计算设备102可以是通常被用于固定计算领域的计算设备。计算设备102可以是能够产生被主要设计为用于与典型的固定用户进行用户交互的虚拟二维空间的任何适当的计算设备。虚拟二维空间在此称为“桌面”。通常，桌面允许WMP型交互。WMP通常是指使用窗口、图标、选单和指点设备的交互风格。尽管不必完全地例示，但计算设备102具有处理器、存储器、存储子系统和输入/输出子系统，诸如键盘、鼠标、监视器、扬声器等等。在图I中，可视显示单元104被描绘为平板监视器。对于这一实现和或其他实现，可视显示单元104可以是通常用来显示被主要设计为用于与固定用户进行用户交互的桌面的任何适当的可视输出显示器。其他适当的可视显示单元的例子包括(作为例子而非限制)任何平板显示器，诸如等离子体显示器、液晶显示器(IXD)或有机发光二极管(OLED)；阴极射线管(CRT)显示器；大型壁挂式的监视器；投影仪；便携式微型投影仪(也就是说，手持式或口袋式投影仪)；人类可穿戴式显示器(HWD)，诸如头戴式显示器(HMD);抬头式显示器(例如，座舱显示器)；电子纸；虚拟视网膜显示器；体育馆/竞技场矩形显示器或记分板；以及电视。因为计算设备102和可视显示单元104—起工作以便以交互的方式向用户呈现或描绘桌面，在此且在示例性计算环境100的上下文中，它们被统称为“呈现设备”或“描绘设
奋ο在图I中，用户输入设备106被示出为移动电话，且在下文中可以被称为移动电话。移动电话106具有一般被称为触摸屏的触摸敏感控制表面110，且在下文中可以被称为 触摸屏。移动电话106的触摸屏110与可视显示单元104分离。更确切地说，触摸屏110和可视显示单元104不相互同延。即是说，触摸屏110和可视显示单元104不共享相同的表面。移动电话106也可以被称为蜂窝式电话、智能电话、无线手持机、手机、卫星电话、无线电话等。对于这一实现或其他实现，用户输入设备106可以是具有触摸屏110或检测一个或多个手指或触笔在其上的移动和位置的专用表面的任何适当的手持式计算设备。其他适当的用户输入设备的例子包括(作为例示而非限制)触摸板、个人数字助理(PDA)、图形输入板、手表、导航系统、数字音频播放器和数字多媒体播放器。一些基于图形输入板的计算机系统具有“悬停状态”，悬停状态例如在触笔接触图形输入板的表面之前就检测到该触笔。在这一场景中，用户可以在触摸图形输入板屏幕前准确地定位触笔。对于在此讨论的许多实现，用户输入设备106并不具有指点悬停状态。然而，其他实现可以使用具有悬停状态的用户输入设备106。如图I所示，在用户输入设备106和呈现设备之间的通信耦合108是无线。在这一实现中，无线通信耦合108是任何适当的短距离无线通信方式，诸如由BLUET00THH 、近距离通信(NFC)和无线个域网(WPAN)标准提供的短距离无线通信方式。或者，无线连接可以经由较远距离无线通信方式，诸如由无线局域网(WLAN)标准或蜂窝式网络所提供的较远距离无线通信方式。此外，通信耦合108可以是有线连接，诸如由通用串行总线(USB)线缆或以太网线缆提供的有线连接。图I示出由人类用户握持移动电话106。她正在用她的右手114的手指112触摸触摸屏110，同时用她的左手116握持移动电话106。移动电话106具有至少一个模式变换按钮118。模式变换按钮118在此被示出为在用户的拇指之下，但是在此描述中用户并不必描述按压该按钮。正如在此所描述，用户正在实际上用她的手指112触摸触摸屏110。当然，其他适当的输入备选方案可以用于其他实现。适当的备选方案包括(作为例示而非限制):触笔或触摸的已界定的移动；在屏幕上的模拟按钮、多点触摸交互；移动电话中的加速度计；以及HWD设备中的加速度计。在关于HWD设备的后一例子中，用户的身体移动可以用来直接地控制查看区域的平移和变焦。当用户正在穿戴着眼镜式显示器时，头部移动可以提供对应于在大显示器前的人类行为的非常自然的接口。例如，平移可以起因于用户转动她的头部以便看屏幕的不同部分，且变焦可以起因于她靠得更近以便看到更多细节或者离开以便看到更少的细节。在触摸屏110中的是控制区域。由于控制区域与触摸屏110同延，因此不在图I与触摸屏110分开描绘它。通常，控制区域的尺寸可以小于或等于触摸屏110。为了简单起见，因为控制区域是与触摸屏110同延的，在这一特定实现的上下文中不显式讨论该控制区域。正如所例示的那样，呈现设备产生用于与用户进行交互尤其是进行WMP型交互的桌面120。桌面120可以是任何旨在用于与用户交互的任意大的二维虚拟空间，诸如游戏环境。呈现设备具有只示出桌面的可查看部分或显示部分的显示视口 122。大多数计算机用户熟悉其中视口完全匹配桌面120的场景。然而，在一些实例中，桌面120中只有一部分可以由呈现设备查看。这一情况的一个例子是使用HWD装置如便携式眼镜式显示器。对HWD来说，具有比桌面120少得多的分辨率是正常的。在那些实例中， 在任一时刻，HWD只示出桌面120的一部分。在此针对这一实现和其他实现的讨论假定视口 122只示出整个桌面120的部分(例如，一半或三分之一)。换句话说，视口 122的分辨率少于桌面120的分辨率。对于其他备选实现，它们的分辨率可以匹配；因此，视口 122可以示出桌面120的全部。图I示出视口 122内的指点区域124。在此针对这一实现和其他实现的讨论假定指点区域124小于视口 122并被包括在视口 122里。换句话说，指点区域124的分辨率少于视口 122的分辨率。对于其他备选实现，指点区域124的分辨率可以匹配视口 122。正如所示出的那样，指点区域124在尺度上对应于移动电话106的触摸屏110。对应关系是一一对应(I :1)，以使得触摸屏Iio的分辨率匹配指点区域124的有效分辨率。有效分辨率可以取决于触摸屏和可视显示单元的屏幕像素分辨率。有效分辨率也可以取决于人类因素。例如，如果观察者位于远处，那么呈现屏幕的有效分辨率可以少于它的实际分辨率。对于触摸设备，用户的手指尺寸可以使得有效触摸分辨率远少于触摸屏的像素分辨率。术语“分辨率”是“显示分辨率”或“屏幕分辨率”的缩短形式。为了消除来自分辨率的其他已知形式的歧义，“空间范围”用来描述在此所述的预期类型的“显示分辨率”或“屏幕分辨率”。正如在此所使用的那样，框、区、区域等等的空间范围是指其在宽度和高度方面的像素维数。例如，桌面120可以具有1920x1080的空间范围，视口 122可以具有1024x768的空间范围，且指点区域124可以具有320x240的空间范围。在这一例子中，触摸屏110的空间范围将是320x240，这是因为它的空间范围匹配指点区域124的空间范围。一般地，控制区域具有匹配指点区域124的空间范围的空间范围。这样，对于其中控制区域小于触摸屏110的其他实现，控制区域的空间范围将匹配指点区域124的的空间范围,但是触摸屏将具有较大的空间范围。图I示出在指点区域124里被描绘为带有十字丝的圆圈的鼠标环126。这一鼠标环126也可以称为光标、指针或简单地称为环。当然，在其他实现中，环126可以采用不同的形状，如箭头或手。环126指示用户当前正在指点的位置并且可以用来启动用户输入，这有时被称为“鼠标事件”。鼠标事件的例子包括鼠标点击、拖曳、双击、右击等等。在一些实现中，当用户举起她的手指112时，环126改变颜色且变成虚线。这指示用户有机会生成鼠标事件。然而，在其他实现中，可以使用其他色彩方案和可视指示(例如，纹理、线宽等等)。如果手指112在触摸屏110上的通常不可见的触摸区之外触摸触摸屏110，环126消失。在这一实现中，触摸区是围绕用户正在触摸屏110上触摸的位置的空间。触摸区通常是中心位于用户触摸的位置的15像素的半径。然而，在其他实现中，可以使用不同尺寸的区域。备选地，用户手指112保持离开触摸屏110持续至少规定时间(例如，I秒)也可以使环126消失。如果在规定时间(例如，I秒)内用户在触摸区内触摸，那么环126改变颜色以指示鼠标事件将会在指点区域124里的环的位置发生。如果此时用户举起她的手指112，那么单击鼠标事件被触发。这使得环126使环计时器复位以支持双击。如果用户改为把她的手指112拖曳到触摸区外，那么鼠标拖曳动作被触发。在单击之后，如果手指112再次在触摸区内接触触摸屏110并被释放，则环126再次改变颜色，且双击鼠标事件被触发。
移动电话106的触摸屏110被绝对地映射到视口 122里的指点区域124，视口 122是在桌面120内的。在此,绝对映射意味着触摸屏110的输入空间范围的每一像素都直接映射到指点区域124的输出空间范围的相同的相应像素。因此，如图I所示，环126在指点区域124中的一点出现或移动到一点，该点对应于用户手指112正在触摸屏110上触摸的绝对映射点。与采用来自鼠标或笔输入图形输入板的传统输入的不同，移动电话的触摸屏是小的、低分辨率的，且需要使之稳定(通常因为用户把移动电话106握持在非优势手116中)。因此，在大的虚拟空间中交互时，当不看移动电话106时用户可能具有离开触摸屏110的边缘的趋势。这一离开边缘的趋势通过把指点区域124绝对映射到触摸区域110以及由环126提供的指点区域124内的触摸位置的可视反馈来改良。在此所描述的这一实施例和其他实施例的一种操作原理是，一旦用户已经在屏幕和他们的手指112或触笔之间建立接触，那么用户应该能够执行鼠标状交互的连击(burst)而不会有“抓握(clutching)中断”。这一原理被称为“粘性免看(stickyeyes-free)”设计。抓握是由用户对于传统相对指点交互如鼠标来执行的常见动作。抓握是指点设备跑出输入空间之前、但关联指针已经达到可指点区域的边缘之前重定位指点设备的时刻。例如，在指针已经到达屏幕或窗口的边缘之前，鼠标可能早就到达鼠标垫的边缘。然而，正如针对这一点所描述的那样，用户只能访问桌面120中当前由指点区域124在其当前位置环绕的部分。因为指点区域124和触摸屏110之间的绝对映射，用户不能够不需要更多东西就移动到指点区域124外。用户可以借助于例如通过用户按压移动电话106上的平移变焦模式按钮118提供的另外的或不同的输入来切换到平移变焦模式。在其他实现中，这可以仅仅是平移模式按钮或变焦模式按钮。在这一描述中，按压平移变焦模式按钮118称为按钮按下模式。代替按钮118，用户可以利用诸如视口边缘的某个区域的延长选择来选择和移动视口。按钮按下模式中，手指112在触摸屏110上的移动指示指点区域124在视口 122里相对地移动。相对移动至少部分基于界定指点区域124边缘的方框或边界的持久性。这样，带有触摸移动到右边的按钮按压使指点区域124以相似的方式移动到右边。一旦指点区域124移动经过视口 122的边缘，那么，指点区域124和视口 122两者都在桌面120里相对移动。
应注意,不像环126在指点区域124里的绝对移动,指点区域124的移动本身是相对的。按钮按下的触摸屏指示在该移动的指示之前使指点区域124相对于其初始位置在视口 122中移动。呈现设备包括至少一个处理器128和存储器130。在该存储器中至少有三个组件呈现器132、用户交互界面134和指点区域控制器136。呈现器132管理三个嵌套空间的显示桌面120、视口 122和指点区域124。这些嵌套空间对应于用户交互的三种嵌套水平。桌面120是二维虚拟空间，视口 122界定用户在该虚拟空间中可以见到的内容，且指点区域124界定用户可以在用户可以见到的内容中选择的内容。呈现器132管理经由视口 122显示桌面120的部分。呈现器132也管理桌面120的视口的视图的平移和缩放(即是说，放大或缩小)。另外，呈现器132处理视口 122中指点区域124的显示。呈现器132也处理环126在指点区域124里的显示和移动。
用户交互界面134处理与移动电话106的通信。更具体地，界面134获取并解释来自移动电话106的输入。例如，界面134获得因用户在移动电话106的触摸屏110的控制区域里触摸而得到的输入。界面134也处理来自移动电话106或可以影响用户交互的其他设备的其他输入。例如，其他输入可以来自移动电话106中的按钮(诸如模式变换按钮118)、加速度计或其他设备(诸如HWD设备)的按钮或加速度计的按压。指点区域控制器136以绝对方式把用户输入设备106中的触摸敏感控制表面110的控制区域映射到指点区域124。指点区域控制器136把触摸敏感控制表面110的控制区域的每个点(也就是说，像素)与指点区域124的每个点(也就是说，像素)映射起来。借助于这一绝对映射，环126以完全对应于用户如何在控制区域(对于这一特定实现，这与触摸敏感控制表面110相同)里移动他们的手指112的方式在指点区域124里移动。在这一实现中，组件是在存储器130中且根据需要由处理器128执行的计算机可执行指令的软件模块。一般地，计算机可执行指令是可以在一个或多个计算机、计算设备或计算机处理器上执行的指令。尽管在此被示出为模块，但组件可以被实现为硬件、固件、软件或其任何组合。同时，尽管在此被示出为驻留在单个计算设备(也就是说，计算设备102)上，但组件可以跨越分布式系统或网络的许多计算设备而分布。在一些其他备选实施例中，移动电话106可以是呈现设备的部分。例如，移动电话106可以为一个或多个组件提供一些或所有的计算性能。实际上，移动电话106可以提供一些或所有的组件。如果是这样，移动电话106没有通过触摸屏110提供可视显示单元104的功能。换句话说，通过移动电话106的触摸屏110看不到视口 122和指点区域124。在一些实现中，移动电话106可以提供与用于用户交互的触摸屏110的分离的可视显示单元。戳刺器用户交互风格图2-4例示用于使用用户输入设备的触摸敏感控制表面与呈现设备的桌面进行间接用户交互的所述技术的至少一种实现(称为“戳刺器”)。一般而言，戳刺器用户交互风格利用用于在嵌入在用于移动指点区域的相对配置内的指点区域内移动指针的绝对指点配置。在图I中示出戳刺器用户交互风格的部分。图2-4继续戳刺器用户交互风格的描述。图2示出用于戳刺器用户交互风格的示例性配置200。这一配置包括带有平移变焦模式按钮204和触摸屏206的移动电话202。正如所示出的那样，用户的拇指208没有按压按钮204。用户不是使用她的手指，而是正在使用触笔210以使得触笔正在触摸触摸屏206的左下角。虚线触笔212和虚线箭头214指示用户从触摸屏206的左下角向右上角移动触笔210。图2也示出由用户触摸移动电话202的触摸屏206而导航三个嵌套的空间。从最大空间到最小空间，这些空间包括桌面216、显示视口 218和指点区域220。鼠标环222被定位在指点区域220里，位于对应于触笔210在触摸屏206中的位置的一位置。虚线鼠标环224和它的虚线箭头226指示对应于触笔210的移动的鼠标环222的移动。触笔210从触摸屏206的左下角移动到右上角，并且指示环222以类似方式在指点区域220里移动。这阐明了触摸触摸屏206的触笔210的移动和环222在指点区域220中的移动之间的绝对关系。对于这一实施例，控制区域完全匹配触摸屏206。在其他实施例中,控制区域可以在尺寸方面小于触摸屏206和/或在形状上不同于触摸屏206。在那些实施例中，绝对关系是在触摸屏206的控制区域里的触摸和类似形状以及大小的指点区域220之间。图3显示另一示例性戳刺器用户交互配置300，它被配置为非常类似于示例性配置200。用户交互配置300包括带有平移变焦模式按钮304和触摸屏306的移动电话302。与示例性配置200不同，用户的拇指308正在按压用户交互配置300中的平移变焦模式按钮304。触笔310正在触摸触摸屏306的左下角。虚线触笔312和虚线箭头314指示用户从触摸屏306的左下角到右上角移动触笔310。图3也示出由用户触摸移动电话302的触摸屏306而导航的三个嵌套空间。从最大空间到最小空间，这些空间包括桌面316、显示视口 318和指点区域320。与示例性配置200不同,用户交互配置300示出为没有鼠标环(例如126、222)。通过按压平移变焦模式按钮304，用户已经进入平移变焦交互模式。在这一模式中，不利用鼠标环。因此，环可以消失。当在平移变焦交互模式中时，在触摸屏306上的移动指示指点区域320在视口 318里的平移或所显示的视口 318在桌面316里的变焦。为环绕所显示的视口 318平移指点区域320，用户不指定目标就按压平移变焦模·式按钮304。与绝对映射和鼠标环在指点区域(例如124、220)里的移动不同，在平移时触笔笔划以相对方式移动指点区域320。即是说，指点区域相对于视口中的先前保存位置移动。实线指点区域320指示在用户把触笔310放在触摸屏306上的时刻的起始位置。虚线指点区域322和虚线箭头324指示对应于触笔310的移动的指点区域的平移移动。触笔310在触摸屏306上向上和向右移动，并指示指点区域320以相对于触笔310的移动的类似方式移动。因为指点区域320停留在所显示的视口 318的边界以内，所显示的视口 318不因指点区域320的移动而移动。图4显示又一个示例性戳刺器配置400，它被配置为类似于用户交互配置300。示例性戳刺器配置400包括带有平移变焦模式按钮404和触摸屏406的移动电话402。像配置300 —样，用户的拇指408正在按压示例性戳刺器配置400的平移变焦模式按钮404。触笔410正在触摸触摸屏406的左下角。虚线触笔412和它的虚线箭头414指示用户把触笔从触摸屏406的下半部分移动到上半部分。图4也示出三个嵌套空间桌面416、实线视口418和实线指点区域420。像用户交互配置300 —样，示例性戳刺器配置400示出平移变焦交互模式。实线视口 418和实线指点区域420指示用户把触笔410放在触摸屏406上的时刻的起始位置。虚线视口 422和虚线指点区域424 (带有虚线箭头426)指示对应于触笔410的移动的视口和指点区域两者的平移移动。触笔410在触摸屏406上向上移动，并且指示实线指点区域420以相对于触笔410的移动的类似方式而移动。因为实线指点区域420的移动延伸超过实线视口 418的边界，视口和指点区域移动。可以允许超出桌面416的平移以应对特定情形。例如，当用户正在穿戴头戴式显示器时，固定在头部的显示关系使得用户在生理学上难以查看显示器的角落和/或查看显示器的角落是不舒服的。同时，在一些头戴式显示器中，角落本身可能由于显示技术的伪像而在视觉上扭曲。结果，可以允许超出桌面416的平移，以使得桌面416的角落可以居于用户视野的中心。
正如名称所暗示的那样，按压平移变焦模式按钮(如按钮404)允许用户变焦和平移。在变焦时，视口 422占据桌面416的面积的范围发生改变。将出现用户正在放大或缩小桌面416。在变焦时，桌面的空间范围也改变。当用户指向目标同时按压平移变焦模式按钮404时，视口 422在桌面416中放大或缩小。如果在变焦时，用户放大指点区域424，指点框暂时收缩以适合视口 422。参考在图8-9示出的“抓取器”用户交互风格进一步讨论变焦方面。并且，对于戳刺器用户界面风格，一旦已经启动拖曳，压紧平移变焦按钮404允许在一个或多个平移操作上持续拖曳。在指点框里的指针位置跟随触笔的位置，以确保平移的平滑过渡这使得可以容易地在单次拖曳中访问整个桌面416，且极大改善了诸如滚动条的可拖曳控件的使用。游戏杆用户交互风格图5-7例示用于使用用户输入设备的触摸敏感控制表面与呈现设备的桌面进行间接用户交互的所述技术的另一种实现(称为“游戏杆”)的诸方面。一般而言，游戏杆用户交互风格利用用于在嵌入在移动指点区域的相对配置内的指点区域内移动指针的绝对指点配置。游戏杆用户交互风格利用在移动屏幕上的触笔笔划来围绕外部显示器所示出的桌面移动可寻址像素的可视圆。该圆看起来和动作起来都像用指针进行指示和移动的“游戏杆”。图5示出用于游戏杆用户交互风格的示例性配置500。这一配置包括带有变焦模式按钮504和触摸屏506的移动电话502。正如所示出的那样，用户的拇指508没有按压按钮504。因此，变焦模式不被启动。用户正在使用触笔510，使得该触笔大约正在触摸触摸屏506的中央。实际上，触笔510正在触摸被称为控制区域512的虚线圆形区域。尽管一些实现可能在触摸屏506上显示控制区域512，但其他实现可能不显示。图5也示出因用户触摸移动电话502的触摸屏506而导航的三个嵌套空间。从最大空间到最小空间，嵌套空间包括桌面514、所显示的视口 516和圆形指点区域518。鼠标环520被定位在指点区域518中，其位置对应于触笔510在控制区域512中的位置。环520映射到指点区域518中的一个点，该点绝对地对应于用户把触笔510放置在控制区域512中的点。同样地，环520以完全对应于用户如何在控制区域512里移动触笔510的方式在指点区域518里移动。这阐明了触摸控制区域512的触笔510和指点区域518中的环520的映射和移动之间的绝对关系。
图6示出用于游戏杆用户交互风格的另一示例性配置600。该示例性配置至少在某些方面类似于配置500。配置600包括带有变焦模式按钮604和触摸屏606的移动电话602。正如所示出的那样，用户的拇指608没有按压按钮604。因此，变焦模式不被启动。用户正在使用触笔610，使得该触笔正在大约朝着触摸屏606的左下角而触摸。实际上,触笔610正在被称为控制区域612的虚线圆形区域的外面触摸。图6也示出因用户触摸移动电话602的触摸屏606而导航的三个嵌套空间，从最大空间到最小空间，嵌套空间包括桌面614、所显示的视口 616和圆形指点区域618。在控制区域612的外面触摸触摸屏606引起指点区域收缩并在对应于相对于控制区域612触摸触摸屏606的方向移动。这在图6中由触笔610在控制区域612的下边且左边触摸触摸屏612来阐明。这一动作引起指点区域沿指点区域618的初始位置下边且左边的方向移动。该方向由虚线箭头620示出。指点区域指示符622作为初始指点区域618的较小版本而出现。一旦用户停止移动(通过例如提起触笔610)，指点区域恢复其初始尺寸。 这也可以引起视口 616移动，使得指点区域618再次位于视口 616的中心。图7示出用于游戏杆用户交互风格的再一个示例性配置700。这一配置至少在一些方面类似于配置600。配置700包括带有变焦模式按钮704和触摸屏706的移动电话702。正如所示出的那样，用户的拇指708正按压按钮704。因此，变焦模式被启动。触笔710、虚线触笔712和虚线箭头714描述触笔710当触摸触摸屏706时的移动。示出三个嵌套空间中的两个。那些嵌套空间包括桌面716和实线显示的视口 718。正如所示出的那样，用户根据虚线箭头714把触笔710从触摸屏706的左下角向中心移动到示出虚线触笔712的位置。当处于变焦模式时，这一移动引起视口 718放大。相反的移动使视口缩小。虚线视口 720和每一角落的虚线箭头指示放大动作的放大结果。正如所例示的那样，视口被示出为尺寸减小。事实上，视口保持相同的尺寸。相反，放大引起在相同大小的视口里能查看到较少的桌面。当然，在缩小时，相同大小的视口将示出更多的桌面。图7描述这一改变。当变焦时，桌面716中视口所占据的范围发生改变。这将会看上去是放大或缩小桌面。当变焦时，桌面的空间范围改变。换句话说，把触笔710在触摸屏706上向右移动，远离被按压的按钮704，具有“拉伸”桌面716的效果，并因此放大视口。反向也成立——把触笔710在触摸屏706上向左移动，朝向被按压的按钮704，具有“收缩”桌面716的效果，并因此缩小视口。
_0] 抓取器用户交互风格图8-9例示用于使用用户输入设备的触摸敏感控制表面与呈现设备的桌面进行间接用户交互的所述技术的再一种实现(称为“抓取器”)。一般而言，抓取器用户交互风格利用在指点区域内移动指针的绝对指点配置。该指点区域被嵌入在用于变焦该指点区域的相对配置中。不像已经描述的其他用户交互风格，对于抓取器，整个触摸屏被映射到视口。在抓取器用户交互风格，在移动屏幕上的触笔笔划平滑地从整个桌面纵览变焦到感兴趣的区域。这非常像挑战游戏者(fairgoer)来成功定位并且从下面的目标容器中“抓握”奖品的“抓取器”游乐机的两步操作。尽管游戏杆技术使用其指点区域里的绝对指点而指点区域里的相对移动，但抓取器技术总是使用绝对指点。可能的指点区域通常是可以在显示器视口中看得到的桌面部分一用户放大以得到精细粒度的可视化和控制细节，但付出减少桌面上下文的可视性的代价。在其中交互风格在许多方面类似于戳刺器型实现的备选抓取器型实现中，在一般指点期间触摸屏被映射到呈现屏幕，但当用户把他们的指点减缓到接近停止时，指点框的尺寸被从整个呈现屏幕减小为光标附近的可视指点框(使得保持光标在指点框里的绝对位置)。图8示出用于抓取器用户交互风格的示例性配置800。这一配置包括带有变焦模式按钮804和触摸屏806的移动电话802。正如所示出的那样，用户的拇指808没有按压按钮804。因此，变焦模式不被启动。触笔810正在触摸触摸屏806。图8也示出因用户触摸电话802的触摸屏806而导航的两个嵌套空间。从最大空间到最小空间，嵌套空间包括桌面814和所显示的视口 816。在这一实现中，视口充当指点区域的816。没有单独的指点区域。对于配置800的这一具体描述，所显示的视口 816的尺寸和形状与桌面814完全相同。换句话说，它们的空间范围匹配。鼠标环818被定为在视口 816中，其位置对应于触笔810在触摸屏806的中的位置。对于这一实施例，控制区域完全匹配触摸屏806。正如在配置800中所示出的那样，环·818映射到视口 816中的点，该点绝对地对应于用户把触笔810放在触摸屏806中的点。同样地，以绝对地对应于用户如何在触摸屏806上移动触笔810的方式，环818在视口 816中移动。这阐明了触摸触摸屏806的触笔810和视口 816中的环818的映射和移动之间的绝对关系。图9示出用于抓取器用户交互风格的另一示例性配置900。这一配置至少在一些方面类似于配置800。配置900包括带有变焦模式按钮904和触摸屏906的移动电话902。正如所示出的那样，用户的拇指908正按压按钮904。因此，变焦模式被启动。用户正在使用触笔910，使得触笔900正在大约向着触摸屏906的左下角触摸。虚线触笔912示出当触笔已经从910示出的位置向由虚线箭头914示出的方向移动时该触笔的位置。图9也示出因用户触摸移动电话902的触摸屏906而导航的两个嵌套空间。从最大空间到最小空间，嵌套空间包括桌面916和所显示的视口 918。类似于配置800，视口充当指点区域918。没有单独的指点区域。正如所示出的那样，用户根据虚线箭头914把触笔910从触摸屏906的左下角向中心移动到示出虚线触笔912的位置。当处于变焦模式时，这一移动引起视口 918放大。相反的移动引起视口 918缩小。虚线箭头920和922指示视口 918显示的比例的改变。在此，在比例的改变也被称为“放大”或“缩小”。同时，改变桌面的所显示的视口范围是用于放大/缩小和缩放的另一术语。视口 918从显示桌面916的全部移动到只显示桌面的部分，如图9中视口 918所示。正如所例示的那样，视口 918被示出为尺寸减小。事实上,视口 918保持相同的尺寸。相反，放大引起在相同尺寸的视口 918中能看到更少的桌面916。当然，当放大时，相同尺寸的视口 918的将会示出更多的桌面916。这些图描绘这一改变。示例件讲稈图10是例示实现用于使用用户输入设备的触摸敏感控制表面与呈现设备的二维虚拟空间进行间接用户交互的在此所描述的技术的示例性进程1000的流程图。在图1-9中示出并在上面描述的用户交互风格(例如，戳刺器、游戏杆和抓取器)是示例性进程1000或其某种变型的结果。这一进程被例示为逻辑流程图中的框的集合，这些框表示可以在硬件、软件、固件或其组合中实现的操作的序列。在软件的上下文中，这些框表示被存储在一种或多种计算机可读存储介质中的计算机指令，当被诸如计算机的一个或多个处理器执行时，这些计算机指令执行所述操作。应注意，描述该进程的顺序并不意图被解释成限制，且可以以任何顺序组合任何数量的所述进程框，以便实现该进程或备选的进程。另外，可以从该进程删除各个框而不偏离在此所描述的主题的精神和范围。图10例示用于间接用户交互的示例性进程1000。该进程至少部分由呈现设备执行。该呈现设备包括被一起配置成使得用户可以通过使用用户输入设备的触摸敏感控制表面与二维虚拟空间(也就是说，“桌面”)进行交互的一个或多个计算设备和可视显示器。该呈现设备包括例如可视显示单元104或可视显示单元和计算设备102的某种组合。用户输入设备包括例如具有其触摸屏110的移动电话106。如在此所述被配置的呈现设备被描述为特定机器或装置。
正如在此所示出的那样，进程1000由操作1002开始，操作1002中呈现设备在可视显示设备上显示二维虚拟空间(“桌面”)的一部分。这一部分称为视口。另外，在视口里显示指点区域。桌面、视口和指点区域形成嵌套关系。指点区域位于视口里，且视口位于桌面里。视口的空间范围等于或少于桌面的空间范围。同样地，指点区域的空间范围等于或少于视口的空间范围。在此处所描述的至少一种实现中，指点区域具有不大于所显示的视口的空间范围的指点区域空间范围。在备选的实现中，指点区域的空间范围可以大于所显示的视口的空间范围。在操作1004，呈现设备把用户输入设备的触摸敏感控制表面的控制区域绝对地映射到在可视显示设备上示出的指点区域。在一些实现(例如，戳刺器)，控制区域和控制表面是同延的。在其他实现(例如，游戏杆)中，控制区域只是控制表面的一部分。由于在所有实现中映射都是绝对的，因此控制区域和指点区域有相同的尺度(也就是说，匹配的空间范围)。在操作1006，当用户触摸用户输入设备的控制表面时，呈现设备获得来自用户的输入。例如，从用户把触笔触摸到移动电话的触摸屏接收到输入。在此所描述的一种或多种实现提供间接用户交互范例。然而，对于直接用户交互范例，用户触摸正在输出可视信息的同一视觉显示单元的屏幕。这对于智能电话来说是常见的输入方式。与直接用户交互范例不同，对于在此所描述的一种或多种实现，用户输入设备的触摸敏感控制表面不是正在输出可视信息的同一可视显示单元的屏幕部分。换句话说，控制表面与呈现设备分离。在操作1008，响应所获得的输入，呈现设备在绝对映射的桌面的视口的指点区域内生成并且显示鼠标环(也就是说，指针或光标)。正如在图I、图2、图5和图8的示例性实例中所能看到的那样，在视口的指点区域内的一个点产生鼠标环(分别为126、222、520和818)，该点绝对对应于用户触摸用户输入设备的控制区域内的点。此外，基于另一输入，用户可以绕着视口平移指点区域，或使视口本身在桌面中平移，或在桌面上放大或缩小视口。另一输入可以包括(作为例示而非限制):触摸控制表面上的特定区域或点、按压用户输入设备上的按钮和/或其他特定移动或输入。在操作1010，基于该另一输入或不同输入，呈现设备在视口里平移指点区域。图3以及关于该图的讨论中示出了这一动作的例子。在操作1012，基于该另一输入或不同输入，呈现设备在桌面里缩放视口。缩放是用于放大或缩小的另一术语。图7和图8以及关于这些图的讨论中示出了这一动作的各个例
子。 在操作1014，基于该另一输入或不同输入，呈现设备在桌面里平移视口。图4以及关于该图的讨论中示出了这一动作的例子。其他实现细节在此所描述的新实现假定用户正在观看呈现设备而非移动电话的触摸屏。因此，一些实现利用两步的鼠标界面用户首先用触笔拖动，并抬起以便指示可能发生鼠标动作的位置，然后，按压相同位置以便启动单击、拖曳或双击。一些实现利用特定反馈机制，该反馈机制使用带有变化的外形的的圆来指示指点动作的不同阶段(例如，对准、抬起触笔以指示可能的鼠标动作、鼠标按下、鼠标单击、鼠标拖曳、鼠标双击)。并且，对于在此所描述的一种或多种技术，通常用户不能够正确地预测他们的手指或触笔在移动屏幕上产生接触的初始点，也不能预测将映射到桌面的位置。这是因为用户把触笔应用到该移动屏幕而同时查看分离的(例如，眼镜式或投影仪)显示器。定位跟踪可以用来帮助用户用所显示的视图的视觉基准帧来重新调整移动设备的动觉(kinesthetic)基准帧。对于“定位跟踪”，用户用在移动屏幕上的笔画预先处理他们的有意义的交互。仅当用户使触笔触摸移动表面并提供对指针接触移动屏幕的位置的动态反馈时，才出现指针。这样，调整两个基准帧，且用户可以把指针引导到其目标。通过把定位跟踪加入每一鼠标操作，在此所描述的技术能支持鼠标型指点风格。一旦用户已经将指针引导到目标，就可以模仿许多膝上型计算机触摸板的无按钮的“抬起并轻叩”的鼠标操作。“stap”被定义为“随后的轻叩”，其直接跟随触笔抬起离开触摸屏，且在时空上紧邻最后接触点(例如，在15个触摸屏像素和O. 5秒内)着陆。同样地，"strace"——即“随后的跟踪”的缩写——被定义为在空间和时间上起源于附近的最后接触点的跟踪。为了在图标上点击，例如，用户可以首先执行“定位跟踪”来把指针放置在图标上，然后“随后的轻叩”以执行点击。同样地，定位跟踪后接着进行随后的跟踪引起沿着随后的跟踪de路径的鼠标拖曳，起源于定位跟踪的终点，并且，定位跟踪后接着进行两次随后的轻叩引起在跟踪终点的鼠标双击。总结注释这一申请中使用的术语“组件”、“模块”、“系统”、“接口”或同类物一般地意图是指计算机相关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是，运行在处理器上的进程、处理器、对象、可执行指令、执行的线程、程序和/或计算机。作为例示，运行在控制器上的应用程序和控制器两者都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程中，且组件可以本地化在一个计算机上和/或分布在两个或多个计算机之间。此外，使用生产软件、固件、硬件或其任何组合以控制计算机实现所公开的主题的标准编程和/或工程技术，所要求保护的主题可以被实现为方法、装置或制品。计算机可读存储介质可以包括以用于存储诸如计算机可读的指令、数据结构、程序模块或其他数据的的信息的任何方法或技术实现的易失性介质和非易失性介质、可移动介质和不可移动介质。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，紧致盘(⑶)、数字多用盘(DVD)……)、智能卡和闪速存储器设备(例如，卡、棒、密钥盘……)。当然，本领域的技术人员将认识到可以对这一配置进行许多修改而不会偏离所要求保护的主题的范围或精神。在此使用的词“示例性”意指充当例子、实例或例示。在此被描述为“示例性”的任何方面或设计并不必定被解释为比其他方面或设计更优选或更有利。相反，词“示例性”意图以具体方式呈现概念。这一申请中所使用的术语“或”意图意指包含在内的“或”而非排除在外的“或”。即是说，除非另外指定或从上下文清楚看出，“X使用A或B”意图意指任何自然的包含在内的排列。即是说，如果X使用A ;或者X使用B ;或者X使用A和B两者，那么“X使用A或B”满足任何上述实例。另外，在这一申请和所附权利要求书中所使用的冠词“一(a)”和“一(an)”通常应该被解释成意指“一个或多个”，除非另外指定或从上下文清楚看出指向单数形式。
尽管已经用结构特征和/或方法论动作的特异性语言描述本主题，但在所附权利要求书中所界定的本主题并不必定限于所述特定特征或动作。相反，特定特征和动作被公开为实现权利要求书的示例性形式。
权利要求
1.一种便于呈现设备的二维桌面和用户输入设备的触摸敏感控制表面之间的用户交互的方法，所述方法包括 在所述呈现设备的二维桌面的显示视口内显示指点区域，所述二维桌面具有比显示视口大的桌面空间范围，且所述指点区域具有不比显示视口大的指点区域空间范围； 从所述用户输入设备的触摸敏感控制表面的控制区域内的用户触摸获得输入，所述用户输入设备的触摸敏感控制表面与所述呈现设备分开，且所述控制区域具有匹配所述指点区域的空间范围的控制区域空间范围； 以绝对的方式将所述用户输入设备的触摸敏感控制表面的控制区域映射到所述呈现设备上的二维桌面的显示视口的指点区域； 响应于所获得的输入，产生所述二维桌面的显示视口的绝对映射的指点区域内的指针，所述指针在所述指点区域在绝对对应于所述用户触摸在所述用户设备的触摸敏感控制表面的控制区域内的位置的一位置产生。
2.如权利要求I所述的方法，其特征在于，还包括 从所述用户输入设备的触摸敏感控制表面的控制区域外的用户触摸获得另一输入；以及 响应于所获得的另一输入 在所述呈现设备上的二维桌面的显示视口内移动绝对映射的指点区 域； 在所述呈现设备的二维桌面内改变所述显示视口的范围；或者 在所述呈现设备的二维桌面内移动所述显示视口。
3.如权利要求I所述的方法，其特征在于，所获得的来自所述用户触摸的输入源于所述用户以手指或触笔触摸所述触摸敏感控制表面。
4.如权利要求I所述的方法，其特征在于，所述控制区域具有与所述用户输入的触摸敏感控制表面相同的尺寸和形状。
5.如权利要求I所述的方法，其特征在于，所述显示视口的视口空间范围小于所述二维桌面的桌面空间范围。
6.如权利要求I所述的方法，其特征在于，所述指点区域的指点区域空间范围小于所述显示视口的视口空间范围。
7.一种或多种存储处理器可执行指令的计算机可读介质，所述指令当被执行时，使一个或多个处理器执行便于呈现设备的二维桌面和用户输入设备的触摸敏感控制表面之间的用户交互的操作，所述操作包括 在所述呈现设备上显示所述二维桌面的显示视口； 以绝对的方式，将所述用户输入设备的触摸敏感控制表面的控制区域映射到所述呈现设备的二维桌面的指点区域，所述用户输入设备的触摸敏感控制表面与所述呈现设备分开； 在所述二维桌面的显示视口内，向所述用户输入设备的用户呈现绝对映射的指点区域； 从所述用户输入设备的触摸敏感控制表面的控制区域内的用户触摸获得输入； 响应于所获得的输入，产生所述二维桌面的显示视口的绝对映射的指点区域内的指针，所述指针在所述指点区域在绝对对应于所述用户触摸在所述控制区域内的位置的一位置产生。
8.如权利要求7所述的一种或多种计算机可读介质，其特征在于，所述控制区域与所述用户输入设备的触摸敏感控制表面同延。
9.一种用户交互系统，包括 呈现设备，被配置成在二维桌面的显示视口内显示指点区域，其中指点区域、显示视口和二维桌面中的每一个具有不同于其它每一个的分辨率的分辨率； 间接用户交互表面，被配置成从用户输入设备的触摸敏感控制表面的控制区域内的用户触摸获得输入，所述用户输入设备的触摸敏感控制表面与所述呈现设备分开，且所述用户输入设备的触摸敏感控制表面的控制区域具有匹配所述显示视口内的指点区域的分辨率的分辨率； 指点区域控制器，被配置成以绝对的方式将所述用户输入设备的触摸敏感控制表面的控制区域映射到所述呈现设备上的二维桌面的指点区域。
10.如权利要求9所述的用户交互系统，其特征在于，所述指点区域控制器还被配置成响应于所获得的输入，在所述二维桌面的显示视口的指点区域内产生指针。
全文摘要
此处描述的是使用用户输入设备(如移动电话)的触摸敏感控制表面为与二维虚拟空间(“桌面”)进行的间接用户交互提供用户交互风格类的技术。所描述的一些技术使得用户能够借助于来自手持式设备的触摸表面的输入在大的虚拟二维空间中指点、平移和缩放，且用户交互的输出被呈现在可视显示单元(而非触摸表面)上。
文档编号G06F13/14GK102934049SQ201180028193
公开日2013年2月13日 申请日期2011年5月20日 优先权日2010年6月9日
发明者B·S·威尔伯恩, D·K·艾吉 申请人:微软公司