与弯曲显示器的触摸交互的制作方法

专利名称：与弯曲显示器的触摸交互的制作方法
与弯曲显示器的触摸交互背景来自计算机和其他电子设备的视觉输出在历史上已经被呈现在平面屏幕上。在阴 极射线管(CRT)监视器于最近若干年让位于液晶显示器(IXD)时，屏幕保持为平面。用户 与这样的平面屏幕交互最初至少主要是通过起源于先前存在的打字机的键盘来实现。在20 世纪70年代和20世纪80年代，图形用户界面(⑶I)技术使得鼠标和其他指针型设备被用 于输入。当指针型设备被用来输入时，用户操纵设备以便在显示屏幕四周移动指针。通常， 借助于设备通过点击给定屏幕位置，例如图标或按钮，来激活功能。随着涉及指点和点击的 用户界面的增大的普及性，开发了触摸屏界面。通过触摸屏幕，用户可以通过在给定屏幕位 置上物理地触摸和/或按压来激活功能。然而，这样的触摸屏仍然是平面的。然而，近来，已经创造了一些弯曲显示器。例如，已经开发出某些类型的球形显示 器。这些球形显示器尤其被用于促销环境或用于三维(3D)数据的显示。球形显示器可以 向多个用户提供无阻碍的360°视场。这允许观看者通过在显示器周围物理移动来探究所 显示的数据的不同视角。观众可以使用显示器的球形性质、他们的物理身体位置和定向以及来自周围环境 的附加暗示来帮助他们在空间上查找和理解正被显示在球形表面上的数据。球形形状因子 的显示器的特性可提供超过借助于更为普遍的平面显示器所可能提供的有趣使用场景。球 形显示器还提出了种种的交互挑战。遗憾的是，常规用户界面(UI)技术植根于传统的平面 显示器。结果，常规UI技术无法利用弯曲显示器的有趣使用场景，且无法解决弯曲显示器 的种种交互挑战。概述通过各种用户界面(UI)特征来实现与弯曲显示器(例如，球体、半球体、圆柱体等 等)的触摸交互。在一示例实施例中，监视弯曲显示器以便检测触摸输入。如果基于监视 动作检测到触摸输入，那么，确定触摸输入的一个或多个位置。响应于所确定的触摸输入的 一个或多个位置，实现至少一个用户UI特征。示例UI特征包括环状召唤姿势特征、基于旋 转的拖曳特征、发送到暗侧的交互特征以及通过代理表示进行对象表示和操纵特征。对于环状召唤姿势特征的示例实现，菜单的呈现或任务的切换是通过这样来调用 的以关于例如球形弯曲显示器的顶部等固定点基本对称的方式进行相对较大的触摸接 触。对于基于旋转的拖曳特征的示例实现，使用由拖曳运动定义的弧表示的旋转来跨弯曲 显示器地移动被拖曳的对象。对于发送到暗侧的交互特征的示例实现，对象上相对较大的接触持续预定义时间 阈值促成对象从弯曲显示器的一侧扭转(warp)到另一侧。对于通过代理表示进行对象表 示和操纵特征的示例实现，显示用于弯曲显示器另一侧上的相对应对象的代理表示。在相 对应的对象中反映对代理表示的操纵。提供本概述以便以简化形式介绍下面在详细描述中进一步描述的概念的选集。本 概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求此外，在此描述其他系统、方法、设备、介质、装置、配置和其他示例实施 例。


使用相同附图标记贯穿附图地指代类似和/或相对应的方面、特征和组件。图1图解用于弯曲显示器的示例用户交互环境。图2描绘用于使用可通过触摸来操纵的显示器实现拖曳操作的简单方法。图3是具有弯曲显示器和响应于经由交互单元的触摸输入实现交互的能力的示 例设备的框图。图4是图解用于与弯曲显示器进行触摸交互的方法的示例的流程图。图5是具有以下四个示例单元的交互单元的框图环状召唤(orb-like invocation)姿势单元、基于旋转的拖曳单元、发送到暗侧的交互单元和通过代理表示进行 对象表示和操纵单元。图6A图解用于环状召唤姿势单元的示例机制。图6B是图解用于环状召唤姿势技术的方法的示例的流程图。图7A图解用于基于旋转的拖曳单元的示例机制。图7B是图解用于基于旋转的拖曳技术的方法的示例的流程图。图8A图解用于发送到暗侧的交互单元的示例机制。图8B是图解用于发送到暗侧的交互技术的方法的示例的流程图。图9A图解用于通过代理表示进行对象表示和操纵单元的示例机制。图9B是图解用于通过代理表示进行对象表示和操纵技术的方法的示例的流程 图。图10是图解可用于实现用于与弯曲显示器进行触摸交互的实施例的示例设备的 框图。详细描述如以上在此所解释，常规UI技术植根于传统的平面显示器。因此，它们无法利用 弯曲显示器的有趣使用场景，且它们还无法解决弯曲显示器的种种交互挑战。相反，在此描 述的某些实施例提供了促进在弯曲显示器周围的交互和协作的一组触摸交互机制和技术。 用于引导触摸交互的方法包括解决在弯曲显示器上拖曳、缩放、旋转和其他对象操纵的那 些方法。附加方法提供了姿势交互并实现适应视觉界面的弯曲性质的触摸UI概念。下面 在此进一步描述示例实施例和实现。图1图解用于弯曲显示器102的示例UI环境100。如所例示的那样，UI环境100 包括弯曲显示器102、对象104和多个部位106。更具体地，对象104被呈现在弯曲显示器 102上。两个部位106a和106b被示出为正与弯曲显示器102交互。由虚线形成的椭圆形 指示弯曲显示器102是三维的。一般地，实现弯曲表面上的用户交互涉及实现基本操作，例如选择、拖曳、旋转、缩 放等等。可以进一步要求提供对浏览、任务切换等等的支持。每个对象(例如，照片、视频等 等)可以被独立地拖曳、旋转和缩放。如同大多数触敏应用程序一样，通过落在对象上的触 摸接触来隐式地触发对对象的选择。落在视频对象上的触摸接触充当单个播放触发器——如果视频被暂停则其开始视频播放，或者如果视频正播放则停止视频播放。对于示例实施例，弯曲显示器102的所显示元件可以由部位106操纵。部位106 可以是一根或多根手指、一只或多只手、一个或多个手掌、其组合等等。部位106可以属于 相同或不同的用户。尽管对象104被示出为照片或视频，但对象104可以是任何可显示的 元件(例如，web页面、文本文档、电子表格、原始数据或图像、其组合等等)。而且，尽管弯曲显示器102被示出为球体，但它可以替代地是圆柱形、立方体、半 球形、其组合等等。尽管图中图解的弯曲显示器102是球形且在此描述频繁地描述为是球 形的，但这仅仅作为示例。应理解，在此解释的原理和交互可一般地应用于弯曲显示器102。用户交互108可以包括例如许多不同的类型的触摸。触摸可以在大小、持续时间、 位置、移动、其组合等等方面不同。用户交互108还可以包括姿势、姿态、其组合等等。可以 定义和/或组合这些用户交互108以便实现不同的UI方法110，例如UI技术和机制。在此 描述利用弯曲显示器的性质和/或适应弯曲显示器的特殊特性的不同的UI方法110。下面 描述这样的性质和特性。非平面交互式显示器具有不同于它们的平面对应物的若干性质。不同的交互概念 因此可以应用于弯曲显示器。具体地，弯曲显示器具有以下三个示例固有困难。第一，显示 器表面不是传统的欧几里德空间，且不容易映射到平面空间。使得难以进行传统的平面交 互，例如2D平移。下面具体参考图2在此更详细地描述该第一困难。第二，视觉元件在表 面周围的移动可导致已位移元件的潜在可能的笨拙定向，包括关于可围绕弯曲显示器的多 个合作者的视点。第三，用户会被限于最多看到一个半球体，因为位于另一侧(例如，相反 的半球体)的数据或其他对象由于显示器的弯曲而对当前用户而言是不可见的。弯曲显示器固有地拥有许多其他不同的特性。例如，它们不具有自然的“主用户” 位置。可以替代地向每一用户提供均等的用户体验。而且，对每一用户可见的内容随他们 的高度和位置而改变。此外，当用户改变他们的高度和位置时，球形显示器可以看上去在垂 直表面和水平表面之间平滑地转换。当用户围绕弯曲显示器移动时，它看上去是无界的，尽管它实际上是有限的。并且 还明显不存在自然定向地标。然而，在实践中，顶部(或球形显示器的“北极”)可以被认为 是弯曲显示器的最自然的地标。另外，因为用户通常被限于看到最多弯曲显示器的一半，所 以弯曲显示器的其他区域提供了伪隐私。换句话说，一个用户在一个半球体中所看到的与 正在观看相反半球体的其他用户的视线被相对地阻隔开来。在以下图2的描述介绍用于弯曲显示器的促进在弯曲显示器周围的交互和协作 的一组多触摸交互机制(或特征)和技术。下面具体参考图5的单元在此描述了四个示例 实施例。这四个示例实施例分别具体参考图6A图/6B、图7A/图7B、图8A/图8B和图9A/ 图9B更详细地描述。图2描绘了用可通过触摸来操纵的显示器实现拖曳操作的简单方法200。正如所 图解的那样，方法200包括部位106、两个点1和2、以及向量。在触摸显示器时，部位106 从点1移至点2。此移动定义向量P。向量P具有沿着两个或三个正交分量的组合维度。它 还可以被认为是具有方向分量和幅度分量两者。向量厂可以被用于在欧几里德空间中—— 例如在平面显示器上——平移对象。另一方面，使得用户能在球形显示器周围拖曳对象不像最初看上去的那样简单。一种困难在于，球形表面的弯曲几何形状与平面空间彻底不同。在欧几里德空间(标准2D 和3D环境属于此类别)中，移动可以由将移动的方向和幅度封装在特定线中的位移向量厂 来表示。然而，球形表面不是欧几里德空间。在球体上不存在直线，因为所谓的“线”实际 上是更准确地由弧来表示的曲线。尽管在一些情况中，欧几里德几何可能提供合理的局部 近似，但是用向量表示球体上的位移最终导致有问题的行为。因而，弯曲显示器需要造成UI困难的许多性质。这些性质包括具有非欧几里德空 间以及具有可以与给定用户的视野阻隔开来的区域。此外，弯曲显示器可以具有在用户不 在显示器周围移动到不同位置的情况下用户不能达到的区域。为了至少改善或以其他方式解决这些所描述的弯曲显示器的困难、特性和/或性 质中的一个或多个，某些示例实施例要求实现定制到弯曲显示器的UI方法。例如，交互技 术和用户界面机制可以促进在弯曲表面上所显示的对象的多触摸操纵。这些方法可使得能 通过利用弯曲表面的不同特性来在多个用户之间进行更容易的协作。示例UI方法涉及环状召唤姿势。在示例实现中，经由在弯曲显示器的顶部上特定 需用双手的手势调用模式切换或菜单。该姿态是相对容易记忆的，但是相对难以不经意地 调用。另一示例UI方法涉及促进沿着弯曲表面拖曳对象。在示例实现中，旋转定向的移动 而非平移定向的位移向量被用作拖曳的基本单元。又另一种示例UI方法涉及发送到暗侧的交互。在示例实现中，用户可以将对象 “瞬间”扭转/移动到弯曲显示器的相反侧。又另一种示例UI方法涉及阴影对象表示和操 纵。在示例实现中，使用户能在更靠近用户的半球上使用他们的代理表示来有效地“看到” 和操纵弯曲显示器的另一侧上的对象(例如，至少以其他方式部分地可见的对象)。举例来 说，代理表示可以是实际对象的阴影或轮廓表示。图3是具有弯曲显示器102并具有响应于经由交互单元302的触摸输入实现交互 的能力的示例设备300的框图。正如所例示的那样，设备300包括弯曲显示器102、显示组 件304和处理单元310。显示组件304包括投影组件306和检测组件308。处理单元310 包括投影单元312、检测单元314和交互单元302。部位106被示为接近弯曲显示器102。在各示例实施例中，弯曲显示器102可以是具有内部和外部的任何类型的弯曲显 示器。弯曲显示器102可以具有用于显示由投影组件306投影到其上的图像的漫反射表面。 弯曲显示器102的示例包括但不限于球体、圆柱体、半球体、立方体、其组合等等。在各示例 实现中，弯曲显示器102至少部分地封闭空间。它还可以完全地封闭空间，例如通过完整球 体或立方体或“实心的”圆柱体。替代地，它可以部分地封闭空间，例如通过开放的半球体 或带有开放平面末端的圆柱体。还可以实现其他替换物。在示例实施例中，显示组件304至少是设备300的主要硬件组件。投影组件306使 得能将图像(例如，从弯曲显示器的内部)投影到弯曲显示器102上。举例来说，它可以被 实现为关于可见光谱中的光的投影仪和广角镜头。检测组件308使得能检测至少一个部位 106在弯曲显示器102上的一个或多个触摸接触。作为示例而非限制，(诸)部位106可以 是手指、多根手指、手、多只手、一个或多个手掌、其某种组合等等。部位106可以源自同一 个人或不同的人。检测组件308适于检测部位106在何时以及在何处触摸/接触弯曲显示器102。举 例来说，检测组件308可以被实现为一组红外(IR)调谐发光二极管(LED)，该组红外(IR)调谐发光二极管(LED)沿着检测顶光何时从弯曲显示器102反射回来的顶检测器发射到 弯曲显示器102中和/或向其发射。顶光可以通过例如部位106的触摸从弯曲显示器102 被反射回到检测组件308。检测组件308适于检测部位106在弯曲显示器102上的单次触 摸或多次触摸的一个位置或多个位置。此外，检测组件308可以检测部位106的触摸的大 小(例如，手指还是手掌)。这些检测可以被提供给处理单元310的检测单元314以进行分 析，以便促进经由触摸弯曲显示器102与设备300进行交互。处理单元310可以被实现为例如带有一个或多个处理器和至少一个存储器。在示 例操作中，检测单元314将检测到的触摸接触的位置和/或大小提供给交互单元302。交互 单元302将使得能经由弯曲显示器102与设备300进行UI交互。在一示例实施例中，检测 单元314通过检测触摸输入的大小并将检测到的触摸输入的大小与预定大小阈值进行比 较来检测在弯曲显示器102处发生的是手指大小还是手掌大小的触摸输入。然后，交互单 元302可以基于检测到的触摸输入是手指大小还是手掌大小来实现UI特征。交互单元302将用于操纵UI元件和其他显示项目的显示命令发送给投影单元 312。投影单元312可以控制什么图像被投影组件306投影到弯曲显示器102上。作为示 例，交互单元302可以实现在此进一步描述的实施例中的一个或多个。这些实施例(i) 一 般地参考图4作为示例流程图且(ii)更具体地参考图5来描述。更详细地参考图6A-图 9B描述各示例实施例。图4是图解用于与弯曲显示器进行触摸交互的方法的示例的流程图400。流程图 400包括四个框402-208。流程图400的实现可以被实现为例如处理器可执行指令和/或 (图3的)处理单元310的部分，至少部分地包括投影单元312、检测单元314和/或交互 单元302。下面参考图1和图3的元件描述用于实现流程图400的示例实施例。可以在许多不同的环境中以及使用各种不同的设备，例如通过(例如，图10的) 一个或多个处理设备，来执行在此描述的流程图400的动作(以及其他流程图的那些动 作)。描述方法的次序不旨在被解释成限制，而是任何数量的所描述的框可以被组合、扩充、 重排和/或省去，以便实现相应的方法或与其等价的替代方法。尽管在流程图的描述中引 用了某些其他附图的特定元件，但其方法可以使用替换性元件来执行。对于各示例实施例，在框402，监视弯曲显示器的触摸输入。例如，可以由检测组件 308和/或检测单元314监视弯曲显示器102的触摸输入。在框404，判断是否检测到触摸 输入。例如，检测单元314可以监视弯曲显示器102以检测一个或多个部位106的触摸输 入。如果没有检测到触摸，那么，监视继续进行(在框402)。另一方面，如果检测到触摸输入(在框404)，那么，在框406，确定触摸输入的一 个或多个位置。例如，可以确定(诸)部位106在弯曲显示器102上的(诸)触摸输入的 (诸)位置。这些确定可以要求探知触摸输入的大小(例如，手指还是手掌)、探知弯曲显 示器上的触摸输入的数量(例如，手指、手掌、人等等的数量)、跟踪触摸输入的(诸)移动、 监视触摸输入的持续时间、其某种组合等等。在框408，响应于触摸输入的一个或多个位置而实现至少一个UI特征。例如，可以 由交互单元302响应于所确定的触摸输入的(诸)位置来实现至少一个UI方法(例如，机 制和/或技术)。下面具体参考图5在此一般地描述示例UI方法。更具体地参考图6A-图9B描述附加示例实施例。示例UI方法包括涉及移动所显示的对象的那些方法、涉及检测手掌大小 的触摸(例如，有别于手指大小的触摸)以及相应的响应的那些方法、其组合等等。图5是(图3的)交互单元302的示例单元502-508的框图。如图所示，交互单 元302包括环状召唤姿势单元502、基于旋转的拖曳单元504、发送到暗侧的交互单元506 以及通过代理表示进行对象表示和操纵单元508。这些单元中的每一个都能实现至少一个 UI特征。可以将交互单元302的这些单元502-508组织成类别。例如，基于旋转的拖曳单 元504和通过代理表示进行对象表示和操纵单元508可以被分类为涉及所显示的对象围绕 弯曲显示器的移动。而且，环状召唤姿势单元502和发送到暗侧的交互单元506可以被分 类为涉及通过适当的UI响应检测手掌大小的触摸。应注意，替代性分类可以被应用到各种所描述的实施例。此外，应理解，不同的实 施例可以被置于不同的类别或多个类别。例如，发送到暗侧的交互单元506还可以被分类 为涉及所显示的对象围绕弯曲显示器的移动。在关于环状召唤姿势单元502的一个示例实施例中，两个手掌触摸弯曲显示器调 用了 UI特征。当检测到两个手掌大小的触摸(例如，关于以北极为中心的触摸)达预确时 间段时，由环状召唤姿势单元502实现UI特征。UI特征可以是菜单呈现、模式切换等等。 菜单可以圆形、半圆形等等。下面具体参考图6A和图6B在此进一步描述用于环状召唤姿 势单元502的示例机制和技术。在关于基于旋转的拖曳单元504的一个示例实施例中，至少部分地使用旋转来完 成对象在弯曲显示器102上的移动。所显示的对象的移动表现为绕着弯曲显示器的中心的 旋转(例如，绕着球体的中心)。举例来说，可以确定轴，且绕着轴的角度可以定义所显示 的对象的移动。基于旋转的拖曳单元504还可被用于连同其他实施例一起促进对象移动。 下面具体参考图7A和图7B在此进一步描述用于基于旋转的拖曳单元504的示例机制和技 术。在关于发送到暗侧的交互单元506的一个示例实施例中，对象可以被发送到弯曲 显示器的相反侧。在示例操作中，对对象的发送由手掌触摸对象来发起。发送到暗侧的交 互单元506响应于持续预定义时间阈值(例如，大致一秒)的手掌大小的触摸(例如，满足 预定义大小阈值的触摸)来执行发送。所触摸的对象被“扭转”大约180度到弯曲显示器 的相反侧。在一种实现中，当对象被扭转到相反侧时，对象的纬度(依照球形类型的弯曲显 示器)保持相同。换句话说，可以认为对象的高度保持相同。在替代的实现中，通过弯曲显 示器的“中心”来扭转对象，以使得对象的“高度”还因扭转而改变。下面具体参考图8A和 图8B在此进一步描述用于发送到暗侧的交互单元506的示例机制和技术。在关于通过代理表示进行对象表示和操纵单元508的一个示例实施例中，可以使 用代理表示将在弯曲显示器的暗侧上显示的对象再现到更靠近用户的一侧。代理表示可以 被用于使用通过代理表示进行对象表示和操纵单元508来操纵(例如，确定大小、移动等 等)另一侧上的实际对象。相对应的对象及其代理表示的位置可从一侧被交换到另一侧 (例如，使用发送到暗侧的交互单元506)。对象和它们各自的代理表示可以被个别地交换 或者成组地交换，包括交换当前存在的每一代理表示。下面具体参考图9A和图9B在此进 一步描述用于通过代理表示进行对象表示和操纵单元508的示例机制和技术。
环状召唤姿势单元在交互系统中常常提供用于在任务之间切换以及选择不同的选项的能力。环状召 唤姿势技术可以提供此能力。在示例实现中，圆形菜单被调用，且允许用户在多个应用程序 之间进行选择。菜单可以按围绕(例如，球形)显示器的顶部的圆形布置的形式来显示。 因此其对大多数用户是可见的。然而，当用户的位置已知时，菜单可以被置于面向用户的半 圆。对选项的选择可以通过触摸选项来执行。替代地，可以通过原地旋转菜单来实现选择。 一旦移除触摸接触，就选择突出显示的选项。通过将环状召唤与通过旋转的选择组合起来 (而不是直接触摸)，可以在一次连续交互中执行任务切换(例如，放置手以便调用选项的 菜单，将所需选项旋转就位，并且抬起以便选择选项)。图6A图解用于环状召唤姿势单元的示例机制600A。如图所示，环状召唤姿势机制 600A包括部分(a)(附图的上半部)处的示例环状召唤姿势的3D表示以及部分(b)(附图 的下半部)处的示例菜单602。对于部分(a)，带有两个部位106a和106b的用户与弯曲显 示器102交互。环状召唤姿势调用模式切换、菜单等等。正如具体地示出的那样，圆形菜单 602被调用。对于示例实施例，用于此姿势的姿态可以唤起与占卜魔法水晶球进行交互的感 觉。它涉及与例如球体的顶部等预定点相距大致相等的距离放置两只手(例如，以张开手 掌的姿态)。姿态被设计为促进弯曲显示器上的模式切换或菜单调用。对于所例示的示例， 圆形菜单602淡入，伴随有增强体验的声效。在好玩并且像魔法的同时，此双手姿态姿势也是非常难忘的、容易重复且相对难 以不经意地调用。因而，手掌大小的接触基本上大于大多数其他触摸接触。因而，两个接触 的大小以及此姿态的特定对称安排共同地保证手势不容易被错误地触发。可以调用不同的菜单602。然而，所例示的菜单602是圆形的。它可以包括任何数 量的不同的菜单选项。在图例604中示出六个示例菜单选项A-F。它们包括导航、照片、视 频、游戏、环球和表示替换性选项的“其他”类别。其他替换性选项包括但不限于全向数据 查看器、画图应用程序、浏览器等等。在菜单602中可以由图标或文本或两者表示各选项。 每一选项的文本可以面向用户，可以以圆的形式排列，等等。图6B是图解用于环状召唤姿势技术的方法的示例的流程图600B。流程图600B包 括五个框652-660。对于示例实施例，在框652，检查弯曲显示器的表面上是否存在多个触 摸接触。如果是，那么，在框654，检查这多个触摸接触是否包括大到足以满足预定义大小阀 值的至少两个触摸。举例来说，这可以将手掌触摸与“纯粹的”手指触摸区分开来。如果是，那么，在框656，检查两个大的触摸接触(满足预定义大小阈值的那些触 摸接触)的位置是否关于弯曲表面上的固定点基本对称。举例来说，固定点可以是球形或 半球形弯曲显示器的顶部。此基本对称检查可以使用许多不同的方法中的任一种来执行。 然而，作为示例，描述涉及角度阈值和半径阈值的方法。为了实现角度阈值，可以将两个接 触约束为关于固定点而言仅仅是不离开180度内的“X”度。为实现半径阈值，可以将两个 接触点约束为落在离开固定点的阈值距离值之内。如果两个大的接触的位置关于弯曲表面上的固定点基本对称(正如在框656所检 查的)，那么，在框658，执行对模式切换或菜单呈现的调用。换句话说，如果每一检查动作 产生肯定的结果，则可以执行对模式切换、菜单呈现或其他交互特征的调用。菜单可以与所例示的圆形任务切换菜单(例如，图6A的菜单602)相同或相似。模式切换可以在菜单选 项中循环或以其他方式切换到不同操作模式、交互等等。如果在框652、框654或框656的 检查中的任一个是否定的，那么，在框660，继续UI处理。所继续的UI处理可以对应于在此 描述的任何技术或其他UI相关的处理。基于旋转的拖曳单元如上面具体参考图2在此描述的，弯曲表面不是欧几里德空间。因此，利用传统的 2D或3D线性定向的向量来实现对象平移在弯曲显示器导致有问题的行为(例如，畸变)。 为避免这些有问题的行为，可以利用弧定向的旋转来实现弯曲显示器上的对象移动。可以 使用例如四元数、欧拉角、绕轴的弧长、其组合等等来实现旋转。图7A图解用于基于旋转的拖曳单元的示例机制700A。如图所示的，基于旋转的拖 曳机制700A包括弯曲显示器102、部位106和四元数702。部位106与弯曲显示器102触 摸接触。部位106被从点1移动到点2，这定义了弯曲显示器102上的弧。尽管在图7A中 参考四元数702例示了旋转定向的移动，但这仅仅作为示例。可以以替代的方式来实现旋转。在一个示例实施例中，所定义的弧被解释为旋转或被映射到旋转。因而，替代将线 性向量用于平移位移，弯曲显示器上的移动由旋转(例如，四元数、欧拉角、绕轴的弧长等 等)来表示。此基于旋转的表示可以影响弯曲表面上的许多交互。例如，在2D和3D环境 中使用的传统的平移+旋转+缩放操纵模型被转换成弯曲表面上(例如，球形显示器上) 的复合旋转+缩放操纵模型。旋转常常是复合动作，因为对象可以被球形地“定位”:(i)通 过绕着球体的原点旋转，且然后，(ii)通过在对象的局部坐标系中进一步定向。定量地，当手指部位106在球体状弯曲显示器102上的点1和点2之间拖曳对象 时，此移动遵循绕着轴^ (该轴是3D向量)的角度θ的弧。此弧是例如由4D四元数0巧 妙地描述的旋转。因而，旋转可以与轴和角相关联，因此旋转表示弯曲显示器上的弧。因此 旋转可以被用于在弯曲显示器上移动、定位或以其他方式呈现对象。除了允许用户在弯曲显示器周围定位(S卩，旋转)对象之外，还可以实现对象在其 局部坐标系的定向的附加ID调整。这类似于图片在平坦表面上的面内旋转。此操作涉及 触摸对象的至少两个接触。那两个接触之间的局部角度差被映射到对象的ID旋转。对于 基本操纵，当多个接触触摸特定对象时，它们的行为可被聚集，且聚集动作可以被应用到对 象。图7Β是图解用于基于旋转的拖曳技术的方法的示例的流程图700Β。流程图700Β 包括五个框752-760。它针对在弯曲显示器上呈现的对象的拖曳移动。对于示例实施例，在 框752，寻找弯曲表面上拖曳开始的初始点。在框754，寻找弯曲表面上拖曳终止的结束点。在框756，计算表示初始点和结束点之间的移动的旋转。在框758，将所计算的旋 转应用到所拖曳的对象以便实现拖曳的移动。在框760，继续UI处理。发送到暗侧的交互单元在许多场景中，用户可能想要将对象放置在弯曲显示器的另一侧上。这更可能是 这样的情形在用户与站在弯曲显示器的相反侧的观众协作时。尽管用户可以简单地将 对象拖曳到另一侧，但如果常常重复此动作，则其变得乏味，因为此动作要求大量的物理移 动。发送到暗侧的机制可以通过有效地进一步扩展用户的作用范围来促进此动作。
图8A图解用于发送到暗侧的交互单元的示例机制800A。一般地，如果用户用较大 的接触(例如，平坦的手)触摸对象并等待预定时间量(例如，1秒)，则所触摸的对象被扭 转到弯曲显示器(例如，球形显示器)的另一侧。如图所示，发送到暗侧的机制800A包括 弯曲显示器102、对象104、部位106、平面802和两条轨迹804a和804b。部分(a)(在附图的上三分之一)表示显示对象104的初始位置。部分(b)(在附 图的中间三分之一)表示发送到暗侧的交互的操作阶段。部分(c)表示对象104的最终位 置。参考部分(b)，“亮侧”被认为是弯曲显示器102的接近用户的一侧，它是在平面802的 左边。“暗侧”是弯曲显示器102的远离用户且至少部分地在用户视线之外的一侧。“暗侧” 是在平面802的右边。发送到暗侧的交互使得用户能显式地扭转对象104以便将其“瞬间地”(即，不需 要手动拖曳)发送到弯曲显示器102的另一侧。为了执行发送到暗侧的操作(如在部分 (b)中所示出的)，用户将相对大的部位106 (例如，平坦的手掌)置于对象104的顶部并等 待预定时间段。然后，对象104跨越平面802被扭转。例如，对象104可以沿着轨迹804a 被扭转到另一半球上相反且镜像的位置(例如，纬度得以保持)。此轨迹804a绕着穿过球 体的顶部和底部的平面802反射对象104的位置。替代地，对象104可以沿着轨迹804b被 直接地扭转到弯曲显示器102的相反点(例如，纬度被改变)。遵循轨迹804b将对象104 的位置从上半球切换到下半球(例如，通过赤道)以及从左半球切换到右半球(例如，通过 平面802)。通过发送到暗侧的功能，用户不需要轻击对象并猜测其最终目的地。相反，用户可 通过首先在其当前半球中(在亮侧上)操纵对象的位置，且然后激活发送到暗侧的机制来 显式地控制对象将(在暗侧上)出现在哪里。应注意，如果激活自动旋转功能，则发送到 暗侧的交互可以产生更加用户友好的结果，这可以确保为所显示的对象维持预定定向(例 如，“向上”方向)。当被激活时，自动旋转行为防止对象颠倒地到达另一半球且因而需要重 新定向。在与此同一日期提交的、题为“Touch Interaction with a Curved Display (与 弯曲显示器的触摸交互)”且被转让给相同的受让人(微软公司)的、授予Benko等人的另 一美国临时专利申请中进一步描述自动旋转行为。图8B是图解用于发送到暗侧的交互技术的方法的示例的流程图800B。流程图 800B包括六个框852-862。对于示例实施例，在框852，检查对象上是否存在触摸接触(关 于第一触摸接触准则)。如果有，那么，在框854，检查触摸接触是否满足预定义大小阈值 (关于第二触摸接触准则)。预定义大小阈值可以例如被设置为足以指示部位106的手掌 或完全手接触——与来自“仅仅” 一根或两根手指的接触相反——的相对大的大小。如果检测到触摸接触满足预定义大小阈值(在框854)，那么，在框856，检查触摸 接触对于预定义阈值来说是否静态的(关于第三触摸接触点准则)。换句话说，可以验证触 摸接触位置和/或大小对预定义阈值来说是不动的。如果是，那么，在框858，检查对于预定 义时间阈值第一、第二和第三触摸接触准则(例如，对象接触、是预定义大小和处于静态状 况)是否满足。仅仅作为示例，预定义时间阈值可以是一秒。如果关于持续预定义时间阈值确定已满足触摸接触准则(在框858)，那么，在框 860，将对象扭转到弯曲显示器的另一侧。对象104的扭转可以遵循例如轨迹804a、轨迹 804b或穿过平面802的另一轨迹。如果在框852、框854、框856或框858的检查中的任一个是否定的，或在实现框860的(诸)动作之后，则在框862继续UI处理。所继续的UI处 理可以对应于在此描述的任何技术或其他UI相关的处理。通过代理表示进行对象表示和操纵单元当操作用户希望将对象呈现给在弯曲显示器的另一侧的观看者时，可以采用发送 到暗侧的机制。然而，在对象已经被扭转之后，操作用户可能希望继续与目前在弯曲显示器 的另一侧上的对象交互。此功能性可以通过通过代理表示进行对象表示和操纵的交互技术 来实现。可以在实际的相对应的对象中反映代理表示的操纵。图9A图解用于通过代理表示进行对象表示和操纵单元的示例机制900A。如图所 示，通过代理表示进行对象表示和操纵的机制900A包括弯曲显示器102、对象104、一个或 多个部位106和代理表示902。代理表示902对应于对象104。一般地，代理表示902 (也 叫做“阴影对象”)促进与在弯曲显示器102的另一侧上的难以触及的对象104进行交互。 例如，这可在当一个人希望向在弯曲显示器的另一侧的人们显示和操纵对象时使用。尽管 图9A中示出仅一个代理表示902和相对应的对象104，但对于多个相对应的对象，多个代理 表示可以同时活动。因而，为实现与弯曲显示器的另一侧上的对象交互，可以在近侧(例如，与实际对 象的位置相反)提供那些相同对象的代理表示。作为示例，描述在球形显示器上示出的照 片集合。从单个半球来看，每一照片很可能是可见的，但是可以在另一半球上使用相对应的 代理表示来与当前不可见和/或难以触及的那些对象交互。对于示例实施例，操纵可以包括但不限于拖曳移动、调整大小、缩放或按比例调 节、改变哪个照片在顶部等。还可以经由代理表示来实现可在对象的内容上直接执行的操 作。举例来说，可以通过改变亮度或对比度、通过消除红眼、通过激活通用修整特征、通过切 换到另一照片等等来修改照片。通过执行以上在此所描述的“发送到暗侧的”交互，可以“立即”个别地或共同地交 换真实的对象和代理表示的位置。在可见侧上的对象104被正常地再现的同时，可以以另 一形式再现代理表示902 (例如，通过由在机制900A中所示出的线连接的一串圆)。替代的 形式包括但不限于轮廓、线框、灰度、半透明、加暗、低对比度图像、图标表示、其组合等等。 此外，可以与实际的相对应的对象104类似或等同地再现代理表示902 (例如，使用不同颜 色的框、使用图像或框上的指示符图标等等)。从用户的观点来看，完全实际的对象和隐藏对象的阴影代理表示两者都可以是可 见的。这使得访问和操纵那些难以触及的对象成为可能。代理表示还可以被用于再现除了 可见侧上的所显示的实际对象之外的用户的手和/或触摸的表示，以便给观看者提供什么 操纵正被执行的视觉指示。直观地，提供代理表示可以被认为是具有要与其交互的两个表面。第一个是主表 面；其带有实际的可见对象。第二个是虚拟辅助表面，即“暗侧”，其含有代理表示。可以准 许用户在个体对象和表面的整体之间进行交换。可以以简化形式(如上所述)再现辅助表 面上的对象以便强调它们在交互中的辅助角色。此外，用户可以调节可见侧上的对象相对于暗侧的重要性。举例来说，用户可能希 望赋予这两侧相等的重要性，由此以相等的权重来再现各对象。或者，取决于手上的任务， 用户可能强调亮侧或暗侧。不同地再现不同级别的重要性的对象的视觉表示的概念也适用于多层表面。图9B是图解用于通过代理表示进行对象表示和操纵的技术的方法的示例的流程 图900B。流程图900B包括六个框952-962。对于示例实施例，在框952，显示用于相对应 的对象的代理表示。举例来说，可以显示用于在弯曲显示器102的相反侧的相对应的对象 104的代理表示902。在框954，检测代理表示是否被操纵。例如，可以检测代理代表902是否经受一个 或多个部位106的至少一个操纵。如果是，那么，在框956，在相对应的对象中反映代理表示 的(诸)操纵。例如，如果部位106调整代理表示902的大小，那么，可以相应地调整相对 应的对象104的大小。如果没有检测到代理表示操纵(在框954)，或者在执行框956的(诸)动作之后， 则执行框958的(诸)检测动作。在框958，检测发送到暗侧的交互是否被激活。以上具体 参考图8A和图8B在此描述示例发送到暗侧的交互。如果是，那么，在框960，交换代理表示 和相对应的对象的位置。否则，在框962，用户界面处理可以继续。图10是图解可以被用于实现用于与弯曲显示器的触摸交互的实施例的示例设备 300的框图1000。如图所示，框图1000包括两个设备300a和300b、个人-设备接口装置 1012以及一个或多个网络1002。如就设备300a显式示出的，每一设备300可以包括一个 或多个输入/输出接口 1004、至少一个处理器1006和一个或多个介质1008。介质1008可 以包括处理器可执行指令1010。对于示例实施例，设备300可以表示任何能够进行处理的设备。示例设备300包 括个人或服务器计算机、手持式或其他便携式电子设备、娱乐电器、介质呈现或协作工具、 网络组件、其某种组合等等。设备300a和设备300b可以在(诸)网络1002上通信。作为 示例而非限制，(诸)网络1002可以是因特网、内联网、以太网、公用网络、专用网络、有线电 视网络、数字订户线路(DSL)网络、电话网络、无线网络、其某种组合等等。个人-设备接口 装置1012可以是键盘/键区、触摸屏、遥控器、鼠标或其他图形定点设备、(例如，图1和图 3的)弯曲显示器102、(例如，图3的)显示器组件304等等。个人-设备接口装置1012 可以与设备300a集成或与其分离。I/O接口 1004可以包括(i)用于跨越网络1002监视和/或通信的网络接口， ( )用于在显示器屏幕上显示信息的显示设备接口，(iii) 一个或多个个人-设备接口等 等。(i)网络接口的示例包括网卡、调制解调器、一个或多个端口、网络通信栈、无线电等等。 ( )显示设备接口的示例包括用于屏幕或监视器的图形驱动器、图形卡、硬件或软件驱动 器等等。(iii)个人-设备接口的示例包括通过有线或无线与个人-设备接口装置1012通 信的那些个人-设备接口。给定的接口(例如，弯曲显示器102)可以用作显示器设备接口 和个人-设备接口两者。可以使用任何适用的能够进行处理的技术来实现处理器1006，且可以将其实现 为通用或专用的处理器。示例包括中央处理单元(CPU)、微处理器、控制器、图形处理单元 (GPU)、派生物或其组合等等。介质1008可以是作为设备300的部分而被包括在内和/或 可由设备300访问的任何可获得的介质。它包括易失性介质和非易失性介质、可移动介质 和不可移动介质、存储介质和传输介质(例如，无线或有线的通信通道)、经硬编码的逻辑 介质、其组合等等。当介质1008被体现为制品和/或物的组合时，介质1008是有形介质。
一般地，处理器1006能够执行、实施和/或以其他方式实现处理器可执行指令，例 如处理器可执行指令1010。介质1008由一个或多个处理器可访问介质组成。换句话说，介 质1008可以包括可由处理器1006执行以便由设备300实现功能的执行的处理器可执行指 令1010。处理器可执行指令1010可以被实现为软件、固件、硬件、固定逻辑电路、其某种组
α绝绝 口寸寸ο因而，可以在处理器可执行指令的一般上下文中描述用于与弯曲显示器的触摸交 互的实现。处理器可执行指令可以包括执行和/或实现特定任务和/或实现特定抽象数据 类型的例程、程序、应用程序、编码、模块、协议、对象、组件、元数据及其定义、数据结构、API 等等。处理器可执行指令可以位于分开的存储介质中、由不同的处理器执行和/或在各种 传输介质上传播或存在于各种传输介质上。正如具体地例示的那样，介质1008至少包括处理器可执行指令1010。处理器可执 行指令1010可以包括例如(图3的)处理单元310或其任何部分(例如，交互单元302)。 一般地，当由处理器1006执行时，处理器可执行指令1010使得设备300能执行在此描述的 各种功能。作为示例而非限制，此类功能包括在(图4、图6B、图7B、图8B和图9B的)流程 图400、流程图600B、流程图700B、流程图800B、流程图900B中例示的那些功能以及与在各 种框图中例示的特征和机制有关的那些功能及其组合等等。在被分成多个框和其他元件的图中例示图1和图3-图10的设备、动作、特征、功 能、方法、模块、数据结构、技术、组件等等。然而，描述和/或示出图1和图3-图10的次 序、互连、相互关系、布局等等不旨在被解释成限制，且可以以许多方式修改、组合、重新安 排、扩充、省去等等任何数量的框和/或其他元件，以便实现用于与弯曲显示器进行触摸交 互的一个或多个系统、方法、设备、介质、装置、配置等等。尽管已经用对结构、逻辑、算法和/或功能特征来说专用的语言描述了系统、方 法、设备、介质、装置、配置和其他示例实施例，但应理解，在所附权利要求中界定的本发明 不必限于以上所描述的具体特征或动作。相反，以上所描述的具体特征和动作是作为实现 所要求保护的本发明的示例形式而公开的。
权利要求
1.由设备实现的用于与弯曲显示器进行触摸交互的一种方法，所述方法包括下列动作监视(40 弯曲显示器(102)以便检测触摸输入； 如果基于所述监视动作检测到触摸输入G04)，则 确定(406)所述触摸输入的一个或多个位置；以及响应于所确定的所述触摸输入的一个或多个位置来实现(408)至少一个用户界面 (UI)特征。
2.如权利要求0所述的方法，其特征在于，所述实现动作包括下列进一步动作 使用基于旋转的机制围绕所述弯曲显示器移动对象。
3.如权利要求0所述的方法，其特征在于，所述实现动作包括下列进一步动作响应于检测到所述对象上的触摸接触，如果所述触摸接触满足预定义大小阈值持续预 定义时间阈值，则将在所述弯曲显示器的一侧上显示的对象扭转到所述弯曲显示器的另一 侧。
4.如权利要求0所述的方法，其特征在于，所述实现动作包括下列进一步动作响应于检测到两个触摸接触，如果所述两个触摸接触满足预定义大小阈值且关于固定 点基本对称，则调用交互特征。
5.如权利要求0所述的方法，其特征在于，所述实现动作包括下列进一步动作显示用于相对应的对象的代理表示，所述代理表示和所述相对应的对象被呈现在所述 弯曲显示器的不同侧上；以及在所述相对应的对象中反映用户对所述代理表示的操纵。
6.如权利要求0所述的方法，其特征在于，所述实现动作包括下列进一步动作显示用于相对应的对象的代理表示，所述代理表示和所述相对应的对象被呈现在所述 弯曲显示器的不同侧上；检测关于所述代理表示或所述相对应的对象是否激活发送到暗侧的交互；以及 如果检测到发送到暗侧的交互被激活，则在所述代理表示与所述相对应的对象之间交 换位置。
7.一种实现与弯曲显示器进行触摸交互的设备(300)，所述设备包括 弯曲显示器(102)；以及.处理单元(310)，所述处理单元(310)包括检测单元(314)和交互单元(302)；所述 检测单元用于监视(40 所述弯曲显示器以便检测(404)触摸输入并确定(406)所述触摸 输入的一个或多个位置，所述交互单元用于响应于所确定的所述触摸输入的一个或多个位 置实现(408)至少一个用户界面(UI)特征。
8.如权利要求0所述的设备，其特征在于，所述弯曲显示器是球形的、半球形的、立方 形的或圆柱形的。
9.如权利要求0所述的设备，所述设备进一步包括显示器组件，所述显示器组件包括投影组件和检测组件；所述投影组件适于将图像投 影到所述弯曲显示器上，而所述检测组件适于在所述弯曲显示器上检测所述触摸输入的所 述一个或多个位置；其中所述弯曲显示器具有内部和外部，以及从所述弯曲显示器的所述外部可见的被显示的对象；以及其中所述处理单元进一步包括投影单元，所述投影单元指令所述投影组件根据所实现 的至少一个UI特征来显示对象。
10.如权利要求0所述的设备，其特征在于，所述检测单元通过检测所述触摸输入的大 小并将所检测的触摸输入的所述大小与预定大小阈值进行比较来检测在所述弯曲显示器 处发生的是手指大小还是手掌大小的触摸输入；并且其中所述交互单元将基于所检测到的 触摸输入是手指大小还是手掌大小来实现所述至少一个UI特征。
11.如权利要求0所述的设备，其特征在于，所述交互单元包括基于旋转的拖曳单元， 所述基于旋转的拖曳单元通过旋转所拖曳的对象以表示在拖曳开始的初始点与所述拖曳 终止的结束点之间的移动的弧来使得对象能围绕所述弯曲显示器移动。
12.如权利要求0所述的设备，其特征在于，所述交互单元包括发送到暗侧的交互单 元，所述发送到暗侧的交互单元用于响应于在对象上检测到满足预定义大小阈值的触摸接 触持续预定义时间阈值来将对象从所述弯曲显示器的一侧扭转到所述弯曲显示器的另一 侧。
13.如权利要求0所述的设备，其特征在于，所述弯曲显示器是球形或半球形的；其中 所述交互单元包括环状召唤姿势单元，所述环状召唤姿势单元用于响应于检测到满足预定 义大小阈值且关于所述弯曲显示器的固定点基本对称的至少两个触摸接触来呈现菜单或 切换模式；并且其中所述环状召唤姿势单元使得能通过原地旋转所述菜单来选择所述菜单 上的选项。
14.如权利要求0所述的设备，其特征在于，所述交互单元包括通过代理表示进行对象 表示和操纵单元，所述通过代理表示进行对象表示和操纵单元用于显示用于相对应的对象 的代理表示，并且使得能通过用户对所述代理表示的操纵来操纵所述相对应的对象。
15.如权利要求0所述的设备，其特征在于，可以在激活发送到暗侧的交互机制时交换 所述代理表示的位置与所述相对应的对象的位置，所述发送到暗侧的交互机制跨所述弯曲 显示器地交换代理表示和它们的相对应的对象。
全文摘要
通过各种用户界面(UI)特征来实现与弯曲显示器(例如，球体、半球体、圆柱体等等)的触摸交互。在一个示例实施例中，监视弯曲显示器以便检测触摸输入。如果基于监视动作检测到触摸输入，那么，确定触摸输入的一个或多个位置。响应于所确定的触摸输入的一个或多个位置，实现至少一个用户UI特征。示例UI特征包括环状召唤姿势特征、基于旋转的拖曳特征、发送到暗侧的交互特征以及通过代理表示进行对象表示和操纵特征。
文档编号G06F3/041GK102105853SQ200980130059
公开日2011年6月22日 申请日期2009年7月24日 优先权日2008年7月25日
发明者A·D·威尔森, B·陈, H·本克, P·M·巴蒂舒, R·巴拉克里什南 申请人:微软公司