专利名称：用于包括基于表面的触觉效果的界面的系统和方法
用于包括基于表面的触觉效果的界面的系统和方法相关申请的交叉引用本专利申请要求于2009年3月12日提交的标题为“Locating Features Using a Friction Display”的美国临时专利申请No. 61/159，482的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2009年11月17日提交的标题为“System and Method for Increasing Haptic Bandwidth in an Electronic Device，，白勺美|S|l^；时专禾串i青 No. 61/262, 041的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2009年11月17日提交的标题为“Friction Rotary Device for Haptic Feedback”的美国临时专利申请No. 61Λ62，038的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月四日提交的标题为“Systems And Methods For Providing Features In A Friction Display” 的美国实用新型专利申请 No. 12/696，893 的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月四日提交的标题为“Systems And Methods For Friction Displays And Additional Haptic Effects” 的美国实用新型专利申请 No. 12/696, 900的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月四日提交的标题为“Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects” 的美国实用新型专利申请 No. 12/696, 908的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月29日提交的标题为“Systems And Methods For A Texture Engine ”的美国实用新型专利申请No. 12/697，010的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月四日提交的标题为“Systems And Methods For Using Textures In Graphical User Interface Widgets” 的美国实用新型专利申请 No. 12/697, 037的优先权，通过引用的方式将其全部内容合并于此。本专利申请要求于2010年1月四日提交的标题为“Systems And Methods For Using Multiple Actuators To Realize Textures” 的美国实用新型专利申请 No. 12/697, 042的优先权，通过引用的方式将其全部内容合并于此。
背景技术：
触摸使能设备正日益流行。例如，移动和其他设备可以配置有触摸敏感显示器，使得用户可以通过触摸敏感显示器的多个部分来提供输入。作为另一示例，与显示器分离的触摸使能表面可以用于输入，诸如触控板、鼠标或其他设备。 例如，用户可以触摸被映射至屏幕上图形用户界面(⑶I)的显示器或表面的一部分，诸如按钮或控件(control)。作为另一示例，可以提供手势，诸如，一个或多个触摸的序列、跨过表面的拖拽、或由设备感测到的其他可识别模式。虽然触摸使能显示器和其他基于触摸的界面大大增强了设备功能性，但是仍然存在缺陷。例如，即使在屏幕上显示键盘，习惯于物理键盘的用户在使用触摸使能设备时也可能不具有相同的体验。
发明内容
本发明的实施例可以提供包括基于表面的触觉效果的触摸使能设备，触觉效果包括但不限于纹理的改变、触摸表面的摩擦系数的改变、和/或触摸表面上的边界或障碍物的模仿。通过使用这样的特征，设备可以更加用户友好，并且可以提供整体上更激发兴趣的用户体验。在一个实施例中，一种系统，包括传感器，该传感器被配置成当对象接触触摸表面时检测触摸区域中的触摸，触摸区域被映射至图形用户界面的显示区域。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。该系统可以进一步包括与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果。该系统可以包括与致动器和传感器通信的一个或多个处理器，处理器被配置成基于标识触摸的位置和以下中的至少一个来选择要生成的触觉效果(a)识别由触摸提供的输入手势或者(b)在被映射至触摸处或附近的触摸区域中的位置的显示区域中的地点处显示在图形用户界面中的内容。处理器可以命令致动器在触摸发生的同时生成所选择的触觉效果，从而提供纹理，模仿障碍物或者边界，和/或提供调节后的显示器的摩擦系数。这些效果可以使用用于提供触觉效果(包括但不限于振动触觉效果)的一个或多个致动器和/或使用以受控方式改变显示器的摩擦系数的致动器来实现。提及这些说明性实施例并不是为了限制或定义本主题的范围，而是提供帮助其理解的示例。在具体实施方式
中讨论了说明性实施例，并且在此提供了进一步的描述。通过检查本说明书和/或通过实施所要求的主题的一个或多个实施例可以进一步理解通过多种实施例提供的优点。
在说明书的其余部分中更特别地阐述全部和允许的公开。说明书对以下附图作出参考。图IA示出了用于提供基于表面的触觉效果的说明性系统。图IB示出了在图IA中所示的系统的一个实施例的外部视图。图IC图示了在图IA中所示的系统的另一实施例。图2是图示可以在一些实施例中用于选择触觉效果的像素200的阵列的视图。图3是示出用于给界面提供基于表面的触觉效果的说明性方法的流程图。图4A是图示包括包括触觉使能显示器的计算设备的系统的外部视图的视图。图4B示出了图4A的设备的横截面图。图4C至图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图4A的设备中的图形用户界面的示例。图5A至图5B中的每个图示了包括包括触摸表面并且与分离显示器对接的计算设备的系统。
具体实施例方式现在对多种和可选示意性实施例和附图详细地作出参考。每个示例都通过解释提供，并且不作为限制。对本领域技术人员将显而易见的是，可以作出修改和改变。例如，如作为一个实施例的一部分所图示或描述的特征可以在另一个实施例中使用，以产生还有的进一步实施例。因此，本公开意在包括落入所附权利要求及其等同物的范围内的修改和变体。使用可变摩擦界面的设备的说明性示例本发明的一个说明性实施例包括计算系统，诸如，iPod 便携式音乐设备或 iPhone 移动设备(两者都可以从美国加利福尼亚州的库珀蒂诺的苹果公司得到)或者 Zune(R)便携式设备(可以从华盛顿的雷蒙德的微软公司得到)。计算系统可以包括和/ 或可以与一个或多个传感器通信，诸如加速计、以及用于确定相对于在该示例中与设备的屏幕相对应的显示区域的触摸的地点的传感器(例如，光学的、电阻的或电容的)。当用户与设备交互时，一个或多个致动器被用于提供触觉效果。例如，当用户跨过设备移动手指时，屏幕的摩擦系数可以基于手指的位置、速度、和/或加速度而变化。根据摩擦如何变化，用户可以感知特征和/或纹理。作为特定示例，摩擦可以变化，使得用户感知与屏幕上按钮的边缘相对应的凸起、边界或其他障碍物。如在以下进一步详细论述的，使摩擦系数变化可以以任何数量的方式用于给用户提供反馈。用于提供基于表面的触觉效果的说明性系统图IA示出了用于提供基于表面的触觉效果的说明性系统100。特别地，在该示例中，系统100包括包括经由总线106与其他硬件对接的处理器102的计算设备101。内存 104包括配置计算设备的操作的程序组件，其可以包括任何合适的有形(并且非瞬时)计算机可读介质，诸如，RAM、R0M、EEPR0M等。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112、以及附加存储器114。网络设备(多个)110可以表示促进网络连接的任何组件。示例包括但不限于有线接口，诸如以太网、USB、IEEE1394 ；和/或无线接口，诸如IEEE 802. 11、蓝牙、或用于访问蜂窝电话网络的无线电接口(例如，用于访问CDMA、GSM、UMT、或其他移动通信网络的收发器/天线)。I/O组件112可以用于促进到诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风和/或用于输入数据或输出数据的其他硬件的设备的连接。存储器114表示非易失性存储器，诸如磁性、光学、或在设备101中包括的其他存储介质。系统100进一步包括触摸表面116，其在该示例中被整合到设备101中。触摸表面 116表示被配置成感测用户的触觉输入的任何表面。一个或多个传感器108被配置成当对象与触摸表面接触时检测触摸区域中的触摸并且通过处理器102来提供用于使用的合适数据。可以使用任何合适数量、类型或配置的传感器。例如，电阻和/或电容传感器可以被嵌入触摸表面116中并且用于确定触摸的地点和其他信息，诸如压力。作为另一示例，光学传感器可以用于确定触摸位置。在该示例中，与处理器102通信的致动器118耦合至触摸表面116。在一些实施例中，致动器118被配置成输出响应于触觉信号而改变触摸表面的摩擦系数的触觉效果。另外地或替代地，致动器118可以提供以受控方式移动触摸表面的触觉效果。一些触觉效果可以利用耦合至设备的壳体的致动器，并且一些触觉效果可以顺序地和/或一起使用多个致动器。例如，摩擦系数可以通过使表面以不同频率振动而变化。变化的不同组合/顺序可以用于模仿纹理的感觉。虽然在此示出单个致动器118，但是实施例可以使用相同或不同类型的多个致动器来改变触摸表面的摩擦系数。例如，在一些实施例中使用压电致动器，以以超声频率垂直地和/或水平地转移一些或所有触摸表面116。在一些实施例中，诸如偏心转动惯量电动机和线性谐振致动器的多个致动器可以单独或一起使用，以提供不同纹理、摩擦变化和其他触觉效果。致动器的其他示例包括电活性聚合物、形状记忆合金、静电、和磁致伸缩致动器。转向内存104，描述示例性程序组件124、1沈和128以说明在一些实施例中如何将设备配置成提供可变摩擦显示器。在该示例中，检测模块1 配置处理器102，以经由传感器(多个)108监控触摸表面116来确定触摸的位置。例如，模块IM可以对传感器108进行采样，以便跟踪触摸的存在或不存在，并且如果触摸存在，则随着时间跟踪触摸的地点、 路径、速度、加速度、压力和/或其他特性。触觉效果确定模块1 表示分析关于触摸特性的数据以选择要生成的触觉效果的程序组件。例如，在一些实施例中，包括一个或多个触摸的序列的输入手势可以被识别并且与一个或多个触觉效果相关。作为另一示例，触摸表面116的一些或所有区域可以被映射至图形用户界面。可以基于触摸的地点来选择不同的触觉效果，以便通过改变触摸表面 116的摩擦来模仿特征的存在，使得当在界面中看到该特征的相应表示时，“感觉到”该特征。然而，即使在界面中没有显示相应元素(例如，即使没有显示边界，如果界面中的边界交叉，则也可以提供触觉效果)，可以经由触摸表面116来提供触觉效果。触觉效果生成模块1 表示使处理器102生成触觉信号和将触觉信号传送至致动器(多个)118，以至少当触摸发生时生成所选择的触觉效果的程序设计。例如，生成模块1 可以访问存储的波形或命令，以发送至致动器118。作为另一示例，触觉效果生成模块1 可以接收期望的摩擦系数，并且利用信号处理算法来生成合适信号以发送至致动器 (多个)118。作为进一步示例，期望的纹理可以与用于被发送至一个或多个振动触觉致动器的纹理和合适波形的目标坐标一起被指示，以生成表面(和/或其他设备组件)的合适移位，以提供纹理。根据计算系统的特定配置，触摸表面可以覆盖或不覆盖(或者另外对应于)显示器。在图IB中，示出了计算系统100B的外部视图。计算设备101包括将触摸表面和设备的显示器组合的触摸使能显示器116。触摸表面可以对应于显示器外部或者实际显示器组件之上的一层或多层材料。在该示例中，基于在图形用户界面130中显示的文本的内容来选择触觉效果。特别地，如界面元件132所指示的，“寻找”命令已经被用于触发搜索查询。触觉效果可以被选择，以在被映射至与所搜索到的内容相对应的用户界面中的位置的触摸区域中的位置处生成触觉效果。在该示例中，触摸表面被直接映射至显示区域，并且因此当所搜索到的内容 (词语“patent”)被定位时，在界面130中强调词语“patent”，如在134、136和138处示出的。根据本主题的多个方面，设备101的处理器(处理)可以选择合适触觉效果，使得当用户在134、136和/或138处或附近触摸屏幕116时，改变屏幕的摩擦系数。例如，这可以允许用户使用他或她的手指“浏览”文本，并且通过较高(或较低)摩擦系数或与其他显示的内容不同的纹理来触觉上强调感兴趣的文本。还可以创建更复杂的效果；例如，可以使用设备101的一个或多个致动器来生成强调词语周围的边界或纹理。如上所述，触摸表面不需要覆盖显示器。图IC图示了触摸使能计算系统100C的另一示例。在该示例中，计算设备101包括触摸表面116，其被映射至在与设备101对接的计算系统120中包括的显示器122中的提供的图形用户界面。例如，计算设备101可以包括鼠标、触控板、或其他设备，而系统120可以包括桌上型或膝上型计算机、机顶盒(例如， DVD播放器、DVR、有线电视盒)、或另一计算系统。作为另一示例，触摸表面116和显示器 122可以包括在同一设备中，诸如包括显示器122的膝上型计算机中的触摸使能触控板。是否与显示器或其他整合，在此的示例中的2-D矩形触摸表面的描述并不意指是限制性的。其他实施例包括弯曲或不规则触摸使能表面，其进一步被配置成提供基于表面的触觉效果。返回图1C，在该示例中，在响应于经由触摸表面116输入的用户手势进行选择的处理中，用户界面包括文本内容(词语“检查(Examination)”)。特别地，第一部分140基于手指146通过触摸表面116的区域150的移动而被强调。当选择了该词语时，手指146 将移动至在148处示出的位置，同时在图形用户界面中，词语的部分142和144被强调。响应于手势和/或基于词语的内容可以提供触觉效果。例如，如区域150、152和 154的不同交叉晕线所指示的，当词语被强调时，可以改变表面116的摩擦系数。在一些实施例中，所选文本或其他项的内容被用于确定触觉效果。例如，摩擦可以基于所选文本的“高度地图”改变，并且矮字母(“e”、“r”)具有低高度，并且较高字母(诸如，“l”、“f”)具有较高高度。频率变换可以用于找到词语的频率内容；替代地，字母之间的距离可以用于确定用于词语的“感觉”。作为另一示例，可以简单地基于选择来调节摩擦，诸如当达到词语、短语或其他单位的端部时，摩擦增加；这可以帮助用户避免选择邻近内容的不期望部分。当然，词语之间的边界可以通过标识空间来识别， 而本领域中已知的语法分析(例如，分析上下文、用法)可以用于识别短语。在该示例中，基于左到右强调描述了文本选择。基于表面的文本效果可以与其他类型的选择动作相关联。例如，用户可以通过在原点处触摸并且然后将第二对象向外拖动来拉盒子，并且两个点表示边界框的对角。在选择进行的同时和/或在选择完成之后，可以提供诸如改变摩擦或纹理的触觉效果。另外地或替代地，当选择了区域时，与所选择的区域相对应的触摸区域的部分可以具有不同纹理或摩擦系数。作为另一示例，可以通过边界或周长(例如，触觉点击、弹出、或摩擦变化以标识何时触摸跨过所选择的区域中或之外)在触觉上指示所选择的区域。用于确定要提供的触觉效果的说明性方法图2是图示在一些实施例中可以用于基于将检测到的触摸映射至一个或多个像素位置来选择要提供的触觉效果的像素200的阵列的视图。例如，阵列200可以包括具有与每个像素相关联的一个或多个值的位图或其他图像文件，并且该值(多个)被用于确定如何提供触觉效果。该示例示出可相对小数量的像素；实践中，阵列可以包括成千上万个像
ο在一些实施例中，由触摸表面限定的触摸区域内的触摸的位置可以被返回，并且然后被转换为一个或多个像素地址。与像素地址(多个)相关联的一个或多个值可以被访问并且用于驱动触觉设备(包括一个或多个可变摩擦设备)的致动器(多个)。例如，每个像素地址都可以与强度值相关联，强度值与驱动压电致动器的幅度相关。作为更复杂的示例，每个像素地址可以与三个强度值(即，RGB)相关联。在一些实施例中，这三个强度值中的每个可以与不同致动器强度相关联。作为另一示例，一些值可以指定强度，并且其他值指定操作的持续时间。作为进一步示例，不同像素强度值可以与不同的期望纹理或用于驱动致动器以模仿单一纹理的组件相关。更进一步，可以使用多层RGB图像文件，并且每层对应于特定致动器。在该示例中，第一多个像素202与强度值相关联并且形成“块”，而第二多个像素 204形成不同图案。不同图案可能基于对象如何遇到(encounter)图案而导致不同效果。 例如，从顶部移动到底部的对象可能遇到由图案202引起的摩擦的第一改变并且然后是由图案204引起的不同变化；以相反顺序(S卩，底部到顶部)遇到的相同图案可以模仿完全不同的感觉。触摸表面和图形用户界面之间的映射可以是绝对的或者可以缩放的。例如，在一些实施例中，触摸地点直接与一个或多个相应像素地址相关，并且相关联的值在选择触觉效果中用于驱动致动器(多个)。在其他实施例中，考虑触摸地点和速度。例如，实际触摸地址可以在图案202之上，但是可以与指示朝向图案202的运动的矢量相关联，并且因此图案202中的像素的值被用于及时驱动致动器，用于要适当进行的触觉效果。图3是示出用于给界面提供基于表面的触觉效果的说明性方法300的流程图。框 302表示确定触摸区域中的触摸的位置。例如，处理器可以利用嵌入或查看触摸使能显示器或表面中的一个或多个传感器来跟踪表面上的触摸的位置。基于触摸的当前和/或过去位置，可以确定与映射至触摸区域的图形用户界面的交互。基于该交互，可以选择一种或多种触觉效果，诸如改变触摸表面的摩擦和/或其他效果。在该示例中，在框304和312处识别交互，其中，该方法在304处首先确定是否指示了手势。诸如基于跨过屏幕的挥扫(swipe)方向和长度、图案中的不连续触摸的序列、或者另一可识别交互，手势可以被识别为一个或多个触摸的序列或者触摸的图案。在该示例中，如果手势被识别，则流程移动至框306，其表示确定与该手势相关联的期望触觉效果。例如，在手势正在进行的同时，基于由设备的处理器执行的图案识别，“Z”形触摸轨迹可以被识别为一种类型的输入手势。在手势正在进行的同时和/或在手势完成之后， 一种或多种触觉效果可以与可对指示要输出的效果的处理器进行访问的数据中的“Z”手势相关联。例如，数据可以提供给表面，以当手势接近完成时呈现纹理或摩擦的改变。另外地或替代地，在手势被识别以便确认手势的输入之后，纹理或显示器的摩擦系数可以改变。如果在框304处手势未被识别，则流程移动至框312，其中，该方法估计在触摸的位置处或附近是否存在基于GUI的特征。如在此所论述的，多种特征可以呈现在被映射至触摸表面的图形用户界面中，并且特征可以与触觉效果相关联。特征可以对应于或可以不对应于在图形用户界面中实际显示的内容。框312表示确定一个或多个这样的特征是否是在所触摸的地点处或所触摸的地点附近，并且框314表示确定与该特征相对应的一种或多种触觉效果。例如，基于触摸的速度的用于触摸的当前像素地点和/或投影的像素地点可以与指定用于多种像素位置的触觉效果的位图进行比较。基于触觉效果(多个)，合适触觉信号可以被访问/生成，以提供在位图中指定的输出。作为另一示例，触摸的当前或投影的地点可以与标识GUI特征(诸如，控件、纹理内容、边界等)的地点的数据进行比较。然后，如果在该地点处标识出GUI特征，则可以访问使一种或多种触觉效果与该特征相关联的数据。例如，处理器可以跟踪触摸的地点，并且确定触摸是在被映射至图形用户界面中的特定控件(例如，按钮)的触摸区域中的位置处或靠近该位置。然后，处理器可以查阅界面元素的列表来确定与该按钮相关联的触觉效果 (例如，纹理、摩擦变化)，并且基于该触觉效果而采取进一步措施以生成触觉效果。在该示例中，框306和314通向框308，其表示访问或生成一个或多个触觉信号，以生成所选择的触觉效果(多个)。例如，处理器可以访问在内存中存储的并且与特定触觉效果相关联的驱动信号。作为另一示例，信号可以通过访问存储的算法和输入与效果相关联的参数来生成。例如，算法可以输出用于在基于幅度和频率参数来生成驱动信号中使用的数据。作为另一示例，触觉信号可以包括被发送至致动器以由致动器进行解码的数据。例如，致动器本身可以对指定诸如幅度和频率的参数的命令做出响应。框310表示将触觉信号传送至致动器(多个)以生成期望的效果(多个)。例如， 如果要提供模拟驱动信号，则处理器可以利用板上D/A转换器来创建信号。如果将数字命令提供给致动器，则可以通过处理器的I/O总线来生成合适的消息。可以在触摸的点和/ 或其他地方感觉到触觉效果。例如，如果提供两个手指输入手势，则可以响应于识别第二手指的移动来改变在第一手指处的纹理/摩擦系数。在一些实施例中，即使在没有选择的触觉效果的情况下，基线触觉信号也可以被发送至致动器(多个)，以生成环境触觉效果，以便增强设备可以产生的潜在效果的范围。 因此，传送触觉信号可以包括向致动器发送“停止”命令、“零”或最小信号、或另一信号，以根据情况减小强度。作为一个示例，诸如，压电致动器的特定致动器的使用可以允许触摸表面的摩擦系数的减小，但是不允许摩擦系数的增加。为了提供选项的范围，可以提供基线信号，使得触摸表面的“普通”摩擦级别低于当静态时触摸表面具有的摩擦系数。因此，可以相对于基线而不是静态值来定义触觉效果。如果最大摩擦是期望的，则“零”信号可以被发送至压电致动器，以停止表面的移动。基于表面的触觉效果可以采用任何合适的形式。例如，一些触觉效果可以包括触摸表面的摩擦的变化——一些部分可以提供“刮刀”或“打磨机”。作为另一示例，可以使用振动触觉效果，诸如振动或一系列振动。振动触觉效果和/或摩擦的变化可以用于模仿不同特征的感觉，诸如边界或障碍物。例如，可以通过摩擦的增加来模仿边界或边缘，并且如果边界交叉(在一些实例中)，则摩擦减小。振动触觉效果和/或摩擦的变化可以另外地或替代地用于模仿各种纹理。关于纹理的生成和使用的附加详情可以在以上参考的并且标题分别为“Systems and Methods for a Texture Engine，，(代理卷号 IMM354 (51851-383720))、“^stems and Methods for Using Multiple Actuators to Realize Textures”(代理卷号 No. 1匪；355 (51851-383719))和 "Systems and Methods for Using Textures in Graphical User Interface Widgets，，(代理卷号 No. IMM356 (51851-383718))的美国专利申请 No. 12/697，010、No. 12/697，042 和No. 12/697，037中找到。例如，可以提供不同的摩擦的图案或振动的图案，以模仿纹理的感觉，诸如砖块、岩石、沙子、草、皮毛、多种织物类型、水、磨拉石、和其他流体、皮革、木头、冰、 蜥蜴皮肤、金属、以及其他纹理图案。当“危险”纹理是期望的时，还可以使用不类似于真实世界纹理的其他纹理，诸如，高幅度振动触觉或其他反馈。虽然在该示例中，替代地考虑框304和312，但是在一些实施例中，一种方法可以考虑在还估计在被映射至具有一个或多个触觉特征的GUI的一部分的地点处触摸是否发生的同时，手势是否正在进行。界面行为的附加说明性实施例图4A是图示包括包括触摸使能显示器402的计算设备401的系统400的外部视图的视图。图4B示出了设备401的横截面图。设备401可以与图IA的设备101类似地配置，尽管为了清楚的目的，在该视图中未示出诸如处理器、内存、传感器等的组件。如在图4B中可以看出的，设备401包括多个致动器418和附加致动器422。致动器418-1可以包括被配置成将垂直力给予显示器402的致动器，而418-2可以横向移动显示器402。在该示例中，致动器直接耦合至显示器，但是应当理解，致动器可耦合至另一触摸表面，诸如显示器402的顶部上的材料层。附加致动器422可以耦合至包含设备401的组件的壳体。在图4A至图4D的示例中，显示器402的区域对应于触摸区域，但是这些原理可应用于与显示器完全分离的触摸表面。 在一个实施例中，致动器418每个都包括压电致动器，而附加致动器422包括偏心旋转质量致动器、线性谐振致动器、或另一压电致动器。致动器422可以被配置成响应于来自处理器的触觉信号而提供振动触觉效果。振动触觉效果可以结合基于表面的触觉效果来利用和/或用于其它目的。在一些实施例中，致动器418-1和418-2中的任一个或两者可以包括除压电致动器之外的致动器。另外地，示出了单个致动器422，尽管多个其它致动器可以耦合至设备 401的壳体和/或其他致动器4422可以耦合至别处。设备401也可以包括在不同地点处耦合至触摸表面的多个致动器418-1/418-2。返回至图4A，在420处示出图形用户界面，以包括一般化特征430。在该示例中， 基于由手指426向下朝向位置4 的移动表示的触摸的位置，选择了用于输出的触觉效果。 特别地，如在图4B中可以看出的，致动器418-1、418-2和/或422被提供有合适的触觉信号，以提供如在432、434和436处指示的基于表面的触觉反馈。由于致动器导致不同交叉晕线意在表示触摸表面的不同“感觉”。例如，432、434和436可以表示生成期望的触觉效果的触摸表面的纹理或摩擦系数的变化。在一个实施例中，可以通过使第一区域432具有较高摩擦，然后第二区域434具有较低摩擦，并且第三区域436具有较高摩擦来模仿盒子的感觉。图4C-图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图形用户界面424的示例，并且当提供手势时，触觉效果被选择以在翻页输入手势的方向上改变触摸表面。图4C示出了第一界面状态424-1，其中，手指438触摸大量页面440的屏幕上表示。如图4D中的442处所示，手指已经提供了右到左输入手势。在该示例中，计算设备 401的软件配置处理器，以将从页脚开始的右到左轨迹识别为翻页输入手势。因此，界面移动至状态424-2，其中，页脚提升，并且下一页在444处可见。另外地，当手势正在进行(和 /或在手势被识别之后)，可以提供基于表面的触觉效果。例如，当手指438从右到左移动时，可以改变触摸表面的摩擦系数(例如，通过增加)以模仿翻页的感觉。作为另一示例， 可以提供一系列摩擦改变，或者一个或多个纹理改变可以发生。图5A-图5B每个都图示了包括包括触摸表面502的计算设备501的系统500。可以与图4和图1的设备401和101类似地配置计算设备501。在这些示例中，触摸表面502 与包括被映射至触摸区域的图形用户界面的显示器分离。分离的显示器504在图5A-图5B 中示出并且与设备501对接。例如，设备501可以表示与显示器504对接的计算设备，诸如，具有与触摸表面相对应的嵌入式触控板的膝上型计算机。作为另一示例，计算设备501本身可以是外围设备， 其包括触摸表面502、致动器、和通过与设备501对接的计算设备命令的合适的处理电路。 在任何事件中，将理解，在图5A-图5B中论述的原理同样可应用于触摸表面对应于显示器或显示器之上的材料的实施例。另外地，当然，当触摸表面与显示器分离(例如，鼠标上的触摸表面、计算机触控板等)时，可以使用这些原理。转向图5A，在该示例中，设备501的处理器被配置成响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。图形用户界面506包括窗口 508 和510。元件512可以表示文件、文件夹、或可以在屏幕上操纵的其他元件。这些元件每个都映射至在由触摸表面502限定的触摸区域中在508' ,510'和512'处示出的各个地点。 用户可以将手指或其他对象置于512'和触摸表面502处或附近。该输入可以被识别为项目512的选择。在一些实施例中，区域512'可以具有与项目512的内容或身份相关联的不同纹理或其他触觉效果。为了将项目512移动至窗口 510，用户可以跨过与界面506中的窗口 508和510的边界相对应的边界514'和516'拖动触摸表面502。如果第二地点(在该示例中，为窗口 510)对应于受保护区域(例如，系统或其他安全文件夹)，则当边界516'靠近或交叉时，可以提供合适的基于表面的触觉效果。作为另一示例，如果元件512表示受保护文件，则触觉效果可以提供在边界514'处或附近。例如，摩擦系数可以显著地增加，以阻止移动到窗口 508之外和/或窗口 510之内。作为另一示例，与其他未受保护元件(未示出)相比，当移动从区域512'开始时，可以通过区域512'处的特定纹理或特定高摩擦系数来指示元件 512的状态。图5B图示了处理器被配置成基于在被映射至触摸的位置处或附近的触摸区域中的位置的地点处在图形用户界面中显示的控件来选择触觉效果的示例。另外地，示出了基于附加内容的触觉效果。特别地，图形用户界面520包括显示内容的第一部分522和包括屏幕上控件的第二部分524。在该示例中，内容部分522包括具有主要道路526、次要道路528、以及目的地 530的地图。控制部分5M包括滑块532和按钮534和536。可以使用任何合适的图形控制元件，包括但不限于复选框、单选按钮、下拉菜单、折叠菜单、刻度盘等。图形用户界面520被映射至触摸表面502的区域。在该示例中，触摸表面502被图示成提供多种基于表面的触觉效果。虽然同时示出，但是将理解，当触摸在包含效果的区域处或附近时，通过交叉晕线指示的多种触觉效果将由设备501来提供。
如在538处所示，触摸区域被映射至内容部分522的部分包括边界538。边界可以包括纹理或摩擦变化，以帮助指示被映射至内容部分522的这个部分的边缘。另外，在M4 和546处提供表面效果，以标识主要道路5 和次要道路528。例如，不同类型的道路和其他地图特征可以具有不同纹理或摩擦级别。作为另一示例，可以在内容部分522中显示屏幕上路线。与偏离该路线的道路相对应的部分相比，触摸表面502被映射至该路线的部分可以具有不同摩擦或纹理。例如，用户能够通过跟随低摩擦部分544和546追踪该路线，并且经过地点548摩擦增加。作为预期的目的地的位置 548可以具有唯一摩擦或纹理。触摸表面502包括表示可以用于朝向触摸区域被映射至控制部分5M的部分引导用户的触觉效果。例如，部分550可以包括较低摩擦系数，以允许到控件的轻松路径。如在552A、552B和552C处所示，当滑块532的值增加时，提供不同的触觉效果。例如，当滑块向上或向下移动时，摩擦级别可以改变。作为另一示例，按钮534和536可以包括由不同纹理表示的或者由摩擦变化模仿的不同边界区域。在一些实施例中，按钮534和 536的纹理或摩擦基于按钮的值或状态而变化。还可以提供除了纹理和/或摩擦之外的触觉效果。例如，当用户向按钮移动/从按钮移动时，可以提供触觉弹出或振动。基于表面的效果的其他说明性实施例以上示例被提供用于说明目的并且不意在是限制性的。以下论述了基于表面的触觉效果的附加示例。在一些实施例中，基于表面的效果独立于到图形用户界面的映射被提供。例如， 触摸表面可以用于提供输入，以在图形用户界面中呈现的三维环境中操纵图形元件。可以提供不同纹理，以指示不同控件或运动——例如，在触摸表面中沿着X轴的第一纹理(或摩擦)可以指示3-D环境中的x-y平面中的转化，而沿着χ轴的第二纹理(或摩擦)可以指示3-D环境的x-z平面中的转换。作为另一示例，可以通过沿着触摸表面的多个接触点改变纹理或摩擦来指示3-D环境中的对象的操纵。作为进一步示例，不同纹理可以用于指示不同类型的控制动作。例如，在计算机辅助设计(CAD)或3-D环境中，当在该环境中移动元件或对象时，可以提供第一纹理，而当视图改变但是元件/对象不移动时，提供第二纹理。更进一步地，实施例包括与绘图或其他输入相关联的纹理的改变。例如，在设计应用中，不同刷子或其他工具可以具有相应的纹理。当改变刷子尺寸时，可以通过给不同纹理提供每个刷子尺寸和/或通过将刷子纹理映射至触摸区域的较大部分来“感觉到”刷子尺寸。实施例包括根据本主题的纹理、摩擦、和/或其他触觉效果的使用，以便指示文件或文档的内容。例如，用户界面可以包括时间线选择机构(例如，滑块)，其包括基于表面的触觉效果。例如，音频文件可以被分析用于一个或多个特性(例如，音量)和被映射至特性 (例如，用于不同音量的不同纹理、摩擦级别等)的基于表面的触觉效果。当用户与选择机构交互时，可以提供不同的触觉效果(例如，当遇到增加的音量的部分时，滑块感觉不同)。作为另一示例，基于表面的触觉效果可以结合游戏使用。例如，美国专利申请公开 No. 2008/0064499描述了具有娱乐场所和其他游戏的触觉效果的使用，通过引用的方式将其全部内容合并于此。除了或代替在此描述的效果，可以使用基于表面的触觉效果，诸如，当播放卡时的不同摩擦/纹理，游戏工具(例如，轮盘、骰子等)经由触摸表面交互和/或指示结果或游戏规则(例如，当用户前进时的不同纹理，用于指示在游戏中何时进行禁止移动的不同摩擦值等)。总体考虑在此的“适于”或“配置成”的使用意味着不阻止适于或被配置成执行附加任务或步骤的开放式和包含语言。另外，“基于”的使用意味着开放式和包含，这是因为“基于”一个或多个记载的条件或值的处理、步骤、计算或其他动作实际上可以基于超过所记载的那些的附加条件或值。在此包括的标题、列表和编号仅用于更容易地解释，并且不意味着是限制性的。根据本主题的多个方面的实施例可以在数字电子电路中、在计算机硬件、固件、软件中或者在前述结合中实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或能够对计算机可读介质进行访问，计算机可读介质诸如耦合至处理器的随机存取存储器(RAM)。处理器执行在内存中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、触觉效果选择例程、以及产生信号以生成上述所选择的触觉效果的合适程序设计的一个或多个计算机程序。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、 现场可编程门阵列(FPGA)、以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控件(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PR0M)、电可编程只读存储器(EPR0M或EEPR0M)、或其他类似设备。这样的处理器可以包括或可以与可以存储指令的介质(例如，有形计算机可读介质)通信，当由处理器执行指令时，可以使处理器执行如由处理器执行或辅助的在此所述的步骤。计算机可读介质的实施例可以包括但不限于能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电子、光学、磁性或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、R0M、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其读取的任何其他介质。而且，多种其他设备可以包括计算机可读介质，诸如路由器、专用或公共网络、或其他传输设备。处理器和描述的处理可以是一个或多个指令，并且可以通过一个或多个指令来散布。处理器可以包括用于执行在此所述的一种或多种方法(或方法的多个部分)的代码。虽然已经关于其特定实施例详细地描述了本主题，但是将理解，本领域技术人员在获得前述理解时可以容易地产生对这样的实施例的替换、变化以及等同物。因此，应当理解，本公开被呈现用于举例而不是限制的目的，并且不排除对本主题的这样的修改、变化和 /或添加的包含，这对于本领域普通技术人员来说将很容易是显而易见的。
权利要求
1.一种系统，包括传感器，所述传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸，所述触摸区域被映射至图形用户界面的显示区域；致动器，所述致动器与处理器通信并且耦合至所述触摸表面，所述致动器被配置成响应于触觉信号而输出触觉效果；以及处理器，所述处理器与致动器和传感器通信，所述处理器被配置成基于标识所述触摸的位置和以下中的至少一个来选择要生成的触觉效果(a)识别通过所述触摸提供的输入手势或者(b)在被映射至所述触摸处或附近的所述触摸区域中的位置的所述显示区域中的地点处在所述图形用户界面中显示的内容，以及在所述触摸发生的同时将触觉信号传送至所述致动器，以生成所选择的触觉效果，以提供纹理、所模仿的障碍物或边界、或所述显示器的调节后的摩擦系数中的至少一个。
2.根据权利要求1所述的系统，其中，所述致动器包括压电致动器。
3.根据权利要求1所述的系统，其中，所述触觉效果通过改变所述触摸表面的摩擦系数来生成。
4.根据权利要求1所述的系统，其中，所述触觉效果包括模仿所述触摸表面上的纹理。
5.根据权利要求1所述的系统，其中，所述处理器被配置成基于在映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述显示区域中显示的文本的内容，选择触觉效果。
6.根据权利要求1所述的系统，其中，所述处理器被配置成响应于搜索查询，强调在所述图形用户界面中显示的内容，并且其中，所述触觉效果被选择，以在被映射至所述强调的内容处或附近的所述显示区域中的位置的所述触摸区域中的位置处生成触觉效果。
7.根据权利要求1所述的系统，其中，所述处理器被配置成基于在被映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述图形用户界面中显示的控件，选择触觉效果。
8.根据权利要求1所述的系统，其中，所述处理器被配置成响应于识别翻页输入手势来选择触觉效果，当提供所述手势时，所述触觉效果被选择以在所述翻页输入手势的方向上改变摩擦或纹理。
9.根据权利要求1所述的系统，其中，所述处理器被配置成响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。
10.根据权利要求1所述的系统，进一步包括显示器，所述显示器包括多个像素并且限定所述显示区域，所述显示器被配置成至少部分地基于显示信号来输出图像，其中，所述触摸表面对应于所述显示器或者所述显示器之上的材料，以及其中，所述处理器被配置成输出所述显示信号。
11.根据权利要求1所述的系统，进一步包括第二致动器，所述第二致动器被配置成响应于来自所述处理器的触觉信号来提供触觉效果。
12.一种方法，包括跟踪触摸表面上的触摸的地点，所述地点相对于被映射至图形用户界面的触摸区域被足艮S宗；基于所述触摸的所述地点，标识与所述图形用户界面的交互； 基于所述交互来选择要生成的触觉效果；以及命令至少一个致动器生成所选择的触觉效果，所述触觉效果包括纹理、模仿的障碍物或边界、或所述表面的摩擦系数的调节中的至少一个。
13.根据权利要求12所述的方法，其中，所述触觉效果至少部分地通过改变所述触摸表面的摩擦系数来生成。
14.根据权利要求12所述的方法，其中，所述交互包括调节屏幕上控件，并且所述触觉效果基于所述屏幕上控件的值来选择。
15.根据权利要求12所述的方法，其中，所述交互包括触摸在被映射至包含特征的所述图形用户界面的一部分的地点处或附近的表面，所述特征与所述触觉效果相关联。
16.根据权利要求15所述的方法，其中，所述特征包括在响应于搜索命令而强调的所述界面中的文本或图形元件。
17.根据权利要求15所述的方法，其中，所述特征包括图形或文本内容。
18.根据权利要求15所述的方法，其中，所述特征包括在所述图形用户界面中的边界。
19.根据权利要求12所述的方法，其中，所述交互包括输入手势。
20.根据权利要求19所述的方法，其中，所述触觉效果在所述输入手势期间提供。
21.根据权利要求19所述的方法，其中，所述触觉效果在所述输入手势之后提供。
22.一种包含可由计算系统执行的程序代码的有形计算机可读介质，所述程序代码包括用于使所述计算系统跟踪触摸表面上的触摸的地点的程序代码，所述地点相对于被映射至图形用户界面的触摸区域被跟踪；用于使所述计算系统基于所述触摸的地点来标识与所述图形用户界面的交互的程序代码；用于使所述计算系统基于所述交互来选择要生成的触觉效果的程序代码；以及用于使所述计算系统通过改变所述触摸表面的摩擦系数来将触觉信号传送至至少一个致动器以生成所选择的触觉效果的程序代码。
全文摘要
描述了用于包括基于表面的触觉效果的界面的系统和方法。一种描述的系统包括传感器，该传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。该系统可以进一步包括与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果；以及处理器，该处理器被配置成选择要生成的触觉效果。可以基于触摸的位置并且识别通过该触摸提供的输入手势和/或在映射至在触摸处或触摸附近的触摸区域中的位置的地点处在图形用户界面中显示的内容来选择触觉效果。触觉效果可以提供纹理，模仿障碍物，和/或调节表面的摩擦系数。
文档编号G06F3/01GK102349040SQ201080011746
公开日2012年2月8日 申请日期2010年3月11日 优先权日2009年3月12日
发明者丹尼·A·格兰特, 君·曼扭尔·克鲁斯-赫南德斯, 安德鲁·格斯林, 阿利·莫达雷斯 申请人:伊梅森公司