用于利用触觉反馈进行对象操控的系统和方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请涉及与本申请同一天提交的题为"Sy s t ems and Me tho ds for Haptically-Enabled Interactions with Objects" 的美国专利申请No. 14/577565(代理 卷号No. IMM548(58518-922294))，其全文通过引用结合于此。
技术领域
[0003] 本发明涉及用户界面设备的领域。更具体地，本发明涉及利用触觉反馈进行的对 象操控。
【背景技术】
[0004] 人们越来越多地使用基于计算机的系统进行各种日常互动。例如，消费者在进行 购物时可以使用移动设备(例如，智能电话)来读取有关产品的评论或者比较不同店铺的产 品价格。然而，对于消费者而言，在购物时与移动设备的小型用户界面（例如，触摸屏显示 器)进行交互从而获得相关信息可能是困难且耗时的。因此，需要一种能够快速且容易地向 用户提供这样的信息的有所改进的用户界面。可能期望使用触觉反馈(例如，机械振动）来 改进这样的用户界面。
【发明内容】
[0005] 本公开的实施例包括利用触觉反馈进行的对象操控。在一个实施例中，本公开的 计算设备可以包括:传感器，其被配置为检测与物理对象的用户交互并且传送与该用户交 互相关联的传感器信号。该计算设备还可以包括与该传感器进行通信的处理器，该处理器 被配置为:接收该传感器信号;基于该传感器信号确定该物理对象的特性;确定与该特性相 关联的触觉效果;并且传送与该触觉效果相关联的触觉信号。该计算设备可以进一步包括 与该处理器进行通信的触觉输出设备，该触觉输出设备被配置为接收该触觉信号并且输出 该触觉效果。
[0006] 在另一个实施例中，本公开的方法可以包括:从传感器接收传感器信号，其中，该 传感器信号和与物理对象的用户交互相关联。该方法还可以包括基于该传感器信号确定该 物理对象的特性;并且确定与该特性相关联的触觉效果。该方法可以进一步包括向触觉输 出设备传送与该触觉效果相关联的触觉信号，其中该触觉输出设备被配置为接收该触觉信 号并且输出该触觉效果。又一个实施例包括一种用于实施这样的方法的计算机可读介质。
[0007] 这些说明性实施例被提及并非是为了限制或定义本主题的范围，而是提供示例以 帮助其理解。另外的实施例在【具体实施方式】中被讨论，并且在那里提供进一步的描述。各个 实施例所提供的优势可以通过对该说明书进行验证和/或通过实践所请求保护主题的一个 或多个实施例而进一步被理解。
【附图说明】
[0008] 在本说明书的其余部分更为具体地给出完整且有效的公开。本说明书对以下附图 加以参考。
[0009] 图1是示出根据一个实施例的用于利用触觉反馈进行对象操控的系统的框图；
[0010] 图2是示出根据另一个实施例的用于利用触觉反馈进行对象操控的系统的另一个 框图；
[0011] 图3示出了用于利用触觉反馈进行对象操控的系统的一个实施例；
[0012] 图4示出了用于利用触觉反馈进行对象操控的系统的另一个实施例；
[0013] 图5A示出了用于利用触觉反馈进行对象操控的系统的又一个实施例；
[0014]图5B示出了用于利用触觉反馈进行对象操控的系统的再一个实施例；
[0015]图6示出了用于利用触觉反馈进行对象操控的系统的另一个实施例；
[0016] 图7示出了用于利用触觉反馈进行对象操控的系统的又一个实施例；
[0017] 图8示出了用于利用触觉反馈进行对象操控的系统的再一个实施例；以及
[0018] 图9是根据另一个实施例的执行用于利用触觉反馈提供对象操控的方法的步骤的 流程图。
【具体实施方式】
[0019] 现在将详细参考各种各样的且可替换的说明性实施例以及附图。每个示例通过解 释的方式被提供，而并非作为限制。对于本领域技术人员将会显而易见的是，可以做出修改 和变化。例如，作为一个实施例的一部分所图示或描述的特征可以在另一个实施例中被使 用从而形成更进一步的实施例。因此，本公开意在包括落入所附权利要求及其等同形式的 范围之内的修改和变化。
[0020] 利用触觉反馈进行对象操控的说明性示例
[0021] 本公开的一个说明性实施例包括一种计算设备。该计算设备包括经由总线耦合至 存储器的处理器。在该说明性实施例中，该计算设备被配置为由用户所佩戴。例如，该计算 设备可以包括被配置为佩戴于用户手指上的指环。
[0022]在说明性实施例中，该计算设备包括被配置为检测与对象的用户交互并且向处理 器传送传感器信号的传感器。如这里所使用的，对象是用户可能能够与之进行交互的任何 东西(例如，真实的或虚拟的）。例如，在逛杂货店时，用户可能触碰到奶瓶。计算设备可以经 由传感器检测到用户触碰到了奶瓶。在该说明性实施例中，该计算设备基于该传感器信号 确定与该对象相关联的特性。例如，该计算设备可以确定该奶品的品牌并且与一个或多个 服务器进行通信(例如，经由互联网）以确定该奶品的成分。另外，在该说明性实施例中，该 计算设备确定与对象相关联的特性是否与标准相匹配。例如，用户可能对大豆过敏。该用户 可能已经将该过敏信息输入到计算设备之中。该计算设备可以分析该奶品的成分以确定该 奶品是否含有大豆。在该说明性实施例中，如果该特性与该标准匹配，则该计算设备经由触 觉输出设备输出触觉效果。例如，如果该奶品的成分包括大豆，则该计算设备可以输出例如 冲击感的触觉效果。这可以帮助用户做出健康的购买决策。
[0023]作为另一个示例，用户可能正在折扣服装店寻找划算的东西。该折扣服装店可能 有一箱全部混杂在一起的打折衣服。该用户可以将其上衣尺码输入到计算设备中。在该说 明性实施例中，当用户将其手部移动经过混合衣服的箱子，该计算设备确定用户所接触到 的每件衣服的条形码(或RFID码）。该计算设备进一步与（例如，与该店铺相关联的）服务器 进行通信以基于该条形码(或RFID码）确定每件衣服的尺码。在该说明性实施例中，如果一 件衣服的尺码符合用户的上衣尺码，则该计算设备可以输出例如短促振动的触觉效果。这 可以帮助用户快速且容易地分拣大量的产品。
[0024] 另一个说明性实施例包括被配置为检测与对象的用户交互的计算设备。该计算设 备随后确定诸如与该对象相关联的品牌、制造商、分销商和/或生产商之类的信息。另外，在 该说明性实施例中，该计算设备经由触觉输出设备输出与该信息相关联的触觉效果。
[0025] 例如，制造商可以将独特的一个触觉效果或一系列触觉效果与该制造商的公司相 关联。这些独特的触觉效果可以被称作"触觉品牌(haptic brand)"。例如，公司A可以具有 包括对应于代码中的单词"fun"的一系列振动的触觉品牌，上述代码的例子包括Morse代码 或另一种代码。作为另一个示例，公司A可以具有包括三个振动脉冲的触觉品牌，其中每个 后续脉冲具有比之前脉冲更大的振幅。这样的触觉品牌可以向用户传递乐趣和刺激。作为 又一个示例，公司A可以具有与音频或视觉品牌推广相关联的触觉品牌。在一个这样的实施 例中，公司A可以具有与该公司的音频叮当声相关联的触觉品牌。例如，该触觉品牌可以包 括具有与该音频叮当声中的音符相关联的幅度和/或频率。制造商可以基于该制造商的目 标市场、特定产品的目标市场、用户对触觉效果的感知(例如，该触觉效果被感知为有意思 的、严肃的、痛苦的还是令人满足的)和/或其它标准来决定触觉品牌。
[0026] 在该说明性实施例中，该计算设备基于与对象的用户交互而输出触觉品牌。例如， 用户可能正在购买新的移动设备。该用户可以拿起由公司A制造的智能电话的盒子。在该说 明性实施例中，该计算设备确定用户拿起了由公司A所制造的对象。该计算设备可以确定 (例如，通过查阅查找表或者经由互联网查询服务器)包括对应于Morse代码中的单词"fun" 的振动的触觉效果。在该说明性实施例中，该计算设备随后输出该触觉效果。即使用户并没 有在视觉上注视该产品，这也可以允许用户确定该智能电话的制造商是公司A。触觉品牌可 能是有效的营销工具，因为其可以允许用户即使在其并未在视觉上注视产品的情况下也能 够识别出该产品。其还能够将独特的的物理交互与品牌相关联，这能够帮助区分品牌并且 为用户提供更为沉浸式的营销体验。
[0027]以上的说明性实施例的描述仅是作为示例而提供。这里描述了本发明的各种其它 实施例并且这些实施例的变化将被本领域技术人员所理解。各个实施例所提供的优势可以 通过对本说明书进行验证和/或通过实践所请求保护主题的一个或多个实施例而进一步被 理解。
[0028] 用于利用触觉反馈进行对象操控的说明性系统
[0029] 图1是根据一个实施例的用于利用触觉反馈进行对象操控的系统的框图。在一些 实施例中，计算设备101可以包括可握持设备(例如，智能电话、平板电脑、电子阅读器和/或 便携式游戏设备）。在其它实施例中，计算设备101可以包括可佩戴设备(例如，指环、鞋、臂 带、袖套、夹克、眼镜、手套、手表、腕带、手镯、衣着类物品、帽子、头带和/或珠宝）。
[0030] 在一些实施例中，计算设备101的部件（例如，处理器202、网络110、交互传感器 132、传感器130等)可以被集成到单个外壳之中。在其它实施例中，该部件可以是分布式的 (例如，处于多个外壳或位置)并且互相进行电通信。计算设备101可以包括或可以不包括图 1中所描绘的所有部件。例如，在一些实施例中，计算设备101可以包括处理器102、总线106、 存储器104、网络110和触觉输出设备118。
[0031] 计算设备101包括经由总线106与其它硬件进行对接的处理器102。能够包括诸如 RAM、ROM、EEPR0M等的任意适当的有形(和非暂时性的)计算机可读介质的存储器104可以具 体实现程序成分，后者对计算设备101的操作进行配置。在一些实施例中，计算设备101可以 进一步包括一个或多个网络接口设备110、输入/输出（I /〇)接口部件112和附加存储114。
[0032] 网络接口设备110可以表示一个或多个能够促成网络连接或者以其它方式促成设 备之间的通信的任意部件。示例包括但并不局限于诸如以太网、USB、IEEE 1394的有线接 口，和/或诸如IEEE 802.11、蓝牙、近场通信(NFC)接口、RFID接口或者用于访问蜂窝电话网 络的无线电接口（例如，用于访问CDMA、GSM、UMTS或其它移动通信网络的收发器/天线)之类 的无线接口。
[0033] I/O部件112可以被用来促成与诸如一个或多个显示器、触摸敏感表面116、键盘、 鼠标、扬声器、麦克风、按钮和/或用来输入数据或输出数据的其它硬件的设备的连接。存储 114表示非易失性存储，诸如计算机设备101中所包括或者耦合至处理器102的只读存储器、 闪存、铁电RAM(F-RAM)、磁性、光学或其它存储介质。
[0034]计算设备101可以包括触摸敏感表面116。触摸敏感表面116表示被配置为感应用 户的触觉输入的任意表面。一个或多个触摸传感器108被配置为检测触摸区域中的触摸(例 如，在对象与触摸敏感表面116相接触时），并且向处理器102传送与该触摸相关联的信号。 可以使用触摸传感器108的任意适当的数量、类型或部署形式。例如，电阻和/或电容传感器 可以被嵌入在触摸敏感表面116中并且被用来确定触摸的位置以及其它信息，诸如压力、速 度和/或方向。作为另一个示例，可以使用具有触摸敏感表面116的视图的光学传感器来确 定触摸位置。如又一个示例，触摸敏感表面116可以包括安装在显示器一侧上的LED(发光二 极管)手指检测器。在一些实施例中，触摸传感器108可以被配置为检测用户交互的多个方 面。例如，触摸传感器108可以检测用户交互的速度和压力，并且将该信息整合到向处理器 102传送的信号之中。
[0035]在一些实施例中，计算设备101包括支持触摸的显示器，其组合了该设备的触摸敏 感表面116和显示器。触摸敏感表面116可以对应于显示器外部或者显示器的部件上方的一 层或多层材料。在其它实施例中，根据计算设备101的特定配置，触摸敏感表面116可以不包 括(或者以其它方式对应于)显示器。
[0036]在一些实施例中，计算设备101包括交互传感器132。交互传感器132被配置为检测 用户（例如，使用手指、脚、手、手臂、头、腿或其它身体部分）与计算设备101和/或对象（例 如，店铺货架上的产品）的交互。在一些实施例中，该用户交互可以包括触碰该对象，在真实 空间中做出姿势(gesture)，使用对象做出姿势(例如，拿起该对象并且将其在真实空间中 进行移动），和/或在对象上做出姿势（例如，将手指划过对象表面）。交互传感器132进一步 被配置为向处理器102传送与该交互相关联的传感器信号。交互传感器132可以包括加速度 计、陀螺仪、相机、射频识别(RFID)标签或读取器、室内接近度系统、NFC通信设备、全球定位 系统(GPS)设备、磁力计、超声换能器、无线接口（例如，IEEE 802.11或蓝牙接口）、红外传感 器、深度传感器和/或范围传感器。
[0037]例如，在一个实施例中，交互传感器132包括无线接口，该无线接口被配置为检测 对象所发射的无线信号的强度。交互传感器132可以向处理器102传送与该无线信号强度相 关联的传感器信号。基于该无线信号强度，处理器102可以确定例如计算设备101是否处于 与对象的预定距离之内。如果是，则处理器102可以确定发生了交互(例如，进入对象的预定 距离之内）。
[0038]在另一个实施例中，交互传感器132包括朝向对象的相机。用户可以在该对象附近 的空中（例如，利用身体部分，诸如手指、手、手臂、脚、头或腿)做出姿势（例如，复选标记标 志）。交互传感器132可以捕捉到与该姿势相关联的图像并且向处理器102传送传感器信号。 基于该传感器信号，处理器102可以确定发生了用户交互。处理器102可以进一步分析该传 感器信号以确定所发生的姿势的具体类型。例如，处理器102可以分析该传感器信号并且确 定用户利用手指在空中做出了复选标记。
[0039]在一些实施例中，交互传感器132处于计算设备101之外并且与计算设备101进行 有线或无线通信。例如，交互传感器132可以包括与可佩戴设备(例如，眼镜或领带)相关联 并且与计算设备101进行通信的相机。作为另一个示例，交互传感器132可以包括位于计算 设备101之外(例如，处于店铺货架上)并且与计算设备101进行通信的3D成像系统(例如，一 般以商标Microsoft Kinect ?进行销售的3D成像系统)或基于LED的追踪系统。
[0040] 计算设备101可以进一步包括一个或多个附加传感器130。（一个或多个)传感器 130被配置为向处理器102传送传感器信号。在一些实施例中，传感器130可以包括如湿度传 感器、环境光线传感器、陀螺仪、GPS单元、加速度计、范围传感器、深度传感器、生物传感器、 相机或温度传感器。在一些实施例中，传感器130可以处于计算设备101外部并且与计算设 备101进行有线或无线通信。例如，传感器130可以包括耦合至可佩戴设备(例如，指环或腕 带）的生物传感器。该生物传感器可以被配置为向计算设备101无线传送传感器信号，该计 算设备例如可能位于用户的口袋之中。
[0041] 在一些实施例中，计算设备101包括与处理器102进行通信的触觉输出设备118。触 觉输出设备118被配置为响应于触觉信号而输出触觉效果。在一些实施例中，触觉输出设备 118被配置为输出包括振动、所感知摩擦系数的变化、模仿纹理、温度变化、划动感、电触觉 效果或表面形变(例如，与计算设备101相关联的表面的形变）的触觉效果。另外，一些触觉 效果可以依次和/或共同使用相同或不同类型的多个触觉输出设备118。虽然图1中示出了 单个触觉输出设备118,但是实施例可以使用相同或不同类型的多个触觉输出设备118以产 生触觉效果。
[0042] 在一些实施例中，触觉输出设备118处于计算设备101之外并且与计算设备101进 行通信(例如，经由于诸如以太网、USB、IEEE 1394的有线接口和/或诸如IEEE 802.11、蓝牙 或无线电接口的无线接口）。例如，触觉输出设备118可以与可佩戴设备相关联(例如，与之 耦合)并且被配置为从处理器102接收触觉信号。
[0043] 在一些实施例中，触觉输出设备118被配置为输出包括振动的触觉效果。触觉输出 设备118可以包括例如一个或多个压电致动器、电动机、电磁致动器、声音线圈、形状记忆合 金、电活性