专利名称:用于手势的动态反馈的制作方法
技术领域:
本发明的各种实施例涉及用于手势的动态反馈。本发明的一些实施例具有特殊的应用以向做手势的用户在完成该手势之前提供确认该手势的识别的反馈。
背景技术:
随着计算机科学领域成熟,已经开发了各种各样的设备,以允许用户将信息输入到计算机设备中。这些设备中的一类称为指点器(pointing device)。在用户移动设备或设备的组件时,指点器产生相应于该指点器的移动的位置数据。接着将这个位置数据译成在显示器上提供的指针图象的移动。因而,通过移动指点器,用户可将指针图象与由在显示器上提供的其它图象代表的数据相关联。用户然后可通过诸如按压命令按钮之类激活与该指针相关联的命令动作操纵那个数据。
一种特殊类别的指点器允许用户通过相对于一平面移动钢笔或输入笔将信息输入计算机。例如,有些计算机现在包括一数字化输入板,它检测输入笔相对于它的位置。当输入笔横过(或在有些情况下,在其上)输入板的平面移动,输入板产生基于输入笔的位置的位置数据。对于这些计算机来说,数字化输入板可与显示器分开,或可将它结合到显示器中。这种类型的输入设备的一个实例是由Microsoft TabletPC采用的。
输入笔指点器可方便地允许用户使用手写的自然输入技术输入数据。例如,Microsoft TablePC可将通过用输入笔在输入板平面上书写所产生的位置数据转换成电子墨水(electronic ink),很象真的钢笔将墨水写到纸上。在增加输入笔指点器的性能的努力中,有些计算机甚至能够识别用输入笔所做的“手势(gesture)”。更特别地,这些计算机将用输入笔所做的特定的移动识别为命令,诸如执行一个动作或产生一个字符的命令。例如,这种类型的计算机可将用输入笔所做的过大的“S”移动识别为保存打开文件的命令,或者将用输入笔所做的“<”或“>”移动分别识别为将提供在显示器上的图象左移或右移的命令。可替换地或另外,这种类型的计算机可将输入笔以“v”形或“c”形的的移动分别识别为产生文本字符“v”或“c”。
尽管手势的使用显著地增强了输入笔指点器的性能,但是有时用户难以知道何时已经正确地识别了一个特殊的手势。因为每次用户做手势时输入笔的移动将是困难的,所以一个特殊的手势不能始终被准确地识别。因此,用户一般必须做出一个完整的手势,然后等着看该手势是否被准确地识别了。如果计算机没有识别手势,它将不采取所希望的动作。甚至更差,如果计算机不正确地将输入笔的移动识别为另一个手势,它将接着执行一个不希望的操作,然后用户必须撤消该操作。或者,用户可能不经意地移动输入笔,因而做出不想要的手势。对普通计算机来说,用户将不了解他或她偶然做出的手势,直到执行了相应的操作为止。如果用户不了解计算机接受用输入笔所做的手势,则用户甚至可能不理解为什么执行该操作。
发明概述有利地,可使用本发明的各种实施例以向用户提供表示何时已经识别手势的提示反馈。更特别地,本发明的各种实施例甚至在用户已经完成做手势之前,向用户提供表示已经识别手势的反馈。如果已经正确地识别用户的手势,则这个提示反馈使用户放心相应的手势命令将被准确地调用。或者,如果已经不正确地识别用户的手势,则用户可快速地重新开始这个手势。而且,如果已经不正确地将用户的手势识别为另一个手势,则用户可继续移动输入笔以便取消被不正确地识别的手势。
在本发明的各种实施例中,手势识别模块从由用户正在操纵的指点器接收位置数据。手势识别模块连续地分析所接收的位置数据,以便识别指点数据是否相应于一手势。当手势识别模块识别所接收的数据相应于一手势时,手势反馈模块向用户提供已经从位置数据识别手势的反馈。在用户继续操纵指点器时,手势识别模块继续分析从指点器接收的位置数据。如果位置数据继续相应于所识别的手势,那么当用户停止操纵指点器时将调用这个手势。然而,如果位置数据没有继续相应于所识别的手势,那么手势反馈模块向用户提供新反馈,表示手势不再可从位置数据被识别。这个新的反馈可明确地表示手势不再被识别,或者它可仅仅删除较早的反馈。
图1示出可用于实现本发明的各种方面的通用数字计算环境的示意图。
图2A-2D示出没有提示反馈的手势识别的实例。
图3例示依照本发明的实施例的手势反馈工具。
图4例示依照本发明的实施例提供动态手势反馈的方法。
图5-12示出依照本发明的实施例的提示、动态反馈的不同实例。
较佳实施例的详细说明概要本发明涉及从用户所做的手势识别命令的手势反馈工具。而且,当手势反馈工具识别一个手势相应于一个命令时,它向用户提供表示这个工具已经从这个手势识别的命令的反馈。如将在下面详细地讨论的,这个工具在识别这个手势后提供反馈,但在用户完成这个手势之前。例如,如果这个工具将用户的手势识别为执行一个动作的命令,那么这个工具可以代表那个动作的图标的形式向用户提供反馈。可替换地或附加地,如果这个工具将用户的手势识别为产生一个文件字符的命令,那么这个工具可例如以添加在用户正在做手势的位置上的所识别的文本字符的形式向用户提供反馈。
如前面提到的,这个工具可在用户已经完成手势之前提供反馈。这个提示反馈允许用户确认在调用相应的命令之前已经正确地识别这个手势。而且,如果用户的手势几乎完成但还没有被正确地识别,那么用户可在不徒劳地等待要调用的命令的情况下,快速地重新开始这个手势。而且,如果用户的手势已经被不正确地识别为另一个手势,则用户可继续移动指点器,以便取消被不正确地识别的手势。
可使用各种各样的技术实现依照本发明的手势反馈工具。例如,可使用以固态电子器件构成的电路系统实现本发明的一些实施例。可使用在可编程计算设备上执行的指令实现另外的实施例。因此,将描述执行这类指令的示例计算环境。还将连同依照本发明的各种实施例的手势反馈工具的组件和功能一起,描述示范操作和使用本发明的各种接口。
典型操作环境如前面所提到的,使用可在可编程计算机上执行的指令,有时也被称为软件,可实现本发明的手势反馈工具。即,可在由一个或多个计算设备执行的诸如程序模块的计算机可执行指令的一般背景中描述手势反馈工具。通常,程序模块包括执行特定的任务或实现特定的抽象数据类型的例程、程序、对象、组件、数据结构等。典型地,可按需要将程序模块的功能组合或分配到各种实施例中。
因为可使用软件实现本发明,所以简要地讨论可实现本发明的实施例的典型的可编程计算机的组件和操作,对于较好地理解本发明是有帮助的。这样的一个示例计算机系统在图1中所示。该系统包括一通信计算机100。这个计算机100可采用常规的个人数字助理、手写板、桌面或膝上型个人计算机、网络服务器等等的形式。
计算机100一般包括至少某些形式的计算机可读介质。计算机可读介质可以是可由计算机100访问的任何可用的介质。作为例子,不是限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的易失的和非易失的、可移动的和不可移动的介质,用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息。计算机存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字通用盘(DVD)或其它光盘存储器、磁盒、磁带、磁盘存储器或其它磁存储设备,或者可能被用于存储想要的信息和能由计算机100存取的任何其它介质。
通信介质一般包括计算机可读指令、数据结构、程序模块或以调制的数据信号诸如载波或其它传输机制形式的其它数据,并包括任何信息传送介质。术语“调制的数据信号”指具有以设置或改变其一或多个特征的这种方式对信号中的信息进行编码的信号。作为实例,但不是限制,通信介质包括有线的介质,诸如有线的网络或直接线连接,以及无线的介质,诸如耦合器、RF(射频)和其它无线介质。任何上述各项的组合应该也包括在计算机可读介质的范围之内。
计算机系统100一般包括处理单元110、系统存储器120和连接包括系统存储器在内的各种系统组件至处理单元110的系统总线130。系统总线130可以是几种类型总线结构的任何一种,包括存储器总线或存储控制器,外部设备总线,和使用各种总线结构的局部总线。系统存储器120包括只读存储器(ROM)140和随机存取存储器(RAM)150。基本输入/输出系统160(BIOS)一般被存储在ROM40中,它包含帮助在计算机100内组件之间传送信息的基本例程,诸如在起动期间。
计算机100还可包括其它计算机存储介质,诸如读写硬盘的硬盘驱动器170,读写可移动磁盘190的磁盘驱动器180,和读写可移动的的光盘192诸如CD ROM或其它光介质的光盘驱动器191。硬盘驱动器170,磁盘驱动器180和光盘驱动器191分别通过硬盘驱动器接口192、磁盘驱动器接口193和光盘驱动器接口194连接至系统总线130。驱动器及其关联的计算机可读介质,为个人计算机100提供计算机可读指令、数据结构、程序模块和其它数据的非丢失存储。本领域熟练技术人员应该理解,可存储可由计算机访问的数据的其它类型的计算机可读介质,诸如磁带盒、闪存卡、数字通用盘、伯努利盒(Bernoulli catridge)、随机存取存储器(RAM)、只读存储器(ROM)等等,也可在示例的操作环境中使用。而且,应该理解,计算机100的更多的可便携的实施例,诸如写字板个人计算机或个人数字助理,可省略上述计算机存储介质设备的一个或多个。
若干计算机模块包括操作系统195、一或多个应用程序模块196、其它程序模块197和程序数据198,可存储在硬盘驱动器170、磁盘驱动器190、光盘驱动器192、ROM140或RAM150。用户可通过输入设备,诸如键盘101和指点器(例如,鼠标、触摸板或定点棒)将命令和信息输入到计算机100中。如上所述,本发明专注于用于在识别手势时提供反馈的工具。如本领域熟练技术人员将理解的,尽管可使用各种各样的指点器产生手势输入,但是用于产生这种类型的输入的最方便的指点器常常是笔或输入笔。因此,计算设备120一般将包括一数字化器165(有时被称为图形板)和一输入笔或笔166,用户可使用它们产生能被识别为手势的手写输入。如本领域熟练技术人员将理解的,在有些实施例中,数字化器165在输入笔或笔166接触数字化器165的平面时接收手写输入。在其它实施例中,数字化器165可通过跟踪支承笔166的机械臂的角度移动或通过另外的合适的技术,从由笔166产生的光束接收手写输入。
这些和其它输入设备常常通过一连接到系统总线130的串行口接口106连接到处理单元110,但也可以通过其它接口连接,诸如并行端口、游戏端口、IEEE-1394B总线或通用串行总线(USB)。而且,这些设备可直接通过一个合适的接口(未示出)连接至系统总线130。监视器107或其它类型的显示设备也通过一个接口诸如视频适配器108连接至系统总线130。除显示器107之外,个人计算机一般包括其它外部输出设备(未示出)诸如扬声器和打印机。如本领域普通熟练技术人员将理解的,监视器107可包括数字化器165,以构成数字化显示器165。这种结构方便地允许用户使用笔166通过接触显示器165的显示屏直接指向显示在数字化显示器上的对象。
计算机100可在一个使用逻辑连接至一或多个计算机诸如远程计算机109的网络化环境中运行。远程计算机100可以是服务器、路由器、网络PC、对等设备、或其它普通网络节点,并一般包括上面对计算机100所描述的许多或所有元件,尽管在图1中只示出存储器设备111和相关的应用程序196。图1中所示的逻辑连接包括局域网(LAN)112和广域网(WAN)113。这样的网络环境在办公室、企业级计算机网络、企业内部互联网和因特网中是常见的,因此在此将不详细地说明了。
当在LAN网络环境中使用时,计算机100通过网络接口或适配器114连接至LAN112。当在WAN网络环境中使用时,个人计算机100一般包括调制解调器115或用于建立在WAN113例如到因特网上的通信的其它工具。调制解调器115,可以是内置的或外置的,可通过串行口接口106连接至系统总线130。在网络化环境中,对个人计算机100所描述的程序模块或其一部分,可存储在远程存储器设备中。当然,应理解为所示的网络连接是例示的,并且可使用用于在计算机之间建立通信链路的其它方法。假定存在任何各种众知的协议,诸如TCP/IP、以太网、FTP、HTTP等等,且可在客户服务器配置中运行系统以允许用户从一基于web的服务器检索网页。可使用任何各种常规的web浏览器显示和操纵在网页上的数据。
没有提示反馈的手势识别为了更好区别本发明的提示和动态反馈特点,将首先描述不使用本发明的动态反馈的手势识别过程的一个实例。现在参考图2A,形状201是一个图案,手势识别模块将它识别为相应于一个命令的手势。特别是,形状201是一个“S”形状,它将被识别为例如保存打开的文件或产生文本字符“S”的命令。应该理解为一般不向用户显示形状201,因而在图2A中用虚线说明。为了做由形状201代表的手势,用户使用输入笔166产生手写输入203,如在图2B中所示。在这个图中,手写输入203被示为实线。不过,应该注意,有些手势识别模块可能不显示由输入笔166产生的手写输入203。
如也在这个图中所见到的,尽管用户已经产生相应于大部分的手势形状201的手写输入203,但是手势识别模块还没有向用户提供表示是否已经将手写输入203识别为相应于形状201的手势的反馈。在图2B中所示的位置处,手势识别模块可能已经将手写输入203识别为由形状201代表的手势。即使手势识别模块已经做了这个识别,但是,用户不知道这个识别。
现在参考图2C,即使用户完成相应于手势形状201的手写输入203,手势识别模块仍没有向用户提供表示是否已经识别适当的手势的任何反馈。对有些手势识别模块来说,在用户停止做手势(即,当用户已经完成手写输入203并从数字化器165的平面从移去输入笔时),手势识别模块可能仍没有向用户提供是否已经正确地识别手势的任何反馈,如在图2D中所示。因而,用户必须等着看是否调用相应于所希望的手势的命令,以判定是否正确地识别了用户的手势。
手势反馈工具图3例示依照本发明的一个实施例的手势反馈工具301。如将在下面讨论的,手势反馈工具301不但识别由用户做的手势而且向用户提供确认手势的识别的提示反馈。如在这个图中见到的,在一个包括用户输入设备303和输入接口模块305的系统中使用工具301。这个系统还包括分层的窗口生成模块319和用户界面321。下面将更详细地讨论这些系统组件的每一个。
首先参考用户输入设备303,用户输入设备303可以是用户能够通过其产生相应于指点器位置的位置数据的任何设备。例如,输入设备303可以是任何类型的常规指点器,包括鼠标、触摸板、操纵杆或轨迹球。如本领域普通熟练技术人员将理解的,基于由指点器的移动(或在指点器上的移动)控制的所显示的指针图标的位置,这些类型的指点器产生虚拟(virtual)的位置数据。
然而,在例示的实施例中,输入设备303是输入笔166,用户可方便地使用它以手写输入数据的形式产生绝对的位置数据。即,输入笔166基于输入笔166相对于数字化器165的平面的位置,产生绝对的位置数据。应该注意,由输入笔166和数字化器165产生的位置数据可能比只是为x-y平面上简单的坐标值更多。如本领域的普通熟练技术人员将理解的,有些类型的数字化器能够确定输入笔166与数字化器165的平面之间的距离,所持输入笔166相对于数字化器165的平面的角度,以及可能甚至能够确定由输入笔166对着数字化器165的平面所施加的压力的大小。依照本发明的各种实施例,可使用一个或多个这些特征(或能够用于任何类型的指点器的可确定的任何位置特征)产生用于做手势的位置数据。
然后,输入接口模块305可以是用于基于用输入设备303产生的位置数据向工具301提供数据的任何类型的用户界面模块。因而,如果输入设备303是输入笔166,那么输入接口模块305可以是一个应用编程接口(API),用于将通过在数字化器165的平面上移动输入笔166而产生的位置数据转换成能够由工具301使用的数据。例如,输入接口模块305可将用输入笔166产生的绝对位置数据转换成电子墨水数据,所述电子墨水数据是由具有每个样值的相应矢量信息的位置数据的离散样值构成的。当然,输入接口模块305可将位置数据转换成对工具301有用的任何数据格式。使用由指点器产生的位置数据的各种类型的输入接口模块305在本领域是众知的,因而在这里将不再更详细地讨论。
现在回来参考图3,工具301包括手势识别模块307。在使用输入设备303产生的位置数据相应于一个手势时,手势识别模块307可使用用于识别的神经网309和/或探试式识别器311。应该注意,尽管例示实施例包括用于识别的神经网309和探试式识别器311两者,可使用另外的或替换的技术从用输入设备303产生的位置数据识别手势。这些替换技术的使用,以及神经网309和探试式识别器311的使用,在本领域中是众知的,因而将不更详细地讨论。
工具301还包括手势反馈模块313。如在图3中所见到的,手势反馈模块313包括位置计算模块315和分层的窗口管理模块317。当手势识别模块405识别用输入设备303产生的位置数据相应于一个手势时,手势识别模块405将所识别的手势报告给手势反馈模块313。在响应时,位置计算模块315判定应该向用户显示什么类型的反馈,以便通知用户已经识别手势。在有些本发明的实施例中,例如,位置计算模块315可使用一查找表以确定相应于由手势识别模块307提供的所识别的手势的手势反馈。当然,还有其它本发明的实施例,可使用任何合乎需要的技术用于在响应一特定手势的识别时,确定将向用户显示的手势反馈的形式。而且,如将在下面讨论的,手势反馈可采用多种多样的形式,包括一或多个图标、文本式消息、颜色改变和动画的显示,可听见的声音的播放,或这些形式的两个或更多的组合。
位置计算模块315还确定将向用户显示相应于所识别的手势的反馈的位置。例如,在有些本发明的实施例中,位置计算模块315可确定将手势反馈(即,表示已经识别手势的反馈)显示在构成手势的最低位置数据之下一固定距离处,或者在构成手势的最高位置数据之上的一固定距离处。可替换地,位置计算模块315,可确定一个应该包括整个手势的限制区。然后位置计算模块315可确定将在这个限制区的上面、下面或两边的一固定距离处显示手势反馈。另外,位置计算模块315可在用户使用输入设备303做手势时,跟踪位置数据的变化。位置计算模块315然后可连续地为相应于用输入设备303产生新的位置数据的手势反馈确定新的位置。
在本发明的有些实施例中,位置计算模块甚至可基于构成手势的位置数据的位置,确定向用户显示的手势反馈的类型或形式。例如,如果构成手势的位置数据被包括在一个相对小的显示区中,那么位置计算模块315可确定小图标而不是更长的文本消息应该作为手势反馈显示。但是,应该理解,在本发明的替换的实施例中,确定手势反馈的形式和确定将向用户显示手势反馈的位置,可由不同的组件而不是由单个位置计算模块315完成。
在图3中所示的本发明的实施例中,使用多个透明的分层的窗口显示手势反馈。如在本领域的普通熟练技术人员了解的,这种类型的透明分层窗口是图形用户界面,在其中只显示包括在窗口内的内容。因而,这种类型的透明分层窗口一般将不包括可见的边界、工具条、任务条、编辑控件或其它类型的控件,因此使显示内容所需要的处理开销。此外,在所示的实施例中,可使用多个小的透明分层窗口提供单个手势反馈最小化,从而使系统的处理开销最小化。
因此,一旦位置计算模块315已经确定手势反馈的形式和将向用户显示手势反馈的位置,分层的窗口管理模块317指示分层的窗口生成模块319在用户界面321上预定的位置产生那个手势反馈。分层的窗口生成模块319可以是,例如,用于管理窗口化的图形用户界面的外观和内容的常规应用编程接口(API)。同样,用户界面321可以是任何类型的常规显示器,包括例如,阴极射线管(半)显示器,等离子屏显示器,或液晶(LCD)显示器,每种显示器在本领域是众知的。因而分层的窗口管理模块317可以是用于控制生成模块319的分层窗口的操作以显示所希望的手势反馈的任何类型的模块。
手势反馈工具的操作图4例示可用于本发明的各种实施例的、提供确认手势的识别的动态反馈的方法,包括手势反馈工具301。如在这个图中所见到的,在步骤401中当用户开始画一个手势时,向用户提供手势反馈的过程开始。在步骤403中,手势识别模块判定到现在为止是否识别出由用户画的手势。例如,对手势反馈工具301来说,手势识别模块307判定来自输入设备303的位置数据是否相应于一个手势。
如果还没有识别出手势,那么在步骤405中,向用户提供还没有识别出手势的反馈。在本发明的有些实施例中,这个非识别反馈可以是肯定地向用户表示还没有识别出一个手势的主动反馈。例如,手势反馈模块313可指示分层的窗口生成模块319生成一个具有声明还没有识别出手势的文本消息内容的窗口。然而,在本发明的其它的实施例中,非识别反馈可以是被动的反馈,其中当手势识别模块还没有识别出手势时不采取动作(即,其中用户界面321保持不变)。虽然肯定的非识别反馈可主动地通知用户还没有识别出手势,但是被动的非识别反馈需要很少或不需要由手势反馈模块的处理开销。
在步骤407中,手势识别模块判定用户是否已经停止做手势。例如,在图3中所示的本发明的实施例中,手势识别模块307判定输入设备303是否正在继续产生位置数据。如果输入设备303不再产生指点器(即,如果用户已经从数字化器165的平面上提起输入笔166),那么在步骤409中工具301不采取进一步的动作。但是,如果用户继续画手势,那么过程循环绕到步骤401,在其中手势识别模块继续在步骤403中试图识别手势。
当在步骤403中手势识别模块识别出用户的手势时,在步骤411中手势反馈模块向用户提供表示已经识别手势的反馈。例如,在图3中所示的实施例中,在手势识别模块307已经从由输入设备303提供的位置数据识别出一个手势的情况下,手势反馈模块313向用户界面321提供表示已经识别手势的反馈。
在本发明的一些实施例中,识别反馈可只向用户表示已经从位置数据识别出手势而不用专门地标识手势识别模块识别出的哪个手势。因而,识别反馈可以是用户将其认作为确认已经识别出手势的图标,只说明已经识别出手势的文本消息,或将向用户表示已经识别出手势的其它可视的显示。可替换地或可附加地,可播放可听见的声音以通知用户已经从位置数据识别出手势。例如,本发明的一些实施例可在识别出手势时播放一特定的音调,或者播放说明已经从位置数据识别出手势的语音消息。
不过,在本发明的另外的实施例中,识别反馈将专门地标识从位置数据识别出的手势。例如,如果手势被识别为相应于采取某个动作的命令,那么手势反馈模块(例如,用于在图3中所示的本发明的实施例的手势反馈模块313)可显示用户与那个动作相关联的图标、文本消息或其它图象。因而,如果手势识别模块307识别出输入的位置数据相应于用于保存打开文件的手势,那么手势反馈模块313可显示一图标通知用户已经保存打开的文件。可替换地,手势反馈模块313可显示解释为例如“已保存文件(file saved)”的文本消息。如果,在另一方面,手势被识别为相应于提供一或多个文本字符的命令,那么手势反馈模块可显示那些字符。例如,如果手势被识别为产生字母“A”的命令,那么手势反馈模块可显示字母“A”通知用户已经识别出手势。
应该理解,由手势反馈模块提供的反馈的速度依赖于手势识别模块307从位置数据识别手势的速度。如果手势识别模块307的操作太慢,以至不能处理由输入设备303产生的每个新的位置数据段,那么手势识别模块307可仅周期性地采样由输入设备303产生的位置数据以识别手势。可替换地或附加地,可使用其它技术加速手势识别模块307的操作,诸如例如,使用一个专用的编程线程执行手势识别过程。在任何情况下,如果手势识别模块307识别一个手势慢于做这个手势产生位置数据的速度,那么由手势反馈模块313提供的反馈也可能落后于位置数据的产生。因此,本发明的一些实施例可通过例如改变所显示的反馈的颜色或亮度,改变反馈以表示正在识别手势的时延。
对于本发明的一些实施例,手势识别模块(例如,在图3中所示的实施例的手势识别模块307)可提供手势的识别的可信度等级。例如,当用户只部分地完成一个手势,手势识别模块可能正确地识别这个手势,但在其识别的准确性上具有相对低的可信度等级。在用户继续完成这个手势(以及识别系统从输入设备303接收另外的位置数据)时,用于所识别的手势的准确性的可信度等级可增加。因此,本发明的各种实施例可提供进一步通知用户有关手势的识别中的可信度等级的手势反馈。
例如,如果手势识别模块在所识别的手势的准确性中具有相对低的可信度,那么手势反馈模块可提供不但标识所识别的手势而且具有红颜色的图标,以表示在这个手势的识别中可信度相对低。如果手势识别模块接着在手势的准确性中增加其可信度等级,则手势反馈模块可将这个图标的颜色从红色改变成黄色,以向用户表示在手势的识别中可信度已经增加。如果在手势中的可信度继续增加,那么手势反馈模块可再次改变图标的颜色,从黄色到绿色,以向用户表示在手势的识别中可信度已经进一步增加了。
应该理解,除颜色之外,还能使用其它技术以标识在手势的识别中可信度等级。例如,本发明的一些实施例可使用不同大小的图标或其它图象,以通知用户关于在所识别的手势中的可信度。可替换地或附加地,本发明的另外的实施例可使用文本消息,以通知用户关于在所识别的手势中的可信度等级。而且,本发明的各种实施例可使用不同的图标或其它图象,可听见的声音或口头消息,或者其它技术,包括一个或多个上述技术的组合,以通知用户关于在所识别的手势中的可信度。
在本发明的一些实施例中,手势识别模块可从一组位置数据识别多于一个手势。对于这些实施例,手势反馈模块可提供标识每个所识别的手势的手势反馈。例如,一手势识别模块可识别一个做成“C”形状的手势(如,例如,相应于复制所选择的数据至计算机的剪贴板的命令的手势),并识别一个做成“S”形状的不同手势(例如,相应于保存打开的文件的命令的手势)。当用户开始做相应于“S”形状的手势时,手势识别模块可能开始时不能区分这个手势与相应于“C”形状的手势。相反,识别系统可能将这手势“识别”为相应于“S”形状和“C”形状两者。在这种情况下,本发明的各种实施例可提供标识两个手势的手势反馈。
而且,本发明的这些实施例中的一些,可提供标识每个所识别的手势和与每个所识别的手势相关联的可信度等级两者的手势反馈。因而,在上述实例中,如果手势识别模块最初将相同的可信度分配给相应于“S”形状的手势和相应于“C”形状的手势两者,则手势反馈模块可向用户提供标识两个手势且具有相同颜色的图标。随着用户继续完成“S”形的手势,手势识别模块相对于在“C”形手势的识别中的可信度等级,将增加在“S”形手势的识别中可信度等级。在响应中,手势反馈模块可改变标识“S”形手势的颜色,以通知用户在“S”形手势的识别中的可信度等级已经增加。
在本发明的另外的实施例中,手势反馈模块可提供允许用户选择执行一个所识别的手势而跳过另一个所识别的手势的手势反馈。因而,在上述实例中,手势反馈模块最初可显示标识“C”形的手势和“S”形的手势两者的图标。用户然后可选择所希望的手势,例如把指点器的指针指到标识所希望的手势上,然后激活命令按钮(或做等价的动作),通常称为在图标上“点击”。不过,应该理解,可使用各种技术以同时标识两个或多个所识别的手势并允许用户选择用于调用所希望的命令的一个所识别的手势。
现在回到图3,在步骤413中,手势识别模块307判定用户是否继续在产生手势(即,用户是否继续在产生位置数据)。如果用户已经停止产生手势(例如,如果用户已经从数字化器165的平面上提起输入笔166),那么在步骤415中,调用相应于由所识别的手势(或具有最高可信度等级的所识别的手势)代表的命令。然而,如果用户继续在完成这个手势,那么过程循环回到步骤401,且手势识别模块307在步骤403中确定继续待识别的手势。
如将从这个过程中理解的,可在用户已经完成手势之前开始识别手势。而且,可在手势完成之前,向用户提供标识手势的反馈。便利地,如果将手势不正确地识别为另一个所不希望的手势,这个提示反馈允许用户在调用相应于手势的命令之前取消正在被不正确地识别的手势。例如,如果用户正在做“C”形手势,被不正确地识别为另一个手势,则可通过标识所不希望的手势的手势反馈通知用户没有正确地识别这个手势。当用户了解没有正确地识别所希望的手势,则用户可移动指点器,以便取消不希望的手势的识别。因而,在响应标识所不希望的手势的手势反馈时,用户然后可以一个将阻止手势识别模块继续识别这个所不希望的手势的方向将指点器从手势移开。
动态手势反馈图5例示可由包括图3所示的本发明的实施例在内的本发明的各种实施例提供的手势反馈的一个实例。如在图5中所见到的,用户已经用输入笔166画相应于所希望的手势形状201的手写输入203。在这个例示的实施例中,“S”形201相应于用于保存打开文件的手势,它已经由手势识别模块307识别。因此,手势反馈模块313显示解释为“保存文件(SAVING FILE)”的文件消息501,以通知用户已经从手写输入201识别出用于保存打开文件的手势。如果这个手势不是用户所希望的手势,那么用户可通过产生不是相应于形状201的另外的手写输入601,取消这个手势,如在图6中所示。在响应中,手势识别模块307不再将手写输入601和701识别为用于保存打开文件的手势。手势反馈模块313然后可通过删除文本消息501提供表示不再识别这个手势的被动反馈。可替换地,手势反馈模块313可提供主动的反馈,它通过显示解释为“取消保存(CANCELING SAVE)”的文本消息603确认不再识别这个手势。
图7例示可在手势识别模块307将手写输入203识别为相应于两个不同手势的时候提供的手势反馈代表保存文件的命令的“S”形的手势,和代表将材料复制到系统剪贴板的命令的“C”形的手势。如在图中所示,手势反馈模块313显示图标701,表示将手写输入203识别为代表保存文件的命令的手势。手势反馈模块313还显示图标703,表示也将手写输入识别为代表保存数据至剪贴板的命令的手势。随着用户继续以“S”形201产生手写输入203,手势识别模块307,相对于把手写输入203识别为代表将数据复制到剪贴板的命令的手势中的可信度等级,可增加把手写输入203识别为代表保存文件的命令的手势中的可信度等级。因此,手势反馈模块313可将图标701与图标703区分开来,以通知用户把手写输入203识别为代表保存文件的命令的手势的可信度等级有增加。例如,如在图8中所示,手势反馈模块313可改变图标701的阴影、颜色或其它外观特征。
在本发明的一些实施例中,手势反馈模块313甚至能与其它应用程序或软件工具合作提供手势反馈。例如,一些基于输入笔的计算机向用户提供允许用户用输入笔产生文本数据的输入用户界面。因而,这种类型的计算机可向用户提供一个文本输入板(text input panel)901,如在图9中所示。如在这个图中所见到的,文本输入板可显示存在于常规键盘上的许多键,诸如“回车(Enter)”键903。因此,如果用户做一个手势,代表也由在文本输入板901中的键代表的命令,则手势反馈模块313可区分相应于所识别的手势的键的外观。在例示的实施例中,用户已经使用输入笔166产生相应于“”形手势201的手写输入203,代表输入数据的命令。在响应中,手势反馈模块313可改变如在图9中所示的“Enter”键903的阴影、颜色或其它外观特征。
而且,本发明的一些实施例可使用手势反馈协助用户做正确的手势。例如,如果用户正在使用具有文本输入板的输入笔提交数据,手势反馈模块313可在响应输入用户界面上键的激活时显示理想的手势。因而,如果用户使用输入笔166激活在文本输入板901中的“Enter”键,则手势反馈模块313可在响应时显示相应的“”形手势1001,如在图10中所示。可使用这种类型的手势反馈有效地使用户认识代表不同命令的手势,因此允许用户在使用输入用户界面之前执行以后的那些命令。
图11A和11B例示了依照本发明的各种实施例的手势反馈的另一个实例。如在这些图中所见到的,用户正使用输入笔做一个“按并保持(press-and-hold)”手势。更具体地说,用户通过将输入笔166保持在数字化器165的单一位置处达一阈值时间段做一个手势。可使用这种类型的手势,例如,调用一菜单命令(常被称为“右击”),用于显示与在输入笔166和数字化器165之间的接触点处显示的对象相关的菜单。最初,手势识别模块307可能没有识别按并保持手势。不过,随着用户继将输入笔166保持在原位,手势识别模块307将开始识别出用户正在做按并保持手势。在响应时,手势反馈模块313显示圆图象1101,以环形将它们安排在输入笔166和数字化器165之间的接触点周围。
随着输入笔继续被保持在原位,手势反馈模块313继续显示另外的圆以完成接触点周围的环形,如在图11B中所示。即,构成环形的圆图象1101的数量与保持输入笔166不动的时间量成比例,就在手势识别模块307调用相应于按并保持手势的命令之前,最后的圆图象1101完成正在显示的环形。因此,每个附加的圆图象1101的显示向用户确认手势识别模块307正在继续识别按并保持手势。而且,在与在调用按并保持手势之前输入笔116必须被保持在原位的阈值时间量成比例的时间增加的情况下显示每个圆图象1101。因而这个反馈的显示通知用户在调用按并保持手势之前用户必须继续保持输入笔166在原位多久。
图12例示依照本发明的各种实施例可提供的手势反馈的另一个实例。如在这个图中所示,已经将手写输入203写到手势识别用户界面区1201中。在例示的实施例中,手势识别模块307已经将手写输入203识别为相应于代表产生文本字符“A”的命令的手势。因此,手势反馈模块313显示字符“A”1203。应该理解,可使用这种类型的手势反馈确认代表产生任何数量的文本字符的命令,甚至产生两个或多个文本字符的命令的手势的识别。
结论如上所述,依照本发明的各种实施例的手势反馈技术向用户提供通知用户有关一个或多个手势的识别的反馈。可有利地使用这个反馈向用户确认正在正确地识别一个手势。而且,这个反馈可警告用户没有正确地识别一个所希望的手势,允许用户在调用它之前取消错误的手势。
本发明可以任何组合或子组合包括本文所述的构件和步骤。因此,存在任意数量的可替换的组合用于构成本发明,它包括来自说明书的一个或多个构件,包括说明、权利要求书和附图,以各种组合或子组合。对于在相关领域中熟练的技术人员,按照本说明书,以或者单独地或者组合本文所定义的一个或多个构件或步骤的方式,可利用本发明各方面的可替换的组合,作为本发明的修改方案或可替换方案,或作为本发明的一部分。
权利要求
1.一种向做手势的用户提供动态反馈的方法,其特征在于,所述方法包括从一指点器接收位置数据,所述位置数据是通过使用指点器做手势产生的;连续地分析所述接收的位置数据以识别何时所述接收的数据相应于至少一个手势命;以及在识别出所述分析的位置数据相应于至少一个手势命令时,提供向用户表示识别所述至少一个手势命令的反馈。
2.如权利要求1所述的方法,其特征在于,所述方法还包括在提供所述反馈之后,继续从所述指点器接收所述位置数据,以及在不再接收其后接收的位置数据时,从在从所述接收的位置数据识别出的所述至少一个手势命令之中,调用手势命令。
3.如在权利要求1所述的方法,其特征在于,所述方法还包括,识别出所述分析的位置数据相应于多个手势命令。
4.如权利要求3所述的方法,其特征在于,所述方法还包括,在识别出所述分析的位置数据相应于多个手势命令时,提供表示识别所述多个手势命令的每一个手势命令的反馈。
5.如权利要求4所述的方法,其特征在于,所述方法还包括确定所述多个手势命令的每一个手势命令的识别准确性的可信度,以及基于所述确定的可信度,提供表示识别所述多个手势命令的反馈。
6.如权利要求5所述的方法,其特征在于,所述方法还包括,可视地提供标识所述多个手势命令的每一个手势命令的指示器,使得每个指示器的外观相应于由所述指示器标识的手势命令的识别准确性所确定的可信度。
7.如权利要求5所述的方法,其特征在于,所述方法还包括在提供所述反馈之后,继续从所述指点器接收所述位置数据,以及使用所述其后接收的位置数据确定所述多个手势命令的每一个手势命令的识别准确性的第二可信度;以及基于所述确定的第二可信度,提供表示识别所述多个手势命令的第二反馈。
8.如权利要求4的所述方法,其特征在于,所述方法还包括在提供所述反馈之后,继续从所述指点器接收所述位置数据,分析所述其后接收的位置数据,以从在所述多个手势命令之中识别出相应于所述接收的位置数据的单一的手势命令;以及提供向用户表示识别所述单一的手势命令的反馈。
9.如权利要求8所述的方法,其特征在于,所述方法还包括,在分析所述其后接收的位置数据以识别出相应于所述接收的位置数据的单一的手势命令时,删除表示识别除所述单一的手势命令之外的所述多个手势命令的每一个手势命令的反馈。
10.如权利要求3所述的方法,其特征在于,所述方法还包括确定所述多个手势命令的每一个手势命令的识别准确性的可信度,使得至少所述多个手势命令中至少一个手势命令具有最高的确定的可信度,以及提供表示识别只有所述至少一个手势命令具有最高确定的可信度的反馈。
11.如权利要求1所述的方法,其特征在于,所述方法还包括,可视地向用户提供所述反馈。
12.如权利要求11所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在显示器上提供的至少一个透明窗口中的方式,可视地向用户提供所述反馈。
13.如权利要求12所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在显示器上提供的多个透明窗口中的方式,可视地向用户提供所述反馈。
14.如权利要求1所述的方法,其特征在于,所述方法还包括,可听见地向用户提供所述反馈。
15.如权利要求1所述的方法,其特征在于,所述方法还包括可视地在显示器上提供相应于所述位置数据的位置信息;以及可视地在显示器上提供所述反馈。
16.如权利要求15所述的方法,其特征在于,所述方法还包括,在显示器上一位置提供所述反馈,该位置与在显示器上提供所述地点信息的地点有关。
17.如权利要求16所述的方法,其特征在于,所述方法还包括,相对于在所述显示器上提供的所述地点信息的变化,移动在显示器上提供所述反馈的位置。
18.如权利要求16所述的方法,其特征在于,所述方法还包括,基于由用户提供的优先选择信息,在显示器上一位置提供所述反馈,该位置与在显示器上提供所述地点信息的地点有关。
19.如权利要求15所述的方法,其特征在于,所述方法还包括,在一字符输入用户界面中提供所述地点信息和所述反馈两者。
20.如权利要求19所述的方法,其特征在于,所述字符输入用户界面包括相应于所述至少一个手势命令的软键(soft key),以及所述反馈包括所述软键的外观相应于至少一个手势命令的变化。
21.如权利要求1所述的方法,其特征在于,只在响应所述指点器的移动时产生所述位置数据。
22.如权利要求1所述的方法,其特征在于,所述方法还包括在提供所述反馈之后,继续从所述指点器接收所述位置数据,连续地分析所述其后接收的位置数据,以识别何时所述其后接收的数据相应于所述至少一个手势命令;以及在识别出所述分析的位置数据不相应于所述至少一个手势命令时,提供向用户表示不再识别所述至少一个手势命令的第二反馈。
23.如权利要求22所述的方法,其特征在于,所述方法还包括,通过删除所述第一反馈提供所述第二反馈。
24.如权利要求22所述的方法,其特征在于,所述方法还包括,通过产生表示所述至少一个手势命令不再被识别的指示器,提供所述第二反馈。
25.如权利要求22所述的方法,其特征在于,所述方法还包括在提供所述第二反馈之后,继续从所述指点器接收所述位置数据,以及当不再接收所述位置数据时,不调用手势命令。
26.一种向做手势的用户提供动态反馈的方法,其特征在于,所述方法包括(i)从指点器接收位置数据,所述位置数据是通过使用所述指点器产生的;(ii)分析所述接收的位置数据,以识别何时所述接收的位置数据相应于手势命令;(iii)如果所述接收的位置数据相应于至少一个手势命令,确定所述接收的位置数据代表所述至少一个手势命令存在,以及提供向用户表示识别所述至少一个手势命令的第一反馈;(iv)如果所述接收的位置数据不相应于至少一个手势命令,确定所述接收的位置数据不代表手势命令,以及提供向用户表示没有识别手势命令的第二反馈;(v)重复步骤(i)至(iv),直到不再接收位置数据为止;以及(vi)在不再接收位置数据时,如果已经确定所述接收的位置数据代表单一的手势命令,则调用所述单一的手势命令。
27.如权利要求26所述的方法,其特征在于,所述方法还包括识别最初接收的位置数据相应于多个手势命令;以及在识别出所述最初接收的位置数据相应于多个手势命令时,提供所述第一反馈以表示识别所述多个手势命令的每一个手势命令。
28.如权利要求27所述的方法,其特征在于,所述方法还包括确定所述多个手势命令的每一个手势命令的识别准确性的可信度,以及基于所述确定的可信度,提供所述第一反馈,以表示识别所述多个手势命令的每一个手势命令。
29.如权利要求28所述的方法,其特征在于,所述方法还包括,可视地提供标识所述多个手势命令的每一个手势命令的指示器,使得每个指示器的外观相应于由所述指示器标识的手势命令的识别准确性所确定的可信度。
30.如权利要求28所述的方法,其特征在于,所述方法还包括分析其后接收的位置数据,以确定所述多个手势命令的每一个手势命令的识别准确性的第二可信度;以及基于所述确定的第二可信度,修改所述第二反馈。
31.如权利要求27所述的方法,其特征在于,所述方法其还包括分析其后接收的位置数据,以识别出相应于所述接收的位置数据的单一的手势命令;以及提供向用户表示识别所述单一的手势命令的第三反馈。
32.如权利要求31所述的方法,其特征在于,所述方法还包括,提供第三反馈以删除表示识别除所述单一的手势命令之外的所述多个手势命令的每一个手势命令的任何指示。
33.如权利要求26所述的方法,其特征在于,所述方法还包括识别最初接收的位置数据相应于多个手势命令,确定所述多个手势命令的每一个手势命令的识别准确性的可信度,使得至少所述多个手势命令的至少一个手势命令具有最高的确定的可信度,以及提供所述第一反馈,以表示识别只有所述至少一个手势命令具有最高确定的可信度。
34.如权利要求26所述的方法,其特征在于,所述方法还包括,可视地向用户提供所述反馈。
35.如权利要求34所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在显示器上提供的至少一个透明窗口中的方式,可视地向用户提供所述反馈。
36.如权利要求35所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在显示器上提供的多个透明窗口中的方式,可视地向用户提供所述反馈。
37.如权利要求26所述的方法,其特征在于,所述方法还包括,可听见地向用户提供所述反馈。
38.如权利要求26所述的方法,其特征在于,所述方法还包括可视地在显示器上提供相应于所述位置数据的地点信息;以及可视地在显示器上提供至少所述第一反馈。
39.如权利要求38所述的方法,其特征在于,所述方法还包括,在显示器上一位置提供至少所述第一反馈,所述位置与在显示器上提供所述地点信息的地点有关。
40.如权利要求39所述的方法,其特征在于,所述方法还包括,相对于在显示器上提供的所述地点信息的变化,移动在显示器上提供的至少第一反馈的位置。
41.如权利要求39所述的方法,其特征在于,所述方法还包括,基于由用户提供的优先选择信息,在显示器上一位置提供至少所述第一反馈,所述位置与在显示器上提供所述地点信息的地点有关。
42.如权利要求38所述的方法,其特征在于,所述方法还包括,在字符输入用户界面中提供所述地点信息和所述反馈两者。
43.如权利要求42所述的方法,其特征在于,所述字符输入用户界面包括相应于所述至少一个手势命令的软键,以及所述第一反馈包括所述软键的外观相应于所述至少一个手势命令的的变化。
44.如权利要求26所述的方法,其特征在于,只在响应所述指点器的移动时产生所述位置数据。
45.如权利要求26所述的方法,其特征在于,所述第二反馈是所述第一反馈的删除。
46.如权利要求26所述的方法,其特征在于,所述方法还包括,提供所述第二反馈,以表示所述至少一个手势命令不再被识别。
47.一种向做手势的用户提供动态反馈的方法,其特征在于,所述方法包括从指点器接收位置数据流的第一部分,所述位置数据流是通过使用所述指点器做手势产生的;识别相应于所述接收的位置数据流的第一部分的至少一个手势命令;以及在接收所述位置数据流的第二部分之前,向用户提供表示识别所述至少一个手势命令的反馈。
48.如权利要求47所述的方法,其特征在于,所述方法还包括,在不再接收位置数据流时,在从所述接收的位置数据流识别出的所述至少一个手势命令之中,调用手势命令。
49.如权利要求47所述的方法,其特征在于,所述方法还包括识别出所述位置数据流的第一部分相应于多个手势命令。
50.如权利要求49所述的方法,其特征在于,所述方法还包括,在识别出所述分析的位置数据流的第一部分相应于多个手势命令时,提供表示识别所述多个手势命令的每一个手势命令的反馈。
51.如权利要求50所述的方法,其特征在于,所述方法还包括确定所述多个手势命令的每一个手势命令的识别准确性中的可信度,以及基于所述确定的可信度,提供表示识别所述多个手势命令的每一个手势命令的反馈。
52.如权利要求53所述的方法,其特征在于,所述方法还包括,可视地提供标识所述多个手势命令的每一个手势命令的指示器,使得每个指示器的外观相应于由所述指示器标识的手势命令的识别准确性所确定的可信度。
53.如权利要求52所述的方法,其特征在于,所述方法还包括接收所述位置数据流的第二部分;使用所述接收的位置数据流的第二部分,确定所述多个手势命令的每一个手势令的识别准确性的第二可信度;以及基于所述确定的第二可信度,提供表示识别所述多个手势命令的第二反馈。
54.如权利要求53所述的方法,其特征在于,所述方法还包括指定所述多个手势命令之中的单一的手势命令具有第二最大确定的可信度;以及通过删除识别除所述单一的手势命令之外的所述多个手势命令的每一个手势命令的任何指示,提供所述第二反馈。
55.如权利要求49所述的方法,其特征在于,所述方法还包括确定所述多个手势命令的每一个命令的识别准确性的可信度,使得所述多个手势命令的至少一个手势命令具有最高的确定的可信度,以及通过表示识别只有所述至少一个手势命令具有最高确定的可信度,来提供所述反馈。
56.如权利要求49所述的方法,其特征在于,所述方法还包括在向用户提供所述反馈之后,从所述指点器接收所述位置数据流的第二部分;分析所述其后接收的位置数据流的第二部分,以从所述多个手势命令之中识别出相应于所述接收的位置数据流的第一和第二部分的单一的手势命令;以及提供向用户表示识别所述单一的手势命令的第二反馈。
57.如权利要求56所述的方法,其特征在于,所述方法还包括接收所述位置数据流的第三部分;分析所述位置数据流的第三部分,以识别出所述位置数据流的第三部分是否相应于所述多个手势命令的至少一个手势命令;以及如果所述位置数据流的第三部分不相应于所述多个手势命令的至少一个手势命令,则提供表示不再识别手势命令的第三反馈。
58.如权利要求57所述的方法,其特征在于,所述方法还包括,通过删除所述第二反馈提供所述第三反馈。
59.如权利要求57所述的方法,其特征在于,所述方法还包括通过产生表示不再识别所述单一的手势命令的一个指示器,提供所述第三反馈。
60.如权利要求47所述的方法,其特征在于,所述方法还包括,可视地向用户提供所述反馈。
61.如权利要求60所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在在显示器上提供的至少一个透明窗口中的方式,可视地向用户提供所述反馈。
62.如权利要求61所述的方法,其特征在于,所述方法还包括,通过将所述反馈包括在显示器上提供的多个透明窗口中的方式,可视地向用户提供所述反馈。
63.如权利要求47所述的方法,其特征在于,所述方法还包括,可听见地向用户提供所述反馈。
64.如权利要求47所述的方法,其特征在于,所述方法还包括可视地在显示器上提供相应于所述位置数据的地点信息;以及可视地在显示器上提供所述反馈。
65.如权利要求64所述的方法,其特征在于,所述方法还包括,在显示器上位置提供所述反馈,该位置与在显示器上提供所述地点信息的地点有关。
66.如权利要求65所述的方法,其特征在于,所述方法还包括,相对于在显示器上提供的所述地点信息的变化,移动在显示器上提供所述反馈的位置。
67.如权利要求65所述的方法,其特征在于,所述方法还包括,基于由用户提供的优先选择信息,在显示器上一位置提供所述反馈,所述位置与在显示器上提供所述地点信息的地点有关。
68.如权利要求64所述的方法,其特征在于,所述方法还包括,在字符输入用户界面中提供所述位置信息和所述反馈两者。
69.如权利要求64所述的方法,其特征在于,所述字符输入用户界面包括相应于所述至少一个手势命令的软键,以及所述反馈包括所述软键的外观相应于至少一个手势命令的变化。
70.如权利要求47所述的方法,其特征在于,只在响应所述指点器的移动时产生所述位置数据。
71.如权利要求47所述的方法,其特征在于,所述方法还包括接收所述位置数据流的第二部分;分析所述位置数据流的第二部分,以识别所述位置数据流的第二部分是否相应于所述至少一个手势命令;以及如果所述位置数据流的第二部分不相应于所述至少一个手势命令,则提供表示不再识别手势命令的第二反馈。
72.如权利要求71所述的方法,其特征在于,所述方法还包括,通过删除所述第一反馈提供所述第二反馈。
73.如权利要求71所述的方法,其特征在于,所述方法还包括,通过产生表示不再识别手势命令的一个指示器提供所述第二反馈。
74.一种向做手势的用户提供动态反馈的手势反馈工具,其特征在于,所述工具包括手势识别模块,该模块从一指点器接收位置数据;连续地分析所述接收的位置数据,以识别何时所述接收的数据相应于至少一个手势命令;以及在响应识别出所述接收的位置数据相应于至少一个手势命令时,产生标识所述至少一个手势命令的位置数据;手势反馈模块,该模块从所述手势识别模块接收所述手势命令数据,以及在响应接收所述手势命令数据时,为用户产生相应于由所述手势命令数据所标识的所述至少一个手势的反馈。
75.如权利要求74所述的手势反馈工具,其特征在于,所述手势识别模块包括神经网。
76.如权利要求74所述的手势反馈工具,其特征在于,所述手势识别模块包括识别器,用于基于探试法识别出相应于至少一个手势命令的所述接收的指点数据。
77.如权利要求76所述的手势反馈工具,其特征在于,所述手势识别模块包括神经网。
78.如权利要求74所述的手势反馈工具,其特征在于,所述接收的指点数据与在显示器上的指点地点相关联;以及所述手势反馈模块包括位置计算模块,所述位置计算模块在显示器上相对于所述指点地点可视地提供所述反馈。
79.如权利要求78所述的反馈工具,其特征在于,所述位置计算模块基于由用户提供的优先选择信息,相对于所述指点地点在显示器上可视地提供所述反馈。
80.如权利要求74所述反馈工具,其特征在于,所述手势反馈模块包括在用户界面中提供所述反馈的分层的窗口管理模块。
81.如权利要求80所述的反馈工具,其特征在于,所述分层的窗口管理模块在字符输入用户界面中提供所述反馈。
82.如权利要求80所述的反馈工具,其特征在于,所述分层的窗口管理模块在一个或多个透明窗口中提供所述反馈。
83.一种使用反馈识别手势的方法,其特征在于,所述方法包括向用户提供相应于至少一个手势命令的反馈;接收由与所述反馈相关联的用户产生的数据;以及从所述接收的数据与所述反馈的关联中识别至少一个手势命令。
84.如权利要求83所述的方法,其特征在于,所述反馈是相应于所述至少一个手势命令的指点器的移动的一个指示。
85.如权利要求83所述的方法,其特征在于,所述反馈是指点器应通过该点移动做手势的地点的一个指示。
86.如权利要求83所述的方法,其特征在于,所述反馈是指点器应在该点开始移动做手势的地点的一个指示。
全文摘要
讨论了手势反馈技术,所述技术向用户提供涉及一个或多个手势的识别的反馈。可使用所述反馈向用户确认正在正确地识别一个手势。所述反馈可轮流地警告用户没有正确地识别所希望的手势,因此允许用户在调用错误的手势之前取消所述错误的手势。
文档编号G06F3/041GK1534441SQ20041000821
公开日2004年10月6日 申请日期2004年2月27日 优先权日2003年3月28日
发明者A·J·科尔米克夫-佐特夫, S·索姆基, M·莱尔纳, , A J 科尔米克夫-佐特夫, 坊 申请人:微软公司