专利名称：用于语音到文本转换的触觉增加的系统和方法
技术领域：
本发明总体上涉及用于用户接口的系统和方法，以及更具体地涉及用于语音到文本转换的触觉增加的系统和方法。
背景技术：
电子设备向用户提供多种反馈，包括视觉和听觉反馈。一些设备还向用户提供触觉反馈形式。触觉反馈在一些情况下能够向接收消息的用户提供可能在消息本身中不是显而易见的信息。例如，被转换成文本消息的语音消息可能未能转达发送用户对在消息中表达的主题的感受的情感水平或转达关于消息的其他语境信息。用户常常试图通过凭借将众所周知的符号(例如，表情符号)附加到消息上来表达这种潜在意思来填补这种空白。然而，这样的符号在其能够转达的消息的复杂性方面是受限的。相比之下，触觉反馈能够提供更复杂和直接的方式来以更令人信服的方式向其他用户表达这样的潜在意思。
发明内容
本发明包括用于语音到文本转换的触觉增加的系统和方法。例如，本发明的一个实施例包括一种计算机实现的方法，该方法包括以下步骤从麦克风接收与语音相关联的音频信号；确定该音频信号的特征；以及至少部分基于该特征来生成致动器信号。致动器信号被配置成促使致动器输出触觉效果。另一个实施例包括一种编码有用于执行这样的方法的处理器可执行程序代码的计算机可读介质。提及这些说明性实施例并不是为了限制或限定本发明，而是提供示例以帮助对本发明的理解。在具体实施方式
中论述了说明性实施例，并且在那里提供了对本发明的进一步描述。可以通过研究本说明书来进一步理解由本发明的各种实施例提供的优点。
当参考附图来阅读以下具体实施方式
时，将更好地理解本发明的这些及其他特征、方面、和优点，在附图中图1是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图；图2是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的图示；图3是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图；图4是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图；图5是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图；以及图6是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。
具体实施例方式本发明的实施例提供了用于语音到文本转换的触觉增加的系统和方法。用于语音到文本转换的触觉增加的说明性系统在本发明的一个说明性实施例中，一种移动电话，包括处理器以及与处理器通信的麦克风和扬声器。该移动电话还包括与处理器通信的致动器。致动器能够输出能够由移动电话的用户感受到的触觉效果。用户能够使用该电话来记录语音消息，处理器然后将该语音消息转换成文本消息。另外，处理器被配置成对语音消息进行分析以便确定该消息的特性。例如，在一个这样的实施例中，对用户的语音消息的频率、幅度和持续时间进行分析，并且处理器确定与每一个这些参数相对应的触觉效果。然后，处理器将触觉效果与消息的文本版本相关联，并且将消息传送给预期接收者。在第二实施例中，对用户的生物节律进行分析，并且处理器确定与用户的生物节律响应相对应的触觉效果。然后，如上，处理器将触觉效果与消息的文本版本相关联，并且将消息传送给预期接收者。进一步展望的是，语音分析和生物节律可以由处理器同时完成来达成对要被传送给预期接收者的触觉效果的确定。在说明性实施例中，接收者也具有包括用于输出触觉效果的致动器的移动设备，诸如偏心旋转质量(“ERM”)电机。当接收者打开消息时，经由移动设备向该接收者输出与该消息相关联的触觉效果。例如，第一用户可以通过叫喊来创建消息。当处理器对语音消息进行分析时，处理器将所得到的文本消息与高幅度触觉效果相关联，使得接收用户能够“感受到”嵌入消息中的情感。在另一个示例中，当用户在以高音说话同时创建语音消息时，处理器将高频触觉效果与所得到的文本消息相关联。给出这些说明性示例以向读者介绍在此论述的一般主题。本发明并不限于这些示例。下面部分描述了用于语音到文本转换的触觉增加的系统和方法的各种另外的实施例和示例。用于话音到文本增加的说明性系统现在参考附图，其中相同的附图标记遍及多个图指示相同的元素。图1示出了根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图。如图1中所示，系统包括移动设备100。在一个实施例中，移动设备100包括移动电话。在其他实施例中，移动设备100可以包括另一个便携式或手持式电子设备，诸如便携式数字助理(PDA)、便携式媒体播放器、便携式游戏设备或膝上型计算机。在一些实施例中，移动设备100可以代替
5地包括非便携式电子设备，诸如台式计算机。在图1中所示的实施例中，移动设备100包括麦克风105。麦克风105接收音频，诸如用户的语音或环境声音，并且将音频转换成对应的输入信号，该输入信号至少部分地基于来自麦克风的音频信号。在图1所示的实施例中，移动设备100还包括生物传感器106。生物传感器106接收生物信息，诸如用户的生物节律，并且至少部分地基于生物传感器数据将生物信息转换成对应的输入信号。移动设备100还包括与麦克风105通信的处理器110。在所示的实施例中，处理器110被配置成从麦克风105接收音频信号，并且对音频信号进行处理。例如，处理器110可以对音频信号进行分析以确定该音频信号的一个或多个特性。在其他实施例中，移动设备100可以包括协同工作的多个处理器。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PR0M)、电可编程只读存储器(EPR0M或EEPR0M)、或其他类似器件。移动设备100还包括与处理器110通信的致动器115。致动器115可以包括多种类型的致动器中的一个或多个。例如，致动器115可以是压电式致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(ERM)或线性谐振致动器(LRA)。在一个实施例中，移动设备100可以包括多个致动器。在这样的实施例中，处理器110被配置成将触觉信号发送给多个致动器中的至少一个。仍然参考图1，移动设备100还包括计算机可读介质120。计算机可读介质120可以用于存储程序代码，所述程序代码当由处理器110执行时促使该处理器执行在此公开的方法的各个步骤。本发明的实施例可以以数字电子电路、或以计算机硬件、固件、软件、或以其组合来实现。诸如随机存取存储器(RAM)的计算机可读介质120与处理器110通信或被耦接到处理器110。处理器110执行存储在计算机可读介质120上的计算机可执行程序指令，诸如执行用于对音频信号进行分析的一个或多个计算机程序。计算机可读介质的实施例可以包括但不限于能够向诸如移动设备100中的处理器110的处理器提供计算机可读指令的电子、光学、磁性、或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、已配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从中进行读取的任何其他介质。在此描述的处理器和处理可以处于一个或多个结构中，并且可以散布于一个或多个结构。在图1中所示的实施例中，移动设备100还包括与处理器110通信的扬声器125。扬声器125被配置成输出音频信号，诸如语音消息。在一个实施例中，还可以将扬声器125与致动器115进行组合来输出音频信号和触觉效果两者。所示的移动设备100还包括显示器140。例如，在移动设备100是PDA的实施例中，显示器140可以包括用于向用户显示消息的触摸屏接口。移动设备100还包括与处理器110通信的网络接口 135。网络接口 135允许移动设备100通过网络150与远程设备130进行通信。例如，在一个实施例中，移动设备100可以通过因特网与另一个移动设备或与计算机或其他电信设备进行通信。在图1中所示的实施例中，网络接口 135包括被配置成允许移动设备100通过一个或多个蜂窝电话网络进行通信的基带处理器和蜂窝无线电。在一些实施例中，网络接口135可以包括其他通信设备。例如，在一个实施例中，网络接口 135可以包括802. 11无线以太网接口或蓝牙接口。在一些实施例中，网络接口 220可以包括有线网络接口，诸如以太网适配器。移动设备100可以被配置成将消息或信号传送给其他设备。现在参考图2，图2是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的图示。在图2中所示的实施例中，移动电话200包括麦克风205和显示器M0。移动电话还包括处理器、致动器、计算机可读介质和网络接口，其被布置在移动电话200中但是在图2中都没有被示出。现在参考图3，图3是根据本发明的一个实施例的用于语音到文本转换的触觉增加的系统的框图。在图3中所示的实施例中，系统包括通过网络380进行通信的两个设备，设备A 300和设备B 350。在一些实施例中，第一设备，设备A 300或第二设备，设备B 350包括便携式或手持式电子设备，诸如便携式数字助理(PDA)、便携式媒体播放器、便携式游戏设备、膝上型计算机或移动电话。在其他实施例中，第一设备300或第二设备350包括非便携式电子设备，诸如台式计算机。在图3中所示的实施例中，第一设备300包括处理器310、计算机可读介质315、网络接口 320以及诸如麦克风/生物传感器335的输入设备。在一些实施例中，第一设备，设备A 300还可以包括更多或更少数量的组件。例如，设备A 300可以包含以下中的一个或多个蓝牙组件、触敏表面、鼠标和/或键盘。设备A 300的组件以与在图1的移动设备100中所示并且关于图1的移动设备100所描述的那些的对应组件相似的方式运作。在图3中所示的实施例中，第二设备，设备B 350包括处理器360、计算机可读介质365、网络接口 370和致动器375。在一些实施例中，第一设备300和第二设备350是相似或相同的设备，而在其他实施例中，它们不是。在图3中所示的实施例中，第一设备处理器和第二设备处理器310和360与其相应的网络接口 320和370进行通信。在所示的实施例中，网络接口 320和370每一个包括被配置成允许设备300和350使用网络380来相互通信或与另一个设备通信的基带处理器和蜂窝无线电装置。例如，这样的实施例可以通过包括一个或多个蜂窝电话网络的网络380进行通信。在其他实施例中，网络接口 320可以包括其他类型的网络接口，诸如802. 11无线以太网、有线以太网、蓝牙或USB。例如，在一个实施例中，网络接口 320可以包括802. 11无线以太网接口。用于话音到文本增加的说明性方法图4-6是图示根据本发明的实施例的各种方法的流程图。关于在图1中示出的移动设备100论述了流程图，尽管可以利用用于实现本发明的实施例的各种其他环境，并且在此描述了若干这样的环境。图4是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。当处理器接收到输入信号405时，在图4中所示的触觉增加方法400开始。在一个实施例中，响应于麦克风的对诸如由用户的语音所产生的音波的感测，从麦克风105接收输入信号。在另一个实施例中，从生物传感器接收输入信号。在其他实施例中，可以从存储介质接收音频信号。例如，在一个这样的实施例中，在或从用户的语音邮件箱接收音频信号。一旦已经接收到输入信号，则处理器110可以对输入信号进行分析以确定输入信号的一个或多个特性410。例如，处理器110可以确定音频信号具有特定频率和/或幅度。或处理器110可以确定生物传感器信号包括特定生物节律。至少部分地基于所确定的特性，处理器110接着生成致动器信号415。在一个实施例中，通过搜索与各种特性相关联的触觉效果库来完成确定。在其他实施例中，确定可以基于计算。在一些实施例中，输出单个触觉效果。在其他实施例中，可以输出多个触觉效果。处理器110接着将致动器信号传送给致动器(1巧)415。致动器信号被配置成促使致动器115输出与所确定的特性相关联的特定触觉效果。一旦致动器115接收该信号，则致动器115输出触觉效果。现在参考图5，图5是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。当处理器110从诸如麦克风或生物传感器的输入设备接收输入信号505时，在图5中所示的触觉增加方法500开始。在所示的实施例中，从麦克风105接收输入信号。处理器110对输入信号进行分析以便确定输入信号的特性510。例如，特性可以是音频信号的频率、幅度、持续时间或其他参数。或特性可以是个人的生物测量，诸如个人的心率、呼吸、体温或生物节律。处理器110然后至少部分地基于输入信号的一个或多个特性来生成一个或多个致动器信号515。致动器信号中的每一个被配置成促使致动器输出触觉效果。在所示的实施例中，一旦已经生成了致动器信号，则处理器110将该致动器信号传送给一个或多个致动器520。例如，在包括单个致动器的一个实施例中，处理器110将致动器信号仅传送给该致动器(例如，致动器11 。在包括多个致动器的另一个实施例中，处理器110将单个致动器信号传送给所有的致动器。在又一个实施例中，处理器110将独立并且潜在不同的致动器信号传送给多个致动器中的每一个。现在参考图6，图6是根据本发明的一个实施例的用于语音到文本转换的触觉增加的计算机实现的方法的流程图。在所示的触觉增加方法600中，处理器110接收音频信号 605。处理器110然后确定音频信号的特性610，并且至少部分地基于音频信号来生成致动器信号615。致动器信号被配置成促使致动器115输出触觉效果。处理器110然后采用语音识别设施来确定与音频信号相关联的词620。例如，处理器110可以访问包括词列表和关联特性的数据储存器，以使音频信号与词相匹配。在图6中所示的实施例中，一旦处理器110已经确定了与音频信号相关联的词，则处理器确定致动器信号与该词相关联625。例如，致动器信号可以被存储在与用来确定与音频信号相关联的词相同的数据储存器中。在其他实施例中，数据储存器是单独并且不同的。在又一个实施例中，实现触觉逸出词。在这样的实施例中，当用户说出特定词序列时，将触觉效果与该序列相关联。例如，用户可以说出“闪烁闪烁”来触发特定触觉效果，其可以被称为触觉符号(hapticon)。一旦处理器110确定词和致动器信号，则处理器110将其传送给致动器(115)620。接收词和致动器信号的设备然后可以输出触觉效果。语音到文本增加的说明性实现本发明的实施例可以以多种方式来实现以提供多种用户体验。关于图1描述了下面的示例。对于这些示例中的一些，假设发送消息的第一用户和接收消息的第二用户都正使用如图1中所图示的移动设备100。例如，在图1中所示的实施例中，发送用户可能希望经由移动设备100向接收用户发送文本消息。代替使用键盘来键入文本消息，发送用户可能希望使语音消息转换成文本消息来发送给接收用户。因此，发送用户可以对着麦克风105说话，麦克风105生成对应的音频信号并且将音频信号传送给处理器110。处理器110还可以同时或基本上同时将话音转换成文本。将话音转换成文本的这样的过程对本领域技术人员来说是已知的。称为SpinVox的公司制作了一个这样的应用。处理器110接收发送用户的语音信号，并且确定该语音信号的特性。所述特性可以是音频信号的频率、幅度、持续时间或其他参数。处理器110然后至少部分地基于由发送用户创建的语音信号的特性来生成致动器信号。处理器110然后将致动器信号传送给致动器115，其促使致动器115输出触觉效果。该触觉效果可以由用户感受到。例如，如果发送用户对着移动设备100的麦克风105叫喊，则处理器110可以确定音频信号具有高幅度特性。处理器110然后可以生成被配置成促使致动器115输出高幅度触觉效果的高幅度致动器信号。因此，触觉效果与原始音频信号的幅度特性相对应。在一些实施例中，处理器110可以被配置成将致动器信号和音频信号两者分别传送给致动器115和扬声器125。例如，再次参考第一用户对着移动设备100叫喊并且处理器创建对应的高幅度致动器信号的上面的示例，处理器110可以被配置成将来自发送用户的叫喊的音频信号和所得到的高幅度致动器信号分别传送给扬声器125和致动器115。在一些实施例中，扬声器125可以被配置成输出致动器和音频信号两者，生成触觉效果和对应的声音两者。在另一个实施例中，处理器110可以被配置成确定与音频信号相关联的词，并且将该词和对应的致动器信号传送给远程设备130。例如，在这样的实施例中，如果发送用户对着麦克风105叫喊“生气”，则处理器110可以接收来自发送用户的叫喊的音频信号、确定音频信号的高幅度特性、并且生成被配置成促使致动器115输出高幅度触觉效果的高幅度致动器信号。处理器110还可以确定词“生气”与音频信号相关联、可以将词“生气”和高幅度致动器信号存储在计算机可读介质120中，并且然后将词“生气”和高幅度致动器信号传送给远程设备130。在另一个实施例中，发送用户可以以正常声调低声说或说出词“生气”，而处理器110仍然可以基于词在交流中的性质，即内容，将高幅度致动器信号与该词相关联。此外，在图1中所示的实施例中，处理器110可以被配置成至少部分地基于音频信号来生成多个触觉效果。例如，除作为发送用户对着麦克风105叫喊“生气”的结果，处理器110生成单个高幅度致动器信号之外，处理器110还可以至少部分地基于音频信号来生成高频触觉效果、长持续时间触觉效果或触觉效果的任何组合。在一个实施例中，处理器110通过从触觉效果库识别与该特性相关联的触觉效果来生成致动器信号。例如，如果发送用户对着麦克风105惊叫“我很激动”，则处理器110可以接收来自发送用户的惊叫的音频信号、确定音频信号的高幅度、高频特性、并且通过从触觉效果库识别与高幅度、高频特性相关联的高幅度、高频触觉效果来生成高幅度、高频致动器信号。在另一个实施例中，处理器110可以确定与音频信号相关联的词，并且至少部分地基于该词来生成致动器信号。例如，如果处理器110确定词“爱”与音频信号相关联，则处理器110可以通过识别在触觉效果库中的将词“爱”与模拟心跳触觉效果相关联的词“爱”，来生成引起模拟心跳触觉效果的脉冲致动器信号。在又一个实施例中，处理器110可以至少部分地基于音频信号和至少部分地基于词来生成致动器信号。例如，如果发送用户对着麦克风105轻柔并缓慢地说出“爱”，则处理器110可以接收来自发送用户的陈述的音频信号、可以确定音频信号的低幅度、低频特性，并且可以生成低幅度、低频致动器信号。处理器110还可以确定词“爱”与音频信号相关联，并且可以通过识别在触觉效果库中的将词“爱”与模拟心跳触觉效果相关联的词“爱”，来生成引起模拟心跳触觉效果的脉冲致动器信号。处理器110可以被配置成然后将通过“爱”音频信号的特性所确定的触觉效果与通过词“爱”的特性所确定的触觉效果相组合，产生低幅度、低频模拟心跳触觉效果。在另一个实施例中，发送用户可能希望经由移动设备100向接收用户发送消息。发送用户可以对着移动设备100的麦克风105说出“生日快乐”。作为响应，处理器110可以确定词“快乐”和“生日”与音频信号相关联，并且可以确定处理器110传送给致动器115的与每一个词相关联的单独触觉效果。在一个实施例中，处理器生成促使与“生日快乐”歌曲相对应的触觉效果被传送给接收用户的设备的致动器的脉冲致动器信号。在另一个实施例中，移动设备100的处理器110可以至少部分地基于音频信号和至少部分地基于包含在音频信号中的词来生成致动器信号。例如，如果发送用户对着移动设备100的麦克风105轻柔并缓慢地说出“猫”，则处理器110可以接收来自发送用户的陈述的音频信号、确定音频信号的低幅度、低频特性、并且生成低幅度、低频致动器信号。替代地，处理器110可以确定词“猫”与音频信号相关联，并且生成引起猫喘鸣触觉效果的快速脉冲致动器信号。参考图3，在又一个实施例中，发送用户可以对着包括移动电话的第一设备300的例如麦克风的输入设备335尖叫“救命”。第一设备300的处理器310可以接收来自麦克风335的音频信号、确定音频信号的高幅度、长持续时间特性、并且生成高幅度、短持续时间致动器信号。类似地，第一设备300的处理器310可以被配置成确定与音频信号相关联的词“救命”，并且将词“救命”和致动器信号存储在计算机可读介质315中。此外，第一设备300的处理器310可以被配置成通过从触觉效果库识别与高幅度、短持续时间特性相关联的高幅度、短持续时间触觉效果来生成高幅度、短持续时间致动器信号。类似地，第一设备300的处理器310可以配置成通过识别触觉效果库中的将词“救命”与脉冲莫尔斯电码S.O.S.触觉效果相关联的词“救命”，来生成产生脉冲莫尔斯电码S. 0. S.触觉效果(点-点-点长-长-长点-点-点)的高幅度、短持续时间致动器信号。参考图3，在又一个实施例中，第一设备300是发送用户的设备并且被配置使得其处于自动“收听”响应模式，在该模式下其基于预定义的环境声音来将触觉、听觉和/或视觉消息自动传送给第二接收设备350。例如，如果一个警察是发送用户，他的移动设备处于自动“收听”响应模式，则他的设备可以被配置成如果该警察的设备识别了枪声，则自动传送对支持或警察支援的请求。在该收听模式的另一个示例中，警官的设备可能正在收听该警官的生物节律，并且可能检测到该警官需要医疗救护，并自动传送对救护车的请求。对这些请求的传送可以是特定于任务并且本地化的。例如，传送可能针对附近的一个或多个接收者，诸如该警察的团队成员。例如，如果一组警察正协作搜寻逃犯，并且警察中的一个定位了该逃犯，则该警察的“收听”设备可以向周围的警察传送将帮助该警察的对该逃犯的位置的逼近的自动消息。如果警察在身体上不能将该信息通信给同伴警察，例如，如果该警察在与逃犯搏斗或赛跑，则这样的特征是非常有帮助的。在这样的实施例中，所得到的音频信号、词、致动器信号和/或触觉效果可以经由第一设备300和第二设备350相应的网络接口 320和370以及经由网络380，从第一设备300传送给第二设备350。例如，词“救命”和与词“救命”相关联的高幅度、短持续时间莫尔斯电码S. 0. S.触觉效果可以经由包括电信网络的网络380从包括移动电话的第一设备300传送给也包括移动电话的第二设备350。因此，第一设备300的发送用户可以将语音到文本消息与触觉效果一起传送给第二设备350的接收用户。在其他实施例中，仅音频信号可以从第一设备300传送给第二设备350，第二设备350然后对信号进行分析并且生成任何关联的触觉效果。用于实现的说明性环境可以在关于残疾人的电信情景下有利地采用本发明的实施例。例如，实施例在TTY(电话打字机)应用中可以是有用的，其借助于用于经由电话线的文本通信的电子设备来帮助具有听力或语言障碍的人。当残疾人士使用传统TTY设备时，由于文本的性质，通常丧失消息的情感和感受。使用本发明的实施例，残疾人士可以对着麦克风说话，并且经由触觉效果保留隐藏在语音到文本消息后的情感，而不是在传统TTY设备上直接键入文本消息，其中丧失了与消息相关联的任何情感感受。还可以在SMS文本消息发送情景下有利地采用本发明的实施例。例如，许多州宣布在驾驶汽车时在移动电话上进行消息发送和交谈为非法行为，但是那些相同的州通常允许驾驶员在驾驶时使用免提设备来交谈，所述免提设备诸如无线蓝牙耳机或有线麦克风和耳机。然而，这些免提设备不帮助在驾驶汽车时发送文本消息。使用本发明的实施例，驾驶员可以对着麦克风说话，并且使其语音消息转换成具有关联的触觉效果的文本消息。本发明的实施例不仅允许驾驶员在驾驶时合法并且安全地发送文本消息，而且其经由触觉效果来保留来自语音消息的情感，允许发送用户将其情感通信给接收用户。还可以在在线聊天情景或电子邮件情景下有利地采用本发明的实施例。发送用户可以对着麦克风说话，并且使其语音消息转换成用于要经由因特网发送给接收用户的聊天或电子邮件的文本消息。可以将与语音消息或与所得到的聊天消息或电子邮件的词相关联的触觉效果与聊天消息或电子邮件一起发送，允许诸如讥讽、真诚或愤怒的各种各样的情感、以及其他内容和潜在意思被传达。该实施例允许发送用户有更多自由来跨计算机网络表达期望的消息。还可以在医疗情景下有利地采用本发明的实施例。例如，四肢瘫痪或另外有阻碍的病人可以能够通过使用语音消息并且通过接收触觉响应来与计算机或电话交互。床可以装备有被无线连接到计算机的一个或多个致动器。基于来自发送或接收用户的被转换成文本消息的语音消息，可以输入以及输出各种触觉效果。如果用户是视力和/或听力受损，则可以实现类似优点，从而减少或限制可用通信通道的数量。还可以在可能另外妨碍可听见或可看见的响应的嘈杂或明亮环境中有利地采用本发明的实施例。例如，在本发明的一个实施例中，跌倒的老年人可以从本发明的实施例发送或接收触觉反馈以向紧急服务表明需要帮助或帮助正在进行中。本发明的一些实施例在军事情景下也可以是有帮助的。例如，在隐蔽行动中，音频通道可能被限制在特定类型的通信或不可用。在本发明的一个实施例中，用户可能能够从不能发送语音消息的军事间谍获得具有触觉确认的文本消息。例如，士兵可能能够说出对被转换成文本并且作为文本和触觉效果传送给另一个士兵的命令的响应。在这样的实施例中，士兵可以采用已建立的触觉模式集合来允许在一个或多个士兵之间进行有效通信。例如，指挥官可能在言语通信被认为是安全的区域，并且可能正监视一群士兵的通过敌人环境的进程。指挥官可以发出言语命令以指示士兵应当向左转。语音命令可以被识别并且作为文本信息和触觉效果传送给士兵。综述虽然根据若干优选实施例描述了本发明，但是预期的是，在阅读说明书和研究附图时，本发明的更改、置换和等同物对本领域技术人员将变得显而易见。例如，许多不同的应用程序可以使用本发明的语音到文本消息发送功能，包括游戏程序、虚拟现实程序和环境、用于商务会议的电话会议应用、通过计算机网络或其他通信信道的电话类型语音通信等。此外，为了描述清楚的目的，使用了某些术语，但是其并不限制本发明。因此，意图是，所附权利要求包括落在本发明的真实精神和范围内的所有这样的更改、置换和等同物。因此，仅仅出于说明和描述的目的，提供了本发明的实施例，包括优选实施例的前述描述，并且其并不意在是穷尽的或将本发明限制于所公开的精确形式。在不背离本发明的精神和范围的情况下，其许多修改和调整对于本领域的技术人员来说将是显而易见的。
权利要求
1.一种计算机实现的方法，包括接收与语音、环境声音和生物节律中的一个相关联的输入信号；确定所述输入信号的特性；以及至少部分地基于所述特性来生成致动器信号，所述致动器信号被配置成促使致动器输出触觉效果。
2.根据权利要求1所述的计算机实现的方法，其中所述特性包括频率、幅度和持续时间中的一个。
3.根据权利要求2所述的计算机实现的方法，其中所述特性包括高幅度，以及其中所述致动器信号包括对应高幅度致动器信号。
4.根据权利要求1所述的计算机实现的方法，其中接收所述输入信号包括从麦克风接收音频信号。
5.根据权利要求4所述的计算机实现的方法，进一步包括将所述音频信号和所述致动器信号传送给被配置成输出所述音频信号和所述致动器信号的设备。
6.根据权利要求4所述的计算机实现的方法，进一步包括确定与所述音频信号相关联的词；以及将所述词和所述致动器信号传送给远程设备。
7.根据权利要求1所述的计算机实现的方法，进一步包括将所述致动器信号传送给致动器。
8.根据权利要求1所述的计算机实现的方法，进一步包括至少部分地基于所述特性来生成多个触觉效果。
9.根据权利要求1所述的计算机实现的方法，其中生成所述致动器信号包括从触觉效果库选择与所述特性相关联的触觉效果。
10.根据权利要求1所述的计算机实现的方法，其中接收所述输入信号包括从生物传感器接收生物节律信号。
11.一种编码有处理器可执行程序代码的计算机可读介质，所述计算机可读介质包括用于接收与语音、环境声音和生物节律中的一个相关联的输入信号的程序代码；用于确定所述输入信号的特性的程序代码；以及用于至少部分地基于所述特性来生成致动器信号的程序代码，所述致动器信号被配置成促使致动器输出触觉效果。
12.根据权利要求10所述的计算机可读介质，其中所述特性包括频率、幅度和持续时间中的一个。
13.根据权利要求10所述的计算机可读介质，进一步包括用于将所述致动器信号传送给致动器的程序代码。
14.根据权利要求10所述的计算机可读介质，进一步包括用于将所述输入信号和所述致动器信号传送给被配置成输出所述输入信号和所述致动器信号的设备的程序代码。
15.根据权利要求10所述的计算机可读介质，进一步包括用于确定与所述输入信号相关联的词的程序代码；以及用于将所述词和所述致动器信号传送给远程设备的程序代码。
16.根据权利要求10所述的计算机可读介质，进一步包括用于至少部分地基于所述特性来生成多个触觉效果的程序代码。
17.一种系统，包括存储器；以及处理器，所述处理器与所述存储器通信并且被配置成接收与语音、环境声音和生物节律中的一个相关联的输入信号；确定所述输入信号的特性；以及至少部分地基于所述输入信号的所述特性来生成致动器信号，所述致动器信号被配置成促使致动器输出触觉效果。
18.根据权利要求17所述的系统，其中所述处理器进一步被配置成确定与所述输入信号相关联的词；将所述词和所述致动器信号传送给远程设备。
19.根据权利要求17所述的系统，其中所述处理器进一步被配置成至少部分地基于所述特性来生成多个致动器信号。
20.根据权利要求17所述的系统，其中所述处理器进一步被配置成通过从触觉效果库识别与所述特性相关联的触觉效果来生成所述致动器信号。
21.根据权利要求17所述的系统，进一步包括与所述处理器通信的麦克风，所述麦克风被配置成接收口头文本输入；生成与所述口头文本输入相对应的音频信号；以及将所述音频信号传送给所述处理器作为所述输入信号。
22.根据权利要求17所述的系统，进一步包括与所述处理器通信的致动器，所述致动器被配置成接收所述致动器信号并且输出触觉效果。
23.根据权利要求17所述的系统，进一步包括生物传感器，所述生物传感器被配置成确定生物节律信号，并且至少部分地基于所述生物节律信号来生成所述输入信号。
24.根据权利要求17所述的系统，进一步包括用于容纳所述存储器、所述处理器和所述致动器的壳体。
全文摘要
公开了用于在用户接口中提供语音到文本触觉增加的系统和方法。例如，一种公开的用于将可听见的话音信息转换成触觉效果的系统包括麦克风和与麦克风通信的处理器，该处理器被配置成从麦克风接收与语音相关联的音频信号、确定音频信号的特性、并且至少部分地基于该特性来生成致动器信号，该致动器信号被配置成促使致动器输出触觉效果。
文档编号G06F3/16GK102597914SQ201080048828
公开日2012年7月18日 申请日期2010年10月27日 优先权日2009年10月29日
发明者罗伯特·W·休贝尔, 艾林·拉姆塞 申请人:伊梅森公司