用于增强的触觉效果的系统和方法

用于增强的触觉效果的系统和方法
【专利摘要】用于增强的触觉效果的系统和方法。提供一种方法，包括：接收具有触觉信息和多媒体数据的输入信号，输入信号以第一格式被格式化；从输入信号解码触觉信息；并确定与触觉设备中的致动器相关联的参数。该方法进一步包括：至少部分地基于参数和触觉信息来生成致动器信号，并生成包括多媒体数据和致动器信号的输出信号，输出信号以第二格式被格式化。
【专利说明】用于增强的触觉效果的系统和方法
[0001] 本申请是申请日为2007年4月6日、申请号为PCT/US2007/008659(进入国家阶 段日2008-10-6,国家申请号200780012335. 3)的专利申请的分案申请。
[0002] 相关申请的夺叉引用
[0003] 本申请要求2006年4月6日提交的，名称为"A Vibrotactile Effects System"的 美国临时申请No. 60/790, 408的优先权，所述申请的全部公开内容通过参考结合于此。

【技术领域】
[0004] 本发明总的涉及触觉（haptic)控制技术。具体而言，本发明涉及用于触觉效果的 系统和方法。

【背景技术】
[0005] 便携设备正快速地演变为集计算、通信和娱乐功能于一个设备的多功能设备。触 觉反馈越来越多地被包括在这些诸如移动电话、个人数字助理等的便携设备之中。但是，传 统上来讲，便携设备仅具备有特色的基本的振动功能。例如，移动电话可能仅具有使振动致 动器（actuator)单幅度地开和关的能力。
[0006] 这些移动电话和其他触觉设备可通过多功能变频器（MFT)来驱动标准的音频信 号以产生振动。一些这类装置可以依赖于音频信号的已有频率来在MFT中随机驱动振动， 而不是使用特定的振动控制信号。如果在音频信号中没有发现这类频率，就不产生振动。
[0007] 尽管目前在移动电话中存在一些振动能力，但便携设备技术的发展和用户要求正 在驱动着对移动电话中先进的振动能力的需求。并且这些设备的生产商为了增强的功能和 控制，可能寻求各种方式将这类先进的振动能力应用在他们的便携设备中。
[0008] 在对振动反馈的要求增长的同时，支持振动反馈的不同触觉设备的数量也在增 长。不同触觉设备的种类增长给设备设计者制造了两难处境。一方面，设备设计者可能将 大量时间和资源用于将振动触觉反馈定制成不同设备的特定能力。另一方面，设备设计者 可选择将相同的通用振动触觉反馈信号提供给很多不同设备，并接受通用信号可能不能利 用任意特定触觉设备的增强功能。


【发明内容】

[0009] 本发明的实施例提供用于增强的触觉效果的系统和方法。本发明的一个实施例执 行包括以下内容的方法：接收以第一格式格式化的输入信号，该输入信号具有多媒体数据 和触觉信息；解码触觉信息；确定与触觉设备中的致动器相关联的参数；并且至少部分地 基于该参数和该触觉信息来生成致动器信号。该方法进一步包括生成包括多媒体数据和致 动器信号的输出信号，该输出信号以第二格式被格式化。在一个实施例中，该方法进一步包 括至少部分地基于输出信号来产生触觉效果。在另一实施例中，计算机可读介质包括用于 执行这类方法的程序代码。
[0010] 提出这些说明性实施例并非意欲限定或定义本发明，而是提供实例来帮助理解本 发明。在【具体实施方式】中讨论说明性实施例，并且在那里提供了对本发明的进一步描述。通 过检查本说明，可进一步理解本发明的各种实施例所提供的优点。

【专利附图】

【附图说明】
[0011] 当参照附图来阅读以下详细描述时，会更好地理解本发明的这些和其他特征、方 面和优点。
[0012] 图1是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的图解。
[0013] 图2是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的第二图解。
[0014] 图3是示出在本发明的一个实施例中，用于提供增强的触觉反馈的系统的框图。
[0015] 图4是示出在本发明的一个实施例中，用于提供增强的触觉反馈的方法的流程 图。

【具体实施方式】
[0016] 本发明的实施例提供用于增强的触觉反馈的系统和方法。在一个说明性实施例 中，计算机可读介质存储关于触觉设备的性能的信息。处理器接收具有在预定频率上编码 的触觉信息的媒体流。处理器使用带通滤波器从媒体流中提取触觉信息。随后，处理器生 成致动器信号，以用于产生与触觉信息相关的触觉效果。致动器信号至少部分地基于存储 在计算机可读介质中的信息，并且与特定触觉设备的性能相关。在生成致动器信号之后，处 理器生成包括多媒体数据和致动器信号的输出信号。输出信号与输入信号的格式相同。一 旦处理器生成了输出信号，触觉设备可使用致动器来提供触觉效果。
[0017] 给出本实例以向读者介绍将讨论的通用主题事项。本发明不限于本实例。以下描 述了用于增强的触觉反馈的示例系统和方法。
[0018] 用于增强的触觉反馈的说明性设备
[0019] 在被配置来提供增强的触觉反馈的设备的一个说明性实施例中，可将便携音乐播 放器进行配置以通过扬声器播放音乐，并用致动器产生触觉效果。在一个这类实施例中，便 携音乐播放器可包括被配置来接收包括音频数据和触觉数据的输入数据的处理器。处理器 从输入数据中提取触觉数据。处理器随后分析与致动器相关联的参数，例如致动器的共振 频率，并且至少部分地基于触觉数据和所述参数来生成致动器信号。随后，可进一步配置处 理器来将音频数据输出到扬声器以产生声音，并将致动器信号发送到致动器以提供触觉效 果。在说明性实施例中，可发送致动器信号和音频数据使得触觉效果与声音大致同步。
[0020] 可有利地采用这类说明性实施例来播放音频文件，在其中触觉效果可以与音频数 据一同编码。这类音频文件可将音乐提供给用户来收听，并提供同步的触觉效果来增强听 音乐的体验。这类说明性实施例还可包括诸如视频数据，以提供与音频和视频都同步的触 觉效果。例如，可使用触觉效果来增强观看电影或播放视频游戏的体验。
[0021] 给出第二实例以向读者介绍此处讨论的通用主题事项。本发明不限于这些实例。 以下部分描述用于增强的触觉反馈的系统和方法的各种实施例。
[0022] 增强的触觉反馈
[0023] 现在参照附图，其中相同的标号在各个图中指示相同的单元，图1是在本发明的 一个实施例中，用于提供增强的触觉反馈的设备的图解。图1中的设备包括移动电话102， 其具有显示器104、数字按键键盘106和扬声器108。尽管图1所示的实施例包括移动电 话，其他实施例可包括其它设备。例如，其它实施例可包括个人数字助理（PDA)、寻呼机、便 携音乐或视频播放器、游戏控制器或其他操控器（manipulandum)、便携游戏系统、或便携导 航设备。
[0024] 图2是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的第二图解。 图2代表图1所示的移动电话102的内部的透视图。移动电话102包括处理器204和致动 器206。处理器204与致动器206进行通信。
[0025] 将处理器204进行配置，以接收以第一格式格式化的输入信号，该输入信号具有 多媒体数据和触觉信息。还将处理器204进行配置以产生以第二格式格式化的输出信号。 输出信号可包括多媒体数据和致动器信号。输出信号的第二格式可与输入信号的第一格式 相同。可将输出信号发送到移动电话102的一个或多个单兀，例如扬声器108或致动器206。 在一个实施例中，可在基本上相同的时间，将输出信号发送给扬声器108和致动器206。在 这类实例中，移动电话102的扬声器108可至少部分地基于多媒体数据来播放声音，并且致 动器206可至少部分地基于致动器信号来产生触觉效果。在一个实施例中，触觉效果和音 频可以是同步的。例如，在一个实施例中，扬声器108可与由致动器206产生的触觉效果基 本上同步地播放声音。
[0026] 在其他实施例中，触觉效果和音频可以是不同步的。在一个实施例中，可将致动器 进行配置以不生成触觉效果。例如，如果触觉信息没有被识别出或者不可用，那么可将致动 器信号进行配置以不生成触觉效果。
[0027] 尽管示出的设备包括一个处理器204,其他设备可包括两个或更多的处理器。处 理器204,以及其他被并入本发明的一个或多个实施例中的处理器，可包括计算机可读介 质，例如耦合到处理器的随机存取存储器（RAM)。处理器执行存储于存储器中的计算机可 执行程序指令，例如执行一个或多个计算机程序来生成振动触觉或其他触觉效果。这类 处理器可包括微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵 列（FPGA)、和状态机。这类处理器可进一步包括：诸如PLC的可编程电子器件、可编程中 断控制器（PIC)、可编程逻辑器件（PLD)、可编程只读存储器（PR0M)、电可编程只读存储器 (EPROM或EEPR0M)或其他类似器件。
[0028] 这类处理器可包括介质，或者可与介质进行通信，例如计算机可读介质，其可存储 指令，当存储器执行这些指令时可使得处理器来执行此处描述的步骤，如同处理器执行或 辅助一样。计算机可读介质的实施例可包括但不限于，能够提供给处理器（例如在web服 务器中的处理器）计算机可读指令的电、光、磁或其他的存储或传输设备。介质的其他实例 包括但不限于：软盘、CD-ROM、磁盘、存储芯片、1^、_、431(：、已配置的处理器、所有的光介 质、所有的磁带或其他磁介质、或计算机处理器可从其读取的任何其他介质。并且，各种其 他形式的计算机可读介质可发送或携带指令到计算机，例如路由器、私网或公网、或其他传 输设备或信道。所描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或 多个结构中。处理器可包括用于执行此处描述的一个或多个方法（或方法的部分）的代码。 指令可包括来自任何适当的计算机程序语言的代码，包括诸如c、C+、C++、Visual Basic、 Java、Python 和 JavaScript。
[0029] 致动器206可以是多种不同类型的致动器的任何一种，包括偏心旋转质量（ERM) 致动器、MFT、线性质量致动器、电磁致动器、电机、音圈、气动或液压致动器、电活性聚合物、 或任何其他适当的致动器。在一个实施例中，致动器206可包括多个致动器。例如，在一 个实施例中，可采用两个致动器。可将第一致动器配置来提供具有高频振动（例如大于 200Hz)的振动触觉或其他触觉效果，而可将第二致动器配置来提供具有低频振动（例如小 于200Hz)的振动触觉或其他触觉效果。在另一实施例中，可采用第一致动器和第二致动器 来提供触觉效果以模拟方向效果。例如，第一和第二致动器可以位于设备的相对侧，并且可 以被激励以提供显现为从设备的一边移动到另一边的触觉效果，或提供与屏幕上的图像同 步的振动源的方向的指示。
[0030] 用于增强的触觉反馈的系统的实例
[0031] 图3是示出在本发明的一个实施例中，用于提供增强的触觉反馈的系统的框图。 在示出的实施例中，系统包括媒体播放器302、网络320和设计工具322。媒体播放器302 包括媒体流解码器304、触觉媒体引擎306、致动器310、多功能变频器312、显示器314、和扬 声器316。
[0032] 媒体播放器
[0033] 可配置媒体播放器302来通过扬声器316播放音频，和/或通过显示器314播放 视频。在一个实施例中，可配置媒体播放器302来使用MFT312向用户提供触觉效果。在另 一实施例中，可配置媒体播放器302来使用致动器310向用户提供触觉效果。媒体播放器 302可具有一个或多个多功能变频器312和一个或多个致动器310的组合。在一个实施例 中，媒体播放器302可包括全保真振动触觉播放器，其能够产生广泛的具有变化的强度、频 率、持续时间、节奏、声调和其他动态的振动触觉和其他触觉效果。
[0034] 可配置媒体播放器302来接收具有触觉信息和多媒体数据的输入信号。在一些实 施例中，多媒体数据可以是多媒体文件，其包括一个或多个媒体流，例如音频流和视频流。 在一些实施例中，通过网络320接收输入信号，网络320包括但不限于因特网或蜂窝电话 网。媒体播放器302可无线接收输入信号，例如通过无线网络（例如802. 11)、蜂窝网、蓝 牙、红外、或其他用于数据的无线传输的手段。在一些实施例中，媒体播放器302可通过直 接电连接来接收输入信号，例如以太网、通用串行总线（USB)、火线、平行或串行连接。
[0035] 在其他实施例中，从本地存储器（未示出）接收输入信号。还可配置媒体播放器 302来从应用接收输入信号。例如，媒体播放器302可从设计工具322接收输入信号，以用 于创建包括触觉信息的内容。
[0036] 媒体播放器302包括媒体流解码器304。在一个实施例中，媒体流解码器304包括 由处理器执行的程序代码（未示出）。例如，媒体播放器302可包括处理器和存储器。存储 器可包括程序代码，该程序代码包括媒体流解码器304。媒体流解码器304可包括用于接收 具有触觉信息和多媒体数据的输入信号的程序代码，其中输入信号可以是以第一格式被格 式化。
[0037] 第一格式可以是多媒体格式。例如，在一个实施例中，输入信号包括使用运动图像 专家组-1音频3层（MP3)格式来格式化的音频数据。在一个实施例中，输入信号可包括使 用运动图像专家组（MPEG)格式来格式化的视频和/或数据。在其他实施例中，可使用用 于音频和/或视频数据的其他多媒体格式，其包括：波形音频格式（WAV)、音乐设备数字化 接口（MIDI)、Ogg、DivX?、QuickTime?、MP3、Apple? 的 MPEG-4Part3(M4P)、先进音频编码 (AAC)格式、或任何其他用于编码音频和/或视频数据的格式。输入信号可与诸如音频文件 的单个媒体相关联。在其他实施例中，媒体流可以是多媒体文件，例如具有音频和视频数据 的电影文件。
[0038] 输入信号还包括触觉信息。触觉信息可作为独立的媒体流被存储在多媒体数据 中。例如，在一些实施例中，可将触觉信息嵌入在媒体中，例如作为在现有多媒体文件内的 包。可将嵌入的触觉信息用这样一种方式放置在输入数据中以使得触觉内容对不是被设计 来识别触觉数据的媒体播放器不可见。在其他实施例中，可将输入信号的格式扩展以包括 触觉数据，使得被设计来识别触觉信息的媒体播放器可选择忽视或播放该触觉信息。
[0039] 在一些实施例中，将触觉信息编码在特定的媒体流之中。例如，可将触觉信息从其 最初的格式转换为与多媒体数据一样的格式。在一个实施例中，可将触觉数据在媒体流数 据的一个或多个频率上编码为调幅或调频数据。例如，在一个实施例中，可将触觉数据在具 有140Hz频率的载波上编码为调幅数据，随后混合进现有的音频流。在另一实施例中，可将 触觉数据编码为调频数据。可将触觉数据在不被触觉设备的扬声器识别的频率上进行编 码。例如，如果触觉设备的扬声器不识别135Hz以下的频率，那么可在130Hz上来编码触觉 信息。
[0040] 可将触觉数据编码为描述触觉效果的信息。例如，在一个实施例中，触觉数据可包 括规定频率、幅度、持续时间、周期、脉冲宽度、包络、和/或其他与要输出的触觉效果相关 联的信息的数据。在一个实施例中，触觉数据可包括要被输出为触觉效果的波形。例如，可 将定义数字化致动器信号本身的数据点，而不是描述致动器信号的编码信息编码为触觉数 据。在一个实施例中，触觉数据可包括描述致动器信号的信息和定义至少部分数字化致动 器信号的数据点。
[0041] 在一个实施例中，可将同步数据嵌入在输入信号中，以将触觉效果与音频和/或 视频相同步。2006年10月18日提交的共同待审美国专利申请，序号为No. 11/583, 483,描 述了用于在媒体传输流中同步触觉效果数据的方法，将其整体以引用的方式结合于此。例 如，在一个实施例中，可将在多媒体数据流中的一系列帧中的触觉信息与相应的时间戳相 关联。当生成输出信号时，可使用时间戳来将致动器信号与多媒体数据进行同步，以使得接 收输出信号的致动器在扬声器播放鼓点的同时提供触觉效果。
[0042] 在一个实例中，媒体播放器302可包括触觉敏感屏幕，例如触摸屏。用户可通过接 触触摸屏来选择目标，例如选择框、窗口、或特定文件。例如，用户可按下在触摸屏上的虚拟 按钮。在一些实施例中，随后，媒体播放器302可同步地播放声音效果，并产生与选择相关 联的触觉效果。在其他实施例中，随后，媒体播放器302可在不播放声音效果或其他媒体的 情况下，产生触觉效果。
[0043] 在一个实施例中，输入数据可包括音频数据和触觉数据，其中可配置触觉数据以 提供与音频数据之内的鼓点相同步的触觉效果。在另一实施例中，可从音频数据中推测出 触觉数据。例如，可配置媒体流解码器304来分析音频和/或视频数据，从而确定与触觉事 件相关联的频率模型。例如，可配置媒体流解码器来分析可能与爆炸相关联的低频、高幅度 信号的音频数据，并生成相关联的触觉效果。
[0044] 媒体流解码器304可进一步包括程序代码，以从输入信号中解码触觉信息。例如， 在图3所示的实施例中，媒体流解码器304包括触觉媒体引擎306。触觉媒体引擎306可访 问描述触觉设备的性能的信息，并具有能力来重新格式化来自输入信号触觉信息，以说明 触觉设备的特定参数。
[0045] 可配置触觉媒体引擎306来从输入信号中解码触觉信息。可配置触觉媒体引擎 306来从输入数据中提取描述致动器信号的信息或定义数字化致动器信号的数据点。可配 置触觉媒体引擎306以在特定的预定频率上从输入信号中提取触觉信息。在一个实施例 中，可配置触觉媒体引擎306来从在输入数据内的具有特定频率的载波中解码调幅数据。 在另一实施例中，可配置触觉媒体引擎306来从输入数据中提取调频数据。
[0046] 在一个实施例中，在诸如140Hz的预定频率上将触觉数据编码在输入信号中。触 觉媒体引擎306可包括带通滤波器。带通滤波器可以在输入信号的预定频率上解码触觉数 据。
[0047] 媒体流解码器304可进一步包括程序代码，用于确定与触觉设备中的致动器相关 联的参数。例如，在一个实施例中，触觉媒体引擎306可确定致动器310或多功能变频器 312的共振频率。参数数据可包括，诸如（例如但不限于）致动器的共振频率、致动器的最 大峰峰幅度或大小、或最小致动器响应时间。参数数据还可包括与媒体播放器的其他组件 相关联的数据，例如扬声器316对其有较差的频率响应的音频频率。
[0048] 在图3所示的实施例中，触觉媒体引擎306进一步包括程序代码，用于至少部分地 基于参数和触觉信息来生成致动器信号。例如，在一个实施例中，触觉媒体引擎306可使用 与致动器相关联的参数，例如致动器的共振频率。在这类实施例中，触觉媒体引擎306可生 成具有与致动器的共振频率大致相同的频率，并具有与触觉信息相关联的特性的致动器信 号。例如，可用至少部分地基于触觉信息的幅度和持续时间来配置致动器信号。在一个实 施例中，触觉信息可包括定义数字化致动器信号的数据点。在这类实施例中，触觉媒体引擎 306可生成具有与致动器的共振频率大致相同的频率，并具有由来自触觉信息的数据点所 定义的波形的致动器信号。在一个实施例中，触觉媒体引擎306可生成具有与致动器的最 大峰峰幅度相等的幅度的致动器信号。在一个实施例中，触觉媒体引擎306可基于致动器 的最小响应时间来生成致动器信号。
[0049] 媒体流解码器304进一步包括用于生成包括多媒体数据和致动器信号的输出信 号的程序代码，所述输出信号以第二格式被编码。第二格式可以是多媒体格式，例如WAV、 MIDI、Ogg、DivX?、QuickTime?、MP3、M4P、AAC、或任何其他用于编码音频和/或视频数据的 格式。替代性地，可将输出信号格式化为致动器信号。第二格式可以与第一格式相同。
[0050] 在一个实施例中，可将输出信号的致动器信号部分直接发送给致动器。例如，可将 输出信号格式化为直接电压致动器信号，将其直接对致动器播放。
[0051] 在其他实施例中，媒体播放器302可生成输出信号，以用于用媒体混合器来使用。 媒体混合器可接收不同类型的媒体，并将媒体发送到合适的设备。媒体混合器可将多个输 入媒体统一在一个输出中。在一个实施例中，媒体播放器302可在致动器驱动电路或媒体 驱动电路上生成输出信号。
[0052] 结构
[0053] 在图3所示的本发明的实施例中，配置媒体播放器302来接收数据，并且使用该数 据来播放音频/视频并产生触觉效果。在图3所示的实施例中，媒体播放器302包括媒体 流解码器304应用。图3所示的媒体流解码器304是被配置以驻留在媒体播放器302内的 存储器中，并且在媒体播放器302内的处理器上执行的软件应用。媒体流解码器304可包 括用于从数据源接收数据、读取存储在媒体播放器302中的存储器内的数据的代码，以及 用于将数据输出到输出设备的代码，所述输出设备例如：致动器310、多功能变频器312、扬 声器316、和/或显示器314。例如，媒体播放器302可包括非易失性存储器，例如闪存，其 可以存储与一个或多个输出设备（例如致动器310或多功能变频器312)相关联的参数。
[0054] 在图3所示的实施例中，媒体流解码器还包括触觉媒体引擎306。触觉媒体引擎 306可以是专用应用，用于：从输入数据提取触觉信息、至少部分地基于触觉信息和与致动 器310相关联的参数来确定致动器信号、至少部分地基于致动器信号和多媒体数据来确定 输出信号、并输出致动器信号。还可配置触觉媒体引擎306来读取存储在媒体播放器302 内的存储器（未示出）中的数据。例如，可配置触觉媒体引擎306来读取包括与致动器310 或多功能变频器312相关联的参数的数据。触觉媒体引擎306可与媒体流解码器304协调 运行，以提供编码在由媒体流解码器304所接收的多媒体数据流内的触觉效果。
[0055] 在一个实施例中，媒体流解码器304可包括用于与数据源进行相互作用的代码， 所述数据源诸如（例如但不限于）硬盘驱动器、CD播放器、DVD播放器、闪存驱动器、存储 器、或网络连接。在一个实施例中，配置媒体流解码器来从存储器接收数据，例如铃声。铃声 可包括被格式化以在移动电话或其他设备上播放的声音文件，其被播放以指示来电呼叫。 媒体流解码器可读取与铃声相关联的铃声数据。媒体流解码器可提取并处理在铃声数据内 的音频数据。例如，媒体流解码器304可以至少部分地基于铃声数据来构建要输出给扬声 器316的音频信号。媒体流解码器还可将铃声数据提供给触觉媒体引擎306。
[0056] 触觉媒体引擎306可从铃声数据中提取触觉信息。触觉媒体引擎306还可从媒体 播放器302本地的存储器读取与致动器310相关联的参数数据。触觉媒体引擎306可以至 少部分地基于触觉信息来构建致动器信号。接着,触觉媒体引擎306可以至少部分地基于 与致动器相关联的参数数据来修改致动器信号。例如，铃声数据可包括数字化波形以生成 触觉效果，其中所述波形具有200Hz的频率。触觉媒体引擎306可计算新的致动器信号，其 具有与致动器310的共振频率大致相等的频率，例如140Hz等。触觉媒体引擎306还可规 范数字化波形的幅度，以符合致动器310和媒体播放器302的性能特性。例如，致动器310 可能受限于具有3伏的最大峰峰幅度的输入致动器信号。如果数字化波形包括5伏的最大 峰峰幅度，触觉媒体引擎306可将数字化波形规范以具有3伏峰峰最大幅度。可使用与致 动器310相关联的其他特性来修改触觉信息。例如，致动器310可能具有大的偏心质量导 致致动器花费更长时间来加速和减速。这类致动器可能不能播放非常快速地排列的振动。 在这类实施例中，触觉媒体引擎306可将从触觉信息中构建的致动器信号进行再整型，以 符合致动器的性能特性。例如，触觉媒体引擎306可将三个具有比致动器能够生成的最小 脉冲更小的脉冲宽度的短脉冲进行组合，以创建两个脉冲。
[0057] 在示出的实施例中，在触觉媒体引擎306已经构建致动器信号之后，触觉媒体引 擎306可将致动器信号发送到媒体流解码器304,其随后可将音频信号和致动器信号都输 出，以提供与音频大致同步的触觉效果。在一个实施例中，触觉媒体引擎306可从媒体流解 码器304接收命令，以输出致动器信号。在一个实施例中，触觉媒体引擎306可在没有来自 媒体流解码器304的命令的情况下，将致动器信号直接输出给致动器310。
[0058] 在一个实施例中，可配置触觉媒体引擎306来生成包括多媒体数据和致动器信号 的输出信号。在一些实施例中，输出信号可以与由媒体流解码器304所接收到的输入信号 的格式相同。例如，输出信号可以是具有媒体和触觉信息的MP4文件。
[0059] 在一个实施例中，可对特定的触觉设备来优化输出信号。如果为在特定设备上重 放而优化输出信号，那么接收输出信号的设备能够使用该设备的多种组件，例如显示器、扬 声器、和一个或多个致动器，来播放输出信号。例如，在一个实施例中，触觉媒体引擎306可 在不被触觉设备的扬声器处理的特定频率上编码触觉驱动信号。在这类实施例中，可在触 觉设备上播放输出信号，以使得触觉设备的扬声器播放输出信号，并且由于扬声器对在其 上致动器信号被编码的频率没有响应，所以最小化了音频失真，同时致动器可以解释输出 信号的触觉部分。
[0060] 触觉媒体引擎306可以至少部分地基于用户的偏好来生成输出信号。例如，用户 的偏好可指示音频的一个音量水平、视频的亮度水平、和触觉效果的振动水平。在一个这类 实施例中，触觉媒体引擎306能够最大化输出信号的触觉部分的强度，同时使输出信号的 音频部分减半。
[0061] 用于增强的触觉反馈的方法的实例
[0062] 图4是示出在本发明的一个实施例中，用于提供增强的触觉反馈的方法的流程 图。在步骤402中，由媒体播放器302接收输入信号。媒体播放器302可接收作为数字信 号的输入信号。在另一实施例中，媒体播放器302可接收作为模拟信号的输入信号。输入 信号可包括触觉信息和多媒体数据。在一个实施例中，可将信号以诸如MP3格式的多媒体 格式来格式化。
[0063] 在步骤404,媒体流解码器304从输入信号解码触觉信息。可在特定频率将触觉 信息编码进输入信号。在一个实施例中，在输入信号中触觉信息可与多媒体数据交织在一 起。在这类实施例中，输入数据可包括多媒体数据和触觉信息，其中多媒体数据和触觉信息 在输入数据中交替放置。例如，多媒体数据可包括数据包，其中每个包的数据具有第一固定 数目字节，同时触觉信息可包括数据包，其中每个包的数据具有第二固定数目字节。输入数 据可包括一系列数据包，其中每个多媒体数据包之后都跟着一个触觉信息包。在其他实施 例中，多媒体数据可以用不同顺序和数量的多媒体数据和触觉信息来与触觉信息交织在一 起。
[0064] 在步骤406,触觉媒体引擎306确定与触觉设备相关联的参数。触觉媒体引擎306 可确定与触觉设备相关联的多个参数。在一个实施例中，触觉媒体引擎306可本地存储这 些参数。在这类实施例中，触觉媒体引擎306可访问这些本地存储的参数，以生成致动器信 号。例如，触觉媒体引擎306可访问存储在本地存储器中的配置文件，以确定与触觉设备相 关联的参数。
[0065] 在一些实施例中，触觉媒体引擎306可通过计算参数来确定与触觉设备相关联的 参数。例如，如果触觉媒体引擎306不访问配置文件，那么触觉媒体引擎306可对用在媒体 播放器302中的一类致动器302计算默认的参数。
[0066] 在步骤408,触觉媒体引擎306至少部分地基于该参数和触觉信息来生成致动器 信号。致动器信号对于媒体播放器302上的致动器可以是特定的。在一个实施例中，致动 器信号可以是原始的振动驱动信号流。在一个实施例中，触觉媒体引擎306可生成具有与 致动器的共振频率大致相同的频率，并具有与触觉信息相关联的特性的致动器信号。
[0067] 在步骤410,触觉媒体引擎306生成包括致动器控制信号的输出信号。在一个实施 例中，用与输入信号相同的格式来格式化致动器控制信号。在另一实施例中，用不同于输入 信号的格式来格式化致动器控制信号。
[0068] 在一个实施例中，可将致动器控制信号直接发送给致动器驱动硬件。在一个实施 例中，可将致动器控制信号发送给媒体流混合器。在这类实施例中，可将来自音频流的音频 数据与致动器控制信号进行混合，然后发送到多功能变频器，其产生声音和振动。
[0069] 在步骤412中，媒体播放器302至少部分地基于输出信号来生成触觉效果。在一 个实施例中，媒体播放器302可通过向致动器310发送输出信号来生成触觉效果。在另一 实施例中，媒体播放器302可通过向多功能变频器312发送输出信号来生成触觉效果。
[0070] 可在与设备播放多媒体数据的输出大致相同的时间生成412触觉效果。在一个实 施例中，可以在显示器314再现视频数据的同时来生成触觉效果。作为另一实例，在一个实 施例中，在媒体播放器302通过扬声器316播放鼓点的同时媒体播放器302振动。替代性 地，在其他实施例中，可在播放多媒体数据稍微之前或稍微之后来生成触觉效果。
[0071] 产生412的触觉效果可以是运动知觉（kinesthetic)反馈效果。在其他实施例中， 产生412的触觉效果可以是振动触觉反馈效果，例如振动。在一些实施例中，产生412的触 觉效果是效果的组合。
[0072] 本发明的实施例提供超过传统系统的多种优越性，并提供用于提供触觉反馈的方 法。例如，一些实施例以全保真的方式输出致动器信号。另外，一些实施例提供对强度、频 率、持续时间、节奏、声调和动态的广泛的控制，包括使振动输出倾斜向上和向下并突然使 其停止的能力。通过这些增强的触觉效果，本发明的设备更易于使用，并且能够生成事件和 情感的逼真的、娱乐性的触觉刺激。
[0073] 综述
[0074] 前面对本发明的实施例的描述仅仅是为了说明和描述的目的进行了介绍，而并不 是意图穷尽或限定本发明于所披露的特定形式。在不偏离本发明的精神和范围的前提下， 各种修改和调整对本领域的普通技术人员是显而易见的。
【权利要求】
1. 一种方法，包括 接收具有触觉信息和多媒体数据的输入信号，所述输入信号以第一格式被格式化，并 且其中所述多媒体数据不包括编码的触觉信息； 从所述输入信号中确定触觉信息； 确定与触觉设备中的致动器相关联的参数； 至少部分地基于所述参数和所述触觉信息来生成致动器信号； 生成包括所述多媒体数据和所述致动器信号的输出信号，所述输出信号以第二格式被 格式化，其中所述输出信号的致动器信号部分被首先混合到所述输出信号的多媒体数据的 音频部分；以及 传送所述输出信号给致动器。
2. 权利要求1所述的方法，进一步包括至少部分地基于所述输出信号来产生触觉效 果。
3. 权利要求1所述的方法，其中所述输入信号进一步包括同步数据。
4. 权利要求1所述的方法，其中所述多媒体数据包括音频数据或视频数据中的至少一 个。
5. 权利要求1所述的方法，其中所述第一格式是多媒体格式。
6. 权利要求5所述的方法，其中所述多媒体格式是下述内容之一：WAV格式、MIDI格 式、〇gg格式、DIVX格式、QuickTime格式、MP3格式、MPEG-2格式、MPEG-4格式、M4P格式或 AAC格式。
7. 权利要求1所述的方法，其中与所述触觉设备中的所述致动器相关联的参数包括可 达到的强度参数。
8. 权利要求1所述的方法，其中与所述触觉设备中的所述致动器相关联的参数包括动 态响应特性。
9. 权利要求1所述的方法，其中与所述触觉设备中的所述致动器相关联的参数包括频 率响应特性。
10. 权利要求1所述的方法，其中所述输出信号包括与所述输入信号相同的格式。
11. 权利要求1所述的方法，其中所述输出信号的所述致动器信号部分被直接发送给 所述致动器。
12. 权利要求1所述的方法，其中所述致动器包括多功能变频器。
13. 权利要求12所述的方法，其中所述多功能变频器被配置成输出声音和振动。
14. 一种计算机可读介质，在该计算机可读介质上编码有处理器可执行的程序代码，所 述程序代码包括： 用于接收具有触觉信息和多媒体数据的输入信号的程序代码，所述输入信号以第一格 式被格式化，并且其中所述多媒体数据不包括编码的触觉信息； 用于从所述输入信号中确定触觉信息的程序代码； 用于确定与触觉设备中的致动器相关联的参数的程序代码； 用于至少部分地基于所述参数和所述触觉信息来生成致动器信号的程序代码； 用于生成包括所述多媒体数据和所述致动器信号的输出信号的程序代码，所述输出信 号以第二格式被格式化，其中所述输出信号的致动器信号部分被首先混合到所述输出信号 的多媒体数据的音频部分；以及 用于传送所述输出信号给致动器的程序代码。
15. 权利要求14所述的计算机可读介质，进一步包括用于至少部分地基于所述输出信 号来产生触觉效果的程序代码。
16. 权利要求14所述的计算机可读介质，其中所述致动器包括多功能变频器。
17. 权利要求16所述的计算机可读介质，其中所述多功能变频器被配置成输出声音和 振动。
18. -种系统，包括 处理器，其被配置来： 接收具有触觉信息和多媒体数据的输入信号，所述输入信号以第一格式被格式化，并 且其中所述多媒体数据不包括编码的触觉信息； 从所述输入信号中确定触觉信息； 至少部分地基于特定于触觉设备的至少一个参数确定包括所述触觉信息的触觉驱动 信号； 至少部分地基于所述参数和所述触觉信息来生成致动器信号； 生成包括所述多媒体数据和所述致动器信号的输出信号，所述输出信号以第二格式被 格式化，其中所述输出信号的致动器信号部分被首先混合到所述输出信号的多媒体数据的 音频部分；以及 传送所述输出信号给致动器。
19. 权利要求18所述的系统，进一步包括致动器，其被配置为至少部分地基于所述输 出信号来产生触觉效果。
20. 权利要求18所述的系统，其中所述系统进一步包括与所述处理器通信的本地存储 器。
21. 权利要求20所述的系统，其中所述本地存储器被配置为存储特定于触觉设备的参 数。
22. 权利要求20所述的系统，其中所述本地存储器被配置为存储多媒体文件。
23. 权利要求18所述的系统，其中所述致动器包括多功能变频器。
24. 权利要求23所述的系统，其中所述多功能变频器被配置成输出声音和振动。
【文档编号】G06F3/01GK104063056SQ201410255319
【公开日】2014年9月24日 申请日期:2007年4月6日 优先权日:2006年4月6日
【发明者】罗伯特·拉克鲁瓦, 丹尼·格雷特 申请人:伊梅森公司