离线触觉转换系统的制作方法

本申请是申请日为2014年4月9日、申请号为201410140291.4、题为“离线触觉转换系统”的发明专利申请的分案申请。相关申请的交叉引用本申请要求于2013年4月9日提交的序号为61/810,196的美国临时专利申请(其公开内容特此通过引用并入)的优先权，并且还要求于2013年5月24日提交的序号为61/827,341的美国临时专利申请(其公开内容特此通过引用并入)的优先权。一个实施例一般涉及一种装置，并尤其涉及一种生成触觉效果的装置。
背景技术：
：触觉是通过向用户施加触觉反馈效果(即，“触觉效果”)来利用用户的触摸感觉的触感和力反馈技术，触觉效果诸如力、振动和运动。诸如移动装置、触摸屏装置和个人计算机的装置可以被配置为产生触觉效果。通常，可以在装置的操作系统(“os”)内对对于能够产生触觉效果的嵌入式硬件(诸如致动器)的调用进行编程。这些调用指定要播放哪种触觉效果。例如，当用户使用例如按钮、触摸屏、杠杆、控制杆、轮盘或一些其他控件来与装置交互时，装置的os可以通过控制电路系统将播放命令发送到嵌入式硬件。嵌入式硬件然后生成适当的触觉效果。装置可以被配置为协调触觉效果的输出与诸如音频的其他内容的输出，以使得触觉效果被合并到所述其他内容中。例如，音频效果开发者可以开发装置可以输出的音频效果，诸如机关枪炮火、爆炸或撞车。此外，可以开发其他类型的内容，诸如视频效果，随后装置可以输出该内容。触觉效果开发者随后可以为装置制作触觉效果，并且该装置可以被配置为将该触觉效果与其他内容一起输出。然而，这种处理通常需要触觉效果开发者的个人判断来制作正确地美化音频效果或其他类型的内容的触觉效果。没有美化音频效果或其他类型的内容的制作不良的触觉效果可以生成其中触觉效果与音频效果或其他内容不“配合”的整体不谐和的效果。这种类型的用户体验通常并不是所期望的。技术实现要素：一个实施例是一种控制离线触觉转换的系统。该系统从源接收输入。该系统进一步将所述输入转换为触觉信号。该系统进一步对触觉信号进行编码。该系统进一步将触觉信号存储在所述源内，其中，在所述源内将触觉信号与所述输入组合。在替代实施例中，不是对触觉信号进行编码并且将触觉信号存储在所述源内，该系统而是独立于所述源，单独地对触觉信号进行处理。附图说明从以下对优选实施例的详细描述，更多实施例、细节、优点和修改将变得清楚，以下详细描述是结合附图进行的。图1例示根据本发明的一个实施例的系统的框图。图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触觉信号的编码的系统。图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的系统。图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信号的编码的流程图。图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的流程图。图6例示根据本发明的实施例的用于编码的多媒体信号的音频分量的处理器箱式结构。图7例示根据本发明的实施例的用于编码的多媒体信号的视频分量的处理器箱式结构。图8例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的处理器箱式结构。图9例示根据本发明的实施例的用于编码的多媒体信号的音频分量、视频分量和触觉分量的处理器箱式结构。图10例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的有效对象配置文件类型。图11例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的无效对象配置文件类型。图12例示根据本发明的实施例的离线触觉转换模块的功能的流程图。具体实施方式一个实施例是一种可以执行诸如音频信号、视频信号或多媒体信号的输入到触觉信号的“离线”转换的系统，其中，触觉信号可以使诸如致动器的触觉输出装置输出一个或多个触觉效果。在“离线地”执行触觉转换时，与“实时地”或者在回放输入期间执行触觉转换完全不同，该系统可以在回放输入之前执行触觉转换。在执行离线触觉转换时，该系统可以首先从源接收输入，诸如多媒体文件或一些其他类型的计算机文件。该系统然后可以将输入转换为触觉信号。该系统随后可以对触觉信号进行编码，其中，该系统可以将触觉信号嵌入在原始信号的源内，并且其中，该系统可以在该源内将触觉信号与原始输入组合。可替代地，在对触觉信号进行编码之后，该系统可以将触觉信号嵌入在单独的源内。此外，该系统可以从源提取编码的触觉信号并且对该编码的触觉信号进行解码。该系统然后可以将解码的触觉信号发送到一个触觉输出装置或一组触觉输出装置(诸如一个致动器或一组致动器)，并且使触觉输出装置基于解码的触觉信号产生触觉效果。该系统可以进一步来使触觉效果的回放与基于输入或利用输入由系统产生的其他效果(诸如音频效果和视频效果)的回放同步。图1例示根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10是移动装置的一部分，并且系统10为该移动装置提供离线触觉转换功能。在另一实施例中，系统10是可佩戴装置的一部分，并且系统10为该可佩戴装置提供触觉效果模式变换功能。可佩戴装置的例子包括护腕、发箍、眼镜、环形饰物、脚环、与衣物形成一体的衣饰、或用户可以佩戴在身体上或者可以由用户持有的任何其他类型的装置。一些可佩戴装置可以“以触觉的方式启用”，这意味着它们包括产生触觉效果的机制。在另一实施例中，系统10与装置(例如，移动装置或可佩戴装置)分离，并且远程地向该装置提供触觉效果模式变换功能。尽管被示为单个系统，但是可以将系统10的功能实现为分布式系统。系统10包括用于传送信息的总线12或其他通信机制、以及耦合到总线12的用于对信息进行处理的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10还包括用于存储将被处理器22执行的信息和指令的存储器14。存储器14可以由随机存取存储器(“ram”)、只读存储器(“rom”)、诸如磁盘或光学盘的静态储存器、或任何其他类型的计算机可读介质的任何组合组成。计算机可读介质可以是可以被处理器22访问的任何可用介质，并且可以包括易失性介质和非易失性介质、可移动介质和非可移动介质、通信介质以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块、或诸如载波或其他传输机制的调制数据信号中的其他数据，并且可以包括本领域中已知的任何其他形式的信息递送介质。存储介质可以包括ram、闪存、rom、可擦式可编程只读存储器(“eprom”)、电可擦式可编程只读存储器(“eeprom”)、寄存器、硬盘、可移动盘、紧凑盘只读存储器(“cd-rom”)、或本领域中已知的任何其他形式的存储介质。在一个实施例中，存储器14存储当被处理器22执行时提供功能的软件模块。在一个实施例中，这些模块包括向系统10以及移动装置的其余部分提供操作系统功能的操作系统15。这些模块还包括如下面更详细地公开的离线触觉转换模块16，其控制输入到触觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对一个或多个触觉效果的回放。在某些实施例中，离线触觉转换模块16可以包括多个模块，其中，每个模块提供用于控制输入到触觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对一个或多个触觉效果的回放的特定的个人功能。系统10通常将包括包括附加功能的一个或多个附加应用模块18，诸如immersioncorporation的integratortm软件。从远程源发送和/或接收数据的实施例中，系统10还包括提供移动无线网络通信的通信装置20，诸如网络接口卡，移动无线网络通信诸如红外线、无线电、wi-fi或蜂窝网络通信。在其他实施例中，通信装置20提供有线网络连接，诸如以太网连接或调制解调器。处理器22进一步经由总线12耦合到用于向用户显示图形表示或用户界面的显示器24，诸如液晶显示器(“lcd”)。显示器24可以是被配置为从处理器22发送和接收信号的触摸敏感的输入装置，诸如触摸屏，并且可以是多触摸触摸屏。在一个实施例中，系统10还包括致动器26。处理器22可以将与所产生的触觉效果相关联的触觉信号发送到致动器26，致动器26继而输出触觉效果，诸如振动触感的触觉效果、静电摩擦触觉效果、或变形触觉效果。致动器26包括致动器驱动电路。致动器26可以是例如电机、静电致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“erm”)、线性共振致动器(“lra”)、压电致动器、高带宽致动器、电活性聚合物(“eap”)致动器、静电摩擦显示器、或超声振动发生器。在替代实施例中，除了致动器26(图1中未示出)之外，系统10还可以包括一个或多个附加致动器。致动器26是触觉输出装置的例子，其中，触觉输出装置是被配置为响应于驱动信号输出触觉效果的装置，触觉效果诸如振动触感触觉效果、静电摩擦触觉效果或变形触觉效果。在替代实施例中，致动器26可以用一些其他类型的触觉输出装置取代。此外，在其他替代实施例中，系统10可以不包括致动器26，而是与系统10分离的装置包括致动器或产生触觉效果的其他触觉输出装置，并且系统10通过通信装置20将所产生的触觉信号发送到该装置。在一个实施例中，系统10还包括扬声器28。处理器22可以将音频信号发送到扬声器28，扬声器28继而输出音频效果。扬声器28可以是例如动态扩音器、电动态扩音器压电扩音器、磁致伸缩扩音器、静电扩音器、带式或平面式磁性扩音器、弯曲波扩音器、平板扩音器、海尔空气运动换能器、等离子体弧扬声器、以及数字扩音器。在替代实施例中，除了扬声器28(图1中未示出)之外，系统10还可以包括一个或多个附加扬声器。此外，在其他替代实施例中，系统10可以不包括扬声器28，而是与系统10分离的系统包括输出音频效果的扬声器，并且系统10通过通信装置20将音频信号发送到该装置。在一个实施例中，系统10还包括传感器30。传感器30可以被配置为检测能量形式或其他物理性质，诸如，但不限于，声音、移动、加速度、生物信号、距离、流、力/压力/应变/弯曲、湿度、直线位置、方位/倾角、射频、旋转位置、旋转速度、开关操纵、温度、振动或可见光强度。传感器30可以进一步被配置为将所检测的能量或其他物理性质转换为电信号或表示视觉传感器信息的任何信号。传感器30可以是任何装置，诸如，但不限于，加速度计、心电图描记器、脑电图描记器、肌电图描记器、眼电图描记器、电腭动描记器、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏感电阻器、称重传感器、lusensecps2155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动器)、线性可变差动变压器、指南针、倾角计、磁性标签(或射频标识标签)、旋转编码器、旋转电位计、陀螺仪、开关开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集成电路)、麦克风、光度计、高度计、生物监视器、照相机或光相关电阻器。在替代实施例中，除了传感器30(图1中未示出)之外，系统10还可以包括一个或多个附加传感器。在这些实施例中的一些中，传感器30和所述一个或多个附加传感器可以是传感器阵列的一部分、或一些其他类型的传感器集合。此外，在其他替代实施例中，系统10可以不包括传感器30，而是与系统10分离的装置包括传感器，该传感器检测某一形式的能量或其他物理性质，将所检测的能量或其他物理性质转换为电信号或表示视觉传感器信息的其他类型的信号。该装置然后可以通过通信装置20将转换的信号发送到系统10。图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触觉信号的编码的系统。在一个实施例中，图2的功能以及下述图3、4、5和12的功能用存储在存储器或其他计算机可读或有形介质中的软件实现，并且被处理器执行。在其他实施例中，每个功能可以由硬件(例如，通过使用专用集成电路(“asic”)、可编程门阵列(“pga”)、现场可编程门阵列(“fpga”)等)或硬件和软件的任何组合执行。在某些实施例中，可以略去该功能中的一些。图2中所示的系统包括媒体编辑应用200。媒体编辑应用200是被配置为执行编辑输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。在执行编辑输入信号的功能时，媒体编辑应用200可以向用户显示用户界面，其中，该用户界面包括输入信号的视觉表示，并且其中，用户可以通过与该用户界面交互来修改输入信号的一个或多个部分、或整个输入信号。在所示的实施例中，输入信号是包括一个视频信号和两个音频信号的多媒体信号。然而，这是示例实施例，在替代实施例中，多媒体信号可以包括任何数量的音频信号，并且可以包括任何数量的视频信号。在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信号、视频信号、加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一类型的信号。此外，在输入信号是多媒体信号的其他替代实施例中，除了音频信号和视频信号之外，多媒体信号还可以包括其他类型的信号，诸如加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的其他类型的信号。媒体编辑应用200可以通过从多媒体文件210提取编码的多媒体信号并且对该编码的多媒体信号进行解码来接收多媒体信号。多媒体文件210是存储数据的计算机文件，所述数据诸如编码的多媒体信号或其他类型的编码信号。在一个示例实施例中，多媒体文件210可以mpeg-4part14(“mp4”)文件。可以在mpeg-4part14标准(iso/iec14496-1系统)、mpeg4part-3标准(iso/iec14496-3音频)以及mpeg4part-12标准(iso/iec14496-12媒体文件格式)中找到关于mp4文件的具体细节，这些标准的全部内容通过引用并入本文。在1，用户选择多媒体信号内所包含的音频信号的一个或多个部分(在图2中被标识为“音频区域”)。系统创建编辑列表220，其是包括所述音频信号的所述一个或多个部分的列表。在替代实施例中，不是选择音频信号的一个或多个部分，而是用户可以选择整个音频信号。此外，在替代实施例中，用户可以选择多媒体信号内所包含的另一类型的信号，诸如视频信号。在2，用户指示系统将音频信号的所述一个或多个部分转换为一个或多个触觉信号(在图2中被标识为“启动‘产生触觉’特征”)。触觉信号是可以与一个或多个触觉效果相关联的信号，可以将触觉信号发送到诸如致动器的触觉输出装置，其中，触觉输出装置可以基于触觉信号输出一个或多个触觉效果。触觉效果的例子是可以生成被触觉输出装置的用户感觉到的振动的振动触感触觉效果。触觉效果的其他例子可以包括静电摩擦触觉效果或变形触觉效果。触觉信号可以包括诸如波形的数据，其中，波形是脉冲编码调制(“pcm”)格式的一个或多个信号值的集合。根据实施例，系统调用触觉管理控制台模块230，其中，触觉管理控制台模块230是控制音频信号的一个或多个部分到一个或多个触觉信号的转换、并且还控制所述一个或多个触觉信号的编码的模块。在用户选择整个音频信号的替代实施例中，用户可以指示系统将整个音频信号转换为一个或多个触觉信号，触觉管理控制台模块230可以控制整个音频信号到一个或多个触觉信号的转换。在3，触觉管理控制台模块230读取编辑列表220，从编辑列表220选择第一项(即，音频信号的第一部分)，并调用离线触觉转换器模块240。离线触觉转换器模块240是将诸如音频信号或音频信号的一部分的输入转换为一个或多个触觉信号的模块。离线触觉转换器模块240可以采取下列作为输入：(1)包括数据的任意大小的数据缓冲器，所述数据诸如pcm音频数据；(2)数据缓冲器中的若干个通道；(3)数据缓冲器的每采样比特；以及(4)数据缓冲器的采样速率。离线触觉转换器模块240可以进一步生成下列作为输出：包含包括触觉数据的触觉信号的数据缓冲器，所述触觉数据控制经由触觉输出装置的一个或多个触觉效果的产生。在一个实施例中，触觉信号可以是包括以“触觉帧率”改变的幅值的序列的单个通道。触觉帧率定义离线触觉转换器模块240输出触觉数据的速率。可以将触觉帧率设置为与输入信号的音频帧率或视频帧率匹配的速率，所述输入信号诸如音频信号、视频信号或多媒体信号。可替代地，可以将触觉帧率定义为每一触觉采样的音频(或视频)采样的数量。在一个实施例中，离线触觉转换器模块240可以包括使得用户可以设置触觉帧率(例如，从每秒15帧到每秒60帧)的配置界面。此外，在一个实施例中，离线触觉转换器模块240还可以披露使得用户可以在触觉转换操作开始之前改变现有触觉参数(诸如强度、密度或清晰度)的方法。离线触觉转换器模块240可以使用相关领域中的普通技术人员已知的将输入转换为一个或多个触觉信号的任何触觉转换算法。例如，离线触觉转换器模块240可以使用识别输入的每个部分的最大振幅值的触觉转换算法，并基于所识别的最大振幅值来产生输入的每个部分的触觉信号，其中，所识别的最大振幅值定义触觉信号的幅度。在以下专利或专利申请(这些专利或专利申请的全部内容全都特此通过引用并入)中描述了示例触觉转换算法：美国专利no.7,979,146；美国专利no.8,000,825；美国专利no.8,378,964；美国专利申请公开no.2011/0202155；美国专利申请公开no.2011/0215913；美国专利申请公开no.2012/0206246；美国专利申请公开no.2012/0206247；美国专利申请公开no.2013/0265286；美国专利申请公开no.2013/0131851；美国专利申请公开no.2013/0207917；美国专利申请公开no.2013/0335209；美国专利申请公开no.2014/0064516；美国专利申请序号no.13/661,140；美国专利申请序号no.13/785,166；美国专利申请序号no.13/788,487；美国专利申请序号no.14/078,438；美国专利申请序号no.14/078,442；美国专利申请序号no.14/078,445；美国专利申请序号no.14/051,933；美国专利申请序号14/020,461；以及美国专利申请序号no.14/020,502。在一个实施例中，可以从多媒体文件210提取编码的音频信号或其他类型的信号的一个或多个部分，对这些部分进行解码，并经由离线触觉转换器模块240的一次或多次调用将这些部分发送到离线触觉转换器模块240，其中，离线触觉转换器模块240可以将音频信号的每个部分转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。这被标识为“逐步转换”，并且在图2中示出。在替代实施例中，可以从多媒体文件210提取整个音频信号或其他类型的信号，对该信号进行解码，并经由离线触觉转换器模块240的单次调用将该信号发送到离线触觉转换器模块240，其中，离线触觉转换器模块240可以将整个音频信号转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。这被标识为“整个转换”。根据实施例，离线触觉转换模块240可以“离线地”执行整个输入信号(或输入信号的一个或多个部分)到一个或多个触觉信号的触觉转换。在“离线地”执行触觉转换时，离线触觉转换模块240可以在媒体编辑应用200回放输入信号之前执行触觉转换。在4，触觉管理控制台模块230调用触觉编码器模块250。触觉编码器模块250是将一个或多个触觉信号编码为编码格式并且将编码的一个或多个触觉信号存储在多媒体文件210内的模块。在将编码的一个或多个触觉信号存储在多媒体文件210内过程中，触觉编码器模块250可以定义所述一个或多个触觉信号的每个触觉信号，并将该触觉信号放置在多媒体文件210内。因此，可以将所述一个或多个触觉信号嵌入在多媒体文件210内，其中，将所述一个或多个触觉信号与原始多媒体信号组合。在替代实施例中，触觉编码器模块250可以将编码的一个或多个触觉信号存储在与多媒体文件210分开的多媒体文件(图2中未示出)内。此外，在另一替代实施例中，触觉编码器模块250可以另外将基于一个或多个预定义触觉效果的一个或多个编码的触觉信号存储在多媒体文件210或单独的多媒体文件内。下面结合图6-11更详细地进一步描述对触觉信号进行编码并且将编码的触觉信号存储在多媒体文件内的功能。此外，系统对于编辑列表220中的每项(即，音频信号的每个部分)重复3和4。在5，媒体编辑应用200更新多媒体信号的视觉表示以包括所产生的一个或多个触觉信号的表示。图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或多个触觉效果的回放的系统。图3中所示的系统包括媒体编辑应用200和/或媒体播放器应用300。先前在上面结合图2描述了媒体编辑应用200。媒体播放器应用300是被配置为执行播放输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。在1，用户指示系统播放被编码并且被存储在多媒体文件210内的输入信号，诸如包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的多媒体信号。在所示的实施例中，存储在多媒体文件210内的编码的输入信号是编码的多媒体信号。先前在上面结合图2描述了多媒体文件210。根据实施例，多媒体文件210还包括在多媒体文件210内与编码的多媒体信号组合的一个或多个编码的触觉信号。在一个实施例中，用户可以通过与媒体编辑应用200的用户界面进行交互来指示系统播放多媒体信号。在替代实施例中，用户可以通过与媒体播放器应用300的用户界面进行交互来指示系统播放多媒体信号。在2，媒体编辑应用200或媒体播放器应用300播放多媒体信号。根据实施例，媒体编辑应用200或媒体播放器应用300从多媒体文件210检索编码的多媒体信号，对该编码的多媒体信号进行解码，并播放解码的多媒体信号。在3，操作系统模块310调用触觉解码器模块320，操作系统模块310是被配置为提供操作系统功能的模块。触觉解码器模块320是被配置为从多媒体文件210提取一个或多个编码的触觉信号并且对所述一个或多个编码的触觉信号进行解码的模块。下面结合图6-11更详细地进一步描述对编码的触觉信号进行解码的功能。在4，触觉解码器模块320生成触觉输出330。触觉解码器模块320可以通过将所述一个或多个触觉信号发送到诸如致动器的一个或多个触觉输出装置来生成触觉输出330，其中，所述一个或多个触觉信号使所述一个或多个触觉输出装置生成一个或多个触觉效果。触觉输出330可以包括振动触感效果，诸如振动触感效果340和350。触觉解码器模块320进一步使触觉输出的回放与诸如音频效果360和视频效果370的音频输出和/或视频输出的回放同步。因此，触觉解码器模块320可以使所述一个或多个触觉信号到一个或多个触觉输出装置的发送与一个或多个音频信号到诸如扬声器的音频输出装置的发送、和/或一个或多个视频信号到诸如显示器的视频输出装置的发送同步。为了便利于这个同步，触觉解码器模块320可以使所述一个或多个触觉信号的触觉数据与所述一个或多个音频信号的音频数据和/或所述一个或多个触觉信号的视频数据同步。更具体地，触觉解码器模块320可以重复地调用被配置为以等于触觉帧率的速率将触觉信号发送到触觉输出装置的模块，其中，触觉帧率被定义为与用于将音频信号发送到音频输出装置的音频帧率或用于将视频信号发送到视频输出装置的视频帧率相同的速率。因此，因为触觉帧率与音频帧率和/或视频帧率相同，所以可以在与当输出触觉效果时的时间相同或基本上相同的时间输出音频效果和/或视频效果。图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信号的编码的流程图。根据实施例，输入信号是包括音频信号和视频信号的多媒体信号405。然而，在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信号、视频信号、加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一类型的信号。此外，在其中输入信号是多媒体信号的替代实施例中，多媒体信号可以包括任何数量的音频信号，可以包括任何数量的视频信号，和/或除了音频信号和视频信号之外，还可以包括其他类型的信号，诸如加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的其他类型的信号。根据实施例，多媒体信号405可以是编码的多媒体信号，并且可以被存储在诸如多媒体文件的源内。在410，提取多媒体信号405的音频信号，并将该音频信号解码为音频信号415。然后将音频信号415作为输入发送到离线触觉转换器模块420。离线触觉转换器模块420将音频信号415转换为触觉信号425。触觉信号425是包括触觉数据的信号，其中，触觉数据包括pcm流或振幅值序列。根据实施例，离线触觉转换器模块415可以使用相关领域中的普通技术人员已知的将音频信号415转换为触觉信号425的任何触觉转换算法。此外，在实施例中，离线触觉转换器模块415可以“离线地”执行触觉转换，其中，离线触觉转换模块420可以在回放音频信号之前执行触觉转换。在430，将触觉信号425编码为编码的触觉信号435。此外，在440，将编码的触觉信号435和多媒体信号450复用(即，组合)为多媒体信号445，其中，多媒体信号445包括音频信号、视频信号和触觉信号(即，编码的触觉信号435)。下面结合图6-11更详细地进一步描述触觉信号425到编码的触觉信号435的编码、以及编码的触觉信号435和多媒体信号405的复用。图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号的一个或多个触觉效果的回放的流程图。在510，将多媒体信号445解复用(即，分割)为音频信号511、视频信号512和触觉信号513。先前在上面结合图4描述了多媒体信号445，不再对多媒体信号445进行描述。在520，对音频信号511、视频信号512和触觉信号513均进行解码。此外，在对音频信号511和视频信号512进行解码之后，将它们发送到音频/视频呈现器530，其中，音频/视频呈现器530控制一个或多个音频输出装置处的一个或多个音频效果的输出、以及一个或多个视频输出装置处的一个或多个视频效果的输出。根据实施例，基于音频信号511输出所述一个或多个音频效果，并且基于视频信号512输出所述一个或多个视频效果。在某些实施例中，每个音频输出装置是扬声器，每个视频输出装置是显示器。此外，将触觉信号513解码为解码的触觉信号525。根据实施例，解码的触觉信号525是包括解码的触觉数据的信号，其中，解码的触觉数据包括pcm流或振幅值序列。在触觉信号513被解码为解码的触觉信号525之后，将解码的触觉信号525发送到振动呈现器570，其中，下面更详细地进一步描述触觉信号525到振动呈现器570的发送。根据实施例，振动呈现器570控制触觉输出装置处的一个或多个触觉效果的输出，其中，下面更详细地进一步描述所述一个或多个触觉效果的输出。此外，可以使音频信号511和视频信号512到音频/视频呈现器530的发送、以及解码的触觉信号520到振动呈现器570的发送同步，以使得在与当输出所述一个或多个触觉效果时的时间相同或基本上相同的时间输出所述一个或多个音频效果和所述一个或多个视频效果。在540，选择一个或多个触觉输出装置。在550，对解码的触觉信号525的振幅触觉参数进行调制，该参数配置用于所选触觉输出装置的解码的触觉信号525。在560，对其他触觉参数进行调制，以使得解码的触觉信号525被配置用于所选触觉输出装置，所述其他触觉参数诸如强度触觉参数、密度触觉参数或清晰度触觉参数。在某些实施例中，可以略去在540、550和560执行的功能。此外，在解码的触觉信号525被调制之后，将解码的触觉信号525发送到振动呈现器570，其中，振动呈现器570控制致动器580处的一个或多个触觉效果的输出，其中，该致动器是触觉输出装置的例子。根据实施例，基于解码的触觉信号525输出一个或多个触觉效果。现在更详细地描述根据示例实施例的对触觉信号进行编码并且将编码的触觉信号存储在诸如mp4文件的多媒体文件内的功能。尽管描述了对触觉信号进行编码并且将编码的触觉信号存储在多媒体文件内的示例实现，但是相关领域中的普通技术人员将容易意识到，在其他替代实施例中可以不同地实现触觉信号的编码以及编码的触觉信号在多媒体文件内的存储。如前所述，多媒体文件可以包括编码的多媒体信号，其中，编码的多媒体信号可以包括任何数量的编码信号，诸如编码的音频信号和编码的视频信号。根据实施例，可以对触觉信号进行编码，并将该触觉信号存储在多媒体文件内，其中，对编码的触觉信号进行交织、或将编码的触觉信号与存储在该多媒体文件内的其他编码的音频信号和/或编码的视频信号组合。根据实施例，编码的触觉信号类似于编码的音频信号(或另一类型的编码信号)，因为这两个编码信号都包括诸如波形的数据，其中，波形是pcm格式的一个或多个信号值的集合。因此，重要的是，在多媒体文件内对编码的触觉信号进行格式化，以使得编码的触觉信号不被误认为另一类型的编码信号(诸如编码的音频信号)，反之亦然。此外，多媒体文件是被标识为箱的一系列对象。所有数据都被存储在箱中；不存在存储在多媒体文件内的其他数据。因此，多媒体文件的编码信号被存储在多媒体文件的箱中。因此，根据实施例，编码的触觉信号与为音频和视频而存在的其他trak箱一起被存储在标准“moov”箱内的单独的“trak”箱内。下表例示了触觉箱结构：根据实施例，单独的“hapt”箱可以指示编码的信号是编码的触觉信号，以便确保编码的触觉信号不被呈现为另一类型的媒体，诸如音频或视频。另外，为了进一步确保编码的触觉信号不被呈现为另一类型的媒体，可以将编码的触觉信号表示为定时元数据轨道(即，“meta”)。这可以通过将handler_type字段设置为“hdlr”箱中的“meta”的值来进行。定时元数据轨道被配置为存储基于时间的媒体数据。将编码的触觉信号存储在这种类型的轨道或流中使得编码的触觉信号可以被认为是媒体，但不是作为除了触觉格式之外的格式(诸如音频格式或视频格式)的媒体格式。因此，指定用于编码的触觉信号的定时元数据流可以确保在回放期间，编码的触觉信号不被呈现为另一类型的媒体，诸如音频或视频，尽管编码的触觉信号的格式类似于另一类型的编码信号(诸如编码的音频信号或编码的视频信号)的格式。图6例示根据本发明的实施例的用于编码的多媒体信号的音频分量的处理器箱结构600。根据实施例，编码的多媒体信号包括音频分量，其为编码的音频信号。编码的音频信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构600的处理器(或“hdlr”)箱。处理器箱结构600包括具有值“soun”的handlertype字段610，值“soun”指示轨道是音频轨道。图7例示根据本发明的实施例的用于编码的多媒体信号的视频分量的处理器箱结构。根据实施例，编码的多媒体信号包括视频分量，其为编码的视频信号。编码的视频信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构700的hdlr箱。处理器箱结构700包括具有值“vide”的handlertype字段710，值“vide”指示轨道是视频轨道。图8例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的处理器箱结构。根据实施例，编码的多媒体信号包括触觉分量，其为编码的触觉信号。编码的触觉信号被存储在多媒体文件的trak箱内。此外，trak箱包括具有处理器箱结构800的hdlr箱。处理器箱结构800包括具有值“meta”的handlertype字段810，值“meta”指示轨道是触觉轨道。图9例示根据本发明的实施例的用于编码的多媒体信号的音频分量、视频分量和触觉分量的头箱结构。根据实施例，多媒体信号包括音频分量、视频分量和触觉分量，音频分量是编码的音频信号，视频分量是编码的视频信号，触觉分量是编码的触觉信号。编码的音频信号被存储在多媒体文件的trak箱910内。trak箱910包括在“minf”容器箱下面的“smhd”箱911，其中，smhd箱911是指示轨道是音频轨道的声音媒体头箱。编码的视频信号被存储在多媒体文件的trak箱920内。trak箱920包括在minf容器箱下面的“vmhd”箱921，其中，vmhd箱921是指示轨道是视频轨道的视频媒体头箱。编码的触觉信号被存储在多媒体文件的trak箱930内。trak箱930包括在minf容器箱下面的“nmhd”箱931，其中，nmhd箱931是指示轨道是触觉轨道的空媒体头箱。更具体地，nmhd箱931可以指示轨道不是音频轨道或视频轨道，但是仍可以被解释为触觉轨道。此外，如前所述，在触觉箱结构(诸如前面的表中所示的触觉箱结构)内，存在采样表箱(即，“stbl”箱)。在stbl箱下面，存在采样描述箱(即，“stsd”箱)。在stsd箱中，可以指定轨道的格式。对于触觉轨道，如前所述，可以定义hapt箱，其中，hapt箱指示定时元数据轨道包含编码的触觉信号。在某些实施例中，“meta”处理器类型可以要求实现metadatasampleentry类，但是可以将metadatasampleentry类定义为可以通过新的子类扩展的空类。此外，如下面更详细地进一步描述的，可以将任何触觉特定的数据存储在“esds”箱中。另外，诸如轨道持续时间和时间尺度的任何定时数据可以存在于“mdhd”箱中，其中，mdhd箱描述触觉轨道的总持续时间和时间尺度。“timescale”是包含一秒内过去的若干个时间单位的32位无符号整数。例如，如果触觉轨道具有每秒50个采样的更新速率，则将这个timescale设置为50。“duration”是声明触觉轨道在timescale的尺度中的长度的64位无符号整数。例如，如果timescale被设置为值50，则每一个采样具有20毫秒的长度。如果触觉轨道有5秒长，则持续时间应具有值250(即，5*1000/20)。此外，如前所述，在触觉箱结构(诸如前面的表中所示的触觉箱结构)内，在hapt容器箱下面的子箱是基本流描述箱(即，“esds”箱)，其也被称为es_descriptor。当应用于触觉时，该箱包含对与流驻留在其中的trak箱相关联的流进行解码所需的信息。根据实施例，es_descriptor箱包含decoderconfigdescriptor结果，其包含解释和读取基本流的参数和要求。在decoderconfigdescriptor内，存在用于objectprofileindication值和decoderspecificinfo结构的字段。objectprofileindication值提供用于流的对象配置文件类型。可以将该字段设置为0xc0与0xfe(用户提供的对象配置文件类型的范围)之间的值，当在hapt箱结构内使用该值时，该值可以被称为haptic类型。如下面结合图10和11更详细地描述的，根据实施例，仅将仅包含使用0xc0与0xfe之间的值作为对象配置文件类型的hapt箱的trak箱结构认为是有效触觉流。decoderspecificinfo结构是通过其他类基于objectprofileindication值扩展的抽象类。在一个实施例中，可以通过hapticspecificconfig类来扩展该结果，hapticspecificconfig类包含触觉特定的数据，诸如信号类型和为其创建编码的触觉信号的触觉输出装置(例如，致动器)。下面更详细地进一步描述hapticspecificconfig类。图10例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的有效对象配置文件类型。根据实施例，编码的多媒体信号包括触觉分量，其是编码的触觉信号。此外，对于存储编码的多媒体信号的多媒体文件，定义触觉箱结构1000。触觉箱结构1000包括具有0xc0和0xfe的范围内的值的objectprofileindication字段1010。因为objectprofileindication字段1010的值在有效范围内，所以认为包含编码的触觉信号的轨道是有效触觉轨道。图11例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的无效对象配置文件类型。根据实施例，编码的多媒体信号包括触觉分量，其是编码的触觉信号。此外，对于存储编码的多媒体信号的多媒体文件，定义触觉箱结构1100。触觉箱结构1100包括具有值0x40的objectprofileindication字段1110。因为objectprofileindication字段1110的值不在有效范围内，所以认为包含编码的触觉信号的轨道不是有效触觉轨道。媒体播放器应用和媒体编辑应用通常需要多媒体文件的基本流描述箱中的配置信息，其中，该配置信息对于解码处理是必要的。因此，decoderconfigdescriptor可以包含decoderspecificinfo抽象类的子类。对于触觉流，根据本发明的实施例，可以通过hapticspecificconfig类来扩展decoderspecificinfo抽象类。当objecttypeindication值和streamtype值分别为0xc0和0x20(指示流包含触觉数据)时，hapticspecificconfig可以扩展抽象类decoderspecificinfo。下面在以下的表中示出了hapticspecificconfig类的示例语法：触觉流类型描述0x0保留0x1保留0x2触觉编码流0x3音频编码流采样频率索引值0x0保留0x12000x280000x3–0xe保留0xf逸出值值通道数量0-1单通道端点配置描述0x0时序振幅0x1pcm波形0x2–0xff保留触觉解码器类型描述0x0原始流0x1–0xf保留根据实施例，对编码的触觉信号进行交织，或者将编码的触觉信号与编码的音频信号和/或编码的视频信号组合在多媒体文件内。更具体地，包括编码的音频信号的流可以与声音类型的trak对象相关联。此外，包括编码的视频信号的流可以与视频类型的trak对象相关联。另外，包括编码的触觉信号的流可以与定时元数据类型的trak对象相关联。可以对这些流进行交织，或者可以将这些流组合在“mdat”箱中，mdat箱驻留在与箱结构中的moov箱相同的层次上。mdat箱包含媒体编辑应用或媒体播放器应用解析、解码和呈现的实际数据。在从交织的数据箱提取编码的触觉信号并且对该编码的触觉信号进行解码时，媒体编辑应用或媒体播放器应用可以参照采样表内的编码的触觉信号的数据块或部分的偏移。图12例示根据本发明的一个实施例的离线触觉转换模块(诸如图1的离线触觉转换模块16)的功能的流程图。该流程开始，并且进入1210。在1210，从源接收输入。在某些实施例中，输入可以是下列之一：音频信号的至少一部分；视频信号的至少一部分；或包括音频信号和视频信号两者的多媒体信号的至少一部分。此外，在某些实施例中，源是多媒体文件。在其中源是多媒体文件的实施例中，可以从该多媒体文件提取输入信号，并且可以对该输入信号进行解码。所述流程然后进入1220。在1220，将输入转换为一个或多个触觉信号。在某些实施例中，从源提取输入信号，并将该输入信号转换为一个或多个触觉信号。在其他实施例中，从源提取输入信号的一个或多个部分，并将输入信号的所述一个或多个部分转换为一个或多个触觉信号。此外，在某些实施例中，可以在回放输入之前执行将输入转换为一个或多个触觉信号。所述流程然后进入1230。在1230，对所述一个或多个触觉信号进行编码。所述流程然后进入1240。在1240，存储所述一个或多个触觉信号。在某些实施例中，可以将所述一个或多个触觉信号存储在源内，其中，将所述一个或多个触觉信号与输入组合在源的容器内。在其他实施例中，可以将所述一个或多个触觉信号存储在单独的文件或流中。所述流程然后进入1250。在1250，提取所述一个或多个触觉信号。在其中所述一个或多个触觉信号被存储在源内的实施例中，可以从存储在该源内的输入提取所述一个或多个触觉信号。在其中所述一个或多个触觉信号被存储在单独的文件或流内的实施例中，可以从该单独的文件或流提取所述一个或多个触觉信号。所述流程然后进入1260。在1260，对所述一个或多个触觉信号进行解码。所述流程然后进入1270。在1270，基于所述一个或多个触觉信号来产生一个或多个触觉效果。在某些实施例中，可以将所述一个或多个触觉信号发送到触觉输出装置以产生一个或多个触觉效果。在这些实施例中的一些中，触觉输出装置是致动器。此外，在这些实施例中的一些中，所述一个或多个触觉信号均可以包括一个或多个幅值的序列，并且可以配置触觉帧率，其定义所述一个或多个幅值的序列中每秒发送到触觉输出装置的部分。所述流程然后进入1280。在1280，使所述一个或多个触觉效果与来自相关联的媒体的一个或多个效果同步。在某些实施例中，相关联的媒体可以是输入。在这些实施例中的一些实施例中，来自相关联的媒体的一个或多个效果可以是基于输入或利用输入而产生的一个或多个效果。所述流程然后结束。因此，在一个实施例中，一种系统可以“离线地”将诸如音频信号的输入信号转换为触觉信号。然后可以将触觉信号嵌入到多媒体文件中，其中，可以将触觉信号与该多媒体文件内所包含的音频信号和视频信号组合。然后可以使使用触觉信号而产生的触觉效果与使用音频信号而产生的音频效果和使用视频信号而产生的视频效果同步。触觉效果与音频效果和视频效果的同步可以为多媒体文件的用户提供附加娱乐层。因此，系统可以为用户提供对于多媒体文件内所包含的多媒体信号创建触觉效果的快速简单的方式。系统还可以提供在触觉输出装置上呈现触觉效果的可靠方式。在一个或多个实施例中，可以以任何合适的方式组合在整个本说明书中描述的本发明的特征、结构或特性。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似的语言在整个本说明书中指的是结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似语言在整个本说明书中的出现不一定全都指的是同一组实施例，并且在一个或多个实施例中可以以任何合适的方式组合所描述的特征、结构或特性。本领域的普通技术人员将容易理解，可以用不同顺序的步骤、和/或用与所公开的元件的配置不同的配置的元件来实施如以上所讨论的本发明。因此，尽管已经基于这些优选实施例描述了本发明，但是本领域的技术人员将明白，某些修改、变化和替代构造将是显而易见的，同时仍保留在本发明的精神和范围内。因此，为了确定本发明的界限，应参照所附权利要求书。当前第1页12