用于使用户能够修改音频文件的方法和装置的制作方法

专利名称：用于使用户能够修改音频文件的方法和装置的制作方法
技术领域：
本发明涉及使用户能够经由用于控制用来再制作(re-authoring)音频文件的驱动器的用户界面来修改音频文件的方法和装置。具体而非排他性地，本发明涉及使用户能够经由用于控制用来向MIDI文件提供三维音频数据的驱动器的用户界面来修改MIDI文件的方法和装置。
背景技术：
很多个体用户都在他们自己的PC上下载和收听MIDI文件形式的音乐。但是，用户变得越来越专业并且需要提高MIDI文件的音景(soundscape)。另外，用户希望能够例如通过修改MIDI文件音景和保存他们自己的修改来使MIDI文件个性化以更好地收听。
二维音频数据对各种音频文件来说是已知的。如果二维音频数据被应用于文件，则声音不是从固定位置发出的，而是使其周期性地改变位置或使其从移动的位置发出。但是，至今还未找到使用户能够利用二维或三维音频数据来修改MIDI文件的便利方法。

发明内容
一般而言，本发明提出一个用户界面被提供用于控制用来再制作音频文件的驱动器。在该用户界面中，音频文件中的每个乐器或乐器集合都被分配了一个图标。对于每个图标，可以选择一个特定位置(相对于用户)和/或可以选择一个特定轨线(trajectory)(相对于用户)。特定轨线可以是从轨线选集(selection)中选出的。用户界面示出图标和每个图标相对于用户的位置，并且还可以示出分配给每个图标的轨线。因此，用户能够为图标选择新位置和/或轨线，并且一旦这样做，他可以在用户界面上看到他已做出的改变。
具体而言，根据本发明，提供了一种使用户能够经由用户界面来修改音频文件的方法，其中所述用户界面用于控制用来再制作所述音频文件的驱动器，所述方法包括以下步骤a)使所述用户界面上的图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)提供用于每个所述图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)在所述用户界面上提供用于示出每个所述图标的位置的显示，其中每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置；d)用户选择一个图标；e)用户将来自所述选集的一个轨线和/或位置分配给被选图标；以及g)在所述显示上指示被选图标的位置以及是否为被选图标分配了轨线。
在优选实施例中，用户界面上的显示示出了用户的虚拟视图和用户的周围环境。在此情况下，指示被选图标的位置的步骤可以包括在虚拟视图上显示图标在用户周围环境中的位置。
在一个实施例中。所述虚拟视图示出了用户的虚拟平面图以及围绕用户的二维水平面。在此情况下，图标在二维平面中的位置可以由图标在该虚拟平面图中的位置来指示。图标在垂直方向上的位置可以通过改变图标的外观而被指示在虚拟平面图上。例如，图标可以被示为具有阴影，阴影的大小指示图标相对于用户的垂直位置。
在另一实施例中，所述虚拟视图示出了用户的虚拟透视图以及围绕用户的三维空间。在此情况下，图标在用户周围空间中的位置可以由图标在该虚拟透视图上的位置来指示。
也可以设想其他虚拟视图。例如，虚拟视图可以示出用户的虚拟正视图(elevation view)以及围绕用户的二维垂直平面。
有利的是，用户将位置分配给被选图标的步骤包括用户在所述虚拟视图上用户的周围环境中移动被选图标。这可以是通过在用户界面上点击和拖拉被选图标来实现的。
优选地，该方法还包括在用户界面上示出与每个图标相关联的一个或多个乐器的步骤。
优选地，该方法还包括在存在轨线的情况下，在用户界面上示出分配给每个图标的轨线的步骤。轨线定义了围绕用户的一个位置序列，该位置序列被重复以构成在完整的音频文件的持续时间内将连续的循环。
优选地，该方法还包括将修改保存到音频文件的步骤。该步骤可以由用户执行，也可以例如以固定时间间隔来自动执行。
在一个实施例中，与每个图标相关联的一个或多个乐器以及分配给每个图标的轨线被显示在用户界面上的第二显示上。该第二显示还可以显示与每个图标相关的其它信息。因此，在此实施例中，在用户界面上存在两个显示第一显示示出每个图标相对于用户的位置，而第二显示示出与每个图标相关的信息，包括与每个图标相关联的一个或多个乐器以及与每个图标相关联的轨线。
在优选实施例中，已被分配了轨线的一个或多个图标具有与还未被分配轨线的图标不同的视觉外观。因此，用户能够一眼分辨出哪些图标已被分配了轨线而哪些图标还未被分配轨线。
在一个实施例中，已被分配了轨线的一个或多个图标被利用彩色光亮示出。该光亮可能是绿色光亮，其中绿色一般与移动相关联。
在本发明的实施例中，可能轨线的选集包括以下群组中的一种或多种左右移动；上下移动；8字形移动；Z字形移动；螺旋形移动；和弧形移动。也可以设想其他可能的轨线。
在特别有利的实施例中，音频文件是MIDI文件，而轨线的节奏被设置为与MIDI文件的音乐的节奏相匹配。在此实施例中，该方法还包括用户为分配给被选图标的轨线选择来自选集的节奏的步骤。
在一个实施例中，音频文件是MIDI文件。
根据本发明，提供了一种用于使用户能够修改音频文件的装置，该装置包括用于控制用来再制作所述音频文件的驱动器的用户界面，该用户界面包括a)至少一个图标，其中每个图标都与所述音频文件中的一个或多个乐器或乐器集合相关联；b)用于每个图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)所述用户界面上的显示，该显示示出iii)每个图标的位置，每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置；以及iv)是否为被选图标分配了轨线。
在优选实施例中，所述用户界面上的显示包括用户的虚拟视图和用户的周围环境。在此情况下，所述显示可以通过在所述虚拟视图上显示图标在用户的周围环境中的位置来示出每个图标的位置。
在一个实施例中，所述虚拟视图示出了用户的虚拟平面图以及围绕用户的二维水平面。在此情况下，图标在二维平面中的位置可以由图标在该虚拟平面图中的位置来指示。图标在垂直方向上的位置可以通过改变图标的外观而被指示在虚拟平面图上。例如，图标可以被示为具有阴影，阴影的大小指示图标相对于用户的垂直位置。
在另一实施例中，所述虚拟视图示出了用户的虚拟透视图以及围绕用户的三维空间。在此情况下，图标在用户周围空间中的位置可以由图标在该虚拟透视图上的位置来指示。
也可以设想其他虚拟视图。例如，虚拟视图可以示出用户的虚拟正视图以及围绕用户的二维垂直平面。
优选地，该显示示出与每个图标相关联的一个或多个乐器。优选地，该显示在存在轨线的情况下示出分配给每个图标的轨线。
在优选实施例中，已被分配了轨线的一个或多个图标具有与还未被分配轨线的图标不同的视觉外观。因此，用户能够一眼分辨出哪些图标已被分配了轨线而哪些图标还未被分配轨线。
在一个实施例中，已被分配了轨线的一个或多个图标被利用彩色光亮示出。该光亮可能是绿色光亮，其中绿色一般与移动相关联。
在本发明的实施例中，可能轨线的选集包括以下群组中的一种或多种左右移动；上下移动；8字形移动；Z字形移动；螺旋形移动；和弧形移动。也可以设想其他可能的轨线。
根据本发明提供了一种使用户能够经由用户界面来修改音频文件的方法，其中所述用户界面用于控制用来再制作所述音频文件的驱动器，所述方法包括以下步骤a)使所述用户界面上的图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)提供用于每个所述图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)对于每个轨线，提供可能节奏的选集，其中每个节奏都与所述音频文件的音乐的节奏相匹配，并且限定了所述图标的移动速率；d)用户选择一个图标；e)用户将来自所述选集的一个轨线分配给被选图标；以及f)用户将来自所述选集的一个节奏分配给已分配给被选图标的轨线。
每个节奏定义图标对于给定轨线的移动速率。每个节奏都与音频文件的音乐节奏相匹配，从而在音频文件音乐和图标轨线之间建立协调性。
优选地，该方法还包括在用户界面上示出与每个图标相关联的一个或多个乐器的步骤。
优选地，该方法还包括在用户界面上示出分配给每个图标的轨线的步骤。
优选地，该方法还包括在用户界面上示出分配给已分配给每个图标的轨线的节奏的步骤。
在一个实施例中，与每个图标相关联的一个或多个乐器和分配给每个图标的轨线以及分配给每个轨线的节奏都被示出在用户界面上的显示上。该显示还可以显示与每个图标相关的其他信息。
在本发明的实施例中，可能轨线的选集包括以下群组中的一种或多种左右移动；上下移动；8字形移动；Z字形移动；螺旋形移动；和弧形移动。
根据本发明，提供了一种用于使用户能够修改音频文件的装置，该装置包括用于控制用来再制作所述音频文件的驱动器的用户界面，该用户界面包括a)至少一个图标，其中每个图标都与所述音频文件中的一个或多个乐器或乐器集合相关联；b)用于每个图标的可能轨线的选集，其中每个轨线定义相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)用于每个轨线的可能节奏的选集，其中每个节奏与音频文件的音乐节奏相匹配，并且限定了所述图标的移动速率；以及d)所述用户界面上的显示，该显示示出了每个图标的位置，每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置。
根据本发明，还提供了一种使用户能够经由用户界面来修改音频文件的方法，其中所述用户界面用于控制用来再制作所述音频文件的驱动器，所述方法包括以下步骤计算机装置使用户界面上的图标与音频文件中的一个或多个乐器或乐器集合相关联；计算机装置提供用于每个图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于用户的虚拟路径；计算机装置在用户界面上提供用于示出每个图标的位置的显示，其中每个位置定义了相关联的乐器或乐器集合相对于用户的虚拟位置；用户选择一个图标；用户将一个位置分配给被选图标；可选地，用户将来自选集的一个轨线分配给被选图标；以及计算机装置在所述显示上指示被选图标的位置以及是否为被选图标分配了轨线。
应该理解，本发明的一个方案的任意优选特征也可以是本发明的任意其他方案的优选特征。


通过结合附图参考以下详细描述，本发明的前述方案和许多附带优点将变得更显而易见并且变得更好理解，在附图中
图1的流程图示出了用户可以用来允许利用3D MIDI信息对标准MIDI文件内容进行再制作的步骤；图2是用于图1中的步骤101的示例性用户界面显示；图3是用于图1中的步骤103和105的示例性用户界面显示；图4是用于图1中的步骤107的第一示例性用户界面显示；图5是用于图1中的步骤107的第二示例性用户界面显示；以及图6是示出用户是如何能够一次操作若干文件的示例性用户界面显示。
具体实施例方式
图1的流程图示出了用户可以用来允许利用3D MIDI信息对标准MIDI文件内容进行再制作的步骤。
该逻辑从开始步骤移动到步骤101，在步骤101中，用户选择将利用3D音频渲染(rendering)元数据的应用来再制作的特定MIDI文件。该文件通常是仅仅利用2D音频无法被修改的MIDI文件。
一旦用户在步骤101处已经打开该MIDI文件，他就可以立即看到代表该文件内乐器的图标选集。每个图标可以代表单个乐器(例如键盘乐器/钢琴)，或者可以代表多于一个乐器(例如键盘乐器再加上吉他)，或者也可以代表一组乐器(例如管弦乐队中的弦乐部分)。图标的数量将取决于乐器的数量，而乐器的数量将取决于所选的特定文件。
图标以示出每个图标相对于用户的位置的方式被显示在用户界面上。特定图标在显示屏上的位置代表与该图标相关联的一个或多个乐器相对于用户的虚拟位置，即当该MIDI文件被播放时，将发出与该图标相关联的一个或多个特定乐器的声音的位置。
注意，“图标位置”和“乐器位置”在本说明书中是可互换使用的，但是应该理解，“图标位置”指的是图标在用户界面上相对于用户的位置，而“乐器位置”指的是乐器相对于用户的虚拟位置。图标/乐器的位置可以被限制在围绕用户的二维水平面上。可替换地，图标/乐器可以被定位在围绕用户的三维空间中。
在步骤103处，用户选择一个特定图标。被选图标是用户想要对其分配新位置和/或轨线(trajectory)的那个图标，即用户希望在播放该MIDI文件时，与被选图标相关联的一个或多个乐器的声音是从新位置发出的，或者希望在播放该MIDI文件时，所述一个或多个乐器的声音从不固定的位置发出。
在步骤105处，用户将位置分配给被选图标。这可以通过将被选图标移动到用户界面显示上的一个不同位置来实现。
在步骤107处，用户将轨线分配给被选图标。该轨线是从用于该图标的一系列可能轨线中选出的。所述可能轨线可以包括围绕用户的二维水平面内的轨线(2D轨线)和围绕用户的三维空间中的轨线(3D轨线)。每个轨线限定了一个位置序列，该位置序列被重复以构成一个在整个MIDI文件的持续时间中连续的循环。
一旦已经为特定图标分配了一条轨线，用户界面就示出哪条轨线已被分配给该图标。另外，该图标本身在用户界面上的外观改变。这样一来，用户可以立即看出哪些图标已被分配了轨线，而哪些图标未被分配轨线，即在播放该MIDI文件时，哪些将移动而哪些将保持固定。
注意，“图标轨线”和“乐器轨线”在本说明书中是可互换使用的，但是应该理解，“图标轨线”指的是图标在用户界面上相对于用户的路径，而“乐器轨线”指的是乐器相对于用户的虚拟路径。
在步骤109处，用户可以选择回放该MIDI文件，以预览带有在步骤103、105和107中做出的新修改的音景。
接下来，逻辑移动到判断框111，其中用户可以选择操作其他图标。因此，用户可以对文件中的若干或所有乐器分配新位置和轨线，从而每次通过回放该MIDI文件来预览效果。一旦用户对足够图标已被分配了新位置或轨线的情况满意，并且用户对这些新位置/轨线的效果满意，则逻辑移动到步骤113。
在步骤113处，用户可以选择保存加入了他已做出的修改的文件。然后该逻辑前进至停止框。
图2到5根据图1的流程图中示出的步骤示出了用于本发明实施例的示例性用户界面显示。
图2示出了在打开MIDI文件“海洋小夜曲(Ocean Serenade)”时(图1中的步骤101)会出现的用于该MIDI文件的示例性用户界面显示201。在用户界面显示201的左侧是用户表示203。用户表示203是用户的虚拟平面图，并示出了围绕着位于中心的用户207的圆形水平面205。示出7个图标209a到209g围绕着用户(但是，当然可以理解，可以示出任意数目的图标并且这取决于特定的MIDI文件)。每个图标的角度位置代表在播放该MIDI文件时，将从其发出一个或多个乐器的声音的位置。每个图标的径向位置(即到用户207的距离)代表在播放该MIDI文件时一个或多个乐器(相对于其他乐器)的音量。
在用户界面显示201的右侧是乐器框211。
在乐器框211上示出了五列。第一列213示出图标号。第二列215示出可见性复选框。第三列217示出图标本身。第四列219示出每个图标代表的(一个或多个)乐器。而第五列221示出是否对该乐器分配了轨线。
第一列213简单地示出了图标号。每个图标被分配了一个号码，以简化用户对图标的标识。
第二列215示出可见性复选框。如果选中了与特定图标相邻的复选框，则在复选框中出现眼睛图像。眼睛指示该图标在用户表示203清晰可见。如果未选中眼睛，则该图标在用户表示203中变暗。这在MIDI文件中存在很多乐器，因而在用户表示203中存在很多图标的情况下是很有用的。用户可能只对这些图标中的某些图标感兴趣，并且可以不选中其余图标上的眼睛复选框，从而在用户界面上产生不太混乱的视图。在图2中，我们看到图标209a到209f是清晰可见的(眼睛复选框被选择)，而图标209g是暗淡的(眼睛复选框未被选择)。
第三列217简单地示出图标本身，就像它们在用户表示中呈现的那样。
第四列219示出了每个图标所代表的(一个或多个)乐器。我们看到，图标209a代表大钢琴，209b代表圆号，209c代表低音提琴，209d代表管弦乐队的弦乐部分，209e代表排箫，209f代表鼓，而209g代表手风琴。
第五列221示出了是否对该图标分配了轨线。在图2中，我们看到所有图标209a到209g都是“固定的”，即还未分配轨线。
用户界面上的其他部件包括工具条223、进度条225、全局立体声扩展指示器227和音量指示器229，其中工具条223包括打开、保存、另存为和查看乐器按钮。
工具条223使用户能够打开MIDI文件(打开按钮)、保存打开的MIDI文件(保存按钮)，或者将打开的MIDI文件保存为新文件(另存为按钮)。工具条223上的查看乐器按钮打开和关闭乐器框211。
进度条225示出了当回放MIDI文件时的进度。进度条225还包括播放、停止、前进和倒退按钮。
全局立体声扩展指示器227控制回放的MIDI文件的立体声扩展，而音量指示器229控制主音量。
参考图1，我们看到用户可以选择一个图标，并为该图标分配一个新位置(步骤103和105)。图3示出一旦一个新位置已被分配给图标209a时的示例性用户界面显示301。
图标209a(大钢琴)现在具有一个新的角度位置，因此当播放该MIDI文件时，大钢琴的声音将从不同的位置发出。图标209a还具有一个不同的径向位置(它离用户更远了)，因此当播放该MIDI文件时，大钢琴相对于其他乐器的声音将更弱。
参考图1，我们看到用户可以为被选图标分配一个新轨线(步骤107)。图4示出了当为图标209a分配了一条轨线时的示例性用户界面显示401。
我们看到，当已经为图标209a选择了轨线列221时，可能轨线的选择403出现。在所示示例中，存在6种可能轨线8字形移动405、顺时针螺旋形移动407、逆时针螺旋形移动409、上下移动411和在两个方向上的对角线移动413和415。当然，其他轨线也是可能的。这些轨线包括(但不局限于)三角形移动以及从左到右的或上下的弧线移动。
如前所述，轨线限定了一个位置序列，该位置序列被重复以构成循环。声源移动的限制可以由简单的距离参数来设置，因此可能轨线的尺寸是可控制的。
将会看到，某些轨线(例如轨线407)仅涉及围绕用户在水平面上的移动。这些是2D轨线。其他轨线涉及围绕用户在三维空间中的移动。这些是3D轨线。下面将进一步对此进行论述。
图5示出了在一条轨线已被分配给图标209a时的示例性用户界面显示501。
所选择的轨线(在此情况下是8字形轨线)在轨线列221中被示出。另外，图标209a现在被示为绿色，以指示已为该图标分配了轨线。因此，用户可以很快并容易地看到哪些图标已被分配了轨线，而哪些图标还未分配轨线。
参考图1，我们看到，用户现在可以通过回放该MIDI文件来预览已经过修改的MIDI文件。当该MIDI文件被回放时，进度条225示出文件的进度。另外，当该MIDI文件被回放时，那些已被分配了轨线的图标将根据它们已分配的轨线在用户表示中移动。当该MIDI文件被回放时，与该图标相关联的(一个或多个)乐器的声音也将看来好像是从移动的位置发出的。
一旦用户已经预览过该文件，他可能选择为更多图标分配位置和轨线(图1中的步骤111)。为此，他对于一个或多个其他图标，重复步骤103、105、107和109。
一旦用户对该MIDI文件满意，他就可以使用工具条223中的“保存”或“另存为”选项来保存该MIDI文件。一旦MIDI文件已通过使用保存或另存为按钮而被保存，分配给各个图标的新轨线/位置就与该MIDI文件相关联。因此，当MIDI文件下次被回放时，已经做出的各种修改将被引入进来。MIDI文件下次可能被同一用户所回放，也可能被远离第一用户的另一用户所回放。例如，第一用户可以将新的MIDI文件以电子方式发送到第二用户。因此，其他用户将能够体验该新的MIDI文件的音景。
将会理解，图1中的步骤在其他实施例中可能变化。例如，用户可能希望在他操作MIDI文件时将修改保存到该MIDI文件，或者他可能希望更有规律地预览音景。
用户可能希望同时处理若干音轨。因此，用户界面是可伸缩的，以便同时显示若干用户界面。这在图6中示出。
该系统被设计为由想要在他自己的PC上编辑MIDI文件的单独用户所使用。通常，PC将被设置为在用户左侧具有一个扬声器，并在用户右侧具有一个扬声器。
如果选择了2D轨线，则在回放该MIDI文件时，图标据此在用户表示203(其示出围绕用户的水平面)中移动。同时，乐器的声音将看起来好像是从移动的位置上发出的。这将利用位于用户左侧和右侧的两个扬声器来实现。
但是，如果选择了3D轨线，则图标据此在用户表示203上移动。但是，用户表示203仅示出了水平面，而对于3D轨线，还必须示出图标/乐器的上下移动(高程)。这是通过示出围绕图标的阴影来实现的，当图标变得更远离或更靠近用户时，阴影增大或减小。同时，乐器的声音将以上下移动的方式移动，并且这是通过两个虚拟化高程的扬声器来实现的，即水平空间中的扬声器通过虚拟化上方和下方声音来模仿高程移动。
当为特定乐器分配了轨线时，如果该轨线的节拍被设定为与MIDI文件中的特定音乐的节奏相符，则在该MIDI文件被回放时，音景将得以改善。如果是这样，那么乐器/图标移动的节奏将与音乐的节奏一致，或者乐器/图标将以这种两种节奏相符的方式移动。因此，两种节奏的匹配将改善用户的听觉体验，并且还将提供音乐和所分配的轨线之间的链接。
例如，给定华尔兹节奏以及简单的左右交替的轨线，如果利用华尔兹节奏来设定该轨线的节拍，则音景将得以改善。一种实现方法是将轨线安排成使得声音在一小节3拍的华尔兹时序的第一拍时从用户的左侧发出，而在一小节3拍的华尔兹时序的下一个第一拍时从用户的右侧发出，以此类推。可替换地，声音可以被安排成在华尔兹节奏的每一拍上在左侧和右侧之间振荡。
但是，应该理解，这是一个示例，并且可以设想很多其他节奏。例如，音乐的节奏可以是一小节2或4拍。对于一个给定的音乐节奏，可以存在多种不同的轨线节奏。
因此，在本发明的一个实施例中(在附图中未示出)，当用户选择将分配给特定图标的轨线时，用于该轨线的可能节奏的选集被显示。(这可以包括类似于图4所示的选集，但是是对节奏而非轨线的选集。)用户可以选择他中意的节奏，这将取决于他喜欢的听觉体验。可替换地，轨线节奏可以在分配轨线时，根据MIDI文件的音乐节奏而被自动设置。
本发明在使用用户界面创建新位置和/或轨线方面的范围意在扩展到修改标准的(传统二维)音频文件以及修改已经包含3D参数的音频文件。
根据所示出并描述的实施例，在修改音频文件的过程中，通过操作图标来修改用户界面参数。就是说，通过如上所述那样在用户界面屏幕上移动图标来优选地更新或修改用户界面参数。然后，通过使用用于再制作音频文件的驱动器，将经修改的用户界面参数与代表音频文件的参数(例如3D MIDI参数)相映射。所述驱动器可以被配置修改音频文件，以利用多种方法中的任意方法来设置定位信息。在不限制本发明的范围的情况下，下面将一般地描述用于修改音频文件的一种方法。
本发明的范围意在扩展到使用任意合于表示乐器的虚拟位置的坐标系统的音频文件，例如，包括球形坐标(以收听者为中心)或笛卡尔坐标(以扬声器为中心)系统。在一个实施例中，驱动器被配置为从在球形坐标系统中表示(一个或多个)乐器虚拟位置的音频文件中读取或向该音频文件写入。
优选地，用户界面参数包括相对于以收听者为中心系统(该系统将收听者看作原点)定义的方位角、距离、仰角和全景(pan)扩展因子参数。当修改标准的MIDI文件时，可以从该MIDI文件中获得被设计用于在两个立体声扬声器之间设置声音的全景控制符。由于一般无法从标准MIDI文件中获得用于方位角、仰角、距离和全景扩展值，因此为这些参数设置缺省值。例如，缺省值0度可以被用于仰角和方位角，而100％可以被用于缺省距离和全景扩展值。标准MIDI假设采用两个立体声扬声器来提供声音，这两个立体声扬声器在从收听者到圆弧的标称轴的左侧和右侧的缺省间隔为30度，因此100％的缺省值适用于该扩展值。
经用户界面修改的初始用户界面参数随后被提供到驱动器。然后，驱动器将用户界面参数转换为音频文件参数。经修改的音频文件参数通过假设MIDI全景控制符沿着一个圆弧定位声音来确定声音在虚拟空间中的位置，从收听者位置到该圆弧中心的圆弧向量是通过仰角、方位角和距离值来限定的。用户界面全景扩展值被用于限定该圆弧的扩展范围，并且可以从用户界面进行控制，在一个实施例中，这是通过调整如图2所示的全局立体声扩展指示器227来实现的。通过使用全景扩展参数，可以使圆弧变得更宽或更窄。该圆弧可以被可视化为2个虚拟扬声器之间的圆弧，即左侧参考位置和右侧参考位置之间的圆弧。在一个实施例中，再制作的音频文件使用全景滚动角参数来指定圆弧围绕从收听者位置到圆弧中心的向量的旋转。
利用用户界面参数(相对于原点的方位角、仰角和距离)来表示图标在显示屏上的位置的步骤对相关领域的技术人员来说是一个易于理解的普通步骤，因此这里不提供对其的完整细节。例如，图标沿着标称轴(例如x轴)的水平距离和沿着垂直y轴(在同一水平面)的垂直距离可以与公知的三角函数一起被用于确定图标在水平面上的距离以及图标的方位角。以类似方式，图标的仰角可以例如通过使用arc tan函数而从水平面中的距离和垂直面中的距离来确定。
这些用于图标位置的用户界面参数随后可以被驱动器映射到音频文件的参数，例如被映射到用于MIDI文件的新参数或控制符。相关领域技术人员，尤其是那些对传统MIDI格式非常熟悉的人员将会意识到，很多MIDI参数和控制符的值可以通过使用两个数据字节(即“粗糙”字节(MSB)和精细字节(LSB))来指定，从而为这些参数提供精细的分辨率。此外，将所述数据字节与控制符或参数的类型相关联的步骤可以通过使用状态字节来实现，所述状态字节为控制符分配一个特定号码。如相关领域技术人员所公知的，在MIDI消息中接收到的头部信息通常包括控制符号码，其中某些是经注册的(在MIDI规范中定义)，而某些是未经注册的。
在一个实施例中，没有从用户界面距离参数中直接指定到圆弧的距离，而是通过组合以下5个不同参数来设置MIDI文件中的距离和衰减参数的最大距离、最大距离处增益、参考距离比、距离比和增益。
被合适配置的解码装置可以基于对再制作的音频文件的内容的读取来执行对声源的虚拟定位。优选地，渲染装置接受带有经修改数据的被保存文件，并使用任何可获得的扬声器布局或CODEC而以最令人信服的方式来渲染相应的音频，从而使用回放系统的全部能力。由用户界面限定的虚拟位置优选地被用于确定存储在再制作的音频文件中的3D MIDI参数。从这些与3D MIDI文件一起存储并与3D控制符相关联的参数中，声音渲染设备能够适当地定位虚拟源。最初，圆弧是由全景扩展值和全景值来限定的。为了最终在空间中定位虚拟源，方位角和仰角值以及随后的滚动值的旋转和距离参数也都被使用。
虽然图示出利用立体声扬声器对3D位置和轨线信息的使用，但是本发明并不局限于此。本发明的范围意在扩展到利用各种声音扬声器或系统中的任意一种对声源进行空间定位，即，使音频文件能够利用任意扬声器系统或3D合成器被回放。例如，从保存的3D MIDI文件中得到的3DMIDI流可以被4.1系统、5.1系统、6.1系统、头戴耳机等等所使用。此外，本发明的范围意在扩展到利用其他合适方法来存储与乐器相关联的虚拟位置的再制作的文件，以包括在经修改的文件中直接定义虚拟位置的笛卡尔坐标。
虽然已经示出并描述了本发明的优选实施例，但是将会意识到，在不脱离权利要求书所限定的本发明的精神和范围的情况下，可以执行各种修改。
权利要求
1.一种使用户能够经由用户界面来修改音频文件的方法，其中所述用户界面用于控制用来再制作所述音频文件的驱动器，所述方法包括以下步骤a)使所述用户界面上的图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)提供用于每个所述图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)在所述用户界面上提供用于示出每个所述图标的位置的显示，其中每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置；d)用户选择图标；e)用户将来自所述选集的轨线和/或位置分配给被选图标；以及g)在所述显示上指示被选图标的位置以及是否为被选图标分配了轨线。
2.如权利要求1所述的方法，其中所述用户界面上的显示示出了用户的虚拟视图和用户的周围环境。
3.如权利要求2所述的方法，其中指示被选图标的位置的步骤包括在所述虚拟视图上显示图标在用户周围环境中的位置。
4.如权利要求2所述的方法，其中所述虚拟视图示出了用户的虚拟平面图以及围绕用户的二维水平面。
5.如权利要求2所述的方法，其中所述虚拟视图示出了用户的虚拟透视图以及围绕用户的三维空间。
6.如权利要求2所述的方法，其中用户将位置分配给被选图标的步骤包括用户在所述虚拟视图上用户的周围环境中移动被选图标。
7.如权利要求1所述的方法，还包括在所述用户界面上示出与每个图标相关联的一个或多个乐器的步骤。
8.如权利要求1所述的方法，还包括在存在轨线的情况下，示出分配给每个图标的轨线的步骤。
9.如权利要求1所述的方法，其中已被分配了轨线的一个或多个图标具有与还未被分配轨线的图标不同的视觉外观。
10.如权利要求9所述的方法，其中已被分配了轨线的一个或多个图标被利用彩色光亮示出。
11.如权利要求1所述的方法，其中可能轨线的选集包括以下群组中的一种或多种左右移动；上下移动；8字形移动；Z字形移动；螺旋形移动；和弧形移动。
12.如权利要求1所述的方法，其中所述音频文件是MIDI文件，并且所述轨线的节奏被设置为与所述MIDI文件的音乐的节奏相匹配。
13.一种用于使用户能够修改音频文件的装置，该装置包括用于控制用来再制作所述音频文件的驱动器的用户界面，该用户界面包括a)至少一个图标，其中每个图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)用于每个图标的可能轨线的选集，其中每个轨线定义相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)所述用户界面上的显示，该显示示出iii)每个图标的位置，每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置；以及iv)是否为被选图标分配了轨线。
14.如权利要求13所述的装置，其中所述用户界面上的显示包括用户的虚拟视图和用户的周围环境。
15.如权利要求14所述的装置，其中所述显示通过在所述虚拟视图上显示图标在用户的周围环境中的位置来示出每个图标的位置。
16.如权利要求14所述的装置，其中所述虚拟视图示出了用户的虚拟平面图以及围绕用户的二维水平面。
17.如权利要求14所述的装置，其中所述虚拟视图示出了用户的虚拟透视图以及围绕用户的三维空间。
18.如权利要求13所述的装置，其中在存在轨线的情况下，所述显示还示出了分配给每个图标的轨线。
19.如权利要求13所述的装置，其中已被分配了轨线的一个或多个图标具有与还未被分配轨线的图标不同的视觉外观。
20.如权利要求19所述的装置，其中已被分配了轨线的一个或多个图标被利用彩色光亮示出。
21.如权利要求13所述的装置，其中可能轨线的选集包括以下群组中的一种或多种左右移动；上下移动；8字形移动；Z字形移动；螺旋形移动；和弧形移动。
22.一种使用户能够经由用户界面来修改音频文件的方法，其中所述用户界面用于控制用来再制作所述音频文件的驱动器，所述方法包括以下步骤a)使所述用户界面上的图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)提供用于每个所述图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)对于每个轨线，提供可能节奏的选集，其中每个节奏都与所述音频文件的音乐的节奏相匹配，并且限定了所述图标的移动速率；d)用户选择图标；e)用户将来自所述选集的轨线分配给被选图标；以及f)用户将来自所述选集的节奏分配给已分配给被选图标的轨线。
23.一种用于使用户能够修改音频文件的装置，该装置包括用于控制用来再制作所述音频文件的驱动器的用户界面，该用户界面包括a)至少一个图标，其中每个图标与所述音频文件中的一个或多个乐器或乐器集合相关联；b)用于每个图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于所述用户的虚拟路径；c)用于每个轨线的可能节奏的选集，其中每个节奏与所述音频文件的音乐的节奏相匹配，并且限定了所述图标的移动速率；以及d)所述用户界面上的显示，该显示示出了每个图标的位置，每个位置定义了相关联的乐器或乐器集合相对于所述用户的虚拟位置。
全文摘要
本发明提供了使用户能够经由用户界面来修改音频文件的方法和装置，其中用户界面用于控制用来再制作音频文件的驱动器。所述方法包括以下步骤a)使用户界面上的图标与音频文件中的一个或多个乐器或乐器集合相关联；b)提供每个图标的可能轨线的选集，其中每个轨线定义了相关联的乐器或乐器集合相对于用户的虚拟路径；c)在用户界面上提供用于示出每个图标的位置的显示，其中每个位置定义了相关联的乐器或乐器集合相对于用户的虚拟位置；d)用户选择一个图标；e)用户将来自选集的一个轨线和/或位置分配给被选图标；以及g)在显示上指示被选图标的位置以及是否为被选图标分配了轨线。所述音频文件优选是MIDI文件。
文档编号G10H1/00GK1797538SQ20051012561
公开日2006年7月5日 申请日期2005年11月30日 优先权日2004年12月1日
发明者沈望傅, 彭炳吉, 郑国雄, 朱家丰 申请人:创新科技有限公司