具有空间元数据输出的音乐合成器的制作方法

本公开涉及用于生成和/或处理音频信号的方法和装置。本公开进一步描述了用于合成或处理具有空间元数据输出的声音的技术。这些技术可以被应用于例如音乐合成器和音频处理器。

背景技术：

1、合成器是一种生成音频信号的电子乐器。一般来说，电子乐器使用电子电路来产生声音，通常是对用户输入做出反应。从最广泛的意义上讲，这可以包含模拟仪器、在专用硬件或计算机上作为“虚拟”仪器运行的基于dsp的仪器、或基于样本的仪器。

2、现有的合成器生成单声道、立体声或多声道的音频信号。这意味着当用于基于对象的制作时(例如，dolby 制作)，应用与声音生成过程分离的空间化过程来将合成器音频信号表示为对象。目前，这是通过首先为特定声道配置渲染合成器的输出，将渲染的音频导入数字音频工作站(daw)(诸如pro tool)，然后使用声像器生成相关联的空间元数据来实现的。

3、一般而言，需要对由合成器生成的声音信号进行基于对象的制作和/或对由音频处理器处理的声音信号进行基于对象的制作的改进技术。

技术实现思路

1、鉴于以上所述，本公开提供了一种用于生成和/或处理音频信号的装置以及相对应的方法、计算机程序和计算机可读存储介质，它们具有相应独立权利要求的特征。

2、根据本公开的一方面，提供了一种用于生成或处理音频信号的装置。所述装置可以包括第一级，其用于获得音频信号。所述装置还可以包括第二级，其用于基于一个或多个控制信号修改所述音频信号，所述控制信号用于对由所述音频信号表示的声音进行整形(例如，修改、改变)。控制信号可以由影响如何修改音频信号的一个或多个调制器生成。例如，一个或多个调制器可以涉及或包括低频振荡器(lfo)和/或封波。所述装置还可以包括第三级，其用于至少部分地基于所述一个或多个控制信号生成与(修改后的)音频信号相关的空间元数据。所述空间元数据可以是用于向外部设备指示如何渲染修改后的音频信号的元数据。例如，空间元数据可以是用于进行基于对象的渲染的元数据。例如，它可以包括与音频信号相关(例如，由音频信号表示)的音频对象的位置(例如，3d空间中的笛卡尔位置)和/或大小的指示。所述装置还又可以包括输出级，其用于将修改后的音频信号与所生成的空间元数据一起输出。在一些实施方式中，所述装置可以并行处理多于一个音频信号(即，多个音频信号)。在一些其他的实施方式中，可以串行处理多于一个音频信号(即，多个音频信号)。例如，在一些这样的实施方式中，对给定音频信号的处理可以取决于较早的音频信号和/或其元数据。作为另一示例，在一些实施方式中，所述处理可以涉及修改由第一级获得的音频信号的已经存在的空间元数据。

3、如上所配置的，由所提出的装置实施的技术显著拓宽了基于对象的制作中可用的创造性选项的范围，并且允许将空间化作为声音设计过程的集成部分进行处理。此外，可以避免费力对空间元数据进行编辑，并且可以在空间元数据中直接且高效地实施引起对音频信号的特定整形操作的创造性意图。

4、在一些实施例中，第二级可以被适配为对音频信号应用时间依赖的修改。其中，所述修改的时间依赖性可以取决于一个或多个控制信号。所述一个或多个控制信号可以是时间依赖的。由此，声源的预期行为的潜在时间依赖性可以容易地用于对描述/表示声源的音频对象的空间特性进行描述。

5、在一些实施例中，所述第二级可以包括以下各项中的至少一项，以便修改所述音频信号：滤波器；放大器；低频振荡器；音频延迟器；驱动器；和镶边效果器。

6、在一些实施例中，所述第二级可以被适配为对所述音频信号应用滤波器。应当理解，第二级可以包括滤波器。例如，滤波器可以是高通滤波器、低通滤波器、带通滤波器或陷波滤波器中的任一种。滤波器的特征频率可以由一个或多个控制信号来控制(例如，基于一个或多个控制信号)。因此，特征频率可以是时间依赖的。例如，滤波器的特征频率可以是截止频率。例如，一个或多个(时间依赖的)控制信号可以由lfo生成。由此，在一些实施方式中，特征频率可以周期性地改变。

7、在一些实施例中，所述第二级可以被适配为对所述音频信号应用放大器。应当理解，第二级可以包括放大器。放大器的增益可以由一个或多个控制信号来控制(例如，基于一个或多个控制信号)。因此，增益可以是时间依赖的。例如，一个或多个控制信号可以由lfo生成。由此，在一些实施方式中，增益可以周期性地改变。

8、在一些实施例中，所述第二级可以被适配为通过使用所述放大器将对所述音频信号应用封波。然后，所述第三级可以被适配为至少部分地基于所述封波的形状生成所述空间元数据。例如，空间元数据可以指示音频对象的时间依赖的位置，其中，所述位置根据封波的形状而改变(例如，在封波指示非零增益时经历线性平移)。

9、在一些实施例中，获得音频信号可以包括通过使用一个或多个振荡器生成音频信号。应当理解，第一级可以包括一个或多个振荡器。例如，这样的装置可以涉及合成器，诸如音乐合成器。

10、在一些实施例中，音频信号可以由一个或多个振荡器至少部分地基于一个或多个控制信号来生成。例如，一个或多个振荡器的频率、脉宽和相位中的至少一者可以由一个或多个控制信号来控制(例如，基于一个或多个控制信号)。由此，影响音频信号的生成的控制信号可以用作生成空间元数据的基础。这提供了用于在生成空间元数据时捕获艺术意图的附加功能。

11、替代性地，获得音频信号可以包括接收音频信号。例如，音频信号可以从如声音数据库等外部源接收。例如，这样的装置可以涉及音频处理器，诸如效果音频处理器。

12、在一些实施例中，一个或多个控制信号可以至少部分地基于用户输入。

13、在一些实施例中，所述输出级可以被适配为将基于修改后的音频信号的一个或多个音频流与所生成的空间元数据一起输出。例如，每个输出音频流可以有一个空间元数据流。进一步地，当装置并行处理多于一个音频信号时，每个(修改后的)音频信号可以有一个输出音频流。替代性地，可以通过混合两个或更多个(修改后的)音频信号来生成至少一个输出音频流。

14、根据本公开的另一方面，提供了一种生成或处理音频信号的方法。所述方法可以包括获得音频信号。所述方法还可以包括基于一个或多个控制信号修改所述音频信号，所述控制信号用于对由所述音频信号表示的声音进行整形。所述方法还可以包括至少部分地基于所述一个或多个控制信号生成与(修改后的)音频信号相关的空间元数据。所述方法还又可以包括将修改后的音频信号与所生成的空间元数据一起输出。

15、在一些实施例中，所述一个或多个控制信号可以是时间依赖的。

16、在一些实施例中，所述空间元数据可以是用于向外部设备指示如何渲染修改后的音频信号的元数据。

17、在一些实施例中，修改所述音频信号可以包括对所述音频信号应用时间依赖的修改。其中，所述修改的时间依赖性可以取决于一个或多个控制信号。

18、在一些实施例中，所述方法还可以包括通过以下各项中的至少一项来修改所述音频信号：滤波器；放大器；低频振荡器；音频延迟器；驱动器；和镶边效果器。

19、在一些实施例中，修改所述音频信号可以包括对所述音频信号应用滤波器。其中，所述滤波器的特征频率可以由一个或多个控制信号控制。

20、在一些实施例中，滤波器的特征频率可以是截止频率。

21、在一些实施例中，修改所述音频信号可以包括对所述音频信号应用放大器。其中，所述放大器的增益可以由一个或多个控制信号控制。

22、在一些实施例中，修改所述音频信号可以包括通过使用放大器对所述音频信号应用封波。然后，生成空间元数据可以至少部分地基于封波的形状。

23、在一些实施例中，获得音频信号可以包括通过使用一个或多个振荡器生成音频信号。

24、在一些实施例中，音频信号可以由一个或多个振荡器至少部分地基于一个或多个控制信号来生成。

25、替代性地，获得音频信号可以包括接收音频信号。

26、在一些实施例中，一个或多个控制信号可以至少部分地基于用户输入。

27、在一些实施例中，输出修改后的音频信号可以包括将基于修改后的音频信号的一个或多个音频流与所生成的空间元数据一起输出。

28、根据另一方面，提供了一种计算机程序。所述计算机程序可以包括指令，所述指令当由处理器(例如，计算机处理器、服务器处理器等)执行时使所述处理器执行在整个本公开中描述的方法的所有步骤。

29、根据另一方面，提供了一种计算机可读存储介质。计算机可读存储介质可以存储前述计算机程序。

30、根据又另一方面，提供了一种装置，所述装置包括处理器和耦接到所述处理器的存储器。所述处理器可以被适配为执行在整个本公开中描述的方法的所有步骤。例如，该装置可以涉及计算机系统、服务器(例如，基于云的服务器)或服务器的系统(例如，基于云的服务器的系统)。

31、将理解，可以以多种方式互换装置特征和方法步骤。特别地，如技术人员将理解的，所公开的方法的细节可以由对应装置实现，并且反之亦然。此外，上述关于方法(以及，例如其步骤)的任何陈述均应理解为同样适用于相对应的装置(以及，例如，其块、级、单元等)，反之亦然。