空间音频参数编码和相关解码的制作方法

本技术涉及用于声场相关参数编码的装置和方法，但是非排他性地涉及用于音频编码器和解码器的时间频率域方向相关参数编码的装置和方法。

背景技术：

1、参数化空间音频处理是音频信号处理领域，其中声音的空间方面使用一组参数来描述。例如，在从麦克风阵列捕获的参数化空间音频中，从麦克风阵列信号来估计一组空间元数据参数(诸如频带中声音的方向、以及频带中捕获的声音的定向部分与非定向部分之间的比率)是典型并且有效的选择。众所周知，这些参数很好地描述了麦克风阵列的位置处捕获的声音的感知空间特性。这些参数可以相应地用于空间声音的合成，以二进制方式用于耳机、用于扬声器、或用于其他格式，诸如ambisonics。

2、因此，诸如频带中的方向和直接与总能量比(direct-to-total energy ratios)等空间元数据是对于空间音频捕获特别有效的参数化。

3、由每个频带的一个或多个方向值以及与每个方向值相关联的能量比参数组成的空间元数据参数集也可以用作音频编解码器的空间元数据(其还可以包括其他参数，诸如传播相干性(spread coherence)、方向数目、距离等)。空间元数据参数集还可以包括其他参数，或者可以与被认为是非方向性的其他参数(诸如环绕相干性(surround coherence)、扩散与总能量比(diffuse-to-total energy ratio)、剩余与总能量比(remainder-to-total energy ratio))相关联。例如，这些参数可以根据麦克风阵列捕获的音频信号来进行估计，并且例如立体声信号可以根据要与空间元数据一起传送的麦克风阵列信号来生成。

4、由于一些编解码器预期以范围从非常低的比特率到相对较高的比特率的各种比特率进行操作，因此需要各种策略来压缩空间元数据以优化每个操作点的编解码器性能。编码参数的原始比特率(元数据)相对较高，因此特别是在较低比特率下，预期只有元数据的最重要部分可以从编码器传送到解码器。

5、解码器可以将音频信号解码为pcm信号，并且处理频带中的声音(使用空间元数据)以获取空间输出，例如双耳输出。

6、上述解决方案特别适合于对来自麦克风阵列(例如，在移动电话、视频摄像机、vr相机、独立麦克风阵列中)的捕获的空间声音进行编码。然而，对于这样的编码器，可以期望除了麦克风阵列捕获的信号之外还具有其他输入类型，例如扬声器信号、音频对象信号、或ambisonics信号。

技术实现思路

1、根据第一方面，提供了一种装置，该装置包括部件，所述部件被配置为：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制在时间频率域上对空间音频信号参数值的合并；以及基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

2、被配置为确定合并度量以控制在时间频率域上对空间音频信号参数值的合并的部件可以被配置为确定用于检测声音事件的开始的起始度量。

3、被配置为确定起始度量的部件可以被配置为：确定用于在时间段内的至少一个音频信号的能量参数；基于能量参数和慢衰减时间来确定慢音频信号包络；基于能量参数和快衰减时间来确定快音频信号包络；并且基于慢音频信号包络和快音频信号包络来确定起始度量。

4、被配置为基于合并度量，在时间频率域内在时间和/或频率上，将空间音频信号参数值合并为较小数目的空间音频信号参数值的部件可以被配置为：当起始度量指示声音事件的开始时，确定最佳地表示时间段内的空间音频信号参数值频带的空间音频信号参数值频带。

5、被配置为基于合并度量，在时间频率域内在时间和/或频率上，将空间音频信号参数值合并为较小数目的空间音频信号参数值的部件可以被配置为：对于确定的所述空间音频信号参数值频带，确定频带的能量比是否大于时间段内频带的能量比的加权平均值；以及当确定的所述空间音频信号参数值频带的能量比大于时间段内频带的能量比的加权平均值时，在频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

6、被配置为基于合并度量，在时间频率域内在时间和/或频率上，将空间音频信号参数值合并为较小数目的空间音频信号参数值的部件可以被配置为：当确定的所述空间音频信号参数值频带的能量比小于时间段内频带的能量比的加权平均值时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

7、被配置为基于合并度量，在时间频率域内在时间和/或频率上，将空间音频信号参数值合并为较小数目的空间音频信号参数值的部件可以被配置为：当起始度量指示声音事件的开始的缺失时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

8、该部件还可以被配置为对合并的空间音频信号参数值进行编码。

9、被配置为对合并的空间音频信号参数值进行编码的部件可以被配置为对合并的空间音频信号参数值进行量化。

10、被配置为对合并的空间音频信号参数值进行编码的部件可以被配置为对合并的空间音频信号参数值进行熵编码。

11、根据第二方面，提供了一种装置，该装置包括部件，所述部件被配置为：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，被配置为对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的部件被配置为：在时间频率域内在时间和/或频率上，从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

12、被配置为在时间频率域内在时间和/或频率上，从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值的部件可以被配置为：识别在时间和/或频率上的空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值。

13、至少一个已编码空间音频信号还可以包括与先前合并相关联的至少一个指示符，其中被配置为识别在时间和/或频率上的空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上，从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值的部件可以被配置为：基于至少一个指示符，而基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值。

14、根据第三方面，提供了一种方法，该方法包括：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制时间频率域上对空间音频信号参数值的合并；以及基于合并度量，在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

15、确定合并度量以控制时间频率域上对空间音频信号参数值的合并可以包括：确定用于检测声音事件的开始的起始度量。

16、确定起始度量可以包括：确定用于在时间段内的至少一个音频信号的能量参数；基于能量参数和慢衰减时间来确定慢音频信号包络；基于能量参数和快衰减时间来确定快音频信号包络；以及基于慢音频信号包络和快音频信号包络来确定起始度量。

17、基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值可以包括：当起始度量指示声音事件的开始时，确定最佳地表示时间段内的空间音频信号参数值频带的空间音频信号参数值频带。

18、基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值可以包括：对于确定的所述空间音频信号参数值频带，确定频带的能量比是否大于时间段内频带的能量比的加权平均值；以及当确定的所述空间音频信号参数值频带的能量比大于时间段内频带的能量比的加权平均值时，在频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

19、基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值可以包括：当确定的所述空间音频信号参数值频带的能量比小于时间段内频带的能量比的加权平均值时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

20、基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值可以包括：当起始度量指示声音事件的开始的缺失时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

21、该方法还可以包括对合并的空间音频信号参数值进行编码。

22、对合并的空间音频信号参数值进行编码可以包括对合并的空间音频信号参数值进行量化。

23、对合并的空间音频信号参数值进行编码可以包括对合并的空间音频信号参数值进行熵编码。

24、根据第四方面，提供了一种方法，该方法包括：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码包括：在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

25、在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值可以包括：识别在时间和/或频率上的空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

26、至少一个已编码空间音频信号还可以包括与先前合并相关联的至少一个指示符，其中识别在时间和/或频率上空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值可以包括：基于至少一个指示符，而基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

27、根据第五方面，提供了一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制在时间频率域上对空间音频信号参数值的合并；以及基于合并度量，在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

28、被使得确定合并度量以控制在时间频率域上对空间音频信号参数值的合并的装置可以被使得：确定用于检测声音事件的开始的起始度量。

29、被使得确定起始度量的装置可以被使得：确定用于在时间段内的至少一个音频信号的能量参数；基于能量参数和慢衰减时间来确定慢音频信号包络；基于能量参数和快衰减时间来确定快音频信号包络；以及基于慢音频信号包络和快音频信号包络来确定起始度量。

30、被使得基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的装置可以被使得：当起始度量指示声音事件的开始时，确定最佳地表示时间段内的空间音频信号参数值频带的空间音频信号参数值频带。

31、被使得基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的装置可以被使得：对于确定的所述空间音频信号参数值频带，确定频带的能量比是否大于时间段内的频带的能量比的加权平均值；以及当确定的所述空间音频信号参数值频带的能量比大于时间段内的频带的能量比的加权平均值时，在频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

32、被使得基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的装置可以被使得：当确定的所述空间音频信号参数值频带的能量比小于时间段内的频带的能量比的加权平均值时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

33、被使得基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的装置可以被使得：当起始度量指示声音事件的开始的缺失时，在时间上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

34、该装置还可以被使得对合并的空间音频信号参数值进行编码。

35、被使得对合并的空间音频信号参数值进行编码的装置可以被使得对合并的空间音频信号参数值进行量化。

36、被使得对合并的空间音频信号参数值进行编码的装置可以被使得对合并的空间音频信号参数值进行熵编码。

37、根据第六方面，提供了一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，被使得对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的装置被使得：在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

38、被使得在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值的装置可以被使得：识别在时间和/或频率上的空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

39、至少一个已编码空间音频信号还可以包括与先前合并相关联的至少一个指示符，其中被使得识别在时间和/或频率上的空间音频信号参数值的先前合并，并且基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目空间音频信号参数值的装置可以被使得：基于至少一个指示符，而基于识别，在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

40、根据第七方面，提供了一种装置，该装置包括：用于获取至少一个音频信号的部件；用于对于至少一个音频信号获取空间音频信号参数值的部件，空间音频信号参数值分布在时间频率域内；用于确定合并度量以控制在时间频率域上对空间音频信号参数值的合并的部件；以及用于基于合并度量，在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的部件。

41、根据第八方面，提供了一种装置，该装置包括：用于获取至少一个已编码空间音频信号的部件，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；用于对至少一个已编码音频信号进行解码的部件；用于对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的部件，已编码空间音频信号参数值分布在时间频率域内，用于对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的部件用于：在时间频率域内在时间和/或频率上，从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

42、根据第九方面，提供了一种包括指令的计算机程序[或一种包括程序指令的计算机可读介质]，该指令用于使得装置执行至少以下操作：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制在时间频率域上对空间音频信号参数值的合并；以及基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

43、根据第十方面，提供了一种包括指令的计算机程序[或一种包括程序指令的计算机可读介质]，该指令用于使得装置执行至少以下操作：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码包括：在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

44、根据第十一方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括用于使得装置执行至少以下操作的程序指令：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制在时间频率域上对空间音频信号参数值的合并；以及基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

45、根据第十二方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括用于使得装置执行至少以下操作的程序指令：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，其中被使得对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的装置包括：在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

46、根据第十三方面，提供了一种装置，该装置包括：被配置为获取至少一个音频信号的获取电路系统；被配置为对于至少一个音频信号获取空间音频信号参数值的获取电路系统，空间音频信号参数值分布在时间频率域内；被配置为确定合并度量以控制在时间频率域上对空间音频信号参数值的合并的确定电路系统；以及被配置为基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值的合并。

47、根据第十四方面，提供了一种装置，该装置包括：被配置为获取至少一个已编码空间音频信号的获取电路系统，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；被配置为对至少一个已编码音频信号进行解码的解码电路系统；被配置为对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的解码电路系统，已编码空间音频信号参数值分布在时间频率域内，其中被配置为对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码的解码电路系统包括：被配置为在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值的分离电路系统。

48、根据第十五方面，提供了一种计算机可读介质，该计算机可读介质包括用于使得装置执行至少以下操作的程序指令：获取至少一个音频信号；对于至少一个音频信号，获取空间音频信号参数值，空间音频信号参数值分布在时间频率域内；确定合并度量以控制在时间频率域上对空间音频信号参数值的合并；以及基于合并度量在时间频率域内在时间和/或频率上将空间音频信号参数值合并为较小数目的空间音频信号参数值。

49、根据第十六方面，提供了一种计算机可读介质，该计算机可读介质包括用于使得装置执行至少以下操作的程序指令：获取至少一个已编码空间音频信号，至少一个已编码空间音频信号包括：至少一个已编码音频信号、以及与至少一个已编码音频信号相关联的已编码空间音频信号参数值；对至少一个已编码音频信号进行解码；对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码，已编码空间音频信号参数值分布在时间频率域内，对与至少一个已编码音频信号相关联的已编码空间音频信号参数值进行解码包括：在时间频率域内在时间和/或频率上从已编码空间音频信号参数值中分离出较大数目的空间音频信号参数值。

50、一种装置包括用于执行如上所述的方法的动作的部件。

51、一种装置被配置为执行如上所述的方法的动作。

52、一种计算机程序包括用于使得计算机执行如上所述的方法的程序指令。

53、一种存储在介质上的计算机程序产品可以使得装置执行如本文中描述的方法。

54、一种电子设备可以包括如本文中描述的装置。

55、一种芯片组可以包括如本文中描述的装置。

56、本技术的实施例旨在解决与现有技术相关联的问题。