用于渲染的对象和环境相对水平控制的制作方法

本技术涉及用于渲染的对象和环境相对水平控制的装置和方法。

背景技术：

1、预计3gpp ivas为移动通信带来对象和环境音频表示。对象音频信号通常能够表示用户的语音分量和在捕获设备周围的音频场景内的任何环境分量两者。这与其目标是衰减任何环境分量并只关注语音分量的上一代设备和标准显著不同。

2、可意识到，为了产生音频场景的逼真表示，环境分量应能够被再现。此外，一些用户更喜欢能够听到通话中的环境分量以便体验对方的周围环境。然而，一些用户可能更喜欢先前的衰减环境音频分量的方法。

3、因此，希望用户被给予进行这两者的机会，通常作为设置默认对象和环境水平差异的用户可选预设置。

技术实现思路

1、根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏(leakage)；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

2、控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。

3、对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。

4、该部件可以被配置为：生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。

5、被配置为生成经渲染的音频信号的部件可以被配置为：输出经渲染的音频信号。

6、被配置为获得被配置为控制对象轨道和环境轨道的相对水平的控制值的部件可以被配置为：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值(ambience track to object track gain value)或对象轨道到环境轨道增益值(object track to ambience track gain value)；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。

7、被配置为估计对象轨道与环境轨道之间的泄漏的部件可以被配置为确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。

8、对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，被配置为估计对象轨道与环境轨道之间的泄漏的部件可以被配置为：确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。

9、被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件可以被配置为：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。

10、被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件可以被配置为：确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且被配置为将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的部件可以被配置为：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。

11、该部件可以进一步被配置为：组合经修改的对象轨道和经修改的环境轨道。

12、根据第二方面，提供了一种方法，其包括：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

13、控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。

14、对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。

15、该方法可以包括：生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。

16、生成经渲染的音频信号可以包括：输出经渲染的音频信号。

17、获得控制对象轨道和环境轨道的相对水平的控制值可以包括：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。

18、估计对象轨道与环境轨道之间的泄漏可以包括确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。

19、对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，估计对象轨道与环境轨道之间的泄漏可以包括：确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。

20、基于控制值和泄漏，确定至少一个泄漏水平增益控制值可以包括：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。

21、基于控制值和泄漏，确定至少一个泄漏水平增益控制值可以包括：确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项可以包括：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。

22、该方法可以进一步包括：组合经修改的对象轨道和经修改的环境轨道。

23、根据第三方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

24、控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。

25、对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。

26、该装置可以被使得生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。

27、被使得生成经渲染的音频信号的该装置可以被使得输出经渲染的音频信号。

28、被使得获得控制对象轨道和环境轨道的相对水平的控制值的该装置可以被使得：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。

29、被使得估计对象轨道与环境轨道之间的泄漏的该装置可以被使得确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。

30、对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，被使得估计对象轨道与环境轨道之间的泄漏的该装置可以被使得确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。

31、被使得基于控制值和泄漏，确定至少一个泄漏水平增益控制值的该装置可以被使得：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。

32、被使得基于控制值和泄漏，确定至少一个泄漏水平增益控制值的该装置可以被使得确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且被使得将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的该装置可以被使得：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。

33、该装置可以进一步被使得组合经修改的对象轨道和经修改的环境轨道。

34、根据第四方面，提供一种装置，其包括：用于获得对象轨道和环境轨道的部件；用于获得控制值的部件，其中，该控制值被配置为控制对象轨道和环境轨道的相对水平；用于估计对象轨道与环境轨道之间的泄漏的部件；用于基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件；以及用于将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的部件，其中，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

35、根据第五方面，提供一种包括指令的计算机程序[或者包括程序指令的计算机可读介质]，这些指令[或者程序指令]用于使装置至少执行以下操作：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

36、根据第六方面，提供了一种非暂时性计算机可读介质，其包括用于使装置至少执行以下操作的程序指令：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

37、根据第七方面，提供一种装置，其包括：获得电路，被配置为获得对象轨道和环境轨道；获得电路，被配置为获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计电路，被配置为估计对象轨道与环境轨道之间的泄漏；确定电路，被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及应用电路，被配置为将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

38、根据第八方面，提供一种计算机可读介质，其包括用于使装置至少执行以下操作的程序指令：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

39、一种装置，包括用于执行如上所述的方法的动作的部件。

40、一种装置，被配置为执行如上所述的方法的动作。

41、一种计算机程序，包括用于使计算机执行如上所述的方法的程序指令。

42、一种在介质上存储的计算机程序产品可以使装置执行如上所述的方法。

43、一种电子设备可以包括如上所述的装置。

44、一种芯片组可以包括如上所述的装置。

45、本技术的实施例旨在解决与本领域现状相关联的问题。