被遮挡的音频元素的呈现的制作方法

公开了与被遮挡的音频元素的呈现相关的实施例。

背景技术：

1、空间音频呈现是一种用于在扩展现实(xr)场景(例如，虚拟现实(vr)、增强现实(ar)或混合现实(mr)场景)内呈现音频的过程，以便让收听者感觉到声音是来自场景内的特定位置处的物理源并且具有特定大小和形状(即，范围(extent))。可以通过耳机扬声器或其他扬声器进行呈现。如果经由耳机扬声器进行呈现，则所使用的处理被称为双耳呈现，并且使用人类空间听觉的空间线索，其使得确定声音来自哪个方向成为可能。这些线索涉及耳间时间延迟(itd)、耳间声级差(ild)和/或频谱差。

2、最常见形式的空间音频呈现是基于点源的概念，其中每个声源被定义为从一个特定点发出声音。因为每个声源被定义为从一个特定点发出声音，所以声源没有任何大小或形状。为了呈现具有范围(大小和形状)的声源，已开发了不同的方法。

3、一种这样的已知方法是在音频元素周围的位置创建单声道音频元素的多个副本。这种布置产生了对具有特定大小的空间同构对象的感知。这一概念例如被用于mpeg-h 3d音频标准的“对象传播”和“对象发散”特性(参见参考文献[1]和[2])，以及用于ebu音频定义模型(adm)标准的“对象发散”特性(参见参考文献[4])。这种使用单声道音频源的理念已得到进一步发展，如参考文献[7]中所述，其中声音对象的面积-体积几何体被投影到收听者周围的球体上，并且使用一对头部相关(hr)滤波器将声音呈现给收听者，该对滤波器被求值为覆盖该对象在球体上的几何投影的所有hr滤波器的积分。对于球形体积源，该积分具有解析解。但是，对于任意面积-体积源几何体，通过使用所谓的蒙特卡罗光线采样对球体上的投影源表面进行采样来求积分值。

4、另一种呈现方法除了单声道音频信号之外还呈现空间扩散分量，这产生了对略微扩散的对象的感知，与原始单声道音频元素相比，该对象没有明显的精确位置。这一概念例如被用于mpeg-h 3d音频标准的“对象扩散”特性(参见参考文献[3])和ebu adm的“对象扩散”特性(参见参考文献[5])。

5、上述两种方法的组合也是公知的。例如，ebu adm的“对象范围”特性将创建单声道音频元素的多个副本与添加扩散分量进行组合(参见参考文献[6])。

6、在许多情况下，可以用基本形状(例如，球体或箱体)足够好地描述音频元素的实际形状。但是，有时实际形状更加复杂并且需要以更详细的形式(例如，网格结构或参数化描述格式)进行描述。

7、在异构音频元素的情况下，如参考文献[8]中所述，音频元素包括至少两个音频声道(即，音频信号)以描述音频元素范围内的空间变化。

8、在一些xr场景中，可能存在阻挡xr场景中的音频元素的至少一部分的对象。在这种场景中，音频元素被称为至少部分被遮挡。

9、也就是说，从处于给定收听位置的收听者的角度，当音频元素完全地或部分地隐藏在某个对象后面以使得来自该音频元素的被遮挡部分的直接声音没有或很少到达收听者时，发生遮挡。取决于遮挡对象的材料，遮挡效果可能是完全遮挡(例如，当遮挡对象是厚墙时)，或者是其中来自音频元素的一些音频能量通过遮挡对象的软遮挡(例如，当遮挡对象由诸如窗帘的薄织物制成时)。

技术实现思路

1、目前存在某些挑战。例如，可用的遮挡呈现技术处理点源，其中可以在收听者位置与点源的位置之间使用光线跟踪很容易地检测遮挡的发生，但是对于具有范围的音频元素，情况更复杂，因为遮挡对象可能仅遮挡扩展音频元素的一部分。因此，需要一种更精细的遮挡检测技术(例如，确定扩展音频元素的哪个部分被遮挡的技术)。对于异构扩展音频元素(即，在其范围内分布了非同构空间音频信息的音频元素(例如由立体声信号表示的扩展音频元素))，情况甚至更复杂，因为这种类型的部分被遮挡对象的呈现应当考虑部分遮挡在到达收听者的空间音频信息上的预期结果是什么。当借助于离散数量的虚拟扬声器来呈现异构扩展音频元素时，出现后一个问题的特殊版本。如果使用传统遮挡，在单独的虚拟扬声器上操作，并且一个或多个虚拟扬声器被遮挡，则例如在使用两个虚拟扬声器(例如左(l)和右(r)扬声器)的情况下，这将意味着每当l或r虚拟扬声器被遮挡时，基本上所有的空间信息都丢失。更一般地说，在使用离散数量的虚拟扬声器所呈现的扩展对象的情况下(因此也包括非异构音频元素，例如同构或扩散扩展音频元素)，当音频元素、遮挡对象和/或收听者相对于彼此移动时，存在遮挡量以逐步方式改变的问题。

2、因此，在一个方面，提供了一种用于呈现至少部分被遮挡的音频元素的方法，其中，使用一组两个或更多个虚拟扬声器来表示所述音频元素，所述组包括第一虚拟扬声器。在一个实施例中，所述方法包括：修改用于所述第一虚拟扬声器的第一虚拟扬声器信号，从而产生第一经修改的虚拟扬声器信号。所述方法还包括：使用所述第一经修改的虚拟扬声器信号来呈现所述音频元素(例如，使用所述第一经修改的虚拟扬声器信号来生成输出信号)。在另一个实施例中，所述方法包括：将所述第一虚拟扬声器从初始位置移动到新的位置。所述方法还包括：基于所述第一虚拟扬声器的所述新的位置，生成用于所述第一虚拟扬声器的第一虚拟扬声器信号。所述方法还包括：使用所述第一虚拟扬声器信号来呈现所述音频元素。

3、在另一个方面，提供了一种包括指令的计算机程序，所述指令在由音频呈现器的处理电路执行时使得所述音频呈现器执行上述方法中的任何一种。在一个实施例中，提供了一种包含所述计算机程序的载体，其中，所述载体是电信号、光信号、无线电信号和计算机可读存储介质中的一个。在另一个方面，提供了一种呈现装置，其被配置为执行上述方法中的任何一种。所述呈现装置可以包括存储器和耦接到所述存储器的处理电路。

4、本文公开的实施例的优点在于，以保留至少部分被遮挡的音频元素的空间信息的质量的方式来进行该音频元素的呈现。

技术特征：

1.一种用于呈现使用一组两个或更多个虚拟扬声器(spl，spc，spr)来表示的至少部分被遮挡的音频元素(602，902)的方法(400)，所述组包括第一虚拟扬声器，所述方法包括：

2.根据权利要求1所述的方法，还包括：获得指示所述音频元素至少部分被遮挡的信息，其中，所述修改(s402)是作为获得所述信息的结果而执行的。

3.根据权利要求1所述的方法，还包括：检测所述音频元素至少部分被遮挡，其中，所述修改(s402)是作为所述检测的结果而执行的。

4.根据权利要求1-3中任一项所述的方法，其中，修改所述第一虚拟扬声器信号包括：调整所述第一虚拟扬声器信号的增益。

5.根据权利要求1-4中任一项所述的方法，还包括：将所述第一虚拟扬声器从初始位置移动到新的位置，然后使用指示所述新的位置的信息来生成所述第一虚拟扬声器信号。

6.根据权利要求1-5中任一项所述的方法，还包括：确定第一遮挡量o1，其中，修改用于所述第一虚拟扬声器的所述第一虚拟扬声器信号的步骤包括：基于o1，修改所述第一虚拟扬声器信号。

7.根据权利要求6所述的方法，其中，基于o1修改所述第一虚拟扬声器信号包括：修改所述第一虚拟扬声器信号，以使得经修改的扬声器信号等于：g1*vs1，其中，g1是使用o1计算的增益因子，vs1是所述第一虚拟扬声器信号。

8.根据权利要求7所述的方法，其中，

9.根据权利要求6、7或8所述的方法，其中，

10.根据权利要求9所述的方法，其中，获得所述遮挡因子包括：从遮挡因子集合中选择所述遮挡因子of，其中，被包括在所述遮挡因子集合中的每个of与不同的频率范围相关联，并且所述选择是基于与所述音频元素相关联的频率，以使得所选择的of与包含与所述音频元素相关联的所述频率的频率范围相关联。

11.根据权利要求9或10所述的方法，其中，确定o1包括：计算o1＝of1*p，其中，of1是所述遮挡因子，p是所述百分比。

12.根据权利要求1-11中任一项所述的方法，还包括：

13.根据权利要求12所述的方法，还包括：确定与所述第二虚拟扬声器相关联的第二遮挡量o2，其中，修改所述第二虚拟扬声器信号的步骤包括：基于o2，修改所述第二虚拟扬声器信号。

14.根据权利要求13所述的方法，其中，基于o2修改所述第二虚拟扬声器信号包括：修改所述第二虚拟扬声器信号，以使得所述第二经修改的扬声器信号等于：g2*vs2，其中，g2是使用o2计算的增益因子，vs2是所述第二虚拟扬声器信号。

15.根据权利要求13或14所述的方法，其中，确定o2包括：确定所述音频元素的所述投影的由所述遮挡对象所覆盖的第二子区域的百分比，其中，所述第二虚拟扬声器与所述第二子区域相关联。

16.一种用于呈现使用一组两个或更多个虚拟扬声器(spl，spc，spr)来表示的至少部分被遮挡的音频元素(602，902)的方法(450)，所述组包括第一虚拟扬声器，所述方法包括：

17.根据权利要求16所述的方法，还包括：获得指示所述音频元素至少部分被遮挡的信息，其中，所述移动(s452)是作为获得所述信息的结果而执行的。

18.根据权利要求16所述的方法，还包括：检测所述音频元素至少部分被遮挡，其中，所述移动(s452)是作为所述检测的结果而执行的。

19.一种包括指令(1544)的计算机程序(1543)，所述指令(1544)在由音频呈现器装置(1500)的处理电路(1502)执行时使得所述音频呈现器装置执行根据权利要求1-18中任一项所述的方法。

20.一种包含根据权利要求19所述的计算机程序的载体，其中，所述载体是电信号、光信号、无线电信号和计算机可读存储介质(1542)中的一个。

21.一种用于呈现使用一组两个或更多个虚拟扬声器(spl，spc，spr)来表示的至少部分被遮挡的音频元素(602，902)的音频呈现装置(1500)，所述组包括第一虚拟扬声器，所述音频呈现装置被配置为：

22.根据权利要求21所述的音频呈现装置(1500)，还被配置为执行以下步骤：获得指示所述音频元素至少部分被遮挡的信息，其中，所述修改是作为获得所述信息的结果而执行的。

23.根据权利要求21所述的音频呈现装置(1500)，还被配置为执行以下步骤：检测所述音频元素至少部分被遮挡，其中，所述修改是作为所述检测的结果而执行的。

24.根据权利要求21-23中任一项所述的音频呈现装置(1500)，其中，修改所述第一虚拟扬声器信号包括：调整所述第一虚拟扬声器信号的增益。

25.根据权利要求21-24中任一项所述的音频呈现装置(1500)，还被配置为执行以下步骤：将所述第一虚拟扬声器从初始位置移动到新的位置，然后使用指示所述新的位置的信息来生成所述第一虚拟扬声器信号。

26.根据权利要求21-25中任一项所述的音频呈现装置(1500)，还被配置为执行以下步骤：确定第一遮挡量o1，其中，修改用于所述第一虚拟扬声器的所述第一虚拟扬声器信号的步骤包括：基于o1，修改所述第一虚拟扬声器信号。

27.根据权利要求26所述的音频呈现装置(1500)，其中，基于o1修改所述第一虚拟扬声器信号包括：修改所述第一虚拟扬声器信号，以使得经修改的扬声器信号等于：g1*vs1，其中，g1是使用o1计算的增益因子，vs1是所述第一虚拟扬声器信号。

28.根据权利要求27所述的音频呈现装置(1500)，其中，

29.根据权利要求26、27或28所述的音频呈现装置(1500)，其中，

30.根据权利要求29所述的音频呈现装置(1500)，其中，获得所述遮挡因子包括：从遮挡因子集合中选择所述遮挡因子of，其中，被包括在所述遮挡因子集合中的每个of与不同的频率范围相关联，并且所述选择是基于与所述音频元素相关联的频率，以使得所选择的of与包含与所述音频元素相关联的所述频率的频率范围相关联。

31.根据权利要求29或30所述的音频呈现装置(1500)，其中，确定o1包括：计算o1＝of1*p，其中，of1是所述遮挡因子，p是所述百分比。

32.根据权利要求21-31中任一项所述的音频呈现装置(1500)，还被配置为执行以下步骤：

33.根据权利要求32所述的音频呈现装置(1500)，还被配置为执行以下步骤：确定与所述第二虚拟扬声器相关联的第二遮挡量o2，其中，修改所述第二虚拟扬声器信号的步骤包括：基于o2，修改所述第二虚拟扬声器信号。

34.根据权利要求33所述的音频呈现装置(1500)，其中，基于o2修改所述第二虚拟扬声器信号包括：修改所述第二虚拟扬声器信号，以使得所述第二经修改的扬声器信号等于：g2*vs2，其中，g2是使用o2计算的增益因子，vs2是所述第二虚拟扬声器信号。

35.根据权利要求33或34所述的音频呈现装置(1500)，其中，确定o2包括：确定所述音频元素的所述投影的由所述遮挡对象所覆盖的第二子区域的百分比，其中，所述第二虚拟扬声器与所述第二子区域相关联。

36.一种用于呈现使用一组两个或更多个虚拟扬声器(spl，spc，spr)来表示的至少部分被遮挡的音频元素(602，902)的音频呈现装置(1500)，所述组包括第一虚拟扬声器，所述音频呈现装置被配置为：

37.根据权利要求36所述的音频呈现装置(1500)，还被配置为执行以下步骤：获得指示所述音频元素至少部分被遮挡的信息，其中，所述移动是作为获得所述信息的结果而执行的。

38.根据权利要求36所述的音频呈现装置(1500)，还被配置为执行以下步骤：检测所述音频元素至少部分被遮挡，其中，所述移动是作为所述检测的结果而执行的。

39.根据权利要求21或36所述的音频呈现装置，其中，所述音频呈现装置包括存储器(1542)和耦接到所述存储器的处理电路(1502)。

技术总结
一种用于呈现至少部分被遮挡的音频元素的方法，其中，使用一组两个或更多个虚拟扬声器(例如，SpL，SpC，SpR)来表示音频元素，该组包括第一虚拟扬声器(例如，SpR)。在一个实施例中，该方法包括：修改用于第一虚拟扬声器(例如，SpR)的第一虚拟扬声器信号，从而产生第一经修改的虚拟扬声器信号。该方法还包括：使用第一经修改的虚拟扬声器信号来呈现音频元素(例如，使用第一经修改的虚拟扬声器信号来生成输出信号)。

技术研发人员：T·法尔克,W·德布恩
受保护的技术使用者：瑞典爱立信有限公司
技术研发日：
技术公布日：2024/1/16