感知方向的环绕声播放的制作方法
【技术领域】
[0001] 本发明总体上涉及音频处理，更具体地，涉及用于感知方向的环绕声播放的方法 和系统。
【背景技术】
[0002] 现在，诸如智能手机、平板电脑或电视机的电子设备变得日益普遍。他们通常用于 包括电影或音乐的媒介消费。
[0003] 目前，随着多媒体工业的发展，人们试图通过电子设备上的扬声器来传输环绕声。 很多诸如平板电脑和手机的便携式设备包括多个扬声器以助于提供立体声或环绕声。然 而，当存在环绕声时，一旦用户改变设备的方向，则用户体验会迅速下降。当设备的方向改 变时，这些设备中的一些尝试提供一些形式的声音补偿（即移动左边的声音或右边的声 音，或调节扬声器的声音水平）。
[0004] 然而，期望提供一种更有效的方法来解决与方向改变相关联的问题。
【发明内容】
[0005] 为了解决上述问题，本发明提出一种用于在包括多个扬声器的电子设备上处理音 频的方法和系统。
[0006] 在一个方面，本发明的实施例提供一种用于在包括多个扬声器的电子设备上处理 音频的方法，所述扬声器布置在所述电子设备的多于一个的维度上，所述方法包括：响应于 多个接收的音频流的接收生成与所述多个接收的音频流相关联的渲染分量；确定所述渲染 分量的基于方向的分量；通过根据所述扬声器的方向更新所述基于方向的分量来处理所述 渲染分量；以及基于所处理的渲染分量将所述接收的音频流分派到所述多个扬声器以播 放。这方面的实施例还包括相应的计算机程序产品。
[0007] 在另一方面，本发明的实施例提供一种用于在包括多个扬声器的电子设备上处理 音频的系统，所述扬声器布置在所述电子设备的多于一个的维度上，所述系统包括：生成单 元，所述生成单元被配置为响应于多个接收的音频流的接收生成与所述多个接收的音频流 相关联的渲染分量；确定单元，所述确定单元被配置为确定所述渲染分量的基于方向的分 量；处理单元，所述处理单元被配置为通过根据所述扬声器的方向更新所述基于方向的分 量来处理所述渲染分量；以及分派单元，所述分派单元被配置为基于所处理的渲染分量将 所述接收的音频流分派到所述多个扬声器以播放。
[0008] 通过下文描述将会理解，根据本发明的实施例，环绕声可以被呈现为具有高保真 度。本发明的实施例所带来的其他益处将通过下文描述而清楚。
【附图说明】
[0009] 通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和 优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本发明的若干实施例，其 中：
[0010] 图1示出了根据本发明的一个示例实施例的用于在包括多个扬声器的电子设备 上处理音频的方法的流程图；
[0011] 图2 7K出了根据本发明的7K例实施例的三个扬声器布局的两个7K例；
[0012] 图3示出了根据本发明的示例实施例的四个扬声器布局的两个示例；
[0013] 图4示出了用于立体声扬声器的串音消除系统的框图；
[0014] 图5示出了根据本发明的另一个示例实施例的用于音频对象提取的方法的流程 图；
[0015] 图6示出了根据本发明的另一个示例实施例的用于在包括多个扬声器的电子设 备上处理音频的系统的框图；
[0016] 图7示出了适于实现本发明的示例实施例的计算机系统的框图。
[0017] 在各个附图中，相同或对应的标号表7K相同或对应的部分。
【具体实施方式】
[0018] 下面将参考附图中示出的若干示例实施例来描述本发明的原理。应当理解，描述 这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何 方式限制本发明的范围。
[0019] 首先参考图1，其示出了根据本发明的一个示例实施例的用于在包括多个扬声器 的电子设备上处理音频的方法100的流程图。
[0020] 在步骤S101，响应于多个接收的音频流的接收，生成与多个接收的音频流相关联 的渲染分量。该输入音频流可以为各种格式。例如，输入音频内容可以遵循立体声、环绕 5.1、环绕7.1等格式。在某些实施例中，音频内容可以被表示为频域信号。备选地，音频内 容可以作为时域信号而被输入。
[0021] 对于给定的S扬声器（S > 2)阵列以及一个或多个声音源Sigp Sig2, . . .，SigM， 渲染分量R可以根据以下等式来定义：
[0023] 其中Spkr; (i = 1. . . S)表示扬声器的矩阵，(i = 1. . . S，j = 1. . . M)表示渲染 分量中的元素，以及Sigi (i = 1. . . Μ)表示音频信号的矩阵。
[0024] 等式（1)可以被写为以下简化形式：
[0025] Spkr = RXSig (2)
[0026] 渲染分量可以被认为是基于输入信号特性和播放要求的一系列分离的矩阵运算 的乘积，其中输入信号特性包括输入信号的格式和内容。渲染分量R的元素可以是为频率 的函数的复合变量。在这种情况下，可以通过将等式（1)中所示出的来代 替以增加准确度。
[0027] 符号Sigl，Sig2, . . .，SigM能够分别表示相对应的音频声道或者相对应的音频对 象。例如，当输入信号时两声道音频输入信号时，Sigi表不左声道并且Sig2表不右声道，并 且当输入信号是对象音频格式时，Sigl，Sig2,. . .，SigM能够表示相对应的音频对象，音频对 象是指在声场中存在特定持续时间的个体音频元素。
[0028] 在步骤S102,确定渲染分量中基于方向的分量。在一个实施例中，扬声器的方向与 电子设备和其用户之间的角度相关联。
[0029] 在一些实施例中，基于方向的分量可以从渲染分量中解耦。也就是说，渲染分量可 以被划分为基于方向的分量和独立于方向的分量。基于方向的分量可以被统一为以下结 构：
[0031] 其中〇s,m表不基于方向的分量。
[0032] 在一个实施例中，渲染分量R可以被划分为默认的方向不变的平移矩阵P以及基 于方向的补偿矩阵〇,如下所示：
[0033] R = 0ΧΡ (4)
[0034] 其中P表不独立于方向的分量，并且〇表不基于方向的分量。
[0035] 当电子设备处于不同方向时，等式（4)可以用不同的分量来表示，诸如R = (\XP 或R = 0ΡΧΡ，其中和0P分别表示在横向模式和纵向模式中的基于方向的补偿矩阵。
[0036] 此外，基于方向的补偿矩阵0不限于以上两个方向，并且其能够为在三维空间的 连续设备方向的函数。等式（4)可以被写为：
[0037] R( Θ ) = 〇( θ ) XP (5)
[0038] 其中Θ表示电子设备和其用户之间的角度。
[0039] 渲染矩阵的分解能够进一步延伸为允许以下相加的分量：
[0041] 其中〇i(0)和Pi*别表示基于方向的矩阵以及相对应的独立于方向的矩阵，可以 存在N组这样的矩阵。
[0042] 例如，输入信号可以经由基于PCA(主分量分析）的方法经受直达和扩散分解。在 这种方式下，多声道输入的方差矩阵的特征分析产生旋转矩阵V，并且通过使用V旋转原始 输入计算主分量E。
[0043] E = VXSig (7)
[0044] 其中Sig表示输入信号，Sig = [Sig! Sig2 · · · SigM]T。V表示旋转矩阵，V = [Vi V2... Vn]，N=^M，并且V的每一列表示Μ维特征矢量。E表示主分量EpE；；..· EN，由E = 呢E2…EN]T表示，其中Μ。
[0045] 并且直达和扩散信号由在Ε上施加适当增益G来获得
[0048] 其中G表示增益。
[0049] 最终，不同的方向补偿分别用于直达和扩散部分。
[0050] R ( Θ ) = 〇direct ( Θ ) X G X V+0dlffuse ( θ ) X (1 -G) X V (10)
[0051] 在步骤S103,通过根据扬声器的方向更新基于方向的分量来处理渲染分量。
[0052] 电子设备可以包括在电子设备多于一个维度上布置的多个扬声器。也就是说，在 一个平面上，通过至少两个扬声器的线条的数目多于一。在一些实施例中，存在至少三个扬 声器。图2和图3分别示出了根据本发明的实施例的三个扬声器布局和四个扬声器布局的 示例。在其他实施例中，扬声器的数目和扬声器的布局可以根据不同的应用而变化。
[0053] 日益增长地