,能够旋转的电子设备能够确定它们的方向。该方向能够通过使用方 向传感器或其他合适的模块来确定,诸如陀螺仪和加速器。方向确定模块能够设置在电子 设备内部或外部。方向确定的详细实施方式在本领域是已知的并且将不在本公开中解释以 免模糊本发明。
[0054] 例如,当电子设备的方向从0度向90度变化时,基于方向的分量将相应地从改 变至〇P。
[0055] 在一些实施例中,基于方向的分量可以在渲染分量中确定,而不需要从渲染分量 中解耦。相应地,基于方向的分量并且因此渲染分量能够基于方向进行更新。
[0056] 方法100然后前进至步骤S104,其中音频流基于处理的渲染分量被分派到多个扬 声器。
[0057] 在音频输入和扬声器之间的合理映射在达到预期的音频体验中是关键的。通常, 多声道或双耳音频通过假设特定物理扬声器设置来传达空间信息。例如,对于渲染双耳音 频信号需要最小L-R扬声器设置。通常使用的环绕5. 1格式使用五个扬声器,分别为中间、 左、右、左环绕和右环绕声道。其他音频格式可以包括用于架空扬声器的声道,其用于渲染 具有高度/海拔信息的音频信号,诸如雨、雷等。在该步骤中,在音频输入和扬声器之间的 映射应当根据设备的方向改变。
[0058] 在一些实施例中,输入信号可以根据扬声器布局下混或上混。例如,在仅具有两个 扬声器的便携设备上播放时,环绕5. 1信号可以被下混至两个声道。另一方面,如果设备具 有四个扬声器,可能根据输入的数目通过下混/上混操作来创建左声道和右声道加上两个 高度声道。
[0059] 关乎上混的实施例,上混算法采用将音频信号经由诸如主分量分析(PCA)的方法 分解至扩散和直达部分。扩散部分提供宽敞的总体印象,而直达信号对应于点源。优化/ 维持试听体验的解决方法可以对于这两部分不同。声场的宽度/范围很大程度基于声道间 相关性。扬声器布局的改变可以改变在中耳处的有效的耳间相关性。因此,方向补偿的目 的是为了维持合适的相关性。一种处理该问题的方式是引入基于布局的去相关处理,例如 使用基于两个最远的扬声器之间的有效距离的全通滤波器。对于定向的音频信号,处理目 的是为了维持对象的轨迹和音色。这能够通过如在传统扬声器虚拟器中的对象方向和物理 扬声器位置的HRTF(头相关传递函数)来处理。
[0060] 在一些实施例中,方法100还可以包括当输入音频流包含元数据时处理元数据。 例如,对象音频信号通常具有元数据,该元数据可以包括关于声道水平差异、时间差异、空 间特性、对象轨迹等的信息。该信息可以经由用于特定扬声器布局的优化来预处理。优选 地,该变换可以被表示为旋转角度的函数。在实时处理中,元数据可以根据当前角度被加载 和平滑。
[0061] 根据本发明的一些实施例,方法100可以包括串音消除过程。例如,当通过扬声器 播放双耳信号时,可能利用反向滤波器来消除串音分量。
[0062] 通过示例的方式,图4示出了用于立体声扬声器的串音消除系统的框图。来自左 声道和右声道的输入双耳信号以矢量形式给出X(z) = [Xl(Z),X2(Z)]T,并且由两个耳朵接 收的信号被表示为d(z) = ,其中信号以Ζ域表示。串音消除的目的是为了 经由用串音消除滤波器H(Z)来反转声学路径G(z)来更好地在听者的中耳处重现双耳信 号。H(z)和G(z)分别由以下矩阵形式表示:
[0064] 其中G^b),i,j = 1,2表示从第j个扬声器到第i个耳朵的传递函数,并且氐, ,(z),i,j = 1,2表示从第X]到第i个扬声器的串音消除滤波器。
[0065] 通常,串音消除器H(z)可以被计算为传递函数G(z)的逆矩阵与延迟项d的乘积。 通过示例的方式,在一个实施例中,串音消除H(z)可以如以下方式获得:
[0066] H(z) = z dGx (z) (12)
[0067] 其中H(z)表示串音消除器,G(z)表示传递函数并且d表示延迟项。
[0068] 如在图5中所不出的,在一个电子设备的扬声器(诸如LSl^和LSR)改变,角度Θ ^ 和Θ R将不同,这导致不同的声学传递函数G(z),因此导致不同的串音消除器Η(z)。
[0069] 在一个实施例中,假设HRTF包含耳道的谐振系统,其谐振频率和Q因数独立于源 的方向,串音消除器能够被分解为方向变化和不变分量。具体地,HRTF能够通过使用独立 于源方向的极点和基于源方向的零点来建模。通过示例的方式,已提出称为共用声学极点/ 零点模型(CAPZ)的模型用于立体声串音消除(参见"A Stereo Crosstalk Cancellation System Based on the Common-Acoustical Pole/Zero Model,',Lin Wang,Fuliang Yin and Zhe Chen,EURASIP Journal on Advances in Signal Processing 2010,2010 :719197),并 且能够与本发明结合使用。例如,根据CAPZ,每个传递函数可以通过共用极点组合独特的零 点组来建模,如下所示:
[0071] 其中0;(ζ) 0=1,···,〇.表示传递函数,Nq和Np表示极点和零点的数目,并且
分别表示极点系数矢量和零点系数矢量。
[0072] 极点和零点系数通过针对所有K传递函数最小化总建模误差来估计。对于每个串 音消除功能,H(z)能够通过以下来获得:
、
,<111、(112、(1 21和(122分力1_)表不从 扬声器到耳朵的传递延迟,并且s =d-(dn+d22)表示延迟。
[0075] 在一个实施例中,串音消除函数能够被分为基于方向的分量(零 点)
和独立于方向的分量(极点)
[0076] 并且总的处理矩阵为:
[0078] 两声道
[0079] 输入音频流可以为不同的格式。在一些实施例中,输入音频流是两声道输入音频 信号,例如,左声道和右声道。在这种情况下,等式(1)可以被写为:
[0081] 其中L表示左声道输入信号,并且R表示右声道输入信号。信号能够被转换为 中-侧(mid-side)格式用于便于处理,例如,如下所示:
[0083] 其中 Mid = 1/2* (L+R),并且 Side = 1/2* (L-R)。
[0084] 在一个实施例中,最简单的处理将是根据目前设备方向选择一对适用于输出信号 的扬声器。例如,对于图2的三扬声器情况下,当电子设备初始在横向模式中时,等式(1) 可以被写为:
[0086] 可以从等式(18)中看出左声道信号和右声道信号被发送至扬声器a和b,而扬声 器c则未改变。在旋转之后,假设设备在纵向模式中,然后等式(1)能够被写为:
[0088] 可以看出渲染矩阵被改变,并且当设备在纵向模式中时,左声道信号和右声道信 号被分别发送至扬声器c和b,而扬声器a为静音。
[0089] 以上的实施方式是针对不同方向选择不同的扬声器子集以输出L和R信号的简单 方式。也可以采用如以下描述的较为复杂的渲染分量。例如,对于图2中的扬声器布局,由 于扬声器b和c相对于扬声器a彼此更接近,因此,右声道可以均匀分派在b和c之间。因 此,在横向模式中,基于方向的分量可以被选择为:
[0091] 当电子设备在纵向模式中时,基于方向的分量可以如下改变:
[0093] 随着电子设备的方向改变,基于方向的分量相应地改变。
[0095] 其中0( Θ )表示当角度等于Θ时相应的基于方向的分量。
[0096] 渲染矩阵可以类似地用于其它扬声器布局情况,诸如四个扬声器布局,五个扬声 器布局等。当输入信号是双耳信号时,上述串音消除器和中-侧(mid-side)处理能够同时 采用,并且方向不变矩阵变为:
[0098] 在该情况下,基于方向的分量是串音消除器的零点分量与基于布局的渲染矩阵的 乘积。
[0100] 多声道
[0101] 输入信号可以包括多个声道(N>2)。例如,输入信号可以是杜比数字/杜比数字 加5. 1格式,或MPEG环绕格式。
[0102] 在一个实施例中,多声道信号可以被转换为立体声或双耳信号。随后,可以采用以 上描述的技术相应地将信号反馈至扬声器。例如,通过基于特定输入格式的合适的下混或 双耳音频处理方法可以实现将多声道信号转换至立体声/双耳信号。例如,左全声道/右 全声道(Lt/Rt)是适用于用杜比专业逻辑解码器解码以获得环绕5. 1声道的下混。
[0103] 可替换地,多声道信号能够被直接馈入至扬声器或以定