针对任意扬声器布局的音频对象的平移的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年7月30日提交的西班牙专利申请No.P201331169的优先权和 2014年6月9日提交的美国临时专利申请No.62/009，536的优先权，运两个申请中的每个的 全部内容特此通过引用并入。
技术领域
[0003] 本发明设及音频数据处理。特别地，本公开设及处理对应于音频对象的音频数据。
【背景技术】
[0004] 由于1927年在电影中引入了声音，因此用于捕捉电影声轨的艺术意图并且再现运 个内容的技术不断地进化。在二十世纪屯十年代，Do化y引入了一种编码和发布具有3个屏 幕声道和单环绕声声道的混合产品的成本高效的手段。Do化y在二十世纪90年代用5.1声道 格式将数字声音带入电影院，5.1声道格式提供了分立的左、中和右屏幕声道、左和右环绕 阵列W及用于低频效果的低音声道。2010年引入的杜比环绕(Do化ySurround)?. 1通过将 现有的左和右环绕声道分成四个"区域"来增加环绕声道的数量。
[0005] 电影院和家庭影院音频回放系统都正变得愈发多功能和复杂。家庭影院音频回放 系统正包括数量增加的扬声器。随着声道的数量增加并且扬声器布局从平面二维(2D)阵列 转变成包括高程(elevation)的S维(3D)阵列，在回放环境中再现声音正变成一个愈发复 杂的过程。改进的音频处理方法将是所希望的。
【发明内容】
[0006] 提供了改进的处理音频对象的方法。如本文中使用的，术语"音频对象"是指音频 信号(在本文中也被称为"音频对象信号"）和相关联的元数据，其可W在没有参照任何特定 回放环境的情况下被创建或"创作"。相关联的元数据可W包括音频对象位置数据、音频对 象增益数据、音频对象大小数据、音频对象轨迹数据等。如本文中使用的，术语"集群"和"分 组"或"组合"能互换地用于描述将对象和/或音床(声道)组合成"群集"W便减少作为在自 适应音频回放系统中发送和呈现的自适应音频内容的单位的数据量。如本文中使用的，术 语"呈现"可W指将音频对象或者群集变换成用于特定回放环境的扬声器馈送信号的过程。 呈现过程可W至少部分地根据相关联的元数据并且根据回放环境数据执行。回放环境数据 可W包括回放环境中的扬声器数量的指示和回放环境内的各扬声器的位置的指示。
[0007] 本文中描述的一些实现可W包含接收包括N个音频对象的音频数据。音频对象可 W包括音频信号和相关联的元数据。元数据可W至少包括音频对象位置数据。在一些实现 中，所述方法可W包含执行从该N个音频对象产生M个群集的音频对象集群过程，M是小于N 的数。
[000引集群过程可W包含选择M个代表性音频对象，并且根据M个代表性音频对象中的每 个的音频对象位置数据来确定M个群集中的每个的群集质屯、位置。在一些实现中，各群集质 屯、位置可W是代表与群集关联的所有音频对象的位置的单个位置。
[0009] 集群过程可W包含确定N个音频对象中的每个的音频信号对于M个群集中的至少 一个的增益贡献。在一些实现例中，确定增益贡献可W包含确定响度中屯、位置并且确定成 本函数(costfunction)的最小值。在一些示例中，成本函数的第一项可W代表响度中屯、位 置和音频对象位置之间的差异。
[0010] 在一些实现中，响度中屯、位置可W是群集质屯、位置W及被分派给各群集的增益的 函数。在一些示例中，确定响度中屯、位置可W包含借助加权过程组合群集质屯、位置，在加权 过程中，赋予群集质屯、位置的权重对应于分派给群集质屯、位置的增益。例如，确定响度中屯、 位置可W包含:确定各群集质屯、位置和分派给各群集质屯、位置的增益的乘积;计算乘积之 和;确定所有群集质屯、位置的增益之和;将乘积之和除W增益之和。
[0011] 在一些实现中，成本函数的第二项可W代表对象位置和群集质屯、位置之间的距 离。例如，成本函数的第二项可W与对象位置和群集质屯、位置之间距离的平方成比例。在一 些实现中，成本函数的第=项可W设置所确定的增益贡献的尺度。在一些实现中，成本函数 可W是分派给各群集的增益的二次函数。然而，在其他实现中，成本函数可W不是二次函 数。
[0012] 在一些实现中，所述方法可W包含根据对应群集中的音频对象的增益贡献来修正 至少一个群集质屯、位置。在一些示例中，至少一个群集质屯、位置可W是随时间变化的。
[0013] 本文中描述的一些替代实现还可W包含接收包括N个音频对象的音频数据。音频 对象可W包括音频信号和相关联的元数据。元数据可W至少包括音频对象位置数据。在一 些实现中，所述方法可W包含确定N个音频对象中的每个的音频信号对于M个扬声器中的至 少一个的增益贡献。
[0014] 例如，确定增益贡献可W包含确定响度中屯、位置，并且确定成本函数的最小值。响 度中屯、位置可W作为扬声器位置和分派给各扬声器的增益的函数。在一些示例中，成本函 数的第一项可W代表响度中屯、位置和音频对象位置之间的差异。
[0015] 确定响度中屯、位置可W包含借助加权过程组合扬声器位置，在加权过程中，赋予 扬声器位置的权重对应于分派给扬声器位置的增益。例如，确定响度中屯、位置可W包含:确 定各扬声器位置和分派给各对应扬声器位置的增益的乘积;计算乘积之和;确定所有扬声 器的增益之和;将乘积之和除W增益之和。
[0016] 在一些实现中，成本函数的第二项可W代表音频对象位置和扬声器位置之间的距 离。例如，成本函数的第二项可W与音频对象位置和扬声器位置之间距离的平方成比例。在 一些实现中，成本函数的第=项设置所确定的增益贡献的尺度。
[0017] 在一些实现中，成本函数可W是分派给各扬声器的增益的二次函数。然而，在其他 实现中，成本函数可W不是二次函数。
[0018] 本文中公开的方法可W借助硬件、固件、一个或多个非暂态介质中存储的软件、 和/或其组合来实现。例如，本公开的至少一些方面可在包括接口系统和逻辑系统的设备中 实现。接口系统可W包括用户接口和/或网络接口。在一些实现中，设备可W包括存储系统。 接口系统可W包括逻辑系统和存储系统之间的至少一个接口。
[0019] 逻辑系统可W包括至少一个处理器，诸如通用单忍片或多忍片处理器、数字信号 处理器(DSP)、专用集成电路(ASIC)、现场可编程口阵列(FPGA)或其他可编程逻辑器件、分 立的口或晶体管逻辑、分立的硬件组件、和/或其组合。在一些实现中，逻辑系统可W能够根 据一个或多个非暂态介质存储的软件，至少部分执行本文中公开的方法。
[0020] 在一些实现中，逻辑系统可W能够经由接口系统接收包括N个音频对象的音频数 据并且确定N个音频对象中的每个的音频对象信号对于M个扬声器中的至少一个的增益贡 献。音频对象可W包括音频信号和相关联的元数据。元数据可W至少包括音频对象位置数 据。在一些示例中，确定增益贡献可W包含确定响度中屯、位置并且确定成本函数的最小值。 响度中屯、位置可W是扬声器位置和分派给各扬声器的增益的函数。成本函数的第一项可W 代表响度中屯、位置和音频对象位置之间的差异。在一些实现中，确定响度中屯、位置可W包 含借助加权过程组合扬声器位置，在加权过程中，赋予扬声器位置的权重对应于分派给扬 声器位置的增益。
[0021] 在一些实现中，逻辑系统可W能够借助接口系统接收包括N个音频对象的音频数 据，并且确定N个音频对象中的每个的音频对象信号对于M个群集中的至少一个的增益贡 献。音频对象可W包括音频信号和相关联的元数据。元数据可W至少包括音频对象位置数 据。
[0022] 在一些实现，逻辑系统可W能够执行从N个音频对象产生M个群集的音频对象集群 过程，M是小于N的数。例如，集群过程可W包含:选择M个代表性音频对象;根据M个代表性音 频对象中的每个的音频对象位置数据来确定M个群集中的每个的群集质屯、位置；W及确定N 个音频对象中的每个的音频对象信号对于M个群集中的至少一个的增益贡献。各群集质屯、 位置可W是代表与群集相关联的所有音频对象的位置的单个位置。在一些实现中，至少一 个群集质屯、位置可W是随时间变化的。
[0023] 在一些示例中，确定增益贡献可W包含确定响度中屯、位置并且确定成本函数的最 小值。响度中屯、位置可W是群集质屯、位置和分派给各群集的增益的函数。成本函数的第一 项可W代表响度中屯、位置和音频对象位置之间的差异。在一些实现中，确定响度中屯、位置 可W包含借助加权过程组合群集质屯、位置，在加权过程中，赋予群集质屯、位置的权重对应 于分派给群集质屯、位置的增益。
[0024] 在一些实现中，成本函数的第二项可W代表对象位置和扬声器位置或者群集质屯、 位置之间的距离。例如，成本函数的第二项可W与对象位置和扬声器位置或者群集质屯、位 置之间距离的平方成比例。在一些实现中，成本函数的第=项设置所确定的增益贡献的尺 度。在一些实现中，成本函数可W是分派给各扬声器或者群集的增益的二次函数。然而，在 其他实现中，成本函数可W不是二次函数。
[0025] 在附图和下面的【具体实施方式】中阐明了本说明书中描述的主题的一个或多个实 现的细节。根据【具体实施方式】、附图和权利要求书，其他特征、方面和优点将变得清楚。要注 意，下面附图的相对尺寸可W不按比例绘制。
【附图说明】
[0026] 图1示出具有杜比环绕5.1配置的回放环境的示例。
[0027] 图2示出具有杜比环绕7.1配置的回放环境的示例。
[00%]图3A和图3B示出包括高度扬声器配置的家庭影院回放环境的两个示例。
[0029]图4A示出描绘虚拟回放环境中的不同高程处的扬声器区域的图形用户界面(GUI) 的示例。
[0030] 图4B示出另一个回放环境的示例。
[0031] 图5是示出能够执行集群过程的系统的示例的框图。
[0032] 图6是示出能够在自适应音频处理系统中对于对象和/或音床进行集群的系统的 示例的框图。
[0033] 图7A和图7B描绘在两个不同时间的音频对象对于群集的贡献。
[0034] 图8A和图8B示出确定对应于音频对象的增益的示例。
[0035] 图9是提供向扬声器位置呈现音频对象的一些方法的概况的流程图。
[0036] 图IOA和图IOB是提供向群集呈现音频对象的一些方法的概况的流程图。
[0037] 图IOC和图IOD提供根据对应群集中的音频对象的增益贡献来修正群集质屯、位置 的示例。
[0038] 图IOE是提供能够实现