一种音频流元数据和生成方法、电子设备及存储介质与流程

1.本公开涉及音频处理的技术领域，尤其涉及一种音频流元数据和生成方法、电子设备及存储介质。


背景技术：

2.随着科技的发展，音频变得越来越复杂。由早期的单声道音频演变成立体声，工作重心也注重左右声道的正确处理方式。但环绕声出现后，处理过程开始变得复杂。而环绕5.1扬声器系统则对多个通道进行排序约束，进而环绕6.1扬声器系统、环绕7.1扬声器系统等使音频处理千变万化，把正确的信号传递给合适的扬声器形成相互牵连的效果。因此，随着声音变得更具沉浸感和交互性，音频处理的复杂性也大大增加。
3.音频声道(或声道)，是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号。而声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。例如，在环绕5.1扬声器系统中包括6个不同空间位置的音频信号，每个独立的音频信号被用于驱动对应空间位置的扬声器；在环绕7.1扬声器系统中包括8个不同空间位置的音频信号，每个独立的音频信号被用于驱动对应空间位置的扬声器。
4.因此，当前扬声器系统实现的效果依赖于扬声器的数量和空间位置。例如，双声道扬声器系统无法实现环绕5.1扬声器系统的效果。
5.本公开提供了一种音频流元数据和构造方法，以便提供一种能够解决上述技术问题的元数据。


技术实现要素：

6.本公开的目的在于提出一种音频流元数据和生成方法、电子设备及存储介质，以解决上述技术问题之一。
7.为实现上述目的，本公开第一方面提供了一种音频流元数据，包括：
8.属性区，包括音频流名称、音频流标识和音频流格式描述信息；
9.子元素区，包括音频通道格式引用信息和音频包格式引用信息的其中之一，还包括音频轨道格式引用信息。
10.为实现上述目的，本公开第二方面提供了一种音频流元数据的生成方法，包括：
11.响应于用户针对音频流元数据的设置操作，生成包括如第一方面所述音频流元数据。
12.为实现上述目的，本公开第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；
13.所述存储器，用于存储一个或多个程序；
14.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器生成包括如第一方面所述音频流元数据。
15.为实现上述目的，本公开第四方面提供了一种包含计算机可执行指令的存储介
质，所述计算机可执行指令在由计算机处理器生成包括如第一方面所述音频流元数据。
16.由上可见，本公开的音频流元数据，可以指示音频轨道格式和音频通道格式之间的关系，或音频轨道格式和音频包格式之间的关系。以在空间中能够实现三维声音的复现，从而提高了声音场景的质量。
附图说明
17.图1为本公开实施例1中提供了一种三维声音频制作模型的示意图；
18.图2为本公开实施例2中的一种音频流元数据的生成方法的流程图；
19.图3为本公开实施例3提供的一种电子设备的结构示意图。
具体实施方式
20.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
21.如图1所示，三维声音频制作模型由一组制作元素组成，每个制作元素用于描述音频制作的一个阶段，三维声音频制作模型包括内容制作部分和格式制作部分。
22.其中，所述内容制作部分包括：音频节目元素、音频内容元素、音频对象元素和音轨唯一标识元素；所述格式制作部分包括：音频包格式元素、音频通道格式元素、音频流格式元素和音频轨道格式元素；
23.所述音频节目元素引用至少一个所述音频内容元素；所述音频内容元素引用至少一个音频对象元素；所述音频对象元素引用对应的所述音频包格式元素和对应的所述音轨唯一标识元素；所述音轨唯一标识元素引用对应的所述音频轨道格式元素和对应的所述音频包格式元素；
24.所述音频包格式元素引用至少一个所述音频通道格式元素；所述音频流格式元素引用对应的所述音频通道格式元素和对应的所述音频包格式元素；所述音频轨道格式元素和对应的所述音频流格式元素相互引用。元素间的引用关系在图1中以箭头表示。
25.音频节目可以包括但不限于叙述、声音效果和背景音乐，所述音频节目元素可以用于描述节目，所述节目包括至少一个内容，所述音频内容元素用于描述所述音频节目元素中对应的一个内容。音频节目元素可以引用一个或多个音频内容元素，音频内容元素组合在一起以构建为完整的音频节目元素。
26.所述音频内容元素描述音频节目的一个组成部分(例如背景音乐)的内容，并引用一个或多个音频对象元素将内容与其格式联系起来。
27.所述音频对象元素用于建立内容、格式和有价值的信息，并确定实际音轨的音轨唯一标识。
28.格式制作部分包括：音频包格式元素、音频通道格式元素、音频流格式元素、音频轨道格式元素。
29.所述音频包格式元素，可以用于描述所述音频对象元素和原始音频数据依据通道分组打包时采用的格式。
30.所述音频通道格式元素可以用于表示单个音频采样序列和对其执行的预设操作，
例如，在场景中渲染对象的移动。所述音频通道格式元素可以包含至少一个音频块格式元素。音频块格式元素可以视为音频通道格式元素的子元素，所以，音频通道格式元素和音频块格式元素之间为一种包含关系。
31.所述音频轨道格式元素对应于单个音轨中的一组样本或数据，用于描述原始音频数据的格式，及渲染器的解码信号，还用于识别成功解码音轨数据所需的音轨组合。
32.通过三维声音频制作模型对原始音频数据进行制作后生成包含元数据的合成音频数据。
33.所述元数据(metadata)是描述数据特性的信息，元数据支持的功能包括指示存储位置、历史数据、资源查找或文件记录。
34.合成音频数据以通信方式传输到远端后，由远端基于元数据对合成音频数据进行渲染，还原原始声音场景。
35.图1中示出了内容制作部分、格式制作部分和bw64(broadcast wave-64bit，64位广播波)文件之间的划分。内容制作部分和格式制作部分都构成了xml格式的元数据，它通常包含在bw64文件的一个块(“axml”块)中。底部的bw64文件部分包含“通道分配(chna)”块，它是一个查找表，用于连接元数据和文件中的音频节目。
36.内容制作部分描述音频的技术内容，例如它是否包含对话或特定语言，以及响度元数据。格式部分描述音频曲目的通道类型以及它们是如何组合在一起的，例如立体声对中的左声道和右声道。内容制作部分的元索通常是音频和节目所独有的，而格式制作部分的元素可以复用。
37.实施例1
38.本公开提供了三维声音频模型中的一种音频流元数据，并进行详细说明。
39.流，是渲染通道、对象、高阶环境音组件或包所需的音轨的组合。通过音频流格式元素可以建立音频轨道格式集和音频通道格式集之间的关系，或音频轨道格式集和音频包格式之间的关系。
40.该音频流元数据包括属性区和子元素区。
41.属性区，包括音频流名称、音频流标识和音频流格式描述信息；
42.子元素区，包括音频通道格式引用信息和音频包格式引用信息的其中之一，还包括音频轨道格式引用信息。
43.其中，属性区包括对音频流元数据的通用定义。音频流名称可以是为音频流设置的名称，用户可以通过音频流名称来确定音频流。音频流标识为音频流的标识符号。音频流格式描述信息可以包括格式标签和/或格式定义，可以采用格式标签和/或格式定义表示流的类型，流的类型与音频流描述的音频的编码格式相对应。音频流格式的格式定义指定它所描述的音频的编码格式。格式标签可以是数字代码，每种流的类型可以有对应的数字代码表示。例如，pcm类型的流以0001表示。
44.所述音频流标识可以包括：用于指示所述音频流中包含的音频类型的音频类型标识和用于指示所述音频流对应的音频通道格式的音频通道标识。音频类型，可以包括：通道类型、矩阵类型、对象类型、场景类型和双耳声道类型。音频类型标识可以采用数字代码或字符串表示，而每种音频类型具有不同于其他音频类型的音频类型标识，例如，通道类型音频的音频类型标识为0001。音频通道标识也可以采用数字代码或字符串表示，而每种音频
通道格式具有不同于其他音频通道格式的音频通道标识。
45.对于音频流元数据，是用于建立音频轨道格式集和音频通道格式集之间的关系，或用于建立音频轨道格式集和音频包格式之间的关系。所以，子元素区包括音频通道格式引用信息和音频包格式引用信息的其中之一。音频通道格式引用信息表示该音频流引用的音频通道格式，例如是音频通道格式的音频通道标识，而音频包格式引用信息表示该音频流引用的音频包格式，例如是音频包格式的音频包标识。音频轨道格式引用信息表示该音频流引用的音频轨道格式，例如是音频轨道格式的音频轨道标识。
46.若所述子元素区包括所述音频通道格式引用信息，所述音频流元数据设置为基于所述音频轨道格式引用信息和所述音频通道格式引用信息，指示音频轨道格式集和音频通道格式集之间的关系；
47.若所述子元素区包括所述音频包格式引用信息，所述音频流元数据设置为基于所述音频轨道格式引用信息和所述音频包格式引用信息，指示音频轨道格式集和音频包格式之间的关系。
48.可选的，对于非pcm音频编码格式的音频，所述音频轨道格式引用信息指示一个或多个音频轨道格式的组合，所述音频通道格式引用信息指示多个音频通道格式。
49.可选的，对于pcm音频编码格式的音频，所述音频轨道格式引用信息指示单个音频轨道格式的组合，所述音频通道格式引用信息指示单个音频通道格式。
50.其中，脉冲编码调制(pulse code modulation，pcm)是音频数据的编码格式，音频流格式的主要用途是处理非pcm编码的音频，其中必须组合一个或多个音频轨道格式来表示覆盖多个音频通道格式的可解码信号(例如通过引用音频包格式)；对于pcm音频，音频流格式将单个音频轨道格式和单个音频通道格式对应。
51.可选的，音频流标识可以包含8位十六进制数字，在前的四位数字表示音频流中包含的音频类型，在后的四位数字表示相对应的音频通道格式。例如，音频流标识为as_yyyyxxxx，yyyy表示通道中包含的音频类型，xxxx与音频通道格式的音频通道标识的数字相匹配。属性区包括的信息如表1所示，
52.表1
53.54.表1中，需求一项是指在生成音频流元数据时，是否需要设置该项属性，“是”表示该项属性为必须项，“可选”表示该项属性为可选项，而格式定义和格式标签至少需要设置其中之一。
55.子元素区包括的信息如表2所示，
56.表2
[0057][0058][0059]
表2中数量一项表明子元素可以设置的数量，音频流格式可以组合多个音频轨道格式，而音频流格式的子元素区中，包括音频通道格式引用信息和音频包格式引用信息的其中之一，所以，当设置了音频通道格式引用信息，audiochannelformatidref的数量则为1，同时，audiopackformatidref的数量则为0，表示不设置音频包格式引用信息。而当设置了音频包格式引用信息，audiopackformatidref的数量则为1，同时，audiochannelformatidref的数量则为0，表示不设置音频通道格式引用信息。在同一个音频流格式元素中部同时使用音频通道格式引用信息和音频包格式引用信息。
[0060]
实施例2
[0061]
本公开还提供了与上述实施例承接的方法实施例，用于音频流元数据的生成方法，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。
[0062]
一种音频流元数据的生成方法，如图2所示，包括以下步骤：
[0063]
步骤s110，响应于用户针对音频流元数据的设置操作，生成音频流元数据，所述音频流元数据包括：
[0064]
属性区，包括音频流名称、音频流标识和音频流格式描述信息；
[0065]
子元素区，包括音频通道格式引用信息和音频包格式引用信息的其中之一，还包括音频轨道格式引用信息。
[0066]
用户针对音频流元数据的设置操作，可以是用户针对音频流元数据中的相关信息进行设置的操作，例如，接收用户逐项输入的音频流元数据的属性区和/或子元素区的信息；或者，根据用户对预设音频流元数据生成程序的操作自动生成音频流元数据，该预设音频流元数据生成程序可以设置为根据系统默认属性设置音频流元数据的全部信息；或者，根据用户对预设音频流元数据生成程序的操作自动生成音频流元数据，该预设音频流元数据生成程序可以设置为根据系统默认属性设置音频流元数据的部分信息，然后接收用户输
入的剩余信息。音频流元数据的生成可以参照以上实施例中音频流元数据的组成部分的介绍。
[0067]
可选的，所述音频流标识包括：用于指示所述音频流中包含的音频类型的音频类型标识和用于指示所述音频流对应的音频通道格式的音频通道标识。
[0068]
可选的，所述音频流格式描述信息，包括格式标签和/或格式定义。
[0069]
可选的，若所述子元素区包括所述音频通道格式引用信息，所述音频流元数据设置为基于所述音频轨道格式引用信息和所述音频通道格式引用信息，指示音频轨道格式集和音频通道格式集之间的关系；
[0070]
若所述子元素区包括所述音频包格式引用信息，所述音频流元数据设置为基于所述音频轨道格式引用信息和所述音频包格式引用信息，指示音频轨道格式集和音频包格式之间的关系。
[0071]
可选的，对于非pcm音频编码格式的音频，所述音频轨道格式引用信息指示一个或多个音频轨道格式的组合，所述音频通道格式引用信息指示多个音频通道格式。
[0072]
可选的，对于pcm音频编码格式的音频，所述音频轨道格式引用信息指示单个音频轨道格式的组合，所述音频通道格式引用信息指示单个音频通道格式。
[0073]
示例性，设置音频流元数据的方法可以采用如下编码方式：
[0074][0075][0076]
本公开实施例中提供的音频流元数据的生成方法生成的音频流元数据，可以指示音频轨道格式和音频通道格式之间的关系，或音频轨道格式和音频包格式之间的关系，在空间中能够实现三维声音的复现，从而提高了声音场景的质量。
[0077]
实施例3
[0078]
图3为本公开实施例3提供的一种电子设备的结构示意图。如图3所示，该电子设备包括：处理器30、存储器31、输入装置32以及输出装置33。该电子设备中处理器30的数量可以是一个或者多个，图3中以一个处理器30为例。该电子设备中存储器31的数量可以是一个或者多个，图3中以一个存储器31为例。该电子设备的处理器30、存储器31、输入装置32以及输出装置33可以通过总线或者其他方式连接，图3中以通过总线连接为例。该电子设备可以是电脑和服务器等。本公开实施例以电子设备为服务器进行详细说明，该服务器可以是独立服务器或集群服务器。
[0079]
存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开任意实施例所述生成音频流元数据的程序指令/模块。存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的
应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0080]
输入装置32可用于接收输入的数字或者字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置33可以包括扬声器等音频设备。需要说明的是，输入装置32和输出装置33的具体组成可以根据实际情况设定。
[0081]
处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即生成音频流元数据。
[0082]
实施例4
[0083]
本公开实施例4还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器生成包括如实施例1所述音频流元数据。
[0084]
当然，本公开实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的电子方法操作，还可以执行本公开任意实施例所提供的电子方法中的相关操作，且具备相应的功能和有益效果。
[0085]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本公开任意实施例所述的电子方法。
[0086]
值得注意的是，上述电子装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
[0087]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0088]
在本说明书的描述中，参考术语“在一实施例中”、“在又一实施例中”、“示例性的”或“在具体的实施例中”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0089]
虽然，上文中已经用一般性说明、具体实施方式及试验，对本公开作了详尽的描述，但在本公开基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本公开精神的基础上所做的这些修改或改进，均属于本公开要求保护的范围。