用于生成和处理经修改的比特流的方法和设备与流程

用于生成和处理经修改的比特流的方法和设备
1.相关申请的交叉引用
2.本技术要求于2019年8月15日提交的美国临时专利申请第62/887,111号和于2019年8月15日提交的欧洲专利申请第19191919.0号的优先权，这些专利申请中的每一个均通过引用以其全文特此并入。
技术领域
3.本公开总体上涉及用于生成经修改的比特流的方法和源设备，并且更具体地涉及通过将附加媒体数据的有效载荷(payload)嵌入到包括经编码的媒体数据的比特流中来生成经修改的比特流。本公开还涉及用于处理所述经修改的比特流的方法和宿(sink)设备。
4.尽管本文将尤其参考该公开内容来描述一些实施例，但是应当理解，本公开不限于这种使用领域，并且可应用于更广泛的背景下。


背景技术：

5.在整个公开内容中对背景技术的任何讨论绝不应视为承认该技术是本领域众所周知的或形成本领域公知常识的一部分。
6.最近已经做出努力来建立基于aac系列的编解码器作为蓝牙(bt)生态系统的一部分。在这种情况下，蓝牙sig可以定义需要将在例如移动设备(bt源)上接收到的比特流透传到连接的扬声器系统(bt宿)的用例。由于在整个bt端点的服务中使用的数据格式可能是经编码的音频，因此没有简单的方法将耳标和/或系统声音从移动设备传送到bt扬声器。这种耳标可以包括铃声、邮件通知声音、按键声音等等。
7.在当前部署的系统中，从服务接收到的音频通常在设备中被解码为未压缩域(pcm)，在该未压缩域中可以对音频进行修改和/或混合。如果启用了透传操作模式，则在bt源设备上可能不容易使系统声音进入和/或将系统声音混合到从bt源传输到bt宿的体验中。
8.通过仍然启用透传来克服这种限制的一种可能性是在这两个设备之间打开附加链路。然而，这种设置的缺点是，其需要附加链路和蓝牙编解码器的编码器-解码器对才能工作。这带来了不期望的附加系统复杂性，并为bt源和宿设备两者增加了附加计算复杂性的负担，这也会消耗电池。
9.因此，现有需求是经由比特流、具体地经由基于mpeg-d usac的比特流与媒体内容并行地同时生成和处理耳标和/或系统声音。


技术实现要素：

10.根据本公开的第一方面，提供了一种用于由源设备生成经修改的比特流的方法。该源设备可以包括接收器和嵌入器。该方法可以包括以下步骤：a)由该接收器接收比特流，该比特流包括经编码的媒体数据。该方法可以还包括以下步骤：b)由该嵌入器生成附加媒体数据的有效载荷并将该有效载荷嵌入该比特流中，以用于获得经修改的比特流作为该嵌
入器的输出，该经修改的比特流包括该经编码的媒体数据和该附加媒体数据的有效载荷。并且，该方法可以包括以下步骤：c)将该经修改的比特流输出到宿设备。
11.如所提出的那样配置，该方法允许将系统声音或耳标插入到比特流中，该比特流包括经编码的媒体数据并且由源设备(例如，蓝牙源设备，如移动电话)透传到宿设备(例如，蓝牙宿设备，如蓝牙扩音器)。这使得能够将系统声音/耳标传递到宿设备，而不必在源设备与自设备之间建立附加连接，并且不必对经编码的媒体数据进行解码和重新编码。此外，该方法使得能够同时处理系统声音/耳标和经编码的媒体数据。
12.在一些实施例中，附加媒体数据可以由宿设备回放。
13.在一些实施例中，附加媒体数据可以由源设备回放。
14.在一些实施例中，接收到的比特流中的经编码的媒体数据可以经由经修改的比特流通过源设备透传到宿设备。
15.在一些实施例中，步骤b)可以还包括生成关于附加媒体数据的信息并将该信息嵌入该比特流中。
16.在一些实施例中，所生成的信息可以包括关于附加媒体数据的配置的信息、关于经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于附加媒体数据的类型的信息中的一个或多个。
17.在一些实施例中，步骤b)可以还包括生成与经编码的媒体数据与附加媒体数据之间的相对增益相关的信息并将与相对增益相关的信息嵌入该比特流中。
18.在一些实施例中，该经修改的比特流可以是基于mpeg-d usac的比特流。因此，当源设备针对以mpeg-4音频格式编码的媒体数据采用透传模式时，系统声音/耳标可以作为经编码的比特流的一部分传输到宿设备，而无需对媒体数据进行解码和重新编码。
19.在一些实施例中，所生成的有效载荷可以通过经由usac型比特流扩展机制在该(经修改的)比特流中传输该有效载荷而被嵌入该比特流中。
20.在一些实施例中，所生成的信息和/或与该相对增益相关的所生成的信息可以通过经由该usac型比特流扩展机制在该(经修改的)比特流中传输所生成的信息和/或与该相对增益相关的所生成的信息而被嵌入该经修改的比特流中。
21.在一些实施例中，该usac型比特流扩展机制可以是包括唯一标识符的新的usac型比特流扩展元素。
22.在一些实施例中，在步骤c)中，该经修改的比特流可以经由蓝牙连接输出到该宿设备。
23.在一些实施例中，该附加媒体数据可以是经压缩媒体数据或未压缩媒体数据。
24.在一些实施例中，该未压缩媒体数据可以是在该源设备处生成的pcm数据。
25.在一些实施例中，该pcm数据的生成可以是基于用户输入的。
26.在一些实施例中，该pcm数据可以包括耳标数据和系统声音数据中的一个或多个。
27.在一些实施例中，该经压缩数据可以采用sbc格式或基于aptx的格式。
28.根据本公开的第二方面，提供了一种用于由宿设备处理经修改的比特流的方法。该宿设备可以包括接收器、比特流解析器。该方法可以包括以下步骤：a)由接收器接收经修改的比特流，该经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷。该方
法可以还包括以下步骤：b)由比特流解析器将该经修改的比特流解析为该经编码的媒体数据和该附加媒体数据的有效载荷。该方法可以还包括以下步骤：c)由核心解码器对该经编码的媒体数据进行核心解码以获得经核心解码的媒体数据。该方法可以还包括以下步骤：d)由混合器将该经核心解码的媒体数据与该附加媒体数据混合以获得输出信号。并且该方法可以包括以下步骤：e)输出该输出信号。
29.在一些实施例中，该经修改的比特流可以还包括关于该附加媒体数据的信息，并且该方法可以还包括在步骤a)之后且步骤b)之前可以基于该信息来处理该经修改的比特流的步骤。
30.在一些实施例中，该信息可以包括关于该附加媒体数据的配置的信息、关于该经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于该附加媒体数据的类型的信息中的一个或多个。
31.在一些实施例中，该经修改的比特流可以还包括与该经编码的媒体数据与该附加媒体数据之间的相对增益相关的信息，并且在步骤d)中将该经核心解码的媒体数据与该附加媒体数据混合可以是基于与该相对增益相关的该信息进行的。
32.在一些实施例中，该方法可以还包括在将该经核心解码的媒体数据与该附加媒体数据混合之前由处理单元处理该附加媒体数据的步骤。
33.在一些实施例中，处理该附加媒体数据可以包括重采样、延迟适配和响度处理中的一个或多个。
34.在一些实施例中，该附加媒体数据可以是经压缩媒体数据，并且该方法可以还包括由解码器对该经压缩媒体数据进行解码以获得经解码的附加媒体数据的步骤，并且在步骤d)中，该经解码的附加媒体数据可以与该经核心解码的媒体数据混合。
35.在一些实施例中，该经压缩媒体数据可以采用sbc格式或基于aptx的格式。
36.在一些实施例中，该附加媒体数据可以是未压缩媒体数据，并且在步骤d)中，该未压缩附加媒体数据可以与该经核心解码的媒体数据混合。
37.在一些实施例中，该经修改的比特流可以是基于mpeg-d usac的比特流。
38.在一些实施例中，该经修改的比特流可以包括usac型比特流扩展机制，并且步骤b)中的解析可以还基于识别该经修改的比特流中的该usac型比特流扩展机制。
39.在一些实施例中，该usac型比特流扩展机制可以是包括唯一标识符的新的usac型比特流扩展元素。
40.根据本公开的第三方面，提供了一种用于生成经修改的比特流的源设备。该设备可以包括a)接收器，该接收器被配置为接收比特流，该比特流包括经编码的媒体数据。该设备可以还包括b)嵌入器，该嵌入器被配置为生成附加媒体数据的有效载荷并将所生成的有效载荷嵌入该比特流中以获得经修改的比特流，该经修改的比特流包括该经编码的媒体数据和该附加媒体数据的有效载荷。并且该设备可以包括c)控制单元，该控制单元被配置为将该经修改的比特流输出到宿设备。
41.在一些实施例中，该嵌入器可以还被配置为生成关于该附加媒体数据的信息并将该信息嵌入该比特流中。
42.在一些实施例中，该嵌入器可以还被配置为生成与该经编码的媒体数据与该附加
媒体数据之间的相对增益相关的信息并将与该相对增益相关的该信息嵌入该比特流中。
43.在一些实施例中，该经修改的比特流可以是基于mpeg-d usac的比特流。
44.在一些实施例中，该附加媒体数据可以是经压缩媒体数据或未压缩媒体数据。
45.在一些实施例中，该未压缩媒体数据可以是在该源设备处生成的pcm数据。
46.在一些实施例中，该pcm数据的生成可以是基于用户输入的。
47.在一些实施例中，该pcm数据可以包括耳标数据和系统声音数据中的一个或多个。
48.在一些实施例中，该经压缩媒体数据可以采用sbc格式或基于aptx的格式。
49.根据本公开的第四方面，提供了一种用于处理经修改的比特流的宿设备。该设备可以包括a)接收器，该接收器被配置为接收经修改的比特流，该经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷。该设备可以还包括b)比特流解析器，该比特流解析器被配置为将该经修改的比特流解析为该经编码的媒体数据和该附加媒体数据的有效载荷。该设备可以还包括c)核心解码器，该核心解码器被配置为对该经编码的媒体数据进行核心解码以获得经核心解码的媒体数据。该设备可以还包括d)混合器，该混合器被配置为将该经核心解码的媒体数据与该附加媒体数据混合以获得输出信号。并且该设备可以包括e)控制单元，该控制单元被配置为输出该输出信号。
50.在一些实施例中，该设备可以还包括处理单元，该处理单元被配置为在将该经核心解码的媒体数据与该附加媒体数据混合之前处理该附加媒体数据。
51.在一些实施例中，该附加媒体数据可以是未压缩媒体数据，并且该混合器可以被配置为将该经核心解码的媒体数据与该未压缩附加媒体数据混合。
52.在一些实施例中，该附加媒体数据可以是经压缩媒体数据，并且该设备可以还包括对该经压缩媒体数据进行解码以获得经解码的附加媒体数据的解码器，并且该混合器可以被配置为将该经核心解码的媒体数据与该经解码的附加媒体数据混合。
53.在一些实施例中，该经修改的比特流可以还包括关于该附加媒体数据的信息，并且该宿设备可以被配置为基于该信息来处理该经修改的比特流。
54.在一些实施例中，该经修改的比特流可以还包括与该经编码的媒体数据与该附加媒体数据之间的相对增益相关的信息，并且该混合器可以还被配置为基于与该相对增益相关的该信息将该经核心解码的媒体数据与该附加媒体数据混合。
55.在一些实施例中，该核心解码器可以是基于mpeg-d usac的解码器。
56.根据本公开的第五方面，提供了一种具有源设备和宿设备的系统，该源设备用于生成经修改的比特流，其中，该源设备包括被配置为执行用于在所述源设备上生成经修改的比特流的方法的一个或多个处理器，该宿设备用于处理经修改的比特流，其中，该宿设备包括被配置为执行用于在该宿设备上处理经修改的比特流的方法的一个或多个处理器。
57.根据本公开的第六方面，提供了一种计算机程序产品，该计算机程序产品包括具有指令的计算机可读存储介质，该指令被适配成当由具有处理能力的设备执行时使该设备执行用于在源设备上生成经修改的比特流的方法。
58.根据本公开的第七方面，提供了一种计算机程序产品，该计算机程序产品包括具有指令的计算机可读存储介质，该指令被适配成当由具有处理能力的设备执行时使该设备执行用于在宿设备上处理经修改的比特流的方法。
附图说明
59.现在将参考附图仅通过举例来描述本公开的示例实施例，在附图中：
60.图1示出了用于在源设备上生成经修改的比特流的方法的示例的流程图。
61.图2示出了用于在源设备上生成经修改的比特流的方法的另一示例的流程图。
62.图3示出了用于在宿设备上处理经修改的比特流的方法的示例的流程图。
63.图4示出了用于在宿设备上处理经修改的比特流的方法的另一示例的流程图。
64.图5示出了用于在宿设备上处理经修改的比特流的方法的又一示例的流程图。
65.图6示出了用于在宿设备上处理经修改的比特流的方法的又一示例的流程图。
66.图7示出了用于生成经修改的比特流的源设备的示例。
67.图8示出了用于生成经修改的比特流的源设备的另一示例。
68.图9示出了用于处理经修改的比特流的宿设备的示例。
69.图10示出了用于处理经修改的比特流的宿设备的另一示例。
70.图11示出了用于处理经修改的比特流的宿设备的又一示例。
71.图12示出了用于处理经修改的比特流的宿设备的又一示例。
72.图13示出了具有一个或多个处理器的设备的示例。
具体实施方式
73.基于mpeg-d usac的经修改的比特流的生成和处理
74.在下文中，将描述用于生成和处理经修改的基于mpeg-d usac的比特流的方法和设备。在本文档中，基于mpeg-d usac的比特流可以指符合iso/iec23003-3 mpeg音频技术-第3部分：统一语音和音频编码(iso/iec23003-3 mpeg audio technologies-part 3:unified speech and audio coding)(以下简称“mpeg-d usac”)以及其中所有未来版本、版次和修正中阐述的标准的比特流。在下文中，对基于mpeg-d usac的比特流的引用是指符合mpeg-d usac标准中描述的一个或多个要求的比特流。通过所描述的方法和设备，作为未压缩或经压缩媒体数据的附加媒体数据可以与传递媒体内容的经编码的媒体数据一起传输和处理。这可以使得能够在没有系统复杂性以及源设备和宿设备两者的计算复杂性的额外负担的情况下传输和处理耳标和/或系统声音数据。
75.另外地，可以使用相同机制和比特流变量来控制源设备和宿设备两者上的所有设置(例如，系统声音的级别、drc等)。这意味着，源设备的嵌入器所使用的相对增益(或混合增益)可以与宿设备的混合器所使用的控制参数完全相同。
76.在源设备上生成经修改的比特流
77.参考图1的示例，示出了用于在源设备上生成经修改的比特流的方法的示例。在步骤s100中，源设备的接收器可以接收包括(要由如下文所详细描述的宿设备进行核心解码的)经编码的媒体数据的比特流。例如，可以从一个或多个媒体服务器接收包括经编码的媒体数据的比特流。经编码的媒体数据可以包括经编码的语音和音频数据。经编码的语音和音频数据可以符合如上文给出的mpeg-d usac标准。例如，比特流可以传递要由连接到源设备的宿设备回放的音频内容。源设备不受限制。例如，源设备可以是移动设备，移动设备包括移动电话、智能手表、膝上型计算机和包括可变形计算机(convertible)的平板pc中的一个或多个。
78.再次参考图1的示例，在步骤s101中，可以由嵌入器生成附加媒体数据(即，除了经编码的媒体数据之外，例如，附加音频数据)的有效载荷并将其嵌入比特流中。
79.在步骤s101中生成的附加媒体数据将由宿设备(在宿设备的一侧)与媒体数据混合。有利地，这使得能够在宿设备侧将附加媒体数据与媒体数据混合。
80.经编码的媒体数据和附加媒体数据是不同的(例如不同类型的)媒体数据。例如，如下文所解释的，经编码的媒体数据和附加媒体数据可以具有不同的格式。经编码的媒体数据和附加媒体数据包括不同类型的媒体内容。经编码的媒体数据可以包括主要音频内容，例如，音乐、音频等。附加媒体数据可以包括次要音频内容，例如，耳标、系统声音、按键声音、电子邮件通知声音等。主要音频内容和次要音频内容可以由宿设备回放。
81.替代性地或另外地，主要音频内容和次要音频内容可以由源设备回放。
82.在实施例中，经编码的媒体数据可以由源设备、宿设备或者源设备和宿设备两者回放。
83.在实施例中，附加媒体数据可以由源设备、宿设备或者源设备和宿设备两者回放。
84.在实施例中，附加媒体数据可以是(要由如下文所详细描述的宿设备解码以获得经解码的附加媒体数据的)经压缩媒体数据或未压缩媒体数据。虽然未压缩媒体数据不受限制，但是在实施例中，未压缩媒体数据可以是在源设备处生成的pcm数据。虽然pcm数据的生成也不受限制，但是在实施例中，pcm数据的生成可以是基于用户输入的。例如，用户输入可以是按键。替代性地或另外地，可以例如基于电子邮件通知在源设备处独立于用户输入来促进pcm数据的生成。在实施例中，pcm数据可以包括耳标数据和系统声音数据中的一个或多个。同样，虽然经压缩媒体数据的格式不受限制，但是格式可以属于蓝牙生态系统。在实施例中，经压缩媒体数据可以采用sbc格式或基于aptx的格式。
85.再次参考图1的示例，在步骤s102中，作为嵌入器的输出，可以获得包括经编码的媒体数据和附加媒体数据的有效载荷的经修改的比特流。在步骤s103中，然后可以将经修改的比特流输出到宿设备。
86.接收到的比特流中的经编码的媒体数据经由经修改的比特流通过源设备透传到宿设备。将如从源设备接收到的经编码的媒体数据嵌入经修改的比特流中并输出到宿设备。
87.有利地，(在源设备处)生成经修改的比特流并将其输出到宿设备简化了(streamline)媒体数据与附加媒体数据在宿设备侧的混合。源设备使用单个比特流来嵌入媒体数据和附加媒体数据并将媒体数据和附加媒体数据传输到宿设备，从而可以在源设备与宿设备之间使用单个声道(channel)/连接。此外，在源设备中不存在附加解码器和/或编码器来例如对经编码的媒体数据进行解码和重新编码。在源设备中不使用附加混合器来例如将经解码的经编码的媒体数据与附加媒体数据混合。
88.在实施例中，可以经由蓝牙连接将经修改的比特流输出到宿设备。换句话说，可以经由蓝牙连接将源设备连接到宿设备。例如，经由蓝牙将耳机连接到移动电话。
89.通常，贯穿本公开所描述的所提出的技术及其实施方式和示例涉及生成经修改的比特流并将其输出到宿设备，这有助于将附加媒体数据(例如，系统声音/耳标)的有效载荷传输到宿设备，例如，当源设备处于透传操作模式时。换句话说，可以生成附加媒体数据的有效载荷并将其嵌入到包括经编码的媒体数据的接收到的比特流中，以生成经修改的比特
流，而无需例如对经编码的媒体数据进行解码和重新编码。类似地，可以将附加媒体数据传递到宿设备，而无需在源设备与自设备之间建立附加连接。作为进一步优点，所提出的技术使得能够同时处理附加媒体数据和经编码的媒体数据。
90.现在参考图2的示例，示出了用于在源设备上生成经修改的比特流的方法的进一步示例。图2的示例与上文所详细描述的图1的示例的不同之处在于，在步骤s101中，可以生成关于附加媒体数据的进一步信息(例如，作为元数据的一部分)并将其嵌入比特流中(如虚线所指示的)。在实施例中，所生成的信息可以包括关于附加媒体数据的配置的信息、关于经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于附加媒体数据的类型的信息中的一个或多个。宿设备可以利用所生成的信息来处理如下文所详细描述的接收到的经修改的比特流。关于附加媒体数据的配置的信息可以包括例如关于采样率的信息，采样率可以使得能够在宿设备侧决定在混合之前是否可能需要对附加媒体数据进行重采样。替代性地或另外地，关于附加媒体数据的配置的信息可以还包括例如关于声道模式的信息，声道模式可以使得能够在宿设备侧决定在混合之前是否可能需要对附加媒体数据进行下混合/上混合。例如，关于默认响度值的信息可以包括如根据itu-r bs.1770-4中规定的方法之一测得的响度。测得的响度可以使得能够在宿设备侧决定附加媒体数据可以在哪个级别与经核心解码的媒体数据混合。进一步地，关于附加媒体数据类型的信息可以在宿设备侧指示是否可能需要对附加媒体数据进行解码，例如，附加媒体数据是未压缩媒体数据还是经压缩媒体数据。
91.替代性地或另外地，步骤s101可以还包括生成与经编码的媒体数据与附加媒体数据(例如，也作为元数据的一部分)之间的相对增益相关的信息，并将与相对增益相关的信息嵌入比特流中(如虚线所指示的)。基于如下文所详细描述的接收到的经修改的比特流，宿设备可以使用经编码的媒体数据与附加媒体数据之间的相对增益来生成输出信号。在这种情况下，源设备和宿设备可以使用相同的相对增益值。例如，如果源设备是移动电话，则可以基于系统声音和经编码的媒体数据内容的估计响度比来自动确定最佳系统声音混合设置。例如，相对增益值可以包括可以由宿设备的混合器使用的混合增益值和/或衰减增益值。通过将这种信息包括到比特流中，可以确保在解码之后，附加媒体数据可以以适当的方式与经编码的媒体数据混合，并且可以避免附加媒体数据以与经编码的媒体数据相比不适当的声音级别渲染的情况。通常，通过将关于附加媒体数据的信息包括到比特流中，源设备被赋予对附加媒体数据在宿设备处的处理(例如，包括渲染)的控制。这确保了附加媒体数据在宿设备处的适当渲染。
92.虽然经修改的比特流的格式不受限制，但是在实施例中，经修改的比特流可以是基于mpeg-d usac的比特流(即符合mpeg-d usac标准的比特流)。参考图1的示例，在实施例中，可以经由usac型比特流扩展机制在经修改的比特流中传输所生成的有效载荷。参考图2的示例，在实施例中，可以经由usac型比特流扩展机制在经修改的比特流中传输所生成的信息和/或与相对增益相关的所生成的信息。
93.作为示例，可以使用以下语法将附加媒体数据的所生成的有效载荷、关于附加媒体数据的所生成的信息和/或与相对增益相关的所生成的信息嵌入到经修改的基于mpeg-d usac的比特流中。
94.system_sound_info()的语法
95.用于传送附加媒体数据的所生成的有效载荷、所生成的信息(关于附加媒体数据的信息)和/或与相对增益相关的所生成的信息的顶级语法元素。
[0096][0097]
system_sound_info()的语义
[0098]
元素说明system_sound_config_present如果置位，则system_sound_config存在于流中system_sound_payload_present如果置位，则system_sound_payload存在于流中
[0099]
system_sound_config()的语法
[0100][0101]
system_sound_config()的语义
[0102][0103]
表1：system_sound_config()的语义
[0104]
system_sound_payload()的语法
[0105]
[0106][0107]
system_sound_payload()的语义
[0108]
元素说明sys_sound_active系统声音处于有源状态，并且应进行解码
[0109]
pcm_data_config()的语法
[0110][0111]
pcm_data_config()的语义
[0112][0113]
表2：pcm_data_config()的语义
[0114]
pcm_data_payload()的语法
[0115][0116]
注释1：
‘
pcm_frame_size’从
‘
pcm_frame_size_index’得出，或者直接在
‘
pcm_data_config’中设置
[0117]
注释2：每样本比特(bps)可以从
‘
pcm_data_format_index’得出
[0118]
pcm_data_payload()的语义
[0119]
元素说明pcm_samplepcm样本，ieee 754(浮点)或二进制补码
[0120]
表3：pcm_data_payload()的语义
[0121]
在实施例中，usac型比特流扩展机制可以是包括唯一标识符的新的usac型比特流扩展元素。在usac型比特流中，系统声音信息可以通过如iso/iec 23003-3中定义的usac型扩展元素来传输。新的usacextelementtype可以命名为id_ext_ele_sys_sound_info。
[0122]
为了仅传输配置部分，表17“usacextelementconfig()的语法”中的语法可以修改如下：
[0123][0124]
在这种情况下，system_sound_info()可以只携带配置数据，即字段system_sound_config_present可以设置为1并且字段system_sound_payload_present可以设置为0。
[0125]
根据iso/iec 23003-3的表25“usacextelement()的语法”，可以逐帧传输所生成的pcm数据有效载荷。
[0126]
在实施例中，可以将附加媒体数据的所生成的有效载荷嵌入usac型比特流的阵列扩展元素中。如上文所定义的结构system_sound_info可以被嵌入到表25的阵列“usacextelementsegmentdata”中，并且可以包含所生成的信息(关于附加媒体数据的信息，例如配置)或所生成的有效载荷，或者两者都包含。
[0127]
usac型比特流的阵列扩展元素(例如阵列元素“usacextelementsegmentdata”)通常包含经编码的媒体数据和/或元数据。在本发明的实施例中，阵列扩展元素携带(包含)附加媒体数据的所生成的有效载荷，附加媒体数据是未编码/原始数据(例如，未压缩附加媒体数据，如pcm数据)。因此，在本发明的这个实施例中，通常携带经编码的音频数据和/或元数据的usac型比特流的现有阵列元素被替代地用于携带未编码/原始媒体数据。
[0128]
使用上述技术，可以容易地将附加媒体数据和关于附加媒体数据的信息嵌入到由源设备透传的现有的基于mpeg-d usac的比特流中。
[0129]
在宿设备上处理经修改的比特流
[0130]
现在参考图3的示例，示出了用于在宿设备上处理经修改的比特流的方法的示例。在步骤s200中，包括(例如，如由源设备接收的)经编码的媒体数据和附加媒体数据的有效载荷的经修改的比特流可以由宿设备的接收器接收。
[0131]
在步骤s201中，可以由比特流解析器将接收到的经修改的比特流解析为经编码的媒体数据和附加媒体数据的有效载荷。虽然经修改的比特流的格式不受限制，但是经修改的比特流可以是基于mpeg-d usac的比特流(即符合mpeg-d usac标准的比特流)。参考图4的示例，在实施例中，经修改的比特流可以包括usac型比特流扩展机制，并且步骤s201中的
解析可以还基于识别经修改的比特流中的usac型比特流扩展机制。在实施例中，usac型比特流扩展机制可以是包括唯一标识符的新的usac型比特流扩展元素。
[0132]
参考图3或图4的示例，在步骤s202中，可以由核心解码器对经编码的媒体数据进行核心解码。
[0133]
在步骤s203中，可以由混合器将经核心解码的媒体数据与附加媒体数据混合以获得输出信号。
[0134]
然后在步骤204中，可以由控制单元输出所获得的输出信号。
[0135]
现在参考图5的示例，示出了用于在宿设备上处理经修改的比特流的方法的进一步示例。在图5的示例中，在实施例中，经修改的比特流可以还包括关于附加媒体数据的信息，并且宿设备对经修改的比特流的处理可以是基于信息。在实施例中，信息可以包括关于附加媒体数据的配置的信息、关于经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于附加媒体数据的类型的信息中的一个或多个。
[0136]
在图5的示例中，方法可以还包括在将经核心解码的媒体数据与附加媒体数据混合之前由处理单元处理附加媒体数据的步骤s202a。在步骤s203中，经核心解码的媒体数据然后与经处理的附加媒体数据混合。在实施例中，处理附加媒体数据可以包括重采样、延迟适配和响度处理中的一个或多个。可以由(基于)包括在经修改的比特流中并且在步骤s201中由比特流解析器提供的所生成的信息来引导(如虚线所指示的)附加媒体数据的处理。例如，重采样可以由关于附加媒体数据的采样率的信息来引导，所述关于附加媒体数据的采样率的信息可以包括在关于附加媒体数据的配置的信息中。替代性地或另外地，处理附加媒体数据可以包括对附加媒体数据进行下混合/上混合，附加媒体数据可以由关于声道模式的信息来引导，声道模式可以被包括在关于附加媒体数据的配置的信息中。例如，响度处理可以由关于默认响度值的信息来引导，默认响度值可以包括如根据itu-r bs.1770-4中规定的方法之一测得的响度。
[0137]
替代性地或另外地，在实施例中，经修改的比特流可以还包括与经编码的媒体数据与附加媒体数据之间的相对增益相关的信息，并且在步骤s203中将经核心解码的媒体数据与附加媒体数据混合可以是基于与相对增益相关的信息进行的，经核心解码的媒体数据和附加媒体数据可以可选地在混合之前已经被处理，以获得经处理的附加媒体数据(如虚线所指示的)。在这种情况下，宿设备可以使用在源设备处生成的相对增益值。换句话说，源设备和宿设备两者可以使用相同的相对增益值。在混合步骤s203中，还可以经由用户输入来进一步修改相对增益值。相对增益值可以包括混合增益值和/或衰减增益值。与相对增益相关的信息可以在步骤s201中由比特流解析器提供，如虚线所指示的。关于附加媒体数据的信息以及替代性地或另外地与相对增益值有关的信息可以嵌入如上文所描述的system_sound_config顶级语法元素中的经修改的比特流中。
[0138]
在实施例中，附加媒体数据可以是经压缩媒体数据或未压缩媒体数据。
[0139]
现在参考图6的示例，在实施例中，附加媒体数据可以是经压缩媒体数据，并且该方法可以还包括由解码器对经压缩媒体数据进行解码以获得经解码的附加媒体数据的步骤s205，并且在步骤s203中，经解码的附加媒体数据可以与经核心解码的媒体数据混合。如果方法还包括处理附加媒体数据的步骤s202a，则在经压缩媒体数据的情况下，在与经核心
解码的媒体数据混合之前，经解码的附加媒体数据可以可选地经受步骤s202a中的处理，如上文所详细描述并且由虚线所指示的。虽然经压缩媒体数据的格式不受限制，但是格式可以属于蓝牙生态系统。在实施例中，经压缩媒体数据可以采用sbc格式或基于aptx的格式。同样在经压缩媒体数据的情况下，步骤s202a中的处理可以由(基于)关于被包括在经修改的比特流中并且在步骤s201中提供的附加媒体数据的所生成的信息来引导，如虚线所指示的。
[0140]
替代性地或另外地，在步骤s203中将经核心解码的媒体数据与经解码的附加媒体数据混合也可以是基于与相对增益相关的信息，经核心解码的媒体数据和经解码的附加媒体数据可以可选地在混合之前已经被处理，如上文所详细描述的。与相对增益相关的信息也可以在步骤s201中提供，如虚线所指示的。
[0141]
替代性地，在实施例中，附加媒体数据可以是未压缩媒体数据，并且在步骤s203中，根据图3或图4中所图示的示例，未压缩附加媒体数据可以与经核心解码的媒体数据混合。根据图5的示例，在与经核心解码的媒体数据混合之前，未压缩媒体数据还可以可选地经受步骤s202a中的处理，如上文所详细描述的。在实施例中，未压缩媒体数据可以是在源设备处生成的pcm数据。在实施例中，pcm数据可以包括耳标数据和系统声音数据中的一个或多个。
[0142]
源设备
[0143]
现在参考图7的示例，示出了用于生成经修改的比特流的源设备的示例。源设备100可以包括接收器102，该接收器被配置为接收包括经编码的媒体数据101的比特流。例如，可以从一个或多个媒体服务器接收比特流。例如，比特流可以传递要由连接到源设备100的宿设备回放的音频内容。源设备100不受限制。例如，源设备100可以是移动设备，移动设备包括移动电话、智能手表、膝上型计算机和包括可变形计算机的平板pc中的一个或多个。
[0144]
在实施例中，经编码的媒体数据可以由源设备、宿设备或者源设备和宿设备两者回放。在实施例中，附加媒体数据可以由源设备、宿设备或者源设备和宿设备两者回放。源设备100可以还包括嵌入器104，该嵌入器被配置为生成附加媒体数据103的有效载荷并将所生成的有效载荷嵌入比特流中以获得经修改的比特流，经修改的比特流包括经编码的媒体数据101和附加媒体数据的有效载荷103。在这种情况下，即使源设备在透传模式下操作，也可以生成经修改的比特流。源设备100可以被配置为经由经修改的比特流将经编码的媒体数据透传给宿设备。将如从源设备接收到的经编码的媒体数据嵌入经修改的比特流中并输出到宿设备。
[0145]
有利地，(在源设备处)生成经修改的比特流并将其输出到宿设备简化了媒体数据与附加媒体数据在宿设备侧的混合。源设备使用单个比特流来嵌入媒体数据和附加媒体数据并将媒体数据和附加媒体数据传输到宿设备，从而可以在源设备与宿设备之间使用单个声道/连接。此外，在源设备中不存在附加解码器和/或编码器来例如对经编码的媒体数据进行解码和重新编码。在源设备中不使用附加混合器来例如将经解码的经编码的媒体数据与附加媒体数据混合。
[0146]
虽然经修改的比特流的格式不受限制，但是在实施例中，经修改的比特流可以是基于mpeg-d usac的比特流(即符合mpeg-d usac标准的比特流)。在实施例中，嵌入器104可
以被配置为经由经修改的比特流中的usac型比特流扩展机制来传输所生成的有效载荷，如上文所详细描述的。
[0147]
在实施例中，附加媒体数据103可以是经压缩媒体数据或未压缩媒体数据。虽然未压缩媒体数据不受限制，但是在实施例中，未压缩媒体数据可以是在源设备100处生成的pcm数据。虽然pcm数据的生成不受限制，但是在实施例中，pcm数据的生成可以是基于用户输入的。例如，用户输入可以是按键。源设备100然后可以包括用户界面，该用户界面可以是例如触摸显示器。替代性地或另外地，源设备100可以进一步至少包括键盘。然而，可以例如基于电子邮件通知在源设备100处独立于用户输入来促进pcm数据的生成。在实施例中，pcm数据可以包括耳标数据和系统声音数据中的一个或多个。pcm数据可以储存在源设备100中。
[0148]
虽然经压缩媒体数据不受限制，但是经压缩媒体数据的格式可以属于蓝牙生态系统。在实施例中，经压缩媒体数据可以采用sbc格式或基于aptx的格式。经压缩媒体数据可以在源设备100处生成。经压缩媒体数据可以储存在源设备100中。替代性地或另外地，经压缩媒体数据可以经由接收器102接收。
[0149]
现在参考图8的示例，在实施例中，嵌入器104可以还被配置为生成关于附加媒体数据103的信息106并将所生成的信息106嵌入比特流中(如虚线所指示的)。替代性地或另外地，在实施例中，嵌入器104可以还被配置为生成与经编码的媒体数据101与附加媒体数据103之间的相对增益相关的信息106，并将与相对增益相关的信息106嵌入比特流中(也如虚线所指示的)。在实施例中，嵌入器104可以还被配置为经由经修改的比特流中的usac型比特流扩展机制来传输所生成的信息106和/或与相对增益相关的所生成的信息106，如上文所详细描述的。
[0150]
源设备100可以还包括控制单元105，该控制单元被配置为将经修改的比特流输出到宿设备。
[0151]
宿设备
[0152]
现在参考图9的示例，示出了用于处理经修改的比特流的宿设备的示例。宿设备200可以包括接收器201，该接收器被配置为接收经修改的比特流，该经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷。宿设备200不受限制。宿设备200可以是源设备的外围设备，例如耳机。宿设备200和源设备可以经由蓝牙连接。宿设备200可以被配置为回放包括在经修改的比特流中的音频内容。例如，宿设备200可以被配置为回放经编码的媒体数据或附加媒体数据或者经编码的媒体数据和附加媒体数据两者。
[0153]
宿设备200可以还包括比特流解析器202，该比特流解析器被配置为将经修改的比特流解析为经编码的媒体数据和附加媒体数据的有效载荷。虽然经修改的比特流的格式不受限制，但是经修改的比特流可以是基于mpeg-d usac的比特流(即符合mpeg-d usac标准的比特流)。如上文已经详细描述的，在实施例中，比特流解析器202可以被配置为基于识别经修改的比特流中的usac型比特流扩展机制来解析比特流。
[0154]
宿设备200可以还包括核心解码器203，该核心解码器被配置为对经编码的媒体数据进行核心解码以获得经核心解码的媒体数据。在实施例中，核心解码器203可以是基于mpeg-d usac的解码器(符合上文所详细描述的mpeg-d usac标准)。
[0155]
宿设备200可以还包括混合器204，该混合器被配置为将经核心解码的媒体数据与
附加媒体数据混合以获得输出信号。在实施例中，附加媒体数据可以是经压缩媒体数据或未压缩媒体数据。在实施例中，附加媒体数据可以是未压缩媒体数据，并且混合器204可以被配置为将经核心解码的媒体数据与未压缩附加媒体数据混合。
[0156]
现在参考图10的示例，经修改的比特流可以还包括关于附加媒体数据的信息，并且宿设备200可以被配置为基于信息来处理经修改的比特流。在实施例中，宿设备200可以还包括处理单元206，该处理单元被配置为在混合器204中将经核心解码的媒体数据与附加媒体数据混合之前处理附加媒体数据。在实施例中，由处理单元206处理附加媒体数据可以包括重采样、延迟适配和响度处理中的一个或多个。由处理单元206处理附加媒体数据可以由(基于)关于附加媒体数据的信息来引导，如上文所详细描述的。关于附加媒体数据的信息可以由比特流解析器202提供给处理单元206，如虚线所指示的。在附加媒体数据是未压缩媒体数据的情况下，可以在经修改的比特流已经在比特流解析器202中被解析之后并且在进入混合器204之前直接处理未压缩媒体数据。
[0157]
替代性地或另外地，在实施例中，经修改的比特流可以还包括与经编码的媒体数据与附加媒体数据之间的相对增益相关的信息，并且混合器204可以还被配置为：基于与如上文所描述的相对增益相关的信息，将经核心解码的媒体数据与附加媒体数据混合，该经核心解码的媒体数据和附加媒体数据可以可选地在混合之前已经被处理(如虚线所指示的)。与相对增益相关的信息可以由比特流解析器202提供给混合器204，如虚线所指示的。
[0158]
在实施例中，附加媒体数据可以是经压缩媒体数据。现在参考图11的示例，宿设备200可以还包括解码器207，该解码器被配置为对经压缩媒体数据进行解码以获得经解码的附加媒体数据，并且混合器204可以被配置为将经核心解码的媒体数据与经解码的附加媒体数据混合。替代性地或另外地，经修改的比特流可以还包括与经编码的媒体数据与附加媒体数据之间的相对增益相关的信息，并且混合器204可以还被配置为：基于如上文所描述的与相对增益相关的信息，将经核心解码的媒体数据与经解码的附加媒体数据混合。与相对增益相关的信息可以由比特流解析器202提供给混合器204，如虚线所指示的。
[0159]
进一步参考图12的示例，在混合器204中与经核心解码的媒体数据混合之前，经解码的附加媒体数据可以进一步可选地由处理单元206处理(如虚线所指示的)。由处理单元206处理经解码的附加媒体数据可以由(基于)关于附加媒体数据的信息来引导，该附加媒体数据可以被包括在经修改的比特流中，如上文所详细描述的。关于附加媒体数据的信息可以由比特流解析器202提供给处理单元206，如虚线所指示的。
[0160]
参考图9至图12的示例，宿设备200可以还包括控制单元205，该控制单元被配置为输出输出信号。例如，输出信号可以经由耳机输出给宿设备200的用户。
[0161]
上文所描述的方法可以在上文所描述的设备上单独实施。能够执行上文所描述的方法的上文所描述的设备也可以形成相应的系统。本文所提及的设备300可以包括一个或多个处理器301、302，如通过图13中的示例所图示的。替代性地或另外地，上文所描述的方法也可以被实施为计算机程序产品，该计算机程序产品包括具有指令的计算机可读存储介质，该指令被适配成当在具有处理能力301、302的设备300上执行时使设备300执行所述方法。
[0162]
解释(interpretation)
[0163]
除非另外特别声明，从以下讨论中显而易见的是，应当理解，在整个公开的讨论
中，利用如“处理”、“计算(computing)”、“运算(calculating)”、“确定”、“分析”等术语来指代计算机或计算系统或类似的电子计算设备的将表示为物理(如电子)量的数据操纵和/或转化为类似地表示为物理量的其他数据的动作和/或过程。
[0164]
以类似的方式，术语“处理器”可以指代处理例如来自寄存器和/或存储器的电子数据以将该电子数据转化为例如可以储存在寄存器和/或存储器中的其他电子数据的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可以包括一个或多个处理器。
[0165]
在一个示例实施例中，本文描述的方法可由一个或多个处理器执行，该处理器接受包含一组指令的计算机可读(也称为机器可读)代码，该指令在由一个或多个处理器执行时执行本文描述的方法中的至少一个。包括能够执行指定要采取的动作的一组指令(顺序的或其他形式)的任何处理器。因此，一个示例是包括一个或多个处理器的典型处理系统。每个处理器可以包括cpu、图形处理单元和可编程dsp单元中的一个或多个。处理系统可以还包括存储器子系统，该存储器子系统包括主ram和/或静态ram和/或rom。可以包括总线子系统以用于部件之间的通信。处理系统还可以是分布式处理系统，其中，处理器通过网络耦接在一起。如果处理系统需要显示器，则可以包括这样的显示器，例如，液晶显示器(lcd)或阴极射线管(crt)显示器。如果需要手动输入数据，则处理系统还包括输入设备，如字母数字输入单元(如键盘)、定点控制设备(如鼠标)等中的一个或多个。处理系统还可以涵盖如磁盘驱动单元等存储系统。一些配置中的处理系统可以包括声音输出设备和网络接口设备。存储器子系统因此包括携带计算机可读代码(例如，软件)的计算机可读载体介质，该计算机可读代码包括一组指令，该指令在由一个或多个处理器执行时使得执行本文描述的方法中的一种或多种。应当注意的是，当该方法包括几个元素(例如，几个步骤)时，除非特别声明，否则不暗示任何这些元素的顺序。在计算机系统执行软件期间，软件可以驻留在硬盘中，或者也可以完全或至少部分地驻留在ram和/或处理器内。因此，存储器和处理器也构成了携带计算机可读代码的计算机可读载体介质。此外，计算机可读载体介质可以形成或包括在计算机程序产品中。
[0166]
在替代性示例实施例中，一个或多个处理器可以作为独立设备运行，或者可以在联网部署中连接到(例如，联网到)(多个)其他处理器，该一个或多个处理器可以在服务器-用户网络环境中以服务器或用户机器的能力(capacity)运行，或者在对等或分布式网络环境中作为对等机器运行。一个或多个处理器可以形成个人计算机(pc)、平板pc、个人数字助理(pda)、蜂窝电话、网络设施、网络路由器、交换机或网桥、或者能够执行指定机器要采取的动作的一组指令(顺序的或其他形式)的任何机器。
[0167]
应当注意的是，术语“机器”也应该被认为包括单独或共同地执行一组(或多组)指令以执行本文讨论的方法中的任何一种或多种方法的机器的任何集合。
[0168]
因此，本文描述的每种方法的一个示例实施例呈携带一组指令的计算机可读载体介质的形式，该指令例如为用于在一个或多个处理器(例如，作为网络服务器装置的一部分的一个或多个处理器)上执行的计算机程序。因此，如本领域技术人员将理解的，本公开的示例实施例可以体现为方法、如专用装置的装置、如数据处理系统的装置、或计算机可读载体介质(例如，计算机程序产品)。计算机可读载体介质携带包括一组指令的计算机可读代码，该一组指令在一个或多个处理器上执行时使一个或多个处理器实施方法。因此，本公开的方面可以采取方法、完全硬件示例实施例、完全软件示例实施例或组合软件和硬件方面
的示例实施例的形式。此外，本公开可以采取载体介质(例如，计算机可读存储介质上的计算机程序产品)的形式，该载体介质携带体现在该介质中的计算机可读程序代码。
[0169]
可以经由网络接口设备通过网络进一步发送或接收软件。虽然在示例实施例中载体介质是单个介质，但是术语“载体介质”应该被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“载体介质”也应该被认为包括能够存储、编码或携带一组指令的任何介质，该指令用于由处理器中的一个或多个执行并且使一个或多个处理器执行本公开的方法中的任何一种或多种。载体介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、磁盘以及磁光盘。易失性介质包括动态存储器，如主存储器。传输介质包括同轴电缆、铜线和光纤，包括包含总线子系统的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。例如，术语“载体介质”因此应该被认为包括但不限于固态存储器、体现在光学介质和磁性介质中的计算机产品；承载可由至少一个处理器或一个或多个处理器检测到并表示一组指令的传播信号的介质，该一组指令在被执行时实施方法；以及网络中的传输介质，该传输介质承载可由一个或多个处理器中的至少一个处理器检测到并表示一组指令的传播信号。
[0170]
应当理解的是，在一个示例实施例中，所讨论的方法的步骤由执行储存在储存装置中的指令(计算机可读代码)的处理(例如，计算机)系统中的适当处理器(或多个处理器)执行。还应当理解的是，本公开不限于任何特定的实施方式或编程技术，并且本公开可以使用用于实施本文描述的功能的任何适当的技术来实施。本公开不限于任何特定的编程语言或操作系统。
[0171]
在整个公开中对“一个示例实施例”、“一些示例实施例”或“示例实施例”的提及意味着结合示例实施例描述的特定特征、结构或特性被包括在本公开的至少一个示例实施例中。因此，在整个公开中各处出现的短语“在一个示例实施例中”、“在一些示例实施例中”或“在示例实施例中”不一定都是指代同一个示例实施例。此外，在一个或多个示例实施例中，特定特征、结构或特性可以以任何合适的方式组合，这根据本公开对于本领域的普通技术人员而言将是显而易见的。
[0172]
如本文所使用的，除非另外指定，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的对象，仅表明提及相似对象的不同实例，并且不旨在暗示所描述的对象必须在时间、空间、等级或任何其他方式上按照给定的顺序。
[0173]
在下文的权利要求和本文的描述中，术语包括(comprising)、包括(comprised of)或其包括(which comprises)中的任何一个是开放术语，其意指至少包括随后的元件/特征，但不排除其他元件/特征。因此，当在权利要求中使用术语“包括(comprising)”时，该术语不应当被解释为限于在其之后列出的装置或元件或步骤。例如，包括a和b的设备的表达的范围不应限于仅包括元件a和b的设备。如本文所使用的，术语包含(including)或其包含(which includes)或包含(that includes)中的任何一个也是开放术语，其也意指至少包含该术语之后的元件/特征，但不排除其他元件/特征。因此，包含(including)与包括(comprising)同义并且意指包括(comprising)。
[0174]
应当理解，在以上对本公开的示例实施例的描述中，有时在单个示例实施例、图或其描述中将本公开的各种特征组合在一起，以便使本公开更流畅，并且帮助理解各创造性
方面中的一个或多个。然而，本公开的方法不应当被解释为反映权利要求书需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求所反映的，各创造性方面在于少于单个前面公开的示例实施例的所有特征。因此，在说明书之后的权利要求书特此明确地并入本说明书中，其中，每个权利要求独立地作为本公开的单独的示例实施例。
[0175]
此外，虽然本文描述的一些示例实施例包括其他示例实施例中所包括的一些特征而不包括其他示例实施例中所包括的其他特征，但是如本领域技术人员将理解的，不同示例实施例的特征的组合旨在处于本公开的范围内并形成不同的示例实施例。例如，在以下权利要求中，要求保护的示例实施例中的任何示例实施例都可以以任何组合来使用。
[0176]
在本文提供的描述中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本公开的示例实施例。在其他实例中，未详细示出众所周知的方法、结构和技术，以避免模糊对本说明书的理解。
[0177]
因此，尽管已经描述了被认为是本公开的最佳图案的图案，但是本领域技术人员将认识到，可以在不背离本公开的精神的情况下对其做出其他和进一步的修改，并且旨在要求保护落入本公开的范围内的所有这些改变和修改。例如，以上给出的任何公式仅表示可以使用的过程。可以从框图中添加或删除功能，并且可以在功能块之间互换操作。可以向在本公开的范围内描述的方法添加或删除步骤。
[0178]
下文列出了本公开的枚举的示例实施例(eee)。
[0179]
a-eee 1.一种用于在源设备上生成经修改的比特流的方法，其中，所述方法包括以下步骤：
[0180]
a)由接收器接收比特流，所述比特流包括经编码的媒体数据；
[0181]
b)由嵌入器生成附加媒体数据的有效载荷并将所述有效载荷嵌入所述比特流中，以用于
[0182]
获得经修改的比特流作为所述嵌入器的输出，所述经修改的比特流包括所述经编码的媒体数据和所述附加媒体数据的有效载荷；以及
[0183]
c)将所述经修改的比特流输出到宿设备。
[0184]
a-eee 2.根据a-eee 1所述的方法，其中，步骤b)还包括生成关于所述附加媒体数据的信息并将所述信息嵌入所述比特流中。
[0185]
a-eee 3.根据a-eee 2所述的方法，其中，所生成的信息包括关于所述附加媒体数据的配置的信息、关于所述经修改的比特流中所述附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于所述附加媒体数据的类型的信息中的一个或多个。
[0186]
a-eee 4.根据a-eee 1至3中任一项所述的方法，其中，步骤b)还包括生成与所述经编码的媒体数据与所述附加媒体数据之间的相对增益相关的信息并将与所述相对增益相关的所述信息嵌入所述比特流中。
[0187]
a-eee 5.根据a-eee 1至4中任一项所述的方法，其中，所述经修改的比特流是基于mpeg-d usac的比特流。
[0188]
a-eee 6.根据a-eee 5所述的方法，其中，通过经由usac型比特流扩展机制在所述比特流中传输所述有效载荷，所生成的有效载荷被嵌入所述比特流中。
[0189]
a-eee 7.根据a-eee 5或6所述的方法，其中，通过经由所述usac型比特流扩展机
制在所述比特流中传输所生成的信息和/或与所述相对增益相关的所生成的信息，所生成的信息和/或与所述相对增益相关的所生成的信息被嵌入所述比特流中。
[0190]
a-eee 8.根据a-eee 6或7中任一项所述的方法，其中，所述usac型比特流扩展机制是包括唯一标识符的新的usac型比特流扩展元素。
[0191]
a-eee 9.根据a-eee 1至8中任一项所述的方法，其中，在步骤c)中，所述经修改的比特流经由蓝牙连接输出到所述宿设备。
[0192]
a-eee 10.根据a-eee 1至9中任一项所述的方法，其中，所述附加媒体数据是经压缩媒体数据或未压缩媒体数据。
[0193]
a-eee 11.根据a-eee 10所述的方法，其中，所述未压缩媒体数据是在所述源设备处生成的pcm数据。
[0194]
a-eee 12.根据a-eee 11所述的方法，其中，所述pcm数据的生成是基于用户输入的。
[0195]
a-eee 13.根据a-eee 11或12所述的方法，其中，所述pcm数据包括耳标数据和系统声音数据中的一个或多个。
[0196]
a-eee 14.根据a-eee 10所述的方法，其中，所述经压缩数据采用sbc格式或基于aptx的格式。
[0197]
a-eee 15.一种用于在宿设备上处理经修改的比特流的方法，其中，所述方法包括以下步骤：
[0198]
a)由接收器接收经修改的比特流，所述经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷；
[0199]
b)由比特流解析器将所述经修改的比特流解析为所述经编码的媒体数据和所述附加媒体数据的有效载荷；
[0200]
c)由核心解码器对所述经编码的媒体数据进行核心解码以获得经核心解码的媒体数据；
[0201]
d)由混合器将所述经核心解码的媒体数据与所述附加媒体数据混合以获得输出信号；以及
[0202]
e)输出所述输出信号。
[0203]
a-eee 16.根据a-eee 15所述的方法，其中，所述经修改的比特流还包括关于所述附加媒体数据的信息，并且其中，所述方法还包括在步骤a)之后且步骤b)之前基于所述信息来处理所述经修改的比特流的步骤。
[0204]
a-eee 17.根据a-eee 16所述的方法，其中，所述信息包括关于所述附加媒体数据的配置的信息、关于所述经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于所述附加媒体数据的类型的信息中的一个或多个。
[0205]
a-eee 18.根据a-eee 15至17中任一项所述的方法，其中，所述经修改的比特流还包括与所述经编码的媒体数据与所述附加媒体数据之间的相对增益相关的信息，并且其中，在步骤d)中将所述经核心解码的媒体数据与所述附加媒体数据混合是基于与所述相对增益相关的所述信息进行的。
[0206]
a-eee 19.根据a-eee 15至18中任一项所述的方法，其中，所述方法还包括在将所
述经核心解码的媒体数据与所述附加媒体数据混合之前由处理单元处理所述附加媒体数据的步骤。
[0207]
a-eee 20.根据a-eee 19所述的方法，其中，处理所述附加媒体数据包括重采样、延迟适配和响度处理中的一个或多个。
[0208]
a-eee 21.根据a-eee 15至20中任一项所述的方法，其中，所述附加媒体数据是经压缩媒体数据，并且所述方法还包括由解码器对所述经压缩媒体数据进行解码以获得经解码的附加媒体数据的步骤，并且其中，在步骤d)中，所述经解码的附加媒体数据与所述经核心解码的媒体数据混合。
[0209]
a-eee 22.根据a-eee 21所述的方法，其中，所述经压缩媒体数据采用sbc格式或基于aptx的格式。
[0210]
a-eee 23.根据a-eee 15至20中任一项所述的方法，其中，所述附加媒体数据是未压缩媒体数据，并且其中，在步骤d)中，所述未压缩附加媒体数据与所述经核心解码的媒体数据混合。
[0211]
a-eee 24.根据a-eee 15至23中任一项所述的方法，其中，所述经修改的比特流是基于mpeg-d usac的比特流。
[0212]
a-eee 25.根据a-eee 24所述的方法，其中，所述经修改的比特流包括usac型比特流扩展机制，并且其中，步骤b)中的解析还基于识别所述经修改的比特流中的所述usac型比特流扩展机制。
[0213]
a-eee 26.根据a-eee 25所述的方法，其中，所述usac型比特流扩展机制是包括唯一标识符的新的usac型比特流扩展元素。
[0214]
a-eee 27.一种用于生成经修改的比特流的源设备，其中，所述设备包括：
[0215]
a)接收器，所述接收器被配置为接收比特流，所述比特流包括经编码的媒体数据；
[0216]
b)嵌入器，所述嵌入器被配置为生成附加媒体数据的有效载荷并将所生成的有效载荷嵌入所述比特流中以获得经修改的比特流，所述经修改的比特流包括所述经编码的媒体数据和所述附加媒体数据的有效载荷；以及
[0217]
c)控制单元，所述控制单元被配置为将所述经修改的比特流输出到宿设备。
[0218]
a-eee 28.根据a-eee 27所述的设备，其中，所述嵌入器还被配置为生成关于所述附加媒体数据的信息并将所述信息嵌入所述比特流中。
[0219]
a-eee 29.根据a-eee 27或28所述的设备，其中，所述嵌入器还被配置为：生成与所述经编码的媒体数据与所述附加媒体数据之间的相对增益相关的信息，并将与所述相对增益相关的所述信息嵌入所述比特流中。
[0220]
a-eee 30.根据a-eee 27至29中任一项所述的设备，其中，所述经修改的比特流是基于mpeg-d usac的比特流。
[0221]
a-eee 31.根据a-eee 27至30中任一项所述的设备，其中，所述附加媒体数据是经压缩媒体数据或未压缩媒体数据。
[0222]
a-eee 32.根据a-eee 31所述的设备，其中，所述未压缩媒体数据是在所述源设备处生成的pcm数据。
[0223]
a-eee 33.根据a-eee 32所述的设备，其中，所述pcm数据的生成是基于用户输入的。
eee 1至14中任一项所述的方法。
[0240]
a-eee 45.一种计算机程序产品，所述计算机程序产品包括具有指令的计算机可读存储介质，所述指令被适配成当由具有处理能力的设备执行时使所述设备执行根据a-eee 15至26中任一项所述的方法。
[0241]
b-eee 1.一种用于在源设备上生成经修改的比特流的方法，其中，所述方法包括以下步骤：
[0242]
a)由接收器接收比特流，所述比特流包括经编码的媒体数据；
[0243]
b)由嵌入器生成附加媒体数据的有效载荷并将所述有效载荷嵌入所述比特流中，以用于
[0244]
获得经修改的比特流作为所述嵌入器的输出，所述经修改的比特流包括所述经编码的媒体数据和所述附加媒体数据的有效载荷；以及
[0245]
c)将所述经修改的比特流输出到宿设备。
[0246]
b-eee 2.根据b-eee 1所述的方法，
[0247]
其中，步骤b)还包括生成关于所述附加媒体数据的信息并将所述信息嵌入所述比特流中；以及可选地
[0248]
其中，所生成的信息包括关于所述附加媒体数据的配置的信息、关于所述经修改的比特流中附加媒体数据的存在的信息、关于默认响度值的信息、关于延迟对齐的值的信息、关于延迟适配的信息、关于平移的信息和关于所述附加媒体数据的类型的信息中的一个或多个。
[0249]
b-eee 3.根据b-eee 1所述的方法，其中，步骤b)还包括生成与所述经编码的媒体数据与所述附加媒体数据之间的相对增益相关的信息并将与所述相对增益相关的所述信息嵌入所述比特流中。
[0250]
b-eee 4.根据b-eee 1所述的方法，
[0251]
其中，所述经修改的比特流是基于mpeg-d usac的比特流；以及
[0252]
其中，通过经由usac型比特流扩展机制在所述比特流中传输所述有效载荷，所生成的有效载荷被嵌入所述比特流中。
[0253]
b-eee 5.根据b-eee 3所述的方法，
[0254]
其中，所述经修改的比特流是基于mpeg-d usac的比特流；以及
[0255]
其中，通过经由所述usac型比特流扩展机制在所述比特流中传输所生成的信息和/或与所述相对增益相关的所生成的信息，所生成的信息和/或与所述相对增益相关的所生成的信息被嵌入所述比特流中。
[0256]
b-eee 6.根据b-eee 4所述的方法，其中，所述usac型比特流扩展机制是包括唯一标识符的新的usac型比特流扩展元素。
[0257]
b-eee 7.根据b-eee 1所述的方法，其中，在步骤c)中，所述经修改的比特流经由蓝牙连接输出到所述宿设备。
[0258]
b-eee 8.根据b-eee 1所述的方法，其中，所述附加媒体数据是在所述源设备处生成的pcm数据。
[0259]
b-eee 9.根据b-eee 8所述的方法，其中，所述pcm数据包括耳标数据和系统声音数据中的一个或多个。
[0260]
b-eee 10.根据b-eee 1所述的方法，其中，所述附加媒体数据采用sbc格式或基于aptx的格式的经压缩数据。
[0261]
b-eee 11.一种用于在宿设备上处理经修改的比特流的方法，其中，所述方法包括以下步骤：
[0262]
a)由接收器接收经修改的比特流，所述经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷；
[0263]
b)由比特流解析器将所述经修改的比特流解析为所述经编码的媒体数据和所述附加媒体数据的有效载荷；
[0264]
c)由核心解码器对所述经编码的媒体数据进行核心解码以获得经核心解码的媒体数据；
[0265]
d)由混合器将所述经核心解码的媒体数据与所述附加媒体数据混合以获得输出信号；以及
[0266]
e)输出所述输出信号。
[0267]
b-eee 12.根据b-eee 11所述的方法，其中，所述经修改的比特流还包括与所述经编码的媒体数据与所述附加媒体数据之间的相对增益相关的信息，并且其中，在步骤d)中将所述经核心解码的媒体数据与所述附加媒体数据混合是基于与所述相对增益相关的所述信息进行的。
[0268]
b-eee 13.根据b-eee 11所述的方法，
[0269]
其中，所述方法还包括在将所述经核心解码的媒体数据与所述附加媒体数据混合之前由处理单元处理所述附加媒体数据的步骤；以及可选地
[0270]
其中，处理所述附加媒体数据包括重采样、延迟适配和响度处理中的一个或多个。
[0271]
b-eee 14.根据b-eee 11所述的方法，
[0272]
其中，所述经修改的比特流是基于mpeg-d usac的比特流；以及
[0273]
其中，所述经修改的比特流包括usac型比特流扩展机制，并且其中，步骤b)中的解析还基于识别所述经修改的比特流中的所述usac型比特流扩展机制。
[0274]
b-eee 15.根据b-eee 11所述的方法，其中，所述usac型比特流扩展机制是包括唯一标识符的新的usac型比特流扩展元素。
[0275]
b-eee 16.一种用于生成经修改的比特流的源设备，其中，所述设备包括：
[0276]
a)接收器，所述接收器被配置为接收比特流，所述比特流包括经编码的媒体数据；
[0277]
b)嵌入器，所述嵌入器被配置为生成附加媒体数据的有效载荷并将所生成的有效载荷嵌入所述比特流中以获得经修改的比特流，所述经修改的比特流包括所述经编码的媒体数据和所述附加媒体数据的有效载荷；以及
[0278]
c)控制单元，所述控制单元被配置为将所述经修改的比特流输出到宿设备。
[0279]
b-eee 17.一种用于处理经修改的比特流的宿设备，其中，所述设备包括：
[0280]
a)接收器，所述接收器被配置为接收经修改的比特流，所述经修改的比特流包括经编码的媒体数据和附加媒体数据的有效载荷；
[0281]
b)比特流解析器，所述比特流解析器被配置为将所述经修改的比特流解析为所述经编码的媒体数据和所述附加媒体数据的有效载荷；
[0282]
c)核心解码器，所述核心解码器被配置为对所述经编码的媒体数据进行核心解码
以获得经核心解码的媒体数据；
[0283]
d)混合器，所述混合器被配置为将所述经核心解码的媒体数据与所述附加媒体数据混合以获得输出信号；以及
[0284]
e)控制单元，所述控制单元被配置为输出所述输出信号。
[0285]
b-eee 18.一种具有源设备和宿设备的系统，所述源设备用于生成经修改的比特流，其中，所述源设备包括被配置为执行根据b-eee 1所述的方法的一个或多个处理器，所述宿设备用于处理经修改的比特流，其中，所述宿设备包括被配置为执行根据b-eee 11所述的方法的一个或多个处理器。
[0286]
b-eee 19.一种计算机程序产品，所述计算机程序产品包括具有指令的计算机可读存储介质，所述指令被适配成当由具有处理能力的设备执行时使所述设备执行根据b-eee 1所述的方法。
[0287]
b-eee 20.一种计算机程序产品，所述计算机程序产品包括具有指令的计算机可读存储介质，所述指令被适配成当由具有处理能力的设备执行时使所述设备执行根据b-eee 11所述的方法。