用于回避控制的元数据的制作方法

用于回避控制的元数据
1.本技术是申请号为201580006201.5、申请日为2015年2月26日、发明名称为“用于回避控制的元数据”的发明专利申请的分案申请。
2.相关问题
3.本专利申请要求于2014年3月25日提交的美国临时专利申请61/970,284的较早申请日期的权益。
技术领域
4.本发明描述了将回避(ducking)值添加到用于表示一条声音节目内容的音频资产中的系统和方法。该回避值可以是与特定通道/通道组相关联的并且可用于对除相关联的通道/通道组之外的该条声音节目内容中的每个其他通道/通道组进行回避。还描述了其他实施方案。


背景技术：

5.音频通道可由收听者在“开”和“关”之间选择性地来回切换。例如，电影或电视节目可包括可由用户选择的叙述通道。该叙述通道可提供对在对应视频内发生的可视动作和活动的音频说明。因此，这种叙述通道对于视力受损的用户可能是有益的。
6.尽管叙述可允许视力受损的用户更好地理解视频中发生的视觉动作和活动，但在其他音频通道上直接播放该叙述通道可能会影响这些通道的总体可懂度。例如，在同时播放这些通道中的两个通道时，主对话通道可能会与叙述通道相互干扰。
7.在此部分中描述的方法是可执行的方法，但不一定是先前已设想或执行的方法。因此，除非另外指明，否则不应认为在此部分中描述的方法中的任一个方法仅仅凭借其被包括在此部分中而有资格作为现有技术。


技术实现要素：

8.本文描述了音频编码设备和音频解码设备。该音频编码设备可检查与一条声音节目内容对应的一组音频通道并且产生一组回避值以与通道或通道组中的一个通道或通道组相关联。例如，音频通道可包括帮助视力受损的用户理解在电影或电视广播中发生的动作的叙述通道。例如，该叙述通道可包括对视频或其他动作中可能对于视力受损用户并不明显的演员的移动的音频描述。回避值可与表示该条编码的声音节目内容的音频资产中的该叙述通道相关联。
9.可向一个或多个音频解码设备传输该音频资产以用于通过一组扬声器进行回放。在一个实施方案中，回避值可在回放期间减小除该条声音节目内容中的叙述信道以外的所有其他信道的动态范围。因此，可通过减小被回放的其他通道的范围来强调叙述通道。在一个实施方案中，回避值可随时间改变，使得在叙述通道中检测到活动的时间段期间而不在不活动时间段期间进行回避(例如，语音/话音活动)。
10.在一些实施方案中，可将回避独立应用于音频通道/通道组。例如，可比音乐/效果
通道更严重地对对话通道进行回避。这种可变性允许改善叙述通道的可懂度，而无需对可能不会同样严重地影响叙述通道可懂度的其他通道进行回避。
11.在一些实施方案中，回避值还可能使得不和回避值相关联的一个或多个通道被呈现于声场内的不同位置处。例如，回避值可能使得在回放期间由环绕扬声器呈现通道。与回避和减小通道动态范围同时，呈现位置的这种修改可改善另一个通道(例如，叙述通道)的可懂度。
12.如上所述，可将回避值包括在一条编码的声音节目内容中并与特定通道/通道组相关联。在回放该条编码的声音节目内容期间，可将回避值应用于不和回避值相关联的所有其他通道/通道组。这样回避可改善未回避的通道/通道组中的音频的可懂度。例如，如上所述，通过在回放期间使用其他通道/通道组的选择性回避，收听者可更清晰地听到叙述通道/通道组。
13.以上概述不包括本发明的所有方面的详尽列表。可预期的是，本发明包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在随该专利申请提交的权利要求中特别指出的各种方面的所有合适的组合来实施的所有系统和方法。此类组合具有未在上述发明内容中具体阐述的特定优点。
附图说明
14.本发明的实施方案以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号指示类似的元件。应当指出，本公开中提到本发明的“一”或“一个”实施方案未必是同一实施方案，并且它们表示至少一个实施方案。
15.图1示出了根据一个实施方案的包括音频编码设备和一组音频解码设备的音频系统。
16.图2示出了根据一个实施方案的音频编码设备的部件示意图。
17.图3示出了根据一个实施方案的音频解码设备的部件示意图。
18.图4示出了根据一个实施方案的方法，该方法用于(1)对声音节目内容的多通道条目进行编码，以包括与第一通道/通道组相关联的回避值，以及(2)回放声音节目内容的编码的多通道条目，使得第二通道/通道组被回避，以有利于与回避值相关联的第一通道/通道组。
具体实施方式
19.参考所附附图来描述若干个实施方案。虽然阐述了许多细节，但应当理解，本发明的一些实施方案可在没有这些细节的情况下被实施。在其他情况下，未详细示出熟知的电路、结构和技术，以免模糊对该描述的理解。
20.图1示出了根据一个实施方案的音频系统100。音频系统100可包括音频编码设备101和一组音频解码设备103
1-103n。音频编码设备101和音频解码设备103
1-103n可通过分布式网络105以通信方式耦接。具体地，音频编码设备101可对一条或多条声音节目内容进行编码并通过分布式网络105向一个或多个音频解码设备103
1-103n传输编码的数据。
21.在一个实施方案中，音频编码设备101可对声音节目内容的多通道条目进行编码。如下文中更详细所述的，由音频编码设备101产生的编码数据可包括用于包括该条声音节
目内容的独立通道或通道组的元数据。具体地，用于特定通道/通道组的元数据可指示应当在指定持续时间/时间期间内对所有其他通道/通道组进行“回避”(即，强度/音量减小)。这种回避可允许未回避的通道/通道组(即，与回避值相关联的通道/通道组)被用户/收听者更清晰地听到/理解。
22.现在将以举例方式来描述音频系统100的每个元件。在其他实施方案中，音频系统100可包括比图1所示和本文描述的更多元件。
23.图2示出了根据一个实施方案的音频编码设备101的部件示意图。音频编码设备101可以是能够对声音节目内容的多通道条目进行编码的任何计算设备。例如，音频编码设备101可以是膝上型计算机、台式计算机、计算机服务器、平板计算机、游戏系统和/或移动设备(例如，蜂窝电话或移动媒体播放器)。现在将描述图2中所示的音频编码设备101的每个元件。
24.音频编码设备101可包括主系统处理器201和存储器单元203。处理器201和存储器单元203在这里被一般性地用于指代进行实现音频编码设备101的各个功能和操作所需要的操作的可编程数据处理部件和数据存储装置的任何合适的组合。处理器201可以是专用处理器，诸如专用集成电路(asic)、通用微处理器、现场可编程门阵列(fpga)、数字信号控制器或一组硬件逻辑结构(例如，滤波器、算术逻辑单元和专用状态机)，而存储器单元203可指微电子非易失性随机存取存储器。
25.操作系统可与特定于音频编码设备101的各种功能的应用程序一起被存储在存储器单元203中，这些应用程序要被处理器201运行或执行以执行音频编码设备101的各种功能。例如，存储器单元203可包括与音频编码设备101的其他硬件元件和软件元件结合的对声音节目内容的多通道条目进行编码的编码器205。如上文所述和下文将要更详细所述的，由编码器205产生的编码数据可包括用于该条声音节目内容的独立通道和通道组的元数据。该元数据可指示要由一个或多个音频解码设备103
1-103n应用于不和该元数据相关联的其他通道/通道组的回避值。具体地，如下文更详细所述的，可由一个或多个音频解码设备103
1-103n使用回避值来对其他通道/通道组进行回避，以改善用户对非回避通道/通道组的可懂度。
26.在一个实施方案中，音频编码设备101可包括用于通过一个或多个连接与其他部件进行通信的通信接口207。例如，通信接口207可能够使用蓝牙、ieee 802.11x标准组、ieee 802.3、移动通信的蜂窝全球系统(gsm)标准、蜂窝码分多址(cdma)标准和/或长期演进(lte)标准进行通信。在一个实施方案中，通信接口207便于通过分布式网络105进行视频、音频和/或其他数据条目的发送/接收。例如，音频编码设备101可经由通信接口207来接收要编码的一条或多条声音节目内容。如下文更详细所述的，可对这些条声音节目内容进行编码/处理，并且还经由通信接口207来向一个或多个音频解码设备103
1-103n发送以用于回放。
27.现在参考图3，将对音频解码设备1031进行描述。尽管结合音频解码设备1031进行描述，但音频解码设备103
2-103n中的每个音频解码设备可包括相似或相同的元件。音频解码设备1031可以是能够接收、解码和回放一条编码的声音节目内容的任何计算设备。例如，音频解码设备1031可以是膝上型计算机、台式计算机、平板计算机、机顶盒、多媒体播放器、游戏系统和/或移动设备(例如，蜂窝电话或移动媒体播放器)。如下文更详细所述的，音频
解码设备1031可从音频编码设备101接收用于表示一条编码的声音节目内容的音频资产。音频解码设备1031可读取/提取用于特定通道/通道组的该条编码的声音节目内容中的元数据。元数据可包括将应用于其他通道/通道组的回避值。因此，如上所述，可使用回避值来使不和回避值相关联的这些通道/通道组进行回避，以改善非回避通道/通道组的可懂度。
28.音频解码设备1031可包括主系统处理器301和存储器单元303。类似于处理器201和存储器单元203，处理器301和存储器器单元303在这里被一般性地用于指代进行实现音频解码设备1031的各个功能和操作所需要的操作的可编程数据处理部件和数据存储装置的任何合适的组合。处理器301可以是专用处理器，诸如asic、通用微处理器、fpga、数字信号控制器或一组硬件逻辑结构(例如，滤波器、算术逻辑单元和专用状态机)，而存储器单元303可指微电子非易失性随机存取存储器。
29.操作系统可与特定于音频解码设备1031的各种功能的应用程序一起被存储在存储器单元303中，这些应用程序要被处理器301运行或执行以执行音频解码设备1031的各种功能。例如，存储器单元303可包括解码器305。解码器305与音频解码设备1031的一个或多个其他部件一起可从编码的该条表示声音节目内容的音频资产提取/导出回避值。例如，可通过分析主通道组来导出回避值并与音频资产一起插入。解码器305可提取回避值或向混合信号内的回避值的编码版本应用算法以产生回避值。解码器305然后可将这些回避值应用于该条编码的声音节目内容的一个或多个通道/通道组。具体地，回避值可在该条编码的声音节目内容中与第一通道/通道组相关联，并且解码器305可向不同于第一通道/通道组的第二通道/通道组应用回避值。因此，由解码器305进行的回避是相对于音频资产内不和回避值相关联的其他通道/通道组，而非与回避值相关联的通道/通道组。
30.在一个实施方案中，音频解码设备1031可包括用于基于该条编码的声音节目内容来输出声音的一个或多个扬声器309。扬声器309可以是全音域驱动器、中音域驱动器、重低音扬声器、低音扬声器、和高音扬声器的任意组合。每个扬声器309可使用经由迫使导线线圈(例如音圈)轴向地移动通过柱形磁隙的柔性悬架连接到刚性盆架、或框架的轻质振动膜、或锥体。当电音频信号施加到音圈时，由音圈中的电流形成磁场，从而使其成为可变电磁体。线圈和扬声器309的磁系统相互交互，从而生成使得线圈(并因此使得所附接的锥体)来回移动的机械力，由此在来自源的所施加的音频电信号的控制下再现声音。
31.在一个实施方案中，音频解码设备1031可包括用于通过一个或多个连接与其他部件进行通信的通信接口307。例如，通信接口307可能够使用蓝牙、ieee 802.11x标准组、ieee 802.3、移动通信的蜂窝全球系统(gsm)标准、蜂窝码分多址(cdma)标准和/或长期演进(lte)标准进行通信。在一个实施方案中，通信接口307便于进行视频、音频和/或其他数据条目的发送/接收。例如，音频解码设备1031可经由通信接口307从音频编码设备101接收用于表示该条编码的声音节目内容的音频资产。如下文将更详细所述的，可对所接收的这一音频资产进行解码并由音频解码设备1031回放。
32.如上所述，其他音频解码设备103
2-103n可与音频解码设备1031相同。具体地，音频解码设备103
2-103n可各自包括处理器301、存储器单元303、解码器305、通信接口307和一个或多个扬声器309。
33.如上所述，音频编码设备101和音频解码设备103
1-103n可通过分布式网络105进行通信。分布式网络105可由联网设备的任意组合构成，包括交换机、路由器、控制器、接入点
等。分布式网络可使用一种或多种标准/协议工作，包括蓝牙、ieee 802.11x标准组、ieee 802.3、蜂窝移动通信全球系统(gsm)标准、蜂窝码分多址(cdma)标准和/或长期演进(lte)标准。
34.现在转向图4，将描述一种方法400，该方法用于(1)对声音节目内容的多通道条目进行编码，以包括与第一通道/通道组相关联的回避值，以及(2)回放声音节目内容的编码的多通道条目，使得对第二通道/通道组进行回避，以有利于与回避值相关联的第一通道/通道组。尽管结合通道/通道组描述了方法400的操作，在其他实施方案中，可相对于由该条声音节目内容表示的声音对象或主干以类似方式进行回避。
35.可由音频编码设备101、一个或多个音频解码设备103
1-103n和/或另一个设备的一个或多个部件来执行方法400的每个操作。例如，如将在以下描述中使用的那样，可使用音频编码设备101的编码器205和音频解码设备1031的解码器305中的一者或多者来执行方法400的操作。然而，在其他实施方案中，可使用不同的元件和设备来执行方法400。尽管编码器205和解码器305被描述为分别驻留在存储器单元203和303中，但在其他实施方案中，可由包括滤波器、算术逻辑单元和专用状态机一个或多个硬件结构来实现编码器205和解码器305。
36.尽管按照特定次序示出和描述了方法400的操作，但在其他实施方案中，可按照不同的次序来执行方法400的操作。例如，可同时或在与交叠时间期间内执行一个或多个操作。现在将以举例的方式在下文中描述方法400的每个操作。
37.在一个实施方案中，该方法400可在操作401处开始接收用于表示用于一条声音节目内容的一个或多个通道的一组音频信号。例如，音频编码设备101可接收与一条声音节目内容对应的n个音频通道(例如，音乐作品或电影的声道/音轨)，其中n大于等于二。例如，可在操作401处接收用于表示一条声音节目内容的四个音频通道。在一些实施方案中，所接收的通道中的一个通道可对应于叙述通道，该叙述通道辅助视觉受损用户理解电影或电视广播中发生的动作。在这些实施方案中，其他通道可对应于任一空间通道(例如，左、右和中心音频通道)和/或表示对象/主干(例如，对话、音乐和效果音频对象/主干)。可在操作401处经由通信接口207从外部系统或设备(例如，外部计算机或流传输音频服务)接收音频信号/通道。在其他实施方案中，可在操作401处在音频编码设备101上本地存储(例如，在存储器单元203中存储)并检索音频信号/通道。
38.在一些实施方案中，在操作401处接收的音频信号/通道可用于同时并与视频同步地进行再现。例如，如上所述，在操作401处接收的音频信号/通道可以是用于电影或电视节目的音轨。在本实施方案中，连同对应的视频内容或与视频内容分开，可在操作401处发送和接收音频信号/通道。
39.在操作403处，可对在操作401处接收的通道进行处理/编码，以产生用于表示该条声音节目内容的音频资产。在一个实施方案中，可在这些组内对通道进行分组和处理。每个通道组可包括关联在一起的一个或多个个体通道。可将通道组一起分析，以确定动态范围控制/压缩(drc)增益值，在该条编码的声音节目内容解码/回放期间，其要被应用于每个相应组的通道。drc通过缩窄或压缩音频信号的动态范围来减小响亮声音的音量或放大安静的声音。drc增益值可作为元数据被添加到用于表示该条编码的声音节目内容的音频资产。
40.在一个实施方案中，可针对该条声音节目内容中的单个通道/通道组来确定回避
值。回避值表示将把其他通道/通道组回避的量(例如，降低音量)。例如，在操作401处接收的一条声音节目内容可包括四个对象：(1)叙述对象；(2)对话对象；(3)音乐对象；和(4)效果对象。在一些实施方案中，可在处理之前将这四个对象分配到通道组(例如，可将叙述对象分配到第一通道组，将对话对象分配到第二通道组，并将音乐和效果对象同时分配到第三通道组)。在本示例中，可产生一组回避值并与第一通道组相关联。与第一通道组相关联的该组回避值指示音频解码设备103
1-103n中的一个或多个音频解码设备中的解码器305要向一个或多个其他通道组应用的衰减量。
41.在一些实施方案中，个体回避序列可与通道/通道组的初始布局和通道/通道组的每个可能的下混频相关联。例如，标识符可与通道/通道组的初始布局和通道/通道组的每个可能的下混频相关联。在本示例中，回避值的独立序列可与每个标识符相关联。因此，可基于他们的布局/下混频的布置来将回避值的适当序列应用于通道/通道组。
42.在一个实施方案中，可通过缩窄/压缩这些通道组的动态范围来将回避值应用于通道组。例如，回避值可指示可以音频解码设备103
1-103n中的一个或多个回放期间将其他通道组回避10db，并可类似于drc增益值而被应用。该回避可能在指定的时间段内波动。例如，在第一时间段期间在第一通道组中检测到活动(例如，语音或话音活动)时，操作403可将与第一通道组相关联的回避值设置为该第一时间段期间的第一水平。相反，在第二时间段期间在第一通道组中未能检测到活动时，操作403可将与第一通道组相关联的回避值设置为该第二时间段期间的第二水平。在本示例中，第一水平可大于第二水平，使得第二通道组和第三通道组在第一通道组中的活动时间段期间比在不活动时间段期间受到更严重的回避。因此，可在活动时间段期间强调第一通道组，而允许第二通道组和第三通道组在第一通道组相对不活动的时间段期间被听到并且不变。
43.如上所述，可类似于drc增益值那样应用回避值。在这些实施方案中，回避值可小于或等于零db，使得应用回避值使得通道组(即，在第一通道组中的无活动时间段期间)无衰减或通道组有衰减。在一些实施方案中，应用回避值可超驰音频资产中所指示的其他效果，包括通道/通道组的“剪辑”或“隐退”。
44.在一些实施方案中，回避值可指示向每个通道组应用不同水平的回避。使用上述三个示例通道组，操作403可确定可能需要将与对话相关联的第二通道组在回放期间进行比与音乐和效果相关联的第三通道组更严重的回避。对话的这种更严重的回避允许第一通道组中的叙述与第三通道组中的音乐和效果一起存在于前景音频中，而可在正下方(即，在背景中)播放第二通道组中的对话。由于对话与音乐和效果相比可能会更严重地干扰叙述的可懂度，允许对第二通道组和第三通道组进行独立回避使得回避量最小化，同时仍然提升该叙述对用户的可懂度。
45.如上所述，回避值可用于降低通道/通道组的回放水平。在一些实施方案中，可扩展回避值以不仅改变回放水平而且另外地或独立地改变通道/通道组的声音场中的呈现位置。例如，使用上述三个示例通道组，在操作403处被添加到音频资产的回避值可指示要将对第二通道组的呈现在音频解码设备103
1-103n回放期间从前方扬声器309移动到环绕扬声器309。可在某一时间段期间限制通道/通道组的这种移动。例如，可仅在第一通道组(例如，叙述通道组)中检测到活动时，使得通道/通道组移动。通过移动声音场中通道/通道组的呈现位置，可相对于其他通道/通道组来强调感兴趣的特定通道/通道组。
46.在一个实施方案中，在操作403产生并插入音频资产内的回避值可与单个通道/通道组相关联。因此，每个音频资产包括在回放期间未回避的单个通道/通道组，同时使用回避值对音频资产中的所有其他通道/通道组进行回避。在一些实施方案中，在操作403处产生的回避值可与多个通道/通道组相关联，但对于某时间的回放而言，该多个通道/通道组中仅有一个通道/通道组可为活动的。例如，音频资产可包括与不同语言对应的多个不同的叙述通道/通道组。在这些实施方案中，一次仅可选择一种语言进行回放(即，不同叙述通道/通道组间仅有一个活动的通道/通道组)。因此，回避值被应用于所有其他活动的不和回避值相关联的通道/通道组(即，不将回避值应用于活动和不活动的叙述通道/通道组)。
47.在一些实施方案中，音频资产可包括各自与不同通道/通道组相关联的多组回避值。例如，使用以上示例，音频资产可包括与不同语言对应的多个不同的叙述通道/通道组，其中一次仅有一个通道/通道组被授权为活动的。在本实施方案中，叙述通道/通道组中的每个通道/通道组可与将在回放期间被应用于所有其他活动通道/通道组的不同组回避值相关联。
48.在产生包括回避值的该条编码的声音节目内容之后，操作405可将表示该条声音节目内容的音频资产传输到音频解码设备103
1-103n中的一个或多个音频解码设备。在一个实施方案中，可使用音频编码设备101的通信接口207和音频解码设备103
1-103n中的一个或多个音频解码设备的通信接口307通过分布式网络105来执行音频资产的传输。在其他实施方案中，可通过其他技术(例如，经由便携式存储器设备)在操作405处传输音频资产。
49.在操作407处，音频解码设备103
1-103n中的一个或多个音频解码设备可对音频资产进行解码，以显示出两个或更多通道/通道组、在通道/通道组中的一个通道/通道组内相关联的回避值和/或在操作403处被添加的其他音频信息。如上所述，回避值可用于(1)对特定通道/通道组进行回避和/或(2)在声场内移动特定通道。
50.在操作409处，该方法400可确定音频资产中是否存在回避值以及是否已选择与回避值相关联的通道/通道组以供回放(例如，由用户选择进行回放)。在操作413处，在回避值未被包括在音频资产中或未选择与回避值相关联的通道以供回放时，可针对被选择要无回避地进行回放的通道/通道组产生驱动信号。在操作413处产生的这些驱动信号可用于在操作415处通过扬声器309进行回放。
51.相反，在操作411处，在回避值被包括在音频资产中并且已选择相关联的通道/通道组以供回放时，可将解码的回避值应用于不相关联的通道/通道组以产生一组驱动信号，从而在操作415处通过扬声器309进行回放。具体地，回避值可减小不与回避值相关联的通道/通道组的动态范围。在以上所述的三个示例通道组中，可将回避值应用于第二通道组和/或第三通道组，使得来自第一通道组的音频保持不回避，因此对于用户而言更具有可懂度。在一些实施方案中，可在操作411处进行应用之前，向回避值应用缩放系数。
52.如上文结合操作403所述的，回避值也可使得不与回避值相关联的一个或多个通道/通道组移动到声场内。例如，在以上示例中，在操作411处，回避值可使得第二通道组移动到环绕扬声器309中。与降低第二通道组和/或第三通道组的动态范围同时，这种移动可改善第一通道组的可懂度。
53.如上所述，可将回避值包括在表示一条声音节目内容的音频资产中并与特定通道/通道组相关联。在回放该条编码的声音节目内容期间，可将回避值应用于所有其他通
道/通道组。这样回避可改善未回避的通道/通道组中的音频的可懂度。例如，通过在回放期间使用其他通道/通道组的选择性回避，用户可更清晰地听到叙述通道/通道组。
54.如上文阐述，本发明的实施方案可为制品，其中在机器可读介质(诸如微电子存储器)上存储有指令，该指令对一个或多个数据处理部件(本文中一般被称为“处理器”)进行编程，以执行上述操作。在其他实施方案中，可通过包含硬连线逻辑部件(例如，专用数字滤波器块和状态机)的特定硬件部件来执行这些操作中的一些操作。可替代地，可通过所编程的数据处理部件和固定硬连线电路部件的任何组合来执行那些操作。
55.虽然已描述并且在附图中示出了某些实施方案，但应当理解，此类实施方案仅用于说明广义的发明而非对其进行限制，并且本发明并不限于所示和所述的特定构造和布置，因为对于本领域的普通技术人员而言可想到各种其它修改。因此，要将描述视为示例性的而非限制性的。