专利名称：音频处理的制作方法
技术领域：
本发明涉及处理音频数据。
众所周知，使用交换装置(一般是交叉点交换机)将电视演播室中的视频和音频装置连接在一起。
在未决的英国专利申请0307426.7中，已经提出了一种通过用已知协议诸如互联网协议(IP)操作的交换局域网(例如以太网)来连接演播室内的音频和视频装置的系统。
演播室内使用的音频和视频装置包括摄像机、编辑器、音频混合器、磁带录像机(VTR)以及其它示例中的播放交换机。还众所周知的是，使用监视器观看正在播放的视频或在监视器上预览将用于播放的视频。
同样，操作者可以收听要播放的音频材料。然而，不同之处在于尽管操作者可有效地在不同屏幕上或以单个屏幕上的平铺显示同时观看几个视频监视器，但是操作者不能有效地同时收听几个音频流。为了实现上述情况，需要与该操作者相关的网络节点处理很大的网络带宽，并且声音的混合结果可能会难以理解。因此，实际上，操作者必须从一个音频流切换到另一个音频流，以便监视流内容。
本发明提供了一种可连接到网络的网络接口装置，该装置配置为接收表示音频信号的数字音频数据，并将表示数字音频数据的数据包基本实时地发送到网络上，该装置包括属性检测器，配置为产生表示音频信号属性的属性数据；以及打包器，可操作用于·将数字音频数据格式化为要发送到网络上的音频数据包；并
·将属性数据独立于音频数据包格式化为要发送到网络上的属性数据包。
本发明还提供了一种可连接到网络的网络目标装置，该装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示音频信号属性的属性数据的属性数据包；该装置包括配置为提供表示属性数据当前值的用户指示的用户界面。
本发明认可操作者可希望同时监视几个音频流，但是(例如)在广播情况下，这可能只确保各数据流携带某些音频。
本发明提供了一种用于在网络源产生表示音频信号属性(例如电平)的属性数据。该属性数据以独立于携带音频数据的包的数据包发送到网络上。因此，网络接收器可选择性地只接收携带属性数据的数据包。
在接收器端，最好给操作者一个指示，诸如可视指示，以显示属性数据的当前状态。
该配置提供了几个优点它使用户能够同时监视几个通道上存在的音频数据(及其属性)，并且它允许在该用户不必接收来自正被监视的每个源的全带宽音频数据的情况下实现这种功能。这后一点可显著降低例如广播网内的网络流量。
本发明的其它各方面和特征在所附权利要求书中定义。
现将参考附图仅以示例方式来描述本发明的实施例，附图中
图1是演播室内网络的示意性框图；图2是显示通过网络的数据流的网络示意性简图；图3是网络中使用的音频或视频包格式的示意图；图4示意性示出了ENIC的部分功能；图5示意性示出了音频和属性数据包；图6示意性示出了属性数据包；图7示意性示出了携带AES音频的RTP/BT.656包；
图8示意性示出了AES音频有效载荷子包的结构；图9示意性示出了音频字的格式；图10示意性示出了AES音频控制子包有效载荷的结构；以及图11示意性示出了部分屏幕显示。
参考图1，例如在演播室内建立网络。该网络包括多个源组AV装置，这些装置由三个摄像机S1到S3、三个磁带录像机(VT10)S4到S6、两个数字信号处理器(DSP)S7、S8以及两个仅产生串行数字音频数据的其它源组S9、S10组成。该网络还包括一组目标组AV装置，由视频交换机D8、一对监视器D2、一对音频处理器D3、视频处理器D9以及信号监视器D10组成。
以太网转接2影响源组装置和目标组装置之间的连接。所有的组装置S1到S10以及D1、D2、D3、D8、D9、D10通过至少一个增强网络接口卡(ENIC)NI1到NI12连接到网络，ENIC不同于标准的网络接口卡，并且在下文中对其结构和功能进行更详细描述。
该网络还包括由第一交换和路由客户机6、附加交换和路由客户机61以及网络管理器4组成的网络控制配置。用户可通过由计算机软件应用产生的图形用户界面(GUI)请求网络虚拟电路交换连接当前设置中的改变，在该配置中其被显示在与交换和路由客户机6相关联的监视器上。然而，在备选配置中，GUI显示在与网络管理器4相关联的监视器上。
该网络是包括以太网交换机2的以太网多播网络，该以太网交换机2是异步n千兆位以太网交换机2，例如n为1或10。连接到以太网交换机2的是包含源“组”S1到S10、目标“组”D1、D2、D3、D8、D9和D10以及网络控制配置的网络节点，在本示例中，其包含网络管理器4和交换和路由客户机6、61。
源组定义为诸如摄像机S1或磁带录像机(VTR)54的AV装置，其可操作用于产生或提供用于通过网络传输的音频和/或视频数据，该源组具有一个或多个输入终端和/或一个或多个输出终端。AV装置的每个输入/输出终端将连接到ENIC NI1到NI12中的一个的端口上。然而，同一AV装置的不同终端可连接到不同ENIC上，如图1中源组S1的情况下，该AV装置设有连接到ENIC NI1上的第一输出终端以及连接到ENIC NI2上的第二输出终端。目标组定义为诸如视频交换机D8、视频处理器D9或音频处理器D3的AV装置，其可操作用于通过网络接收打包的音频和/或视频数据，并在接收的数据上进行处理操作。与源组类似，目标组包括可连接到同一ENIC或不同ENIC不同端口的一个或多个输入和/或一个或多个输出。
要理解到，对于网络上的不同数据交换事件，目标组也可作为源，而源组也可作为目标。例如，VTR S4具有音频、视频、状态和代理源和/或与其相连的目标装置，并且对于数据交换事件涉及通过网络从VTR S4上的视频源装置向视频处理器D9输出数据的情况，VTR S4作为源组。不同的数据交换事件可包括VTR S4从摄像机S1接收数据，该数据已经由网络通过视频处理器D9路由，用于由VTRS4进行随后记录，在此情况下，在与VTR S4相关联的目标装置(ENIC输入终端)处从网络接收已处理的视频数据，以便随后以串行数字形式提供给VTR S4进行记录，因此在此情况下VTR S4作为目标组。
当AV装置本身表示源组S1到S10以及目标组D1、D2、D3、D8、D9、D10时，各组连接到一个或多个ENIC端口。ENIC端口将表示为“源装置”和“目标装置”。“源装置”定义为ENIC输出端口，其将打包数据输出到网络上或向目标组AV装置输出串行数字数据，而“目标装置”定义为ENIC输入端口，其从网络接收打包数据或从源组AV装置输出终端接收串行数字数据。ENIC的源装置和目标装置可与源组(AV装置)或目标组相关联，从该源组它们接收用于通过网络传输的数据，而它们将来自网络的数据传送到该目标组。网络管理器4持续追踪ENIC端口和AV装置之间的映射。
为了使能够连接到网络，各源组S1-S6以及各目标组D1、D2、D3、D8、D9、D10通过至少一个网络接口卡NI 1到12耦合到以太网交换机2。这些网络接口卡专门适于根据本技术通过网络传输音频和/或视频数据，并表示为ENIC(增强网络接口卡)。单个源或目标组可连接到多个ENIC，例如在图1的配置中，摄像机源组S1连接到两个不同的ENIC(即，NI1和NI2)。具体地说，源组的源装置(输出终端)和目标装置(输入终端)的一个子集连接到第一ENIC NI1，而另一个不同子集连接到第二ENIC NI2。各ENIC NI1到NI12可设有多个端口。ENIC的第一子集NI1到NI7的输入端口直接从源组诸如摄像机SI1到SI3、VTR S4到S6以及DSP SI7、SI8接收数据，并且那些ENIC的输出端口通过网络传输打包的数据，而ENIC的第二子集NI8到NI12的输入端口通过网络接收从其它源组得到的打包数据，而它们的输出端口向目标组诸如视频交换机D8和音频处理器D3提供串行数字音频和/或视频数据。
在常规演播室中，源组(例如摄像机)和目标组(例如视频处理器)通过交叉点交换机连接。常规的交叉点交换机需要将已知特定装置连接到交换机上相应的已知特定端口，以确保它们能通过交换机连接在一起。通过对比，图1包括以太网交换机2的网络由网络管理器4以及交换和路由客户机6来设置，以提供虚拟电路交换连接，该虚拟电路交换连接将交叉点交换机至少仿真到任一个或多个源组可连接到任一个或多个目标组的程度。虚拟电路交换连接通过在图1配置中使用已知协议、ICMP(互联网组管理协议)的网际协议(IP)多播网络的实现来促进。多播网络使能够通过网络从一个源装置向属于预定多播组的几个目标装置传输数据，并且IGMP提供了标识源装置或目标装置属于哪个多播组的方法。每个源装置和目标装置分配有标识符，并且预定源装置标识符和目标装置标识符与给定的多播地址相关联，以便定义虚拟连接。不像常规的交叉点交换网络，在图1的网络中，源装置和目标装置连接到的以太网交换机2的实际物理端口不相关，因为使用标识符和多播地址以及相关传输协议可灵活指定这些连接。
应该注意的是，在图1的示例配置中，网络操作如下单一源装置应该仅属于一个不被任何其它源共享的多播组。至少一个目标装置通过加入源装置的多播组来接收来自该源装置的数据。给定目标装置加入多播组，以便通过发出多播组加入消息来接收来自相关源装置的数据。网络控制配置4、6、61通过向目标装置(即，向其中一个目标组AV装置的输入终端或相应ENIC终端)发送控制消息命令该装置向以太网交换机2发出加入适当源装置多播组的请求来启动各虚拟电路交换连接。多个目标装置可加入给定多播组，并且以太网交换机2执行从源装置传输到该多播组的所需数据复制。可由源装置传输到多播组的多个目标装置的数据包括视频数据、音频数据、时间码数据或状态数据。
ENIC允许在多播网络中使用未设计用于多播网络的任何源组(例如摄像机)和任何目标组(例如VTR)。ENIC是可被请求来提供并接收音频、视频以及控制数据流的“无声”装置。ENIC不能观看或启动网络设置的任何变化。相反，网络管理器4控制给定ENIC可预订哪个(或哪些)多播组，并指导ENIC向以太网交换机2发出请求，以加入这些多播组。虽然，在图1的配置中，ENIC NI1到NI12是与源组及与其相关联的目标组AV装置截然不同的实体，要理解到，在备选配置中，ENIC的功能性可集成在AV装置中。
每个ENIC具有相关以太网地址和IP地址。以太网地址是在LAN中指定物理地址的48位值，而IP地址(例如在IPv4中)是标识互联网上基于包的信息的每个发送器或接收器的32位值。以太网地址通常不同于IP地址，但两种地址可例如使用地址解析协议(ARP)彼此映射。IP地址需要使以太网交换机2能够向ENIC并从ENIC路由数据。使用多播地址和用户数据报协议(UDP)端口号标识与ENIC相关的各数据流。UDP是与IP一起通过网络传递数据通信的传输层协议。UDP提供端口号，以区别不同的事务请求(IP不提供这种服务)。在本实施例中，单个IP地址与各ENIC相关联。然而，在备选实施例中，多个IP地址可与单个ENIC相关联。除了以太网地址和IP地址，ENIC还设有相关ENIC标识符(ID)以及与ENIC相关联的各目标装置和源装置的多个端口ID。与各ENIC相关联的所有地址和ID都由网络管理器4记录。源装置和目标装置(即，网络节点装置S1-S8和D1、D2、D3、D8、D9、D10的各输入和输出)与ENIC的一个或多个物理输入和输出分别对应。ENIC作为将从交换机2接收的数据交换到ENIC的指定物理输出并将数据从指定物理输入交换到交换机2的交换机。
使用以太网交换机2实现的网络是异步的。然而，视频和音频数据需要同步处理。例如为了编辑，ENIC通过网络提供同步操作并对准不同视频流的帧。连接到网络的视频和音频装置(即，源组和目标组)以串行数字数据操作，例如使用用于数字视频分量接口的数字标准串行数字接口(SDI)或用于音频数据的音频工程学会(AES)数字音频标准。ENIC在传输端将来自源装置的数据从SDI或AES串行数字格式转换成适于通过网络传输的打包格式，具体地说，转换成多播UDP/IP数据包。在接收端，ENIC将从网络接收的多播UDP/IP数据包转换成适于传递到目标装置的串行数字数据格式。
ENIC提供的另一功能是所谓“代理”操作。ENIC从全分辨率视频流中产生“代理视频”所表示的下降分辨率视频流。代理视频是相应全分辨率视频信息的带宽减小版本，并同样适于由具有受限存储容量和/或处理能力的网络客户机进行处理，或适用于预览通过网络下载的信息内容。同样，ENIC产生所谓的“代理音频”。尽管这可以是音频信号的位速率降低版本，但在本实施例中，该术语用于指的是表示音频信号属性诸如音频信号电平的数据。代理音频生成将在下文进行更详细描述。
在源或目标是视频数据存储在(例如)硬盘驱动器上的联网视频服务器或客户机的情况下，与该源/目标相关联的ENIC可作为以视频帧形式存储在服务器上的数据与在网络上传输数据的打包格式之间的接口。因此，对于从本地硬盘读取的输出字段或帧，ENIC将执行转换成打包形式。对于输入字段或帧，ENIC将执行从打包形式到准备存储在硬盘上的字段或帧的转换。
但是除视频功能之外，ENIC还能作为常规网络接口卡操作。因此，可处理辅助异步数据，诸如电子邮件业务，以及同步音频和视频业务。通常，配置ENIC，以便给同步业务优先权，但这仍将在要处理的异步包的音频和视频包之间留有间隙。
网络管理器4与交换和路由客户机6、61合作，以形成这样的网络控制配置可操作用于向音频和视频源装置分配多播组标识符，并指令目标装置向以太网交换机2发出请求以加入特定多播组，以便接收来自相应源装置的数据。网络管理器4保存网络当前状态的信息以及启动对装置配置或对源自网络管理器4的网络连接的改变的所有指令。在图1的配置中，网络管理器是通过标准网络接口卡链接到网络的个人计算机(PC)。在备选配置中，网络管理器例如可以是可包括不只一个网络管理器的工作站和网络控制配置。
网络管理器4保存指定网络配置的数据库。在图1的配置中，数据库存储在与网络管理器4相同的PC上，但在备选配置中，该数据库可存储在至少一个不同的PC上。对于每个ENIC，数据库记录相关以太网地址、IP地址、ENIC ID以及通过该ENIC目前连接到网络的源装置和目标装置(网络节点装置的输入和输出)。
网络管理器4还执行以下功能将网络资源分配给交换和路由客户机6、61，并分配给ENIC NI1到NI12；向目标装置发送命令，以向以太网交换机2发出请求以加入指定多播组，由此改变通过网络的音频和/或视频虚拟电路交换连接；并确保网络的各交换和路由客户机6、61试图(view)是正确的。
为了将音频和视频数据流从源装置发送到目标装置，传输层是UDP多播。在UDP包内以实时协议(RTP)格式(例如所谓的BT.656格式，见参考1)携带音频和视频数据。这适用于音频数据、全分辨率视频和低分辨率代理视频。
RTP提供支持实时业务的功能，即，需要在目标应用中时间灵敏再现的业务。由RTP提供的服务包括有效载荷类型标识(例如，视频业务)、序列编号、时间戳记和传递监控。如果由基础网络提供，则RTP支持通过多播分布向多个目标传送数据。RTP序列号使接收器可以重建原始包序列。该序列号还可用来确定包的适当位置。RTP不提供任何确保及时传送的方案，也不提供其它服务质量保证。
当ENIC从网络管理器4接收AVSCP交换请求时，ENIC向以太网交换机2发送IGMP加入消息，以加入它需接收的数据的多播组。
在UDP多播上使用RTP通过网络传送AV代理流。交换和路由客户机6可选择接收用于监视目标的代理视频，并作出关于虚拟电路交换连接的通知交换决定。在图2的配置中，只有交换和路由客户机6接收代理视频流，但是ENIC NI1(与“摄像机1”S1源组相关联)、NI2(与“摄像机2”S2源组相关联)和NI8(与视频交换机D8目标组相关联)都可操作用于输出代理视频数据流。源组和目标组装置诸如摄像机、VTR和视频处理器的用户可能想在音频和/或视频数据流的基础上作出编辑决定，并且由于这个原因产生了AV代理流。尽管有几种通过网络使用RTP的已知视频格式流视频数据，但这些已知方法涉及视频数据的强压缩。引入重要的延迟周期(即，大于一场)的视频压缩方法不适用于可能使用根据本技术的网络的演播室摄制环境。此外，在摄制环境中，有可能多个AV数据源将必须在屏幕上基本同时显示，这会给数据处理器增加过重负担以对多个数据流解压缩，可能需要硬件加速。因而，以未压缩子采样数据流形式产生视频代理，而不是压缩数据流(例如，QCIF(176或180采样×144行)；16位RGB；每秒25帧；用水平和垂直滤波的子采样；以来自每行源625行×1440采样的每秒15.2兆位；或来自1440采样源的525行的(180采样×120行)。
参考图3，音频和视频数据格式按顺序包括以太网标题、IP多播标题、UDP标题、RTP标题、指定有效载荷类型的字段、有效载荷以及CRC(循环冗余校验)字段。以太网标题包括源以太网地址和目标多播以太网地址。IP多播标题包括源ENIC IP地址和目标装置多播IP地址。有几个不同的IP地址类别，例如，类别A具有分配给网络ID的前8位和分配给主机ID的剩余24位，而类别B具有分配给网络ID的前16位和分配给主机ID的剩余16位。类别D IP地址用于多播。类别D网络地址的最左4位总是以二进制模式1110开始，对应于十进制数224到239，并且剩余28位分配给多播组ID。IGMP与多播和类别DIP地址结合使用。
收听特定IP多播地址的一系列主机(即，源和/或目标装置)被称为主机组。主机组可跨越多个网络，并且主机组的成员资格是动态的。类别DIP地址映射到以太网地址，以使多播组ID的(28位的)低阶23位拷贝到以太网地址的低阶23位。因此，多播组ID的5位不用于形成以太网地址。结果，IP多播地址和以太网地址之间的映射不是唯一的，即，32位不同的多播组ID映射到同一以太网地址。
UDP标题包括源和目标端口号，该端口号一般与目标装置上的特定应用相关联。注意，在多播消息的情况下，UDP是多余的，因为在此情况下多播组地址标识流/内容。使用RTP协议传输音频/视频流。前向纠错(FEC)可用于特定数据流，例如全分辨率视频流，以提供保护电平防止由于网络错误的数据破坏。使用提供FEC的已知RTP有效载荷格式提供FEC。FEC是基于奇偶校验的错误保护方案。
已知的RTP协议的扩展允许在RTP有效载荷标题中指定视频扫描线数。RTP标题还包括指定是否存在8位或10位视频的字段。虽然已知的RTP和RTP/FEC协议格式提供了在IP网络上传输音频和视频数据所需的数据包字段，但还希望传输附加的信息，诸如源状态和源时间码信息。例如，如果源装置是VTR，则存储在带上的时间码应该通过网络传送。源状态信息例如可指示VTR是否正在播放、停止或处于轻推/梭动(jog/shuttle)模式。该状态信息使用户可以从远程网络位置操作VTR。由于每个字段仅一次需要时间码数据和源状态信息，因此以标记为垂直消隐的RTP包传输该信息。为了使音频和视频可以再次同步，RTP时间码以27MHz时钟为基础。有效载荷类型字段包括指示有效载荷类型的数据，即，视频或音频数据。有效载荷字段包括要传输的视频或音频数据。CRC是本领域公知的循环冗余校验。
在本示例中，希望形成数据通信路径，以通过网络将AES音频数据从源组S9传输到音频处理器D3。AES音频数据将由ENIC NI6打包，通过网络发送，并在以串行数字格式传送到音频处理器D3之前由ENIC NI10接收并拆包。用户可通过与由交换和路由客户机6显示的GUI相互作用来促成音频源S9和音频处理器之间的连接。
为了建立音频源组S9和音频处理器D3之间的通信路径，交换和路由客户机6向网络管理器4的预定端口发送CNMCP交换请求消息，以启动对虚拟电路交换连接当前配置的改变。网络管理器4向交换和路由客户机6发送CNMCP消息，提供关于可用于它的源装置和目标装置(及关联源组和目标组)的信息。这使交换和路由客户机6能够得出指定网络当前配置和状态的视图。每个源装置和目标装置具有由网络管理器在与交换和路由客户机6的通信中分配的相关ID，并且该装置ID由交换和路由客户机6在与网络管理器的随后通信中使用。响应于用户请求将S9连接到D3，交换和路由客户机6向网络管理器4发送包含相关源装置ID和目标ID的CNMCP消息。
在交换和路由客户机6不允许执行该操作的情况下(例如，如果没有足够的网络带宽可用于形成可靠连接)，则网络管理器4响应连接请求向交换和路由客户机6发送NACK(否定应答)CNMCP消息。另一方面，如果网络管理器4允许建立该连接，则连接请求将按如下方式处理。
首先，网络管理器4询问其网络配置数据库，以确定来自源组S9的AES音频数据目前正传输到哪个多播IP地址。随后，由网络管理器4创建包含S9传输到的多播IP地址的AVSCP交换消息，并将其发送到ENIC NI10的相关端口(装置)，ENIC NI10将音频处理器D3连接到网络上。ENIC NI10上的嵌入软件将IGMP加入消息发送到S9的音频数据传输到的多播IP地址，并随后将AVSCP ACK消息发送回网络管理器。这使ENIC NI10能够接收一个其目标装置上的音频源S9的输出，并且ENIC NI9将接收的音频数据路由到连接到音频处理器D3的源装置(ENIC AES输出端口)。期间，已从应答已经接收到加入指定多播IP地址的指令的ENIC NI10接收到AVSCP ACK消息的网络管理器4将更新网络配置数据库中的路由信息，以反映新形成连接的存在。最后，网络管理器4将CNMCP ACK消息发送到交换和路由客户机6，指示在S9和D3之间已成功建立了请求的音频数据连接。
在本操作示例中，图1源组中的两个连接到单一目标组上。更具体地说，‘摄像机1’S1和‘摄像机2’S2的输出作为输入提供给视频交换机D8。为了启动S1和D8间以及S2和D8间的连接，交换和路由客户机6向网络管理器4发送CNMCP交换消息，该消息包含与‘摄像机1’S1、‘摄像机2’S2和视频交换机D8相关的ID值。
再提一次，网络管理器4的网络配置数据库还存储与各ENIC装置类别相关的数据。更具体地说，网络配置数据库存储指示各源装置是否连接的数据、数据流延迟传输的视频线的数量以及源装置的当前传输状态。网络管理器4还从数据库中获得有关目标装置的信息，包括实现装置的ENIC IP地址和延迟播放的视频线数量。
从网络配置数据库中，网络管理器4能确定每一个摄像机源S1、S2将数据传输到的多播IP地址。因而，为了建立两个摄像机S1、S2和视频交换机D8之间的连接，网络管理器4向ENIC NI8传送AVSCP消息，指定‘摄像机1’传输AV数据的多播IP地址和‘摄像机2’传输AV数据的多播IP地址。这两个摄像机中的每一个输出的AV包由ENIC NI8的网络处理器20接收。每一个接收的视频包在其标题数据中指定目标IP地址，并从该IP地址导出AV包去往的多播组。ENIC NI8从多播组中确定打包的AV数据应路由到ENIC NI8的哪个输出端口(源装置)。如上所述，多播组确定数据包应路由到网络中目标装置的哪个子集。
因而，除来自‘摄像机1’和‘摄像机2’的AV数据流之外，视频交换机D8还接收来自ENIC NI8的控制数据。该控制数据由交换和路由客户机6(图1)作为单播控制数据发送，其由ENIC NI8以打包形式经网络接收。单播控制数据具有将其标识为控制包的标题。该控制数据可指令视频交换机D8将其输出从一个AV流交换到另一AV流，即，从‘摄像机1’到‘摄像机2’。
图4示意性示出了ENIC的部分功能性。关于要描述的功能性，ENIC包括多路分解器100、时钟发生器、电平检测器120、峰值保持锁存器130和打包器140。然而，要理解的是，ENIC包括与本描述无关并在图4中未显示的其它部件。
多路分解器100根据标准SMPTE 259M接收所谓的SDI视频。它拆解SDI流，以移除传送到打包器140的嵌入式音频数据ASDI。可选地，多路分解器100能从SDI流中产生独立的视频流V，该视频流也传送到打包器140。
SDI流本身也传送到打包器140，并且独立的AES音频流AAES是图4所示要传送到打包器140的第四信号。
电平检测器120用来检测两个音频流ASDI和AAES的音频电平。对于每个音频流，它例如可产生两个独立的电平值(一个用于左通道，一个用于右通道)或依赖于(例如)两个通道之间平均值或峰值的合成音频电平。关于两个音频流ASDI和AAES的检测音频电平被传送到峰值保持锁存器130。这存储了所接收的峰值(就各电平信号而言)，因为锁存器持续复位。从时钟发生器100接收的帧同步脉冲使当前存储的峰值由峰值保持锁存器130输出，并还复位峰值保持锁存器，以使其相对于后续帧周期获得新的峰值。因此，峰值保持锁存器130在每个帧周期输出一次关于前面帧周期中峰值电平的峰值音频电平值。该峰值电平值被传送到打包器140。
当然，可使用其它周期，诸如字段周期，乃至随机或伪随机周期。由于在接收端数据显示通常以该速率更新，因此帧周期特别有用。
电平检测器可以其它方式操作。例如，可检测特定频带(例如，20-500Hz；500Hz-2kHz；2kHz以上)的电平，并将其发送到网络上，以便在接收器端(见下文)可产生图形显示，以每个通道或通道间平均的方式示出可通过不同频带显示的能量分布。或可产生电平变化的检测。或可产生指示在多个帧周期上音频电平是否一致的指示器。当然，可产生这些情况的各种组合。
另一功能(在图4中未示出)是产生如上所述的代理视频。
打包器130产生表示SDI流的包、表示代理数据的包(包括代理视频包和电平(属性)数据包)、下面将进一步描述的音频包以及可选地视频包(即，没有嵌入音频分量的SDI流的视频分量)。这些包被发送到具有上述适当多播地址的网络上。
在另一备选实施例中，AES音频可被代入SDI包，代替SDI音频。
多音频流的一个特定应用是在多种语言的情况下。
图5和图6示意性示出了可携带音频属性数据的两种可能方式。更具体地说，图5示意性示出了视频和属性数据包，而图6示意性示出了属性数据包。在每种情况下，以图3所示的相似方法提供各种标题。在图5的情况下，标题后面是可以是全位速率视频数据或更有用的代理(降低的位速率)视频数据的视频数据。随后提供属性数据，并且最后CRC代码提供出错防止。在图6的情况下，标题后面仅仅是当前帧周期和音频通道的属性数据。
携带音频属性数据的包通过如下方式与相应视频或音频流相关联(a)作为视频包的一部分；或(b)作为到要与相应视频或音频流的多播组相关联的客户机6和/或网络管理器4记录的多播组的广播。与属性数据相关的多播组与携带相应音频信号的组不同。
要理解到，通过单独传输属性数据，或通过将其作为视频包的一部分传输，可从全带宽音频数据中单独接收属性数据。
图7示意性示出了携带从AAES流、ASDI流或二者中导出的音频数据的RTP/BT.656包。字段如下V RTP版本号；当前值为2P 填充位如果设置，则包包含一个或多个附加填充字节X 扩展位如果设置，则固定标题后面是一个标题扩展CC CSRC标识符数(见下文)M 标记位改变解释，但可用于标记诸如帧分界的重要事件PT 有效载荷类型标识RTP有效载荷的AV格式对于发送的每个RTP包，序列号增加1，因此接收器可使用它检测包损耗，并恢复包序列。如果RTP包周期性产生，则时间戳被设为经过的AV采样时钟报时信号数。
同步源(SSRC)标识符是随机选择的值，这意味着在特定RTP对话中是全球唯一的。如果参与方在一个RTP对话中例如从独立的视频摄像机中产生多个流，则每个必须被标识为不同的SSRC。供给源(CSRC)标识符仅存在于具有多个供给源的混合AV流内。
下列字段形成BT.656包标题的一部分，其作为扩展字段附加到RTP包标题上F F＝0表示扫描线属于帧的第一字段；F＝1表示第二字段V V＝1表示该扫描线是垂直消隐的一部分TYPE(类型)这表示有效载荷内帧编码类型。例如，在PAL系统中，(13.5MHz采样速率；每线720个采样；每秒50场；每帧625线)，类型＝1。
P P指出所需的采样量化大小。P＝0表示有效载荷包括8位采样。否则，采样是10位。在10位视频的情况下，线长度将超过允许的最大包大小，并且因此线必须分割在两个包上。
Z 保留扫描线可从1到625变化，包括1和625。扫描偏移字段用于允许在多个包上分割扫描线。至于音频信号，扫描线表示在该包内包含的音频信号部分的排序。
接着是音频有效载荷。下面将描述音频有效载荷的格式。
图8示意性示出了AES音频有效载荷子包结构。
每个子包从包括以下字段的32位标题开始DID(数据ID) 匹配在串行数字(SDI)视频中发现的音频数据包、扩展数据包和音频控制包DID。音频数据包DID指示子包有效载荷仅包含音频数据包数据，并且对于该包不存在相关的扩展数据包数据。扩展数据包DID指示子包有效载荷包含音频数据包及其相关的扩展数据包数据。音频控制包DID指示子包有效载荷包含音频控制包数据。00h的DID指示音频有效载荷的末端。下表概况了DID的使用。
有效载荷大小 指示以32位字的有效载荷大小。
通道对1运行计数对于音频数据子包或音频数据&扩展数据子包，这是由除了在后续有效载荷中那些以外的DID指示的音频组的通道对1总数的滚动计数。对于控制数据子包，这是由DID指示的组的控制数据子包的总数的滚动计数。
通道对2运行计数对于音频数据子包或音频数据&扩展数据子包，这是由除了在后续有效载荷中那些以外的DID指示的音频组的通道对2总数的滚动计数。对于控制数据子包，这不使用，并设为0。
图9示意性示出了音频字的格式。
由于AES音频组包括1或2通道对(见SMPTE272M段3.9)，因此AES音频组子包有效载荷包含偶数个音频字。每个音频字都保存在图9所示的32位存储器中。
CH 标识音频组内的音频通道Z 标识通道状态块的开始V AES采样有效位
U AES用户位C AES通道状态位格式化AES音频控制子包有效载荷，如图10示意性所示。对于该有效载荷内容的描述参见SMPTE272M的14节。
图11示意性示出了部分屏幕显示，这例如可在交换和路由客户机6的GUI上或备选地在信号监视器D10提供的GUI上看到。在图11的示例中，三个视频流显示为平铺式图像200。这些可以是全带宽(未压缩)视频的表示，但更可能表示代理视频图像。在这种图像旁，显示有从接收的属性数据(其可在没接收相应全带宽视频信号的情况下接收)中导出的电平指示210。这在每个帧周期更新一次以便显示，并提供每个帧周期中峰值音频电平的示意性显示。因此，当用户看见音频电平以正常方式上升或下降时，用户可再次确保正在处理与音频通道有关的真实音频信号。音频电平指示可以是立体声对形式，如图11左上部示意性显示的；或可以是形成两个立体声通道(或关于单声道)平均值的单一指示，如图11右上部所示；或可以是每个通道多个频带的图形显示，如图11右下部示意性显示的。本领域技术人员要理解到，可选择显示形式来适合电平检测器产生的数据形式。
参考1.BT.656视频编码的RTP有效载荷格式，D.Tynan，(Claddaghfilms)RFC2431，1998年10月。
权利要求
1.一种可连接到网络的网络接口装置，所述装置配置为接收表示音频信号的数字音频数据，并将表示所述数字音频数据的数据包发送到所述网络上，所述装置包括属性检测器，配置为产生表示所述音频信号属性的属性数据；及打包器，可操作用于·将所述数字音频数据格式化成要发送到所述网络上的音频数据包；并·将所述属性数据独立于所述音频数据包格式化成要发送到所述网络上的属性数据包。
2.如权利要求1所述的装置，其中所述属性表示所述音频信号的电平。
3.如权利要求1或2所述的装置，配置为将所述音频数据包和所述属性数据包作为各自独立的多播组发送到所述网络上。
4.如权利要求1-3中任一项所述的装置，其中所述属性检测器配置为在周期间隔内产生表示属性的属性数据。
5.如上述权利要求中任一项所述的装置，其中所述数字音频数据与表示具有图片重复周期的视频信号的数字视频数据相关联；所述属性检测器配置为在每个连续图片重复周期内至少产生一次所述属性数据。
6.如权利要求5所述的装置，其中所述图片重复周期是帧重复周期。
7.如权利要求5所述的装置，其中所述图片重复周期是场重复周期。
8.如权利要求5-7中任一项所述的装置，其中所述数字音频数据由所述装置作为携带所述数字视频数据和所述数字音频数据的合成数据流的一部分来接收。
9.如权利要求8所述的装置，包括数据转换器，用于将所述合成数据流的所述数字音频数据转换成要作为音频数据包发送到所述网络上的独立数字音频数据；其中所述打包器可操作用于将所述数字视频数据格式化成要发送到所述网络上的视频数据包。
10.如权利要求8所述的装置，其中所述打包器可操作用于将所述合成数据流格式化成要发送到所述网络上的合成数据包。
11.一种可连接到网络的网络目标装置，所述装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示所述音频信号属性的属性数据的属性数据包；所述装置包括配置为提供表示所述属性数据当前值的用户指示的用户界面。
12.如权利要求11所述的装置，其中所述用户界面包括用于产生在显示屏上显示的表示所述属性数据当前值的可视指示的部件。
13.如权利要求12所述的装置，包括显示屏。
14.如权利要求11-13中任一项所述的装置，其中所述属性数据表示所述音频信号的电平。
15.如权利要求11-14中任一项所述的装置，其中所述属性数据表示在周期间隔内的属性值。
16.如权利要求11-15中任一项所述的装置，其中所述装置可选择性地操作用于接收所述属性数据包，但不接收所述音频数据包。
17.如上述权利要求中任一项所述的装置，所述装置可操作用于基本实时地将所述音频包发送到所述网络上。
18.一种数据网络，包括一个或多个如权利要求1-10中任一项所述的装置；一个或多个如权利要求11-16中任一项所述的装置；以及在所述装置之间提供数据通信的网络。
19.一种网络接口装置，可连接到网络并可操作用于接收携带数字视频数据和数字音频数据的合成数据流；所述装置包括数据转换器，用于将所述合成数据流的所述数字音频数据转换成独立的数字音频数据；打包器，可操作用于·至少将所述合成数据流的所述数字视频数据格式化成要发送到所述网络上的视频数据包；以及·将所述独立数字音频数据格式化成要发送到所述网络上的音频数据包。
20.如权利要求19所述的装置，其中所述打包器可操作用于将所述合成数据流格式化成要发送到所述网络上的合成数据包。
21.如权利要求19或20所述的装置，配置为接收AES音频流；所述打包器可操作用于将所述独立数字音频数据和所述AES音频流格式化成要发送到所述网络上的音频数据包。
22.一种操作可连接到网络的网络接口装置的方法，所述装置配置为接收表示音频信号的数字音频数据，并将表示所述数字音频数据的数据包基本实时地发送到所述网络上，所述方法包括以下步骤产生表示所述音频信号属性的属性数据；将所述数字音频数据格式化成要发送到所述网络上的音频数据包；以及将所述属性数据独立于所述音频数据包格式化成要发送到所述网络上的属性数据包。
23.一种操作可连接到网络的网络目标装置的方法，所述装置可操作用于接收表示音频信号的音频数据包，并可操作用于接收携带表示所述音频信号属性的属性数据的属性数据包；所述方法包括如下步骤提供表示所述属性数据当前值的用户指示。
24.一种操作可连接到网络并可操作用于接收携带数字视频数据和数字音频数据的合成数据流的网络接口装置的方法，所述方法包括以下步骤将所述合成数据流的所述数字音频数据转换成独立的数字音频数据；至少将所述合成数据流的所述数字视频数据格式化成要发送到所述网络上的视频数据包；以及将所述独立数字音频数据格式化成要发送到所述网络上的音频数据包。
25.具有程序代码的计算机软件，用于执行如权利要求22-24中任一项所述的方法。
26.一种提供介质，提供如权利要求25所述的软件。
27.如权利要求26所述的介质，所述介质为存储介质。
28.如权利要求26所述的介质，所述介质为传输介质。
29.一种携带表示数字音频信号属性的数据的数据包，在比所述数字音频信号的采样周期长的周期上检测所述属性。
全文摘要
一种可连接到网络的网络接口装置，该装置配置为接收表示音频信号的数字音频数据，并将表示数字音频数据的数据包基本实时地发送到网络上，该装置包括属性检测器，配置为产生表示音频信号属性的属性数据；以及打包器，可操作用于将数字音频数据格式化为要发送到网络上的音频数据包，并独立于音频数据包将属性数据格式化为要发送到网络上的属性数据包。
文档编号H04N7/24GK1768374SQ200480008912
公开日2006年5月3日 申请日期2004年3月31日 优先权日2003年3月31日
发明者M·康普顿 申请人:索尼英国有限公司