专利名称：智能型网络化高清非线性编辑系统的制作方法
技术领域：
本发明涉及的是一种信息技术领域的系统，具体是一种智能型网络化高清非线性编辑系统。
背景技术：
电视节目按图像的分辨率可分为高清(1920*1080隔行或1280*720逐行)和标清(720*576或720*480)两个级别。非线性编辑是影视节目制作的主要手段。为了提高内容生产效率和共享素材等目的，非线性编辑系统往往被组成网络进行使用。在高清级别上的网络化非线性编辑问题目前还是一大难题，基于无压缩高清视频的FC-SAN(存储区域网)是目前实际使用中采用的一种方式。但由于高清无压缩素材的码率非常高，一个FC-SAN系统也最多只能支持4～5个站点同时工作，而且相应的硬件平台和软件工具的价格非常高。关于高清非线性编辑的视频压缩，国际上有两类方法第一类是基于帧内DCT的方法(包括MPEG-2帧内，Motion JPEG，DVCPRO HD，等)，缺点是压缩效率较低，有块效应；第二类是帧间压缩(含HDV格式)，缺点是对GOP进行截断处理后的质量会有所下降。
经对现有技术的文献检索发现，目前实用的非线性编辑网普遍采用“双网结构”的概念，如专利号为CN01131290.4、名称为“一种使用双码率视频流制作电视节目的系统和方法”的专利，该专利中，有卡工作站在进行素材上载的过程中，将素材同时采集为高质量和镜像低质量两种文件进行保存，一般高质量素材采用MPEG-2或Motion JPEG压缩方式，低质量采用MPEG-4压缩方式；采用高速、低速两个网络进行数据交互，使用低速网传输低质量素材和一些控制信息进行“粗编”，采用高速网传输高质量素材进行“精编”，低速网可用百兆网；高速网采用千兆网或FC(光纤通道)，当然，两个逻辑上的网络通道也属于此范畴；两个网络，两种素材之间采用EDL表等方式进行关联和同步。这种“双网结构”的系统很好地解决了如何在使用效率和系统设备成本之间的矛盾，有很大的实用性，但是也有很多不足之处(1)采集的时候需要两个编码器或编码模块同时工作，分别存为两个文件；这种存储方式增加了存储空间占用，并为数据同步带来一定的麻烦，而且增加了管理的复杂度。(2)对素材的使用方式和质量级别在上载时即已确定，只有两种码率可供选择，灵活性较低。(3)网络应用中，无法灵活有效地使用网络资源，QoS低，且网络的扩展性较差。(4)各个公司在压缩方式的选择、工程信息文件的格式上都不一样，造成素材和编辑信息无法交互共享。
发明内容
本发明针对现有技术的不足，提供一种高性能的智能型网络化高清非线性编辑系统，使其图像质量好，能支持无损压缩，且压缩的格式易于编辑，充分地利用了网络带宽资源，而且使系统具有极强的可扩展性。
本发明是通过以下技术方案实现的，本发明包括应用模块组、核心支撑模块组、外部交互模块组。本发明系统采用Server/Client模式，网络拓扑结构采用一种以NAS为主体的可扩展结构，应用模块组负责节目编辑相关的上层应用，核心支撑模块组负责Server端的存储管理，并向应用模块组相关功能模块提供数据和编解码服务，外部交互模块组负责输入输出和系统间的交互，是核心支撑模块组所管理素材和信息的入口和出口。
核心支撑模块组包括素材管理模块、存储管理模块、数据提取模块、网络侦测模块、模式设定模块、J2M Codec模块，其中，素材管理模块将对素材建立一个专门的数据库，可以通过记录并监测素材和中间生成文件的使用频率等信息，为有效使用存储空间提供帮助，将有效解决非线性编辑网存储系统中无效数据过多、资源严重浪费的现象；存储管理模块负责存储设备的管理；文件共享模块负责向Client端提供高效的网络共享服务；数据提取模块作为最关键的模块之一，负责以最高效的方式从压缩素材中按需提取有用的信息；网络侦测模块通过侦测网络流量、检查网络配置、预测网络资源占用为数据提取模块提供参数选择；模式设定模块支持为数据提取模块提供人工设定的参数；J2MCodec模块负责对J2M文件数据提供打包、解包、编码、解码服务。
外部交互模块组包括J2M上载模块、J2M下载模块、MXF打包输出模块、MJ2K打包输出模块、数据转码与迁移模块、实时播出模块、素材流化处理模块。其中，J2M上载模块通过专用硬件板卡对高清视音频数据进行采集、压缩、J2M打包操作；J2M下载模块通过专用硬件板卡对J2M序列进行解包、解压、输出操作；MKF打包输出模块和MJ2K打包输出模块分别对J2M序列进行重新打包以符合标准的MXF格式或Motion JPEG2000格式，便于数字电影发行或节目交互；数据转码与迁移模块负责将J2M序列转变为其它的编码格式；实时播出模块负责利用专用的硬件板卡编码输出MPEG-2标准的TS流，实现制作播出一体化功能；素材流化处理模块负责将素材文件按照ISO13818-1规范进行分组打包，进行流化输出。
应用模块组将负责节目的粗编、精编、加字幕、特效处理、审片、渲染与生成等上层应用。这些功能与传统意义上的功能并无太大区别，本系统中全部采用国际标准的XML格式进行各个子系统之间的编辑信息交互。
本发明提出了一种以NAS为主体的高清非线性编辑网络结构，采用Server/Client的工作模式，系统成本比使用SAN技术的高清非线性编辑网大幅下降。如果需要扩展服务端的存储容量和处理效率，可将服务器端扩展为SAN结构，组成一种NAS+SAN的架构。有效的压缩方式为这种拓扑结构的实现提供了充分的保证，而且由于素材文件只有一个，为服务器端对素材库的有效集中管理提供了方便。
本发明系统还涉及到一些硬件板卡高清JP2000编解码板卡负责实时采集编码和解码输出；高清MPEG-2编码卡负责MPEG-2实时编码功能；TS流播出卡负责成品节目传输流和素材流的输出功能。
本发明采用JPEG2000作为基本压缩手段。JPEG2000综合了小波变换(Wavelet Transform)和嵌入式算术编码器(EBCOT，嵌入式块编码优化截断算法)的技术优势，相对于以离散余弦变换DCT的压缩标准，率失真性能有大幅提高，帧内压缩效率极高，压缩后的图像显得更加细腻平滑，同时支持无损压缩和有损压缩两种模式。
本发明定义了一种“层-分辨率-分量-位置”优先顺序的视频压缩数据排放格式，以便于对视频数据进行可分级提取；定义了一种J2M文件格式，该格式充分考虑到了音视频的同步与提取问题。细节将在具体实施方法中给出。
根据上述J2M文件格式和“层-分辨率-分量-位置”压缩视频优先排放顺序，本发明提出了一种智能化的视音频预览方式，该方式可以使用户在网络化应用中，从Server端按照一定的质量级别智能地提取所需的码流，在Client端进行预览和“粗编”，该质量级别可以由用户自行设定，也可以通过网络侦测模块对网络流量进行监测或预测，然后自动设定。在数据的提取操作过程中，采用Direct Access技术，替换了操作系统提供的对媒体文件的默认存取技术，直接对媒体数据进行处理，以便减少网络带宽使用。该项技术可以充分有效地利用网络带宽资源，使系统具有极大的可扩展性，从根本上解决了传统“双网结构”方案中用户数受到限制和用户数不多时不能充分利用带宽资源的问题。
本发明充分利用了JPEG2000对图像帧内压缩的高效率、采用高效的编码压缩方法，具有可伸缩性等特点，同时支持无损和有损两种模式，大大节约了高清节目的存储空间，并且使得网络流量可控，解决了网络带宽的瓶颈限制问题，很好地解决了网络化高清非线性编辑中所遇到的图像质量要求高与存储和传输带宽资源有限之间的矛盾。只采集保存一个素材文件，但是却可以分级使用，节约了存储空间，易于管理，从根本上解决文件同步带来的一系列问题。在网络上进行“粗编”时，预览图像质量对网络带宽有自适应性和可设置性，可以以多种级别质量进行预览，充分地利用了网络带宽资源，系统成本非常低。
图1为本发明智能型高清非线性编辑网络拓扑2为本发明系统功能模块3为本发明网络化高清非线性编辑工作流程图具体实施方式
如图1所示，本发明提出了一种以NAS为主体的高清非线性编辑网络结构，采用Server/Client的工作模式，系统成本比使用SAN技术的高清非线性编辑网大幅下降。如果需要扩展服务端的存储容量和处理效率，可将服务器端扩展为SAN结构，组成一种NAS+SAN的架构。有效的压缩方式为这种拓扑结构的实现提供了充分的保证，而且由于素材文件只有一个，为服务器端对素材库的有效集中管理提供了方便。
图2是本发明系统功能模块图。其中核心支撑模块组将负责向节目制作相关应用软件提供数据和编解码服务，并将负责Server端的存储管理。其中，素材管理模块将对素材建立一个专门的数据库，可以通过记录并监测素材和中间生成文件的使用频率等信息，为有效使用存储空间提供帮助，将有效解决非线性编辑网存储系统中无效数据过多、资源严重浪费的现象；存储管理模块负责存储设备的管理；文件共享模块负责向Client端提供高效的网络共享服务；数据提取模块负责以最高效的方式从压缩素材中按需提取有用的信息；网络侦测模块通过侦测网络流量、检查网络配置、预测网络资源占用为数据提取模块提供参数选择；模式设定模块支持为数据提取模块提供人工设定的参数；J2M Codec模块负责对J2M文件数据提供打包、解包、编码、解码服务。
应用模块组将负责节目的粗编、精编、加字幕、特效处理、审片、渲染与生成等编辑有关的上层应用。这些功能与传统意义上的功能并无太大区别，本系统中全部采用国际标准的XML格式进行各个子系统之间的编辑信息交互。
外部交互模块组将负责非线性编辑网与外界的交互，这些功能包括J2M上载模块通过专用硬件板卡对高清视音频数据进行采集、压缩、J2M打包操作；J2M下载模块通过专用硬件板卡对J2M序列进行解包、解压、输出操作；MXF打包输出模块和MJ2K打包输出模块分别对J2M序列进行重新打包以符合标准的MXF格式或Motion JPEG2000格式，便于数字电影发行或节目交互；数据转码与迁移模块负责将J2M序列转变为其它的编码格式；实时播出模块负责利用专用的硬件板卡编码输出MPEG-2标准的TS流，实现制作播出一体化功能；素材流化处理模块负责将素材文件按照IS013818-1规范进行分组打包，进行流化输出。
本发明系统还涉及到一些硬件板卡高清JP2000编解码板卡负责实时采集编码和解码输出；高清MPEG-2编码卡负责MPEG-2实时编码功能；TS流播出卡负责成品节目传输流和素材流的输出功能。
本发明中，J2M编码格式是用于编辑的统一的视音频数据存放格式，它的具体定义如下
VIDEO_description_data
AUDl0_description_data
SOUND_SAMPLE_DESCRIPTION
说明1.文件头为4M Bytes，其后为视音频数据，以交织的形式存放。
2.对于隔行的高清源，视频数据以场的形式存放；对于逐行源，则以帧的形式存放。VIDEO_description_data中的hasField字段标明是否为场模式。
如图3所示，为本发明所提出的网络化高清非线性编辑系统的工作流程图，具体如下Step1素材采集。运行在有卡工作站或插有板卡的服务器上的J2M上载模块控制高清JPEG2000硬件编解码卡对输入的高清原始信号进行采集和实时编码；可以将编码模式设为无损压缩或有损压缩模式；对于有损压缩模式还可以指定一个目标码率；对音频信号采用无压缩的PCM方式进行采集；将得到的压缩视频信号和无压缩音频信号按照J2M格式进行打包，保存到存储系统中。
Step2网络工作站数据获取。在Client端，运行在无卡工作站上的数据提取模块根据模式设定模块，或网络侦测模块提供的视频质量级别参数，利用Server端提供的文件共享服务，从保存在存储设备上的J2M码流中提取部分数据，送给J2M Codec模块解码，用于粗编。如果网络状况好，可以多提取一些数据，恢复后预览的质量较好，甚至可以达到完全数据的最高质量；反之，虽然提取的数据量较少，但仍然可以恢复出整个图像的概貌，只不过在图像的清晰度、帧率等指标上有所损失，而并不会使图像残缺不全。需要特别说明的是，数据并不需要保存到Client本地硬盘，而是需要用到某一帧时再实时提取，所以从流程上是非常简单的。为了保证数据提取的高效性，本发明采用直接对服务器文件内部码流数据进行操作的Direct Access方式，避免了不必要的码流数据在网络上的传输。
Step3粗编。非线性编辑包括剪切、字幕、轨内视频滤镜、轨间转场特技、音效处理等多种操作；对于高清影视节目制作来说，颜色校正等特殊特效处理必需要在高质量的环境下进行，而其他大部分操作可以在低质量的环境下进行。在Client端的无卡工作站上首先完成最耗时且对监看质量要求不高的操作环节，待初审通过之后，用标准的XML格式导出编辑信息。
Step4精编。由于自始至终只有一个素材文件存在，XML又是广为接受的国际性标准化编辑信息文件，可以在Server端方便地映射到对原始素材文件的处理。然后，在原始素材上再进一步进行更加精细的编辑处理，包括颜色校正等特殊特效处理。
Step5输出。编辑好的节目通过终审之后，可以根据需要在有卡工作站上进行多种方式的输出可使用J2M下载模块和高清JPEG2000硬件编解码卡输出或下载存到录像带上；可使用MXF打包输出模块、MJ2K打包输出模块分别进行MXF和Motion JPEG2000格式的打包用于数字电影发行或内容交换；可以使用实时播出模块和素材流化模块，结合高清MPEG-2编码卡和TS流播出卡的硬件支持进行成品节目或音视频素材的输出；也可以使用转码与迁移模块进行转码再利角。
如果不采用上述网络化编辑方式，而直接在Server端或SAN内部进行编辑，该系统也同样适用，在这种情况下，Step2、3、4将合并简化。
本发明采用Server/Client模式，网络拓扑结构采用一种以NAS为主体的可扩展结构，网络所能承载的工作站点数量具有无限可扩展性；采用JPEG2000为素材视频压缩的基本技术手段，支持无损和有损两种模式，采用J2M格式作为音视频数据的基本保存格式；只采用一个文件保存素材信息，而这个文件具有无限级的质量提取性能，即“一次采集，多级使用”。综上所述，本发明充分地利用了网络带宽资源，很好地解决了网络化高清非线性编辑中所遇到的图像质量要求高与存储和传输带宽资源有限之间的矛盾，使系统具有极强的可扩展性；系统成本非常低。
权利要求
1.一种智能型高清非线性编辑网络系统，包括应用模块组、核心支撑模块组、外部交互模块组，其特征在于，采用Server/Client模式，网络拓扑结构采用一种以NAS为主体的可扩展结构，应用模块组负责节目编辑相关的上层应用，核心支撑模块组负责Server端的存储管理，并向应用模块组相关功能模块提供数据和编解码服务，外部交互模块组负责输入输出和系统间的交互，是核心支撑模块组所管理素材和信息的入口和出口。
2.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，核心支撑模块组包括素材管理模块、存储管理模块、数据提取模块、网络侦测模块、模式设定模块、J2M Codec模块，其中，素材管理模块将对素材建立一个专门的数据库，通过记录并监测素材和中间生成文件的使用频率信息，为有效使用存储空间提供帮助；存储管理模块负责存储设备的管理；文件共享模块负责向Client端提供高效的网络共享服务；数据提取模块作为关键模块之一，负责以最高效的方式从压缩素材中按需提取有用的信息；网络侦测模块通过侦测网络流量、检查网络配置、预测网络资源占用为数据提取模块提供参数选择；模式设定模块支持为数据提取模块提供人工设定的参数；J2M Codec模块负责对J2M文件数据提供打包、解包、编码、解码服务。
3.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，外部交互模块组包括J2M上载模块、J2M下载模块、MXF打包输出模块、MJ2K打包输出模块、数据转码与迁移模块、实时播出模块、素材流化处理模块，其中，J2M上载模块通过专用硬件板卡对高清视音频数据进行采集、压缩、J2M打包操作；J2M下载模块通过专用硬件板卡对J2M序列进行解包、解压、输出操作；MXF打包输出模块和MJ2K打包输出模块分别对J2M序列进行重新打包以符合标准的MXF格式或Motion JPEG2000格式，便于数字电影发行或节目交互；数据转码与迁移模块负责将J2M序列转变为别的编码格式；实时播出模块负责利用硬件板卡编码输出MPEG-2标准的TS流，实现制作播出一体化功能；素材流化处理模块负责将素材文件按照ISO13818-1规范进行分组打包，进行流化输出。
4.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，应用模块组，负责节目的粗编、精编、加字幕、特效处理、审片、渲染与生成等节目编辑相关的功能。
5.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，采用XML格式进行各个子系统之间的编辑信息交互。
6.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，采用JPEG2000作为基本压缩手段，支持无损压缩和有损压缩两种模式。
7.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，采用“层-分辨率-分量-位置”优先顺序的视频压缩数据排放格式，以便于对视频数据进行可分级提取；采用J2M格式作为音视频数据的基本保存格式。
8.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，从Server端按照质量级别智能地提取所需的码流，在Client端进行预览和“粗编”，该质量级别由用户自行设定，或通过网络侦测模块对网络流量进行监测或预测，然后自动设定。
9.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，在数据的提取操作过程中，采用Direct Access技术，替换了操作系统提供的对媒体文件的默认存取技术，直接对媒体数据进行处理，以便减少网络带宽使用。
10.按照权利要求1所述的智能型网络化高清非线性编辑系统，其特征是，还包括硬件板卡，其中，高清JP2000编解码板卡负责实时采集编码和解码输出；高清MPEG-2编码卡负责MPEG-2实时编码功能；TS流播出卡负责成品节目传输流和素材流的输出功能。
全文摘要
一种信息技术领域的智能型高清非线性编辑网络系统，包括应用模块组、核心支撑模块组、外部交互模块组。本发明采用Server/Client模式，网络拓扑结构采用一种以NAS为主体的可扩展结构，应用模块组负责节目编辑相关的上层应用，核心支撑模块组负责Server端的存储管理，并向应用模块组相关功能模块提供数据和编解码服务，外部交互模块组负责输入输出和系统间的交互，是核心支撑模块组所管理素材和信息的入口和出口。本发明充分利用了JPEG2000对图像帧内压缩的高效率、具有可伸缩性等特点，同时支持无损和有损两种模式，大大节约了高清节目的存储空间，很好地解决了网络化高清非线性编辑中所遇到的图像质量要求高与存储和传输带宽资源有限之间的矛盾。
文档编号H04N7/26GK1777269SQ20051011101
公开日2006年5月24日 申请日期2005年12月1日 优先权日2005年12月1日
发明者王兴东, 孙军, 关景火, 俞怡炜 申请人:上海交通大学