专利名称：基于混合编解码的h.264视频水印嵌入及提取方法
技术领域：
:本发明是基于混合编解码的H.264视频格式的视频水印嵌入及提取方案，针对
H.264码流中的DCT系数嵌入水印，属于多媒体信息安全领域。
背景技术：
:数字水印是一种非常有效的数字版权保护技术，近些年来得到迅猛发展。它利用人眼的视觉特性，在数字载体中嵌入不影响原载体视觉效果和使用价值的标志信息，在检测时通过专门的方法又能将嵌入的水印信息提取出来。但目前针对数字水印的研究多集中在静态图像领域。现有的一些图像水印算法可以应用到视频水印算法中，但是视频水印并不是图像水印的简单延伸，视频水印应满足一些针对视频的特殊要求，例如视频水印数据量较大，与图像水印存在一定的差别，另外，视频水印还有实时性、随机检测性、盲水印等要求。视频是由连续播放的图像序列构成，因此，相邻帧之间内容存在很大的相关性，连续帧之间存在大量的数据冗余。因为视频数据量较大，为了节约视频存储空间和便于传输，现在视频的主要存在模式是压缩数据。不同的视频压缩格式，采用相似的数据压缩技术，同时在复杂性上存在一定的差别。H264压缩标准在传统压缩技术的基础上，引入了更多的预测模式，使时间和空间复杂度大大增加。264标准相比于其他标准采用了分层的设计方式，分为视频编码层(VCL)和网络提取层(NAL)，以更好地适应不同网络速率下的高品质图像传输。264标准采用高精度、多丰旲块运动设计，最闻支持1/8像素精度的运动矢量；为了提闻运动估计的精确程度，264标准采用更灵活和细致的模式划分和多帧参考技术。因而在编、解码264压缩视频时，速度慢，耗时长。视频水印也就是加载在数字视频上的水印，其目的主要是对数字视频作品进行版权保护，通过鉴别特有的水印信息来确认版权所有者、保护版权所有者的合法权益。目前视频水印有三个嵌入位置:原始视频数据流中、压缩编码过程中和压缩后的视频流中。对应这三种嵌入位置，有三种水印嵌入方案:一、直接嵌入到原始视频数据流中，其优点是水印的嵌入方法多，可以使用图像水印的嵌入方法，缺点是计算量较大，增加了视频码流，降低了视频的质量；相对应的，在提取水印时也需将码流解码出来之后再对原始视频进行提取，增加了算法的复杂度。二、水印在视频的压缩编码过程中进行嵌入，常见的方法是将水印嵌入到量化系数或运动矢量上，其优点是嵌入的水印信息能很好的与视频相结合，不会增加视频流的数据比特率，缺点是会降低视频质量，并且要结合编码器选择水印嵌入算法。三、水印直接嵌入到压缩比特流中，此方案对视频信号的影响最小，且不需要经过编解码，实时性较高，但是受到了压缩比特率的限制，这种方法限定了嵌入水印的数据量的大小。随着人们对视频版权安全的重视程度的提高，出现了许多视频水印的实现方法，大体可以分为三类:空域视频水印、频域视频水印和压缩域视频水印。空域视频水印把视频看作静止图像序列，以图像水印为基础；频域视频水印是在时间轴上嵌入水印；压缩域视频水印是以视频压缩标准存放的压缩数据，水印算法与视频压缩标准相结合。其中，利用频域法嵌入水印的办法应用较多。例如利用DCT变换的特性，可以使得水印数据分布在整个空间域中，所以具有很好的不可感知性；而且经过DCT变换后，视频图像的大多数能量都集中在低频部分，因而在较低频部分嵌入水印具有一定的鲁棒性，但是在将水印嵌入在低频部分又会引起较大的失真，而且由于人眼对亮度信号比对色度信号更加敏感，嵌入在色度信号中的数据在压缩时很容易被清除。数字水印系统的两个最大指标鲁棒性和不可感知性是一对矛盾体，所以水印系统的设计很大程度上力求使产品能够达到二者的最大妥协，而这其中水印嵌入位置的确定又是实现鲁棒性和不可感知性对立统一的核心。如果按照水印技术与数字视频编码系统的结合方式来分类，可以将视频水印技术归为两大类:基于原始视频的方法和基于压缩视频的方法。基于原始视频的水印算法，是对经编码的视频数据完全解码后，在原始视频数据中嵌入水印。如果直接在原始视频中嵌入水印，则许多图像水印的算法都可以直接移植到视频水印中去，缺点是会增加视频码流和降低视频的质量；基于压缩视频的水印算法，则与某种视频压缩标准(如常见的MPEG-2或MPEG-4)相结合，在压缩视频中嵌入水印。本发明受863高科技发展技术项目“面向三网融合的集成播控平台研究与示范”资助。该项目要求在基于这种高品质H264视频上嵌入水印，且水印的嵌入要有非常高的处理速度。上述的各种视频水印的实现方法都不可避免地需要对原始压缩H264进行解码后添加水印。如果按照压缩后的视频经过解码出原始的图像在之中嵌入水印然后再经过H264编码后的方法，则由于解码和编码要大量的耗时则很难到达较快的处理速度，这时就需要充分地利用解码和编码的数据来提高水印嵌入的速度，这就是本方法要解决的问题
发明内容
:本发明是一种基于264视频压缩标准的视频水印方案，相对于传统的视频水印方案需要全部解码视频数据的方案，采用了一种速度更快、效率更高的方案。本方案不需要彻底解码视频数据，在嵌入水印时充分利用原视频的编码参数，最大限度的减少了嵌入水印后的视频与原始视频的差别。在进行解码时，并不是将视频数据全部解码，而是只解码到DCT数据，在其中嵌入水印，同时保留解码过程中出来的编码参数(如:块类型，预测模式，运动矢量等)，快速实现水印嵌入。基于混合编解码的H.264视频水印嵌入及提取方法，其特征在于:其水印的嵌入步骤如下:A.对于原始的H264视频，首先对原始H264视频流进行网络层NAL解码，获得相应的片SLICE解码数据头信息，IDR瞬时解码参考信息，序列参数集信息，图像参数信息集；B.描述H264片信息的数据存放于片的解码数据头信息里；对于片SLICE解码数据头信息，提取其中的描述H264片信息的数据作为H264的视频编码的前导数据予以保存，IDR瞬时解码参考信息，序列参数信息集数据以及图像参数信息集则完整保留原始数据流，并作为H264的图像编码数据集的辅助数据；Cl.对于宏块的类型，首先根据片SLICE解码数据头信息来判断编码片数据是否为如下的几种类型之一或者其他:I帧类型，P帧类型，B帧类型，SI类型，SP类型；同时判断是不是需要SKIP模式处理，如是则进入SKIP处理流程，这时要保留一个标志位；C2.根据获得的宏块的数据类型判断是否存在8x8传输模式，如果存在8x8的传输模式，则在编码部分引入8x8DCT编码数据，如果存在16x16的传输模式，则在编码部分引入16xl6DCT编码数据，否则采用4x4DCT方式编码数据；并获得交织预测模式，该模式作为下面的编码所使用的预测模式PREM，如果存在子类型则还需要相应计算子类型SUB_P ；C3.利用NAL数据即上述步骤A中获得的片SLICE解码数据头信息，IDR瞬时解码参考信息，序列参数集信息，图像参数信息集，解码ref数据以及运动矢量数据MVD，ref数据以及运动矢量数据MVD解码后的数据在H.264解码中应当保留预备下一个宏块处理使用，故放入缓冲中，等待H264解码下一个宏块以及片数据使用；C4.获得编码模式数据CBP，包括亮度的CBP以及色度的CBP数据以被下面编码部分D6步数据处理使用:C5.解码获得量化步长信息QP ；C6解码H264码流获得解码后的DCT数据，该数据在解码过程中为非零的亮度DCT数据，16x16亮度DCT数据，8x8的亮度DCT数据，直流色度数据，交流色度DCT数据，以及非零DCT的位置；这时应按下面式子获得编码用的DCT数据；I uma [po s I uma [ i ] ] =d.dctluma[n]chroma_dc[poschromadc[i]]=d.dctchromadc[n]dct.1uma_16xl6[poslumal6[i]]=d.dctlumal6xl6[n]dct..luma_8x8[posluma8[i]]=d.dctluma8x8[n]chroma_ac[poschromaac[i]]=d.dctchromaac[n]其中dct.luma是除了 8x8和16x16的亮度的DCT信息，d.dct luma是相应的解码获得相应DCT数据，posluma[n]是其中非零的位置数据其他为零；dct.chroma_dc是直流色度DCT数据，d.dctchromadc是相应的解码得到的DCT数据，poschromadc是非零的位置；dct.1uma_16xl6是16x16类型的DCT数据，d.dctlumal6xl6是相应解码获得DCT数据，poslumal6是其中非零的位置，其他为零；dct.1uma_8x8是8x8类型的DCT数据，d.dctluma8x8是相应解码得到的DCT数据，posluma8是其中非零的位置其他为零；dct.chroma_ac是交流色度的DCT数据，d.dctchromaac是解码获得相应DCT数据,poschromaac是其中非零的位置；这个式子实现解码用DCT到编码用DCT的转换；解码首先获得是非零DCT值及非零的位置，而编码用DCT需将这两个结合起来求得编码用图像的DCT数据；C7根据片解码数据的编码类型信息如果是按CABAC编码的则按CABAC方式进行解码处理，否则按CAVLC方式进行解码处理；D下面Dl及以下各步完成基于上述解码参数进行的编码；这些数据包含在下面所述的各步中；对这些H264的编码数据按照H264基础视频流的编码顺序进入熵编码环节处理以及同时加入水印信息；Dl.采用基于DCT域的水印嵌入方法，如果上述获得的宏块的DCT数据为dct，待嵌入的水印序列w(N) ;w(N)表示长度为N的水印序列；m, η为该宏块DCT数据的起始位置；则按照下述算法在亮度信息中嵌入一位水印
信息:
权利要求
1.基于混合编解码的H.264视频水印嵌入及提取方法，其特征在于: 其水印的嵌入步骤如下: A.对于原始的H264视频，首先对原始H264视频流进行网络层NAL解码，获得相应的片SLICE解码数据头信息，IDR瞬时解码参考信息，序列参数集信息，图像参数信息集； B.描述H264片信息的数据存放于片的解码数据头信息里；对于片SLICE解码数据头信息，提取其中的描述H264片信息的数据作为H264的视频编码的前导数据予以保存，IDR瞬时解码参考信息，序列参数信息集数据以及图像参数信息集则完整保留原始数据流，并作为H264的图像编码数据集的辅助数据； Cl.对于宏块的类型，首先根据片SLICE解码数据头信息来判断编码片数据是否为如下的几种类型之一或者其他: I帧类型，P帧类型，B帧类型，SI类型，SP类型； 同时判断是不是需要SKIP模式处理，如是则进入SKIP处理流程，这时要保留一个标志位； C2.根据获得的宏块的数据类型判断是否存在8x8传输模式，如果存在8x8的传输模式，则在编码部分引入 8x8DCT编码数据，如果存在16x16的传输模式，则在编码部分引入16xl6DCT编码数据，否则采用4x4DCT方式编码数据；并获得交织预测模式，该模式作为下面的编码所使用的预测模式PREM，如果存在子类型则还需要相应计算子类型SUB_P ； C3.利用NAL数据即上述步骤A中获得的片SLICE解码数据头信息，IDR瞬时解码参考信息，序列参数集信息，图像参数信息集，解码ref数据以及运动矢量数据MVD，ref数据以及运动矢量数据MVD解码后的数据在H.264解码中应当保留预备下一个宏块处理使用，故放入缓冲中，等待H264解码下一个宏块以及片数据使用； C4.获得编码模式数据CBP，包括亮度的CBP以及色度的CBP数据以被下面编码部分D6步数据处理使用: C5.解码获得量化步长信息QP ； C6解码H264码流获得解码后的DCT数据，该数据在解码过程中为非零的亮度DCT数据，16x16亮度DCT数据，8x8的亮度DCT数据，直流色度数据，交流色度DCT数据，以及非零DCT的位置；这时应按下面式子获得编码用的DCT数据；Iuma[posIuma[i]]=d.dctluma[n]chroma_dc[poschromadc[i]]=d.dctchromadc[n]dct.1uma_16xl6[poslumal6[i]]=d.dctlumal6xl6[n]dct..luma_8x8[posluma8[i]]=d.dctluma8x8[n]chroma_ac[poschromaac[i]]=d.dctchromaac[n] 其中dct.luma是除了 8x8和16x16的亮度的DCT信息，d.dctIuma是相应的解码获得相应DCT数据，posluma[n]是其中非零的位置数据其他为零；dct.chroma_dc是直流色度DCT数据，d.dctchromadc是相应的解码得到的DCT数据，poschromadc是非零的位置；dct.1uma_16xl6是16x16类型的DCT数据，d.dctlumal6xl6是相应解码获得DCT数据，poslumal6是其中非零的位置，其他为零；dct.1uma_8x8是8x8类型的DCT数据，d.dctluma8x8是相应解码得到的DCT数据，posluma8是其中非零的位置其他为零；dct.chroma_ac是交流色度的DCT数据，d.dctchromaac是解码获得相应DCT数据,poschromaac是其中非零的位置； 这个式子实现解码用DCT到编码用DCT的转换；解码首先获得是非零DCT值及非零的位置，而编码用DCT需将这两个结合起来求得编码用图像的DCT数据； C7根据片解码数据的编码类型信息如果是按CABAC编码的则按CABAC方式进行解码处理，否则按CAVLC方式进行解码处理； D下面Dl及以下各步完成基于上述解码参数进行的编码；这些数据包含在下面所述的各步中；对这些H264的编码数据按照H264基础视频流的编码顺序进入熵编码环节处理以及同时加入水印信息； Dl.采用基于DCT域的水印嵌入方法，如果上述获得的宏块的DCT数据为dct，待嵌入的水印序列w(N) ;w(N)表示长度为N的水印序列； m, η为该宏块DCT数据的起始位置；则按照下述算法在亮度信息中嵌入一位水印信息:
全文摘要
基于混合编解码的H.264视频水印嵌入及提取方法属于多媒体信息安全领域。本方案不需要彻底解码视频数据，在嵌入水印时充分利用原视频的编码参数，最大限度的减少了嵌入水印后的视频与原始视频的差别。在进行解码时，并不是将视频数据全部解码，而是只解码到DCT数据，在其中嵌入水印，同时保留解码过程中出来的编码参数(如块类型，预测模式，运动矢量等)，快速实现水印嵌入。本发明是一种基于264视频压缩标准的视频水印方案，相对于传统的视频水印方案需要全部解码视频数据的方案，采用了一种速度更快、效率更高的方案。
文档编号H04N7/30GK103152578SQ20131009794
公开日2013年6月12日 申请日期2013年3月25日 优先权日2013年3月25日
发明者谢卫华, 王永滨, 伏文龙, 谢金宝 申请人:中国传媒大学