专利名称：一种保护多媒体视频数据的方法
技术领域：
本发明涉及一种多媒体视频数据保护方法，是一种基于小波变换、数字通信技术的数字水印技术，属于多媒体信号处理领域。
近几年来，数字水印技术在许多应用领域体现了它的重要性，并得到了广泛的重视。尽管目前大多数数据隐藏的研究和文献集中于图象水印，数字视频水印和信息隐藏技术也正在受到越来越多的重视。
数字水印算法中隐藏信息的类型可以是随机序列，也可以是有意义的内容(如文本、图象、视频、音频等)。由前者构成的水印只能给出“有水印”或“无水印”的回答，也即只提供1bit的秘密信息，从而使其应用受到限制。在大多数应用场合，要求嵌入的信息是可读的或可视的，如有意义的字符串(所有者的姓名、地址、标志等)、图象(商标、印鉴等)、视频(有特定访问权限的电视用户才能看到的场景)等，因此有意义数据的隐藏有着更广泛的应用场合。
数字水印算法可以分为两类需要原始媒体的私有系统和不需要原始媒体的公有系统。通常，由于有原始媒体的辅助，私有系统的稳健性要比盲检测系统好，然而由于在大多数应用场合，原始媒体的获取都比较困难，使盲检测系统具有更多的应用价值。由于视频庞大的数据量，盲检测算法对于视频水印尤其重要。
视频水印算法根据嵌入水印的数据域分为两种压缩域算法和非压缩域算法。其中大部分算法属于后者。目前的多数视频水印算法采用随机序列为主，即使是有意义的水印算法也存在着隐藏数据量较小，且不够稳健的不足。其中一个著名的方法是Hartungand Girod提出的一种直接在非压缩视频中嵌入水印的方法，对于NTSC视频，水印的数据率为528byte/s，每帧所能嵌入的数据为17.6byte。在没有受到攻击的情况下，检测数据的比特错误率为5×10-7。另一个著名的压缩视频域上的水印算法是Hartung andGirod提出的，对于NTSC视频，嵌入水印的数据率是每秒钟几个bytes，在MPEG-2压缩码流为7Mbps时，比特差错率为5×10-3。另外，现有的大多数视频水印算法是将图象上的算法直接扩展到视频而得到的。因此缺乏有效的帧同步技术，对抗时间轴攻击的性能较弱。
本发明的目的是提出一种多媒体信号处理方法，使隐藏信息的检测不需要原始媒体；降低了检测信息的差错率；同时解决视频水印特有的稳健性问题。
为了实现上述目的，本发明方法采用如下的水印嵌入和提取两个过程，水印嵌入过程步骤如下1)将视频序列中每帧的亮度分量进行3级2-D DWT(Discrete WaveletTransform)，抽取DWT低频子带系数；2)将水印进行纠错编码；3)视频各帧的DWT低频子带系数进行3-D(Dimension)交织；4)将预处理后的数字水印嵌入到3-D交织后的DWT低频子带系数中；5)将嵌入数字水印之后的DWT低频子带系数进行3-D反交织；6)在低频子带系数图的四角嵌入经过纠错编码的同步信息；7)小波逆变换得到嵌入水印的视频帧；水印提取过程步骤如下1)将视频序列中每帧的亮度分量进行3级2-D DWT(Discrete Wavelet Transform)，抽取DWT低频子带系数；2)提取同步信息并译码，根据同步信息恢复同步；3)视频各帧的DWT低频子带系数进行3-D(Dimension)交织；4)提取嵌入的信息；5)进行纠错译码，得到水印。
水印可以是文本、数字、图形或签名的数字文档，在嵌入时按一定的扫描顺序将其组成一维的数据。
下面对本发明方法作进一步描述。
本发明的水印嵌入过程是1)将视频序列中每帧的亮度分量进行3级2-D DWT变换，得到10个子带{LHi，HLi，HHi，LL3，i＝1-3}，其中LL3子带是原始视频帧的低通近似，本发明选择LL3子带系数嵌入信息；2)将水印W进行BCH纠错编码，生成X。本发明采用(r，8)形式的BCH码，其中r表示BCH码长。本发明用一个具有256个BCH码字的码书，Sm，0≤m＜256，来对应一个字节的256个可能值。待隐藏数据的每个字节Wi，对应于信号集中的一个原型信号Sm，被映射为一个BCH码字r的确定需要折衷考虑视频帧的容量和纠错能力。r越大，两个码字间的汉明距离越大，纠错能力越强，但同时可隐藏的数据量会越小。本发明选择r为61。以十六进制表示，BCH的生成多项式为g(z)＝{2759262D5D 506D}根据纠错编码原理，上述任意两个BCH码字之间的汉明距离为27，能纠正13个随机错误。X{Xi}可以看作一个比特流。
3)在每帧LL3子带系数图中部抽取一个N×N的系数块，其中N是2的幂次方，再将N帧的系数块放在一起，形成一个N×N×N的三维系数块B，对这样一个三维系数块采用三维滑动窗交织的方法进行交织，得到交织了的N×N×N系数块B′。如果嵌入的是有意义的信息，而非随机序列，则丢帧或大范围的视频截断，将导致隐藏信息位的连续错误(许多嵌入的信息位都丢失了)，对应于通信中的突发错误。交织编码技术是通信理论中抵抗突发错误的有效方法。因此本发明引入3-D交织技术以增强水印信号对抗突发错误的稳健性。
4)将X按比特依次嵌入到B′中，生成B″；本发明提出用代表待嵌入的信息位“0”和“1”的值置换小波变换系数整数部分的最低4个有效位。其中代表信息位“1”和“0”的值分别是“1100b”和“0100b”。如果水印图象遭遇攻击出现失真，只要隐藏数据的小波系数的变化在-4～3的范围内，则嵌入数据都可以被正确地检测到。
5)将B″进行3-D反交织，反交织方法与交织方法相同；6)将用一个字节表示的帧号fn进行如步骤2中相同的BCH纠错编码，生成长度为61个比特的fn′，并在各帧的低频子带系数图的四角嵌入。本发明分别用“11000b”和“01000b”置换小波变换系数的最低5个有效位来嵌入同步信息位“0”和“1”。
7)小波逆变换得到嵌入水印的视频帧。
本发明中水印的提取过程不需要原始视频，步骤如下1)DWT。将待检测的视频每一帧的亮度分量进行3级小波分解得到10个子带。选择低频子带系数。
2)提取同步信息，恢复帧同步。提取每一帧DWT低频子带四角部分的61个系数整数部分的第5个最低有效位作为同步信息，然后进行BCH译码得到帧号。按照帧号递增的原则将各帧的顺序进行调整。设调整后相邻两帧的帧号分别为I和J，若J-I≠1，把I帧的LL3子带插补入I帧与J帧的LL3子带之间，重复J-I-1次，以实现正确的同步。
3)3-D交织。在同步处理过的LL3小波系数中抽取N×N的块，其中N是2的幂次方，N帧的N×N的块组成一个N×N×N的三维系数块B*，对B*进行3-D交织，生成B**；4)检测实际嵌入的信息。记coef*为B**中待检测的小波系数，x*为检出水印信息。Coef*的绝对值的整数部分的第4个有效位即是x*，所有的x*组成比特流x**。
5)BCH解码。如果嵌入数据是字符串，则将x**分割成长度为61位的子序列，对于每一个子系列通过在Sm中搜索与其汉明距离最小的码字，可以得到水印字节。
本发明与现有视频水印技术比较有以下优点1)将数字通信理论中的技术，如BCH信道编码、3-D交织技术、和同步技术结合起来引入视频水印算法中，降低了检测信息的差错率。
2)提出了一种有效的帧同步技术。使检测过程能够自同步，有效地对抗视频水印可能遭到的时间轴上的攻击，如丢帧、帧交换、帧替换等。
3)本发明提出的算法嵌入的数据量较大，稳健性很好。对于CIF格式序列，每帧可嵌入约16.8个字节(不包含BCH编码的冗余部分)。实验中，我们在96帧的352×288的序列中，嵌入了1150个字符。在没有遭受攻击的情况下，嵌入水印可以无差错地得到恢复。嵌入水印的视频序列经MPEG-2编码后的稳健性为对于运动比较小的Salesman序列，当压缩码率为2.7Mb，CR(CompressionRatio)＝11.16，PSNR＝41.12dB时，可以无差错地检测到嵌入的字符串。对于运动复杂，运动范围较大的Mobile序列，当压缩码率为6Mb，CR＝5.07，PSNR＝37.19dB时，可以无差错地检测到嵌入的字符串。
图1-5是视频标准测试序列Salesman和Mobile(每帧大小为352×288，共96帧)的实验结果图。水印是长度为1150字节的文本。
图1是本发明提出的视频水印算法对视频序列Salesman的数字水印图。
图2是本发明提出的视频水印算法对视频序列Mobile的数字水印图。
图3是本发明提出的视频水印算法对丢帧的稳健性测试图(横轴是丢帧率，纵轴是字符差错率)。
(a)Salesman中水印对连续丢帧的稳健性；(b)Salesman中水印对间隔丢帧的稳健性。
图4是本发明提出的视频水印算法对丢帧的稳健性测试(横轴是丢帧率，纵轴是字符差错率)(a)Mobile中水印对连续丢帧的稳健性；(b)Mobile中水印对间隔丢帧的稳健性。
图5是本发明提出的视频水印算法对MPEG-2编码的稳健性(横轴是解码视频的平均峰值信噪比，纵轴是字符差错率)(a)Salesman中水印对MPEG-2编码的稳健性(b)Mobile中水印对MPEG-2编码的稳健性。
图1中，(a)为Salesman序列的第20帧的原始图，嵌入水印的视频帧显示在图1(b)中，其PSNR(Peak Signal Noise Ratio)为49.23dB。由图可知嵌入了水印的帧在视觉上与原始帧无感觉差异。满足不可见性的要求。
图2中，(a)是Mobile序列的第17帧的原始图，嵌入水印的视频帧效果显示在图2(b)中，其PSNR(Peak Signal Noise Ratio)为49.26dB。由图可知嵌入了水印的帧在视觉上与原始帧无感觉差异。满足不可见性的要求。
图3和图4分别为Salesman和Mobile视频序列丢帧后的水印检测性能。按说明书中的水印嵌入过程得到水印视频，然后丢帧。分连续丢帧和间隔丢帧。设一组由32帧组成，则丢帧率为 图3(a)和3(b)分别显示了Salesman在连续丢帧和间隔丢帧的各种丢帧率下检测得到的水印的字符差错率。图4(a)和4(b)分别显示了Mobile在连续丢帧和间隔丢帧的各种丢帧率下检测得到的水印的字符差错率。各图中对比了采用3-D交织技术(图3(a)和4(a)中对应于interleave consecutive frame loss，图3(b)和4(b)中对应于interleavediscrete frame loss)和不采用交织技术(图3(a)和4(a)中对应于original consecutiveframe loss，图3(b)和4(b)中对应于original discrete frame loss)时的稳健性。由图可知1)对于连续丢帧，在fr＜0.5时，采用3-D交织技术比不采用交织技术时的稳健性有明显改善。采用3-D交织后，在32帧中连续丢失帧的数目大于12时，检测到的水印才出现差错。
2)对于间隔丢帧，同样地，在fr＜0.5时，采用3-D交织技术都比不采用交织技术时的稳健性有明显改善。
3)在对抗时间轴上的攻击时，在利用同步信息恢复同步的基础上，采用交织算法比不采用交织算法时的稳健性有明显改善。而且实验表明本发明提出的方法对于丢帧具有很好的稳健性。
图5是本发明提出的方法对MPEG-2压缩的稳健性测试结果。对于Salesman序列，当压缩码率为2.7Mb，CR＝11.16，PSNR＝41.12dB时，可以无差错地检测到嵌入的字符串。当压缩倍数在13.81倍之内时，检测到的嵌入的字符串的字符差错率小于1％。图5(a)给出了稳健性能曲线。对于Mobile序列，当压缩码率为6Mb，CR＝5.07，PSNR＝37.19dB时，可以无差错地检测到嵌入的字符串。图5(b)给出了稳健性能曲线。由实验结果可知，本发明提出的方法对于MPEG-2编码的稳健性优于某些已有的算法。
对视频水印常见的处理还有空域放大。本文提出的算法在嵌入水印的视频序列被放大之后，能够无差错的检测到嵌入的信息。
权利要求
1.一种保护多媒体视频数据的方法，其特征在于该方法采用如下的水印嵌入和提取两个过程，水印嵌入过程步骤如下1)将视频序列中每帧的亮度分量进行3级2-D DWT，抽取DWT低频子带系数；2)将水印进行纠错编码；3)视频各帧的DWT低频子带系数进行3-D交织；4)将步骤2中预处理后的数字水印嵌入到3-D交织后的DWT低频子带系数中；5)将嵌入数字水印之后的DWT低频子带系数进行3-D反交织；6)在低频子带系数图的四角嵌入经过纠错编码的同步信息；7)小波逆变换得到嵌入水印的视频帧；水印提取过程步骤如下1)将视频序列中每帧的亮度分量进行3级2-D DWT，抽取DWT低频子带系数；2)提取同步信息并进行纠错译码，根据同步信息恢复同步；3)视频各帧的DWT低频子带系数进行3-D交织；4)提取嵌入的信息；5)进行纠错译码，得到水印。
2.根据权利要求1所述的一种保护多媒体视频数据的方法，其特征是水印嵌入过程步骤如下1)对视频序列中每帧的亮度分量进行3级2-D DWT，得到10个子带{LHi，HLi，HHi，LL3，i＝1-3}，其中LL3子带是原始视频帧的低通近似，选择LL3子带系数嵌入信息；2)将待嵌入的水印W进行BCH纠错编码，将原始信号集中的一个原型信号，映射到一个BCH码字，得到W′，用比特流表示；3)在每帧LL3子带系数中部抽取一个N×N的二维系数块，再将N帧的系数块放在一起，形成一个N×N×N的三维系数块B，对这样一个三维系数块进行三维滑动窗交织，得到交织了的N×N×N系数块B′；4)依次扫描B′中的系数和W′中的信息位，通过修改系数整数部分的最低4个有效位的值嵌入信息位；5)采用相同的三维滑动窗交织算法对N×N×N系数块进行反交织；6)在LL3子带的四角嵌入经过BCH编码的视频帧号作为同步信息；7)通过2-D IDWT得到嵌入水印的各视频帧；水印提取过程步骤如下1)对待检测的视频序列中每帧的亮度分量进行3级2-D DWT，得到10个子带{LHi，HLi，HHi，LL3，i＝1-3}，抽取其中LL3子带；2)抽取LL3子带四角嵌入的同步信息，并进行BCH译码，得到视频帧号，根据帧号进行帧插补、帧交换，恢复帧同步；3)在恢复同步的视频各帧的LL3子带系数中部抽取一个N×N的二维系数块，再将N帧的系数块放在一起，形成一个N×N×N的三维系数块B*，对这样一个三维系数块进行三维滑动窗交织，得到交织了的N×N×N系数块B**；4)依次提取系数块B**中系数整数部分的第4个最低有效位作为信息位，得到用比特流表示的W*；5)将W*进行BCH译码，得到可能失真的水印W**。
3.根据权利要求1或2所述的一种保护多媒体视频数据的方法，其特征是将视频每帧的帧号作为同步信息嵌入视频中，提取过程中利用该信息进行自同步。
全文摘要
本发明涉及一种多媒体视频数据保护方法,是一种基于小波变换、数字通信技术的数字水印技术,属于多媒体信号处理领域。本发明利用小波变换将视频数据进行分解,采用数字通信技术对水印进行预处理,在小波变换域嵌入水印。最后通过小波逆变换得到嵌入水印的视频数据。与原始视频数据相比,人眼无法区别两者的差别。而数字水印则为这个问题提供了一种区别的手段。水印可以是任何有意义的数字文档。本发明可使通过网络传播的视频数据或文件获得保护。
文档编号H04N5/278GK1377180SQ0211510
公开日2002年10月30日 申请日期2002年4月19日 优先权日2002年4月19日
发明者刘红梅, 黄继武 申请人:中山大学