在信息信号中嵌入数据的方法

专利名称：在信息信号中嵌入数据的方法
在信息信号中嵌入数据的方法
技术领域：
本发明涉及一种在信息信号中嵌入数据的方法。本发明还涉及一 种恢复嵌入在信息信号中的数据的方法。特別地，但是不排他地，本 发明涉及一种嵌入数据以使该数据对于信息信号的更改或恶化很健壮
(robust)并且能够被恢复的方法。
目前，利用连接到一起的计算机网络，例如经由互联网，很容易获取 和分发代表信息信号(例如，图像和声音)的数字数据。
然而，便利的数据分发为这种数据中的版权所有者带来问题。例如， 已知的是违反版权法分发和拷贝媒体文件，例如，视频文件。这样的分发 和拷贝导致相应版权的所有者接收不到应得的版税。对于其他形式的媒体 文件，例如音乐文件，也存在相似的问题。
为了防止和检测这种未经授权的拷贝和分发，已知的是在信息信号内 嵌入数字水印。数字水印可以提供证实信息信号真实性(authenticity) 的机制。可替换地，数字水印可用于法庭目的W测未经授权的信息信号 拷贝。数字水印通常包括版权所有者的姓名、购买者的身份、和诸如"切 勿拷贝"、"拷贝一次"、"不再拷贝"之类的标记。该标签用于防止产生未 经授权的拷贝。例如，被标记为"切勿拷贝"的MPEG视频文件将会防止 利用能够读取该标记的硬件和软件来拷贝该MPEG文件。相似地，被标记 为"拷贝一次"的MPEG文件将会允许拷贝一次。新的拷贝将会4皮标记为 "切勿拷贝"，并且在原始MPEG文件上的标记将被修改为"不再拷贝"。
现在，在更广的范围内都能看到水印技术，其中，水印是由编码器经 由噪声信道发送给解码器的消息。该噪声信道典型地是声音、图像或视频 信号。在接收到该水印时，解码器对接收到的消息进行估计。声音、图像 或视频信号的更改(例如，缩放)会使估计接收到的水印消息更困难。
当数字水印被嵌入进音频或视频数据中时，仅仅是模糊地添加水印， 以便不使数据明显地恶化或失真。同时，音频或视频数据可能正在随着时 间迅速明显地变化。因此，为了允许从视频数据中重现(retrieval)水印 数据，已知的是在存储在緩冲器中的一系列帧上积累水印信息，然后使用 一个或多个预期的水印模板应用相关技术，以便证明或反驳视频数据中水印的存在。然而，已知的是，除非视频内容的初始比例(scale)已知或者视频内 容的比例因子已知，利用空间相关来恢复水印数据是非常难实现的-如果 不是实质上不可能。存在许多种发现比例因子的方法。一种已知的水印方案应用嵌入在视频信号中的水印模式。水印模式可 以在视频信号内的每一个图像中都根据已知的空间网格以平铺模式重复。 这些图像被自相关，产生取决于嵌入水印的峰值的一个网格。可以通过通 过比较峰值网格与初始水印得到比例因子的测量结果。初始比例因子对应 于相关峰值在相关数据中的位置。在下面的公开中描述了这种方案公开 号为US2002/0114490的美国专利申请、1998年Proc SPIE笫3528巻， Multimedia systems and applications, Kutter 的 "Watermarking resistant to translation, rolation and scaling"、和1998年Proc IEEE International Conference on Image Processing, Ter迈ont等人的"How to achieve robustness against scaling in a realtime digital watermarking systems for broadcast monitoring",然而，使用平铺式水印的水印方案具有很多缺点。首先，当视频数据 的格式改变时，平铺式水印被降级。如果在转换过程中发生采样则尤其如此。水印模式可能在非常有限的分辨率上结束，并且可能太小而不能使用。 此外，如果图像被裁减或缩放，图像可能在垂直方向变得太小以致不 能包括两个完整的垂直相邻的水印片，使得4艮难重现垂直比率因子。此外， 如果由于裁减导致图像太小，那么对应于正确比例因子的相关峰值将会4艮小，并且具有将会在视频信号的背景"噪声"中丢失的风险。另一种重现比例的已知方法使用傅立叶-mellin变换。这在如下文献 中描述2001年IEEE Trans Image Processing中Lin等人的"Rotation, scale and translation resilient watermarking for images"和1997 年 Proc IEEE International Conference on Image Processing 中 O，Ruanaidh 等人的 "Rotation, scale and translation invariant digital image watermarking"。这涉及到执行傅里叶变换图像的对数极 坐标映射。然而，这种方法的缺点是这种映射和变换的离散实现以及它们 的逆变换计算密集且对误差敏感。在非预先公开的申请号为04102007.4的欧洲专利申请(申请人档案 号PHNL040497 )中已经提出数字水印技术，其中，在包括一系列图像的 整个视频数据中暂时改变水印的几何特性。这些图像被分成连续的图像组，并且水印的几何特性在组之间被改变。水印检测器能够处理来自不同 组的图像，并分析重现的水印数据，以得到用于视频内^t据的缩放因子。 例如，水印嵌入器被配置为将标准水印模式嵌入在该图像系列中开始的600图像帧内的原始位置。在下一个600帧中，嵌入器嵌入变换格式的水 印。变换了的水印可以是被镜像和/或空间平移和/或旋转。典型地，变换 了的水印包括在水平和垂直方向中都被移位了预定数量像素的原始水印。 在随后的600帧中，嵌入器嵌入原始水印，依此类推。如果视频内容被缩放，那么原始水印和变换了的水印都将会被相应地 缩放。水印解码器被配置为重现图像序列并将图像分类成包含原始图像的 第 一组和包含变换水印的第二组。水印解码器知道嵌入在这两组中的水印 之间的原始变换。因此，通过相互分析这两组，水印解码器能够确定水印 的一个或多个变化，以及这些变换是怎样改变的，从而重现与视频内^目 对于原始视频内容信号的缩放相关的比例因子。然后能够恢复原始水印数 据。然而，这种方法的缺点是水印解码器必需与水印嵌入器在时间上同 步，以便将图像分成两组。这是因为水印解码器需要知道每一系列的帧何 时开始和结束以便具有最高的相关。在没有嵌入器与解码器之间的一些进 一步通信或将另外的信息添加到视频数据的情况下，这种时间同步很难实 现。缺乏水印嵌入器与水印解码器之间的同步将会导致不能正确的检测到 水印，因为原始水印和变换了的水印彼此相互千扰。因此，重现的比例因 子可能是不正确的。这可能意味着不能够恢复水印数据。本发明的目的是消除或緩解现有技术中的一个或多个问题。本发明实 施例的具体目的是提供一种对于视频内容的缩放和旋转很健壮的视频水 印方案。根据本发明的第一方面，提供一种将数据嵌入信息信号的方法，该方 法包括将该数据嵌入信息信号的笫一分量中，并将该数据的变换版本嵌入 信息信号的第二分量中。本发明的优点是通过将数据嵌入信息信号的第一分量中，并且优选地 同时将该数据的变换版本嵌入信息信号的第二分量中，这允许如果信息信 号已经被缩放、旋转或镜像，可以恢复该数据。缩放、旋转或镜像参数能 够被恢复且用于恢复原始数据。本发明的优选实施例对于信息信号的更一 般的几何失真(例如，平移、裁减、改变高宽比和偏移)也4艮健壮。优选地，该信息信号包括视频信号。第一分量可以包招3见频信号的亮 度分量，第二分量可以包括视频信号的色度分量。这是有利的，因为它允 许将数据嵌入在视频信号中，以便如果视频信号例如通过缩放被变换也可 以恢复数据。通过将数据嵌入在亮度分量和色度分量中，确保了解码器不 需要与数据嵌入器在时间上同步。
优选地，该视频信号包括一系列图像。该方法可以包括将数据嵌入在 每个图像中的信息信号的第一分量内，并将该数据的变换版本嵌入在每个 图像中的信息信号的第二分量内。这是有利的，因为这有助于通过緩冲然 后相关该系列图像来恢复该数据和该数据的变换版本。
优选地，该数据包括水印数据的二维阵列。这允许将水印添加到诸如
视频信号之类的信息信号中用于版权的实施(copyright enforcement)。
优选地，该方法进一步包括在至少第一方向内循环地移位所述数据以 产生该数据的变换版本。这允许通过与原始变换相比较来在解码器上恢复 该变换并因此恢复已应用于该信息信号的任何变换。循环地移位数据意味 着变换的数据相对于原始数据是有偏移的，以使它"绕回"。这确保了偏 移数据不会丢失。
优选地，在至少第一方向内移位所述水印数据包括将所述数据在第一 方向内移位水印数据二维阵列长度的二分之一。这提高了以后恢复嵌入数 据的准确性。优选地，该方法进一步包括在至少第一方向内上采样数据的 二维阵列。有利地，这允许该方法应用于视频信号，其中，该信号的色度 分量已经被下采样，而不会导致该数据的变换版本的分辨率降低。
优选地，将该数据的变换版本嵌入信息信号的第二分量中包括将该数 据的第一和第二变换版本嵌入信息信号的第二分量中。有利地，这允许重 现该信息信号的附加变换参数。
优选地，该方法进一步包括以相反的极性嵌入该数据的第一和第二变 换版本。这有助于两种变换版本的检测，因为能够通过在解码器上检查相 关峰值的相应符号来识别它们。
根据本发明的第二方面，提供一种承载用于控制计算机执行上述方法 的计算机可读代码的载体媒介。
根据本发明的三方面，提供一种用于将数据嵌入进信息信号中的计算 机设备，该设备包括存储处理器可读指令的程序存储器、和^^配置为读取 和执行存储在所述程序存储器中的指令的处理器，其中，该处理器可读指 令包括控制处理器执行上述方法的指令，根据本发明的第四方面，提供一种用于将数据嵌入进信息信号中的设 备，该设备包括适于将数据嵌入进信息信号的第一分量中的第 一数据嵌入 器、和适于将该数据的变换版本嵌入进信息信号的第二分量中的第二数据 嵌入器。根据本发明的第五方面，提供一种恢复嵌入进信息信号中的数据的 方法，该方法包括将嵌入进信息信号第 一分量中的数据与嵌入进信息信号 第二分量中的该数据的变换版本相关。本发明第五方面的优点是通过将数据和该数据的变换版本相关，能够恢复变换矩阵，从而允许恢复原始数据。优选地，视频信号包括一系列图像，该方法进一步包括緩存该系列图 像，并将该系列图像分为第一分量和第二分量。这通过提高恢复变换矩阵 的准确性改善了该恢复数据的方法。优选地，该方法进一步包括计算嵌入在第二分量中的该数据的变换版 本的估计的绝对值。这避免了恢复数据不明确的可能性。优选地，该方法进一步包括高通滤波嵌入在第一分量中的数据的估计 和嵌入在第二分量中的该数据的变换版本的估计。这提高了数据-信息信 号比，从而改善了数据恢复。优选地，该方法进一步包括将嵌入在第二分量中的该数据的变换版本 的估计与嵌入在第 一分量中的数据的估计的变换版本相关，以识別提供相 关峰值的变换。然后通过将提供相关峰值的变换与在嵌入在信息信号第一 分量中的数据和嵌入在信息信号第二分量中的该数据的变换版本之间的 已知变换相比较以恢复变换矩阵，提供相关峰值的变换能够用于恢复原始 数据。根据本发明的第六方面，提供一种承栽用于控制计算机执行上述方法 的计算机可读代码的载体媒介。根据本发明的第七方面，提供一种用于恢复嵌入在信息信号中的数据 的计算机设备，该设备包括存储处理器可读指令的程序存储器、和被配置为读取和执行存储在所述程序存储器中的指令的处理器，其中，该处理器 可读指令包括控制处理器执行上述方法的指令。根据本发明的第八方面，提供一种恢复嵌入在信息信号中的数据的设 备，该设备包括适于将嵌入在信息信号第一分量中的数据与嵌入在信息信 号第二分量中的该数据的变换版本进行相关的相关器。现在将仅仅通过例子并参考以下附图来描述本发明


图1是在根据本发明实施例数字化模拟信号将水印嵌入信号内以及
解码水印信号以恢复水印数据中涉及的过程概观的示意性图示； 图2是一维水印和该一维水印的循环移位副本的示意性图示； 图3是缩放后图2的水印和循环移位水印的示意性图示； 图4示意性地图示了将嵌入水印和循环移位嵌入水印旋转的效果； 图5是才艮据本发明实施例用于解码图4中嵌入水印的水印解码器的示
意性图示；
图6示意性地图示了将嵌入水印和两个循环移位嵌入水印旋转的效
果；和
图7是根据本发明实施例用于解码图6中嵌入水印的水印解码器的示 意性图示。
如图1所示，编码器2接收模拟视频信号1,编码器2可以是MPEG 编码器2，该MPEG编码器2被配置为将模拟视频信号1数字化和压缩成 数字视频信号3 (例如，由移动图像专家组创建的数据格式的MPEG流)， 以用于随后的广播或存储。水印嵌入器4接收数字视频信号3。水印嵌入 器4将水印嵌入进数字视频信号3中，生成加水印的视频信号5。随后该 加水印的视频信号被发送和/或重现，并最终由水印解码器6解码。水印 解码器6恢复水印数据7。水印被毫无觉察地隐藏进加水印的数字视频信 号5中，这样用户在观看原始模拟视频流1的重构版本时不能检测到它的 存在。
本发明通过使用视频信号的色彩信息而不是视频信号的时间轴来克 服两个嵌入水印(原始水印和变换水印)之间不同步的问题。原始水印嵌入 在视频图像的亮度分量中，已变换的水印嵌入在视频信号的色度分量中 (或者反之亦然)。这通过允许重现缩放因子提供了相对于视频图像缩放 的健壮性。水印方案对视频内容的旋转或镜像也4艮健壮。由于图像数据亮 度分量和色度分量的时间对齐，根据本发明的水印方案不需要水印解码器 与水印嵌入器同步。由于亮度分量和色度分量的空间对齐，因为在两个水 印上应用完全相同的失真时，缩放或旋转因子重现对于更一般的几何失真 也是健壮的。
可以使用红缘蓝(RGB)色彩模型来模拟彩色视频信号。这是一种加 法模型，其利用能够一起添加红光、绿光和蓝光来产生其它颜色的方式。为视频信号中的每一个像素给出三个独立的值，它们是为了产生正确颜色该像素所需要的红光、绿光和蓝光的强度。RGB色彩模型通常用于在视频 监视器或电视机上显示颜色。通过使用红光、绿光和蓝光强度的适当组合， 屏幕能够再现黑色与白色之间的任何颜色。典型地，每一个RGB值对应于 8比特数，给出红、绿和蓝的256种不同的等级。使用该系统，能够再现 大约16700000种离，色。一种可替换色彩模型是YUV色彩模型，例如，其用于欧洲和其它地方 内的PAL电视广播系统中。Y代表亮度分量(亮度)，U和V是色度(色彩) 分量。存在许多种具有Y分量以及缩放版本的U分量和V分量的可替换色 彩模型。例如通过使用下列公式将R、 G和B值的加权相加从原始RGB源 信号产生YUV信号Y=0. 299R+0. 587G+0.114BU=0. 492 (B-Y)=-0.147R-0. 289G+0. 436BV=0. 877 (R-Y)=0. 615R-0. 515G—0. 100B在电视机或监视器上，能够从YUV值恢复RGB值，以便将正确信号提 供给每一个像素。YUV色彩模型优于RGB色彩模型的地方是它可与黑白电 视信号反相兼容。Y信号实质上是为黑白电视信号广播的相同信号，而可 以忽略U信号和V信号。另外，由于人眼对色彩的分辨率4艮低，在YUV色 彩模型的更改版本中，能够通过下采样来减少在U分量和V分量中发送的 信息，以节省带宽。尽管这里将主要参考YUV色彩模型来描述本发明，但本发明不局限于 此。实际上可以使用任何具有至少两个单独分量的色彩模型，例如，RGB 或者YUV的等同物。现在将参考图2-7来描述将水印数据嵌入视频信号和 恢复水印数据的过程。在本发明的优选实施例中，将水印嵌入在数字视频信号的亮度分量 中，将相同水印的循环移位版本嵌入在数字视频信号的色度分量中。该水 印典型地是二维矩阵模式。该水印与视频信号的图像或帧的尺寸相当，或 者它可以只占图像帧的一小部分。水印可以在整个帧上平铺。通过稍微改 变每一个像素的亮度和/或色度值来嵌入水印。参考图2，可以参考一维的例子来更筒单地解释嵌入循环移位版本水 印的方法。图2描述一维水印10,该水印10有8个元素长。这些元素被编号为 w(O)至w(7)。下面的水印11是水印10的循环移位(即，水平移位以便它绕回)版本，也具有编号为w(0)至w(7)的8个元素。可以看到下面的 水印ll等于上面的氷印10向左移位4个元素，这样它从元素w(4)开始。 上面的水印IO被嵌入进数字视频信号3的亮度分量，下面的水印11被嵌 入进数字视频信号3的色度分量。将会理解的是，可替换地，这可以被视 为是上面的水印IO相对于下面的水印ll循环移位。
上面的水印10和下面的水印11可被看作是单个水印w,可以将其向 左或向右移位。水印w是向量，其有8个元素长。
将移位算子^定义为上面的水印IO与下面的水印ll之间的关系。A 表示移位算子S将水印w向左循环移位的位数。如果将上面的水印10设 置为一般水印w，则下面的水印11等于(SV )，即，w向左移位4位。
水印w被配置成使得它与它自己的循环移位版本不相关
<formula>formula see original document page 12</formula>
其中N是水印的长度；1是计数器；〈w，(^w)〉表示水印w与它自己移 位k位的版本之间的相关；和4t]是Kronecker增量(delta), 5
-l，并
且对于"z、糾，》W-i(其中，z表示整数)。
水印w与它自己移位0个元素或移位水印N的倍数个元素之间的相关 等于l(k-0，即，实际上没有移位)。对于任何其它值的k，该相关等于
0 (即，将水印w向左或向右移位除了水印长度N的倍数之外的任意量)。 将移位算子^定义为
其中，x是向量，x(n)是向量x的笫n个元素，(^c)是在将向量x移 位k位时产生的向量。换句话说，如果将向量x移位k位，则新向量的每 一个元素等于该位置右边k位的向量x的元素。
如上所述，图2中上面的水印IO是水印w，下面的水印11是s 。 如果将上面的水印IO与下面的水印ll相关，则
<formula>formula see original document page 12</formula>。(即，不相关)
然而，如果下面的水印11与上面水印10所有可能的循环移位版本相 关，那么仅仅在将上面的水印10循环移位4个元素时出现相关峰值(或 水印长度N的倍数加上四个元素)，即<formula>formula see original document page 12</formula>
现在参考图3，包括上面和下面水印10， 11的已加水印的数字信号5 在被水印解码器6接收之前已经被缩放。已经用缩放因子2来缩放该水印。已缩放水印20对应于图2中上面的(亮度)水印10。已缩放水印21对 应于图2中下面的(色度)水印11。原始水印10， 11的每一个元素现在占据已缩放水印20, 21中两个元 素的位置。例如，原始元素w(l)现在对应于已缩放元素w(la)和w(lb)。 另外的元素对应于原始水印的元素的内插版本。如果色度水印21与亮度水印20所有可能的循环移位版本相关，那么 仅仅在将亮度水印移位8个元素时出现相关峰值〈("),(")〉=1已知的是，原始循环移位是4个元素，仅仅利用包含在接收的加水印 的数字视频信号4内的信息以及原始变换的知识能够容易地从水印解码 器6上相关亮度水印和色度水印中推导出缩放因子是2。作为笫一步，水 印解码器6估计加水印的数字视频信号5中的一系列接收图像的相应部分 内的亮度水印和色度水印。然后，水印解码器将估计的亮度水印与估计的 色度水印的所有可能移位版本进行相关(或者反之)。这产生了一个或多 个相对较高的相关峰值。由于视频信号的降级或更改，相关峰值、或多个 峰值可能小于1，导致关于是否已恢复精确水印的一些不确定性。一旦计算出缩放因子，水印解码器6能够将原始水印或一系列可能的 原始水印(其具有经由另一信道的接入权)与估计的亮度(或色度)水印 进行相关。这将会指示在加水印的数字视频信号中存在哪个水印。在二维循环移位的情况下，即，对于在水平方向和垂直方向都移位了 的二维水印，能够计算水平缩放因子和垂直缩放因子。此外，如果旋转视 频图像，也能够确定旋转角度。参考图4解释此问题。图4示出两个水印。 第一个水印30嵌入在数字视频信号3的亮度分量中，水印30的水平和垂 直循环移位版本嵌入在色度分量中。向量31表示在分别嵌入在亮度分量 和色度分量内的水印之间的移位。在将加水印的数字视频信号5旋转90 度之后，结果是在加水印的数字视频信号5的亮度分量中的水印32。现 在通过向量33来描绘在亮度水印与色度水印之间的移位。能够看到向量 33等同于将向量31旋转与数字视频信号相同的量(即，90度)。为了方 便，忽略加水印的数字视频信号5的任何其它缩放的可能性。在水印解码器6上，能够通过将色度水印与亮度水印的所有可能移位 版本进行相关来计算向量33。因为水印解码器6知道向量31的原始方向， 能够计算旋转因子，从而恢复水印数据。如果认为加水印的数字视频信号可能已经被缩放以及旋转，则通过应 用相同的相关亮度分量和色度分量的过程来恢复旋转的水印，可以将色度
水印与亮度水印30所有可能的水平和垂直循环移位版本相关来恢复缩放 因子。
可能的旋转因子和缩放因子的准确性与向量31的长度成正比。因此 通过将亮度水印在嵌入色度分量之前循环移位水印的半个水平长度和半 个垂直长度来实现准确性。例如，如果亮度水印是360*240个元素(或像 素)，那么将色度水印在水平方向移位180个元素并在垂直方向移位120 个元素。因为是循环移位，所以移位大于半个水平长度或半个垂直长度等 同于较小的反向移位。
上面描述的缩放因子和旋转因子恢复机制对其他类型的几何失真也 是健壮的。例如，如果一些像素失真，例如，由于图像弯曲或扭曲，则亮 度分量和色度分量失真相同的量。尽管该失真，也可以恢复水印数据。
对于嵌入在亮度分量内的单个水印和嵌入在色度分量内的单个水印， 如果加水印的数字视频信号5被镜像，则将会导致不明确的结果，或不能 检测到水印。
实际上，真实的数字视频信号3常常具有下采样的色度分量。这是因 为人眼对色度分辨率不如对亮度分辨率敏感。因此，通过仅仅下采样色度 分量，可以节省数字视频信号3中的带宽，而不会使数字视频信号可觉察 地降级。通常，在水平方向和垂直方向利用因子2来下采样色度分量(称 为4:2:0子采样)。这意味着尺寸为720*480个像素的图像具有720*480 的亮度分辨率，但是却只有360*240的色度分辨率。
为了适合降低的色度分辨率，有必要在水平方向和垂直方向利用因子 2来下采样嵌入在色度分量的水印。然后，水印解码器必须在相关之前上 采样色度水印。然而，由于该下采样，减少了保存在色度水印中的高频信 息量，导致降低的相关峰值，其可能无法检测到。
因此，为了避免将4: 4: 4的子采样视频信号转换为4: 2: 2的子采样视 频信号而导致的相关峰值中的这种降低，不是将尺寸为360*240的水印嵌 入进亮度分量以及色度分量中，而是首先通过因子2将亮度水印和色度水 印上采样到720*480。当加水印的数据视频信号的色度分量被下采样时， 色度水印实际上被下采样。因此，所有的频率仍然存在，并且相关将会高 很多。可能需要在水印解码器上下采样亮度信号。
可替换地，如果嵌入水印之前对色度分量进行下采样，则通过因子2将亮度水印上采样，并且以原始尺寸嵌入色度水印。此外，亮度水印可能 需要在能够被相关之前在水印解码器上下采样。作为另外的选择，可以只在水平方向下采样色度分量(称为4:2:2子 采样)。如果亮度水印和色度水印被上采样，则在水印解码器上色度水印 在垂直方向的分辨率比在水平方向的分辨率更高。水印解码器可以在水平 方向和垂直方向都下采样亮度水印，并且只在垂直方向下采样色度水印。可以通过改变适当像素的色饱和度来将水印嵌入在色度分量中。如果 该像素的水印元素等于l，则像素色饱和度被稍微提高。如果该像素的水 印元素等于0，则像素色饱和度被稍微降低。为了减小由于嵌入水印而引起的视频信号降级，水印嵌入器可以只改 变那些稍微变化了的像素。这可能需要响应于视频信号的内容来更改水印 模式。通过将像素的U和V分量乘以常数c来更改色饱和度，基于对于一个 特定像素水印的值是"0"还是'T，，独立选择常数c的值。常数c具有 接近于1的值，但是可以随着像素而变化，以使更改不易觉察。如果水印 具有值"1",则常数c具有大于1的值，如果水印具有值"0"，则常数c 具有小于l的值。例如，如果像素原始的U值和V值分别是64和163(在 用8比特表示的值0-255的范围内)，则色饱和度更改如下um = c(f/ -128) +128 = c(64 -128) +128 = 128 - 64c H_128) + 128 = c(163-128) + 128 = 35c + 128常数c具有接近于l的值。如果c〉1，则增加饱和度。如果"l，则 降低饱和度。当饱和度增加时，即，当嵌入水印w(n) -1时，负的色度值 将会变得更小。这能够在检测器上补偿(参见下文，参考图5)。 U值和V 值被同时更改。更改了的Y值计算如下其中，如果水印具有值l，则；i大于或等于0,如果水印具有值"0"， a小于或等于0。图5是根据本发明的检测器操作的示意性图示。根据4: 2: 0子采样方 案对YUV值进行子采样(即，相对于用于4: 4: 4子采样方案的色度水印在 水平方向和垂直方向下采样数字视频信号的色度分量)。为了实现图5的 目的，假定色度值已经落在-128到127的范围内(即，已从色度值中减 去128)。为了补偿原始色度值为负数的可能性(即，当C>1时色度值降低)，将(^值和已值分别通过调制器40和41，以获得^值和乙值的绝对值。 如上面讨论的，对于在嵌入色度水印之后对加水印的数字视频信号5的色 度分量进行下采样的选项，在下采样器42中对乙值进行下采样(在水平方向或垂直方向，或这两个方向)。对于4:2:2子采样方案，在垂直方向 对t/ ,值和已值进行下采样可能是必要的。优选地，将^值和已值的绝对值在加法器43中加到一起。然而，该 相加不是绝对必要的，因为水印解码器能够仅仅从f^值或、值中估计嵌 入在色度分量中的水印。组合的色度值和亮度值通过高通滤波器44和45 。 高通滤波器白化该信号，这有助于估计水印。这是因为水印的能量低于数 字视频信号的能量。然而，在高频，水印的能量相对较高。因此，通iW 更改了的YUV值进行高通滤波，提高了水印,号能量比。这被称为匹配 滤波。可替换地，图像和将要检测的水印可以在相关之前经历仅对称相匹 配滤波(SP0MF: Symmetrical Phase Only Matched Filtering)来代替 图示的高通滤波。这在W099/45707 (Philips公司)中描述，SPOMF利用 对"在水印的多个可能位置上信息信号与所应用水印的相关在傅立叶域被 最佳地计算"以及"通过在相关之前对信息信号和水印应用SPOMF能够提 高检测的健壮性和可靠性，，的了解。SPOMF假定通过傅立叶系数的相位携 带相关检测所需要的大多数相关信息。复数的傅立叶系数的幅度被归一化 以具有基本相同的幅度。然后，在相关器46中将经过高通滤波的色度值与经过高通滤波的亮 度值的循环移位版本相关。基于最高相关峰值的位置，能够通过缩放因子 和旋转因子计算器47来计算缩放因子s和旋转因子r。然后，这能够用 于通过将恢复的水印与原始水印的可能版本相关来恢复原始水印数据。根据上述在信息信号中嵌入和恢复数据的方法，只有当在水印解码器 6上加水印的数字视频信号5的高宽比相对于水印编码器4不变时才可能 恢复缩放因子和旋转因子。可替换地，如果旋转角度已知，则能够恢复高 宽比中的变化。如上面提及的，如果视频内^#1镜像，则能够导致水印数 据的不明确恢复，或不能完全恢复水印数据。这能够通过在色度分量中嵌入另外的循环移位水印来克服。嵌入在色 度分量中的两个水印都是嵌入在亮度分量中的水印的循环移位版本。这两 个水印代表两个独立的向量(即，从亮度水印移位)。这两个向量允许恢16复应用于加水印的数字视频信号5上的另外的变换参数，从而恢复水印数 据。特别地，可以确定水印的高宽比可能变化了的水平缩放因子和垂直缩 放因子、旋转以及镜像。
这可以解释如下。水印w嵌入在尺寸为M*N个像素的数字视频帧的亮 度分量中。为了方便，假定色度分量的分辨率是相同的，但是，将会理解 在这里可以应用与上面描述的相同的上采样方法。水印v嵌入在数字视频 信号的色度分量中。色度水印v包括亮度水印的如下两个循环移位版本
<formula>formula see original document page 17</formula>
移位算子s就像如上定义的，^对应于二维循环移位算子，^是长度
为二具有整数元素的向量。换句话说，s(0)是水平移位，s(l)是垂直移位。
因此，^可替换地可以写为
<formula>formula see original document page 17</formula>
2是代表向量x的第n个像素的二维向量。如前面所述，亮度水印的 循环移位版本与亮度水印不相关
<formula>formula see original document page 17</formula>
移位^和^不必相等。例如，(M/2，0),(0， N/2)。这在图
6中图示，其中，50是嵌入在亮度分量中的水印，并且示出了向量^和^。
该向量指示水印在哪个方向移位以及移位了多少个像素。通过^循环移位
的水印具有负号，而通过&循环移位的水印具有正号。这使得可以区别这
两个水印如果v与w所有可能的循环移位版本相关，则在(M/2，0)上 发现正的峰值，在(0，N/2)上发现负的峰值。只要&和&彼此独立，就
可以使用任何的移位对。
如果视频内容被缩放、旋转和/镜像，那么向量^和&被相应地更改。 例如，如果视频内容被旋转90度，则获得如图6所示的具有变换向量￡。和
^的更改了的亮度水印51。更一般地，如果将变换T应用于视频内容， 则向量^和^分别映射到向量7^和7^。例如，在逆时针旋转90度的情况 下，通过下列等式给出变换T:
<formula>formula see original document page 17</formula>需要水印解码器发现将哪个变换应用于视频内容以便恢复水印数据。
这可以根据T=PS来确定。
s是具有两个作为列的原始向量^和&的矩阵。p是具有两个作为列
的变换向量&和&的矩阵。因此
当矩阵s必需被逆变换时，向量&和^必需是独立的。
水印解码器知道^和a ，并通过将色度水印与亮度水印的所有循环移
位版本相关来确定&和&。当水印解码器已经恢复了变换矩阵t时，然后
它能够通过将亮度水印与原始水印的所有可能版本相关来恢复原始水印 数据。
图7示意性地描述适合用于恢复变换矩阵t从而恢复原始水印数的水 印解码器-用于如上所述将两个循环移位的水印嵌入在色度分量中的水印
方案。除相关器46恢复两个向量&和&之外，这与图5描述的水印解码
器相同。在恢复水印数据之前还有另外的变换t恢复步骤60。
当进一步更改以提高水印-信号比时，水印解码器在解码该信号之前 可以緩冲许多帧(在图5和图7的解码器中未示出)。因为将相同的水印 嵌入在连续的帧中，水印相干地加在一起，而视频信号不会。
本领域技术人员将会理解，可以对上面描述的本发明优选实施例做出 各种更改。特别地，参考用于将水印嵌入在视频信号中的装置来描述该实 施例。然而，本发明既不局限于视频信号，也不局限于特定标准。例如， 只要数字视频信号具有至少两个分量，就可以利用本发明对使用rgb色彩 模型或等同于yuv的色彩模型编码的数字视频信号加水印。
尽管本发明特别用于给代表视频流的数据流加水印，但是可以想到本 发明可以应用于将水印嵌入其它类型的数字或模拟数据流中，例如，数字 音频信号，其中数字信号被分成至少两个分量，并且，可以将单独的水印 嵌入进每一个分量中。例如对于立体声数字音频信号，水印和变换了的水 印能够分别嵌入在左音频通道和右音频通道。可替换地，可以将第一水印 嵌入在第一子频带中，并将第二移位水印嵌入在单独的第二子频带中。对 本领域技术人员来说，将第一水印和第二变换水印嵌入进信息信号中的其 它方法是显而易见的。本发明也能够用于重新标记那些已经拥有数字水印 的数据流。对本领域技术人员来说，根据这里的教导，在不偏离附带权利 要求范围的情况下，本发明另外的更改和应用是显而易见的。总之，公开了一种对诸如多媒体内容(音频、视频、图像)缩放和旋 转之类的一般失真非常健壮的水印方案。这通过将水印嵌入在主信号的第 一分量中并将相同水印的变换版本嵌入在笫二分量中来实现。例如，将水
印嵌入在视频信号的亮度分量(Y)中，并将其循环移位版本嵌入在视频 信号的色度分量(UV)中。检测器将亮度水印与色度水印的所有循环移位 版本相关(46)。最高相关峰值指示在嵌入器一端应用的移位。通过比较 这样发现的移位与原始值，重现(47)缩放因子和旋转因子。本发明允许 撤销(undo)缩放和旋转操作，之后能够容易地以传统方式检测到嵌入的水 印。
权利要求
1.一种将数据嵌入信息信号的方法，该方法包括将数据嵌入信息信号的第一分量中；和将该数据的变换版本嵌入信息信号的第二分量中。
2. 根据权利要求l的方法，其中，所述信息信号包括视频信号，第 一分量包括视频信号的亮度分量，第二分量包括^L频信号的色度分量。
3. 根据权利要求2的方法，其中，所述视频信号包括一系列图像， 该方法包括在每个图像中将所述数据嵌入到信息信号的第一分量中；和在每个图像中将所述数据的变换版本嵌入到信息信号的第二分量中。
4. 根据权利要求3的方法，其中，所述数据包括水印数据的二维阵列。
5. 根据权利要求4的方法，进一步包括至少在第一方向中循环移位 所述数据以产生该数据的变换版本。
6. 根据权利要求5的方法，其中，在至少第一方向中移位所述水印 数据包括在第一方向中将所述数据移位水印数据二维阵列长度的一半。
7. 根据权利要求5或6的方法，进一步包括在与第一方向正交的第二方向中移位所述数据。
8. 根据前述权利要求中任何一项的方法，其中，将数据的变换版本 嵌入到所述第二分量中包括将数据的第 一和第二变换版本嵌入到信息信 号的第二分量中。
9. 根据权利要求8的方法，进一步包括沿着第一向量移位所述数据， 以产生该数据的第一变换版本，并沿着第二向量移位所述数据以产生该数 据的第二变换版本。
10. 根据权利要求9的方法，进一步包括嵌入所述数据的具有相反极 性的第一和第二变换版本。
11. 一种承载用于控制计算机执行权利要求1-10中任何一项的方法 的计算机可读代码的载体媒介。
12. —种用于将数据嵌入进信息信号中的计算机设备，该设备包括 用于存储处理器可读指令的程序存储器；和 被配置为读取和执行存储在所述程序存储器中的指令的处理器， 其中，该处理器可读指令包括控制处理器执行权利要求1-12中任何一项的方法的指令。
13. —种用于将数据嵌入进信息信号中的设备，该设备包括 适于将数据嵌入进信息信号的第一分量中的第一数据嵌入器；和 适于将该数据的变换版本嵌入进信息信号的第二分量中的第二数据嵌入器。
14. 一种恢复嵌入进信息信号中的数据的方法，该方法包括 将嵌入进信息信号第 一分量中的数据与嵌入进信息信号第二分量中的该数据的变换版本相关。
15. 根据权利要求14的方法，其中，所述信息信号包括视频信号， 第 一分量包括视频信号的亮度分量，第二分量包括视频信号的色度分量。
16. 根据权利要求14或15的方法，其中，将嵌入在信息信号第一分 量中的数据与嵌入进信息信号第二分量中的该数据的变换版本进行相关 包括估计嵌入在第 一分量中的数据； 估计嵌入在第二分量中的数据的变换版本；和 将嵌入在第一分量中的数据的估计与嵌入在第二分量中的数据变换 版本的估计进行相关。
17. 根据权利要求14-16中任何一项所述的方法，其中，所述该数据 包括水印数据的二维阵列。
18. 根据权利要求17的方法，进一步包括将嵌入在第二分量中的数 据的变换版本的估计与嵌入在第一分量中的数据的估计的变换版本进行 相关，以识别提供相关峰值的变换。
19. 根据权利要求18的方法，进一步包括将提供相关峰值的变换和 嵌入在信息信号第一分量中的数据与嵌入在信息信号第二分量中的数据 的变换版本之间的已知变换进行比较，以恢复变换矩阵。
20. 根据权利要求19的方法，进一步包括使用变换矩阵来恢复嵌入在信息信号第一分量中的数据。
21. —种承载用于控制计算机执行权利要求14-20中任何一项的方法 的计算机可读代码的栽体媒介。
22. —种用于恢复嵌入进信息信号中的数据的计算机设备，该设备包括用于存储处理器可读指令的程序存储器；和 被配置为读取和执行存储在程序存储器中的指令的处理器，其中，该处理器可读指令包括控制处理器执行权利要求14_20中任何一项的方法的指令。
23. —种用于恢复嵌入进信息信号中的数据的设备，该设备包括 适于将嵌入进信息信号第 一分量中的数据与嵌入进信息信号第二分 量中的数据的变换版本进行相关的相关器。
全文摘要
本发明涉及一种对诸如多媒体内容(音频、视频、图像)缩放和旋转之类的一般失真非常健壮的水印方案。这通过将水印嵌入在主信号的第一分量中并将相同水印的变换版本嵌入在第二分量中来实现。例如，将水印嵌入在视频信号的亮度分量(Y)中，并将其循环移位版本嵌入在视频信号的色度分量(UV)中。检测器将亮度水印与色度水印的所有循环移位版本相关(46)。最高相关峰值指示在嵌入器一端应用了移位。通过比较这样发现的移位与原始值，重现(47)缩放因子和旋转因子。本发明允许撤销缩放和旋转操作，之后能够容易地以传统方式检测到嵌入的水印。
文档编号G06T1/00GK101297320SQ200680039905
公开日2008年10月29日 申请日期2006年10月16日 优先权日2005年10月26日
发明者A·J·范利斯特 申请人:皇家飞利浦电子股份有限公司