基于高维空间解耦合的可见水印去除方法、系统、设备及介质

1.本发明涉及可见水印去除领域,具体涉及一种基于高维空间解耦合的可见水印去除方法。


背景技术：

2.近年来，随着计算机硬件和深度学习的突破，人工智能领域在越来越多的领域取得了快速发展，并在社会各方面引领技术革新浪潮。计算机视觉作为人工智能研究最广泛的领域，包含图像分类、目标定位、目标检测等诸多细化方向，在人脸识别、无人驾驶、图像检索等领域有着广阔的应用。
3.同时，随着自媒体时代的到来，水印技术作为媒体保护手段十分常见，一方面，水印去除算法的公开研究，可以作为水印嵌入方法的对抗学习方法；另一方面，良莠不齐的自媒体对水印的随意使用，甚至形成了“电子包浆”，水印去除方法可以自动地去除无用的水印。
4.目前已有的可见水印去除算法包括三个阶段，第一阶段使用数学方法和手工设计的特征，这些方法精度较差，已不再为人采用。第二阶段开始使用深度学习方法，但通常将水印去除算法当作简单的图像-图像翻译任务，没有完全使用水印任务给出的信息，精度也较差。第三阶段也就是最新的方法多采用单编码器-多解码器结构，分别用于水印定位和水印修复任务。然而现有方法并没有注意到不同分支之间的高层语义之间的差距，只能以渐进的方式逐步向各自的任务靠拢。本方法引入了对比学习机制，使不同任务在深层特征就更加具有针对性，从而达到更优良的修复效果。


技术实现要素：

5.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于高维空间解耦合的可见水印去除方法、系统、设备及介质，通过引入对比学习方法，巧妙构造正负样本集合，解耦不同分支的深层特征，从而提升最终去水印性能。
6.为了达到上述目的，本发明采用以下技术方案：
7.本发明一方面提供了一种基于高维空间解耦合的可见水印去除方法，包括下述步骤：
8.获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
9.将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征w-、水印语义特征w和嵌入水印图像语义特征；
10.将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-；
11.将所述的水印语义特征w、原始图像语义特征w-、水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-构建样本对{w
*
,w-,w}和{w
*-,w-,w}，使用损失函数对样本对进行
约束,得到约束后的w
*
和w
*-；
12.将所述得到约束后的w
*
和w
*-，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；
13.将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
14.优选的，所述嵌入水印图像语义特征经过两个多头自注意力分支，具体为：使用多头自注意力机制捕捉不同任务的关注区域，计算公式为：
15.qi,ki,vi＝xwi
iq
,xw
ik
,xw
iv
[0016][0017]
其中，i表示第i个头，x是第i个头的输入，w
iq
,w
ik
,w
iv
表示第i个头的线性层权重，qi,ki,vi表示第i个头计算得到的query，key，value向量，dk表示key向量的维度数，headi为第i个头的计算结果。
[0018]
优选的，所述使用损失函数对样本对进行约束，具体为：
[0019]
组织两组对比学习损失函数，使用{w
*
,w,w-}作为输入，损失函数记为以为例：
[0020]
首先，给定高层语义{w
*
,w,w-}和水印区域掩码真值m，m是和原图宽高一样的二值矩阵，通过计算负样本特征向量、正样本特征向量以及锚样本特征向量，提取出水印区域特征，具体的计算公式为：
[0021][0022][0023][0024]
其中，代表全局平均池化和归一化操作，
⊙
代表element-wise乘法，n表示负样本特征向量，p表示正样本特征向量，q表示锚样本特征向量；
[0025]
其次，基于infonce损失函数，得到变体对比学习损失函数如下：
[0026][0027]
其中，n表示batch中样本数，i表示第i个样本，τ表示的是一个超参数；
[0028]
对于损失函数步骤和一样，只是修改了输入的正负样本集合。
[0029]
优选的，所述损失函数还包括：
[0030]
对于水印掩码真值m和预测值使用损失函数
[0031]
[0032]
对于第一阶段的水印修复图和第二阶段的水印修复图给定监督标签即无水印真值图i，使用损失函数为：
[0033][0034][0035]
其中，为第一阶段的水印修复图的损失函数，为第二阶段的水印修复图的损失函数，||1表示一阶范数；
[0036]
深层感知损失函数为：
[0037][0038]
其中表示预训练的vgg网络；
[0039]
总损失函数为：
[0040][0041]
其中，λ
mask
,λ
cl
,λ
perc
为超参数。
[0042]
优选的，还包括采用了两阶段网络模型；第一阶段的输入作为第二阶段的输出；此外，第一阶段采用了多编码器-多解码器结构。
[0043]
本发明又一方面提供了一种基于高维空间解耦合的可见水印去除系统，应用于所述的基于基于高维空间解耦合的可见水印去除方法，包括获取图像模块、获取语义特征模块、样本对约束模块、第一阶段修复模块以及细化的图像修复模块；
[0044]
所述获取图像模块，用于获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
[0045]
所述获取语义特征模块，用于将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征w-、水印语义特征w和嵌入水印图像语义特征；
[0046]
将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-；
[0047]
所述样本对约束模块，用于将所述的水印语义特征w、原始图像语义特征w-、水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-构建样本对{w
*
,w-,w}和{w
*-,w-,w}，使用损失函数对样本对进行约束,得到约束后的w
*
和w
*-；
[0048]
所述第一阶段修复模块，用于对约束后的w
*
和w
*-，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；
[0049]
所述细化的图像修复模块，用于将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
[0050]
本发明又一方面提供了一种电子设备，其特征在于，所述电子设备包括：
[0051]
至少一个处理器；以及，
[0052]
与所述至少一个处理器通信连接的存储器；其中，
[0053]
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于高维空间解耦合的可见水印去除方法。
[0054]
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于高维空间解耦合的可见水印去除方法。
[0055]
本发明与现有技术相比，具有如下优点和有益效果：
[0056]
本发明对于可见水印去除任务，对于常见的单编码器-多编码器结构，考虑到对于不同的任务，如水印定位和水印修复，网络的高层语义特征应该不同，并引入对比学习方法，巧妙构造正负样本集合，解耦不同分支的深层特征，使不同分支更加关注于各自的任务，从而提升最终去水印性能。
附图说明
[0057]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0058]
图1是本发明基于高维空间解耦合的可见水印去除方法的流程框架图；
[0059]
图2是本发明实施例在不同数据集上进行的实验效果表格图；
[0060]
图3是本发明基于高维空间解耦合的可见水印去除系统的结构示意图；
[0061]
图4是本发明实施例电子设备的结构图。
具体实施方式
[0062]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0063]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0064]
请参阅图1，在本技术的一个实施例中提供了一种基于高维空间解耦合的可见水印去除方法，包括下述步骤：
[0065]
s1、获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到。
[0066]
s2、将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征w-、水印语义特征w和嵌入水印图像语义特征。
[0067]
s3、将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定
位分支的高层语义w
*
和水印修复分支的高层语义w
*-。
[0068]
s31、所述嵌入水印语义特征经过两个多头自注意力分支，具体为：使用多头自注意力机制捕捉不同任务的关注区域，计算公式为：
[0069]
qi,ki,vi＝xw
iq
,xw
ik
,xw
iv
[0070][0071]
其中，i表示第i个头，x是第i个头的输入，w
iq
,w
ik
,w
iv
表示第i个头的线性层权重，qi,ki,vi表示第i个头计算得到的query，key，value向量，dk表示key向量的维度数，headi为第i个头的计算结果。
[0072]
s4、将所述的水印语义特征w、原始图像语义特征w-、水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-构建样本对{w
*
,w-,w}和{w
*-,w-,w}，使用损失函数对样本对进行约束,得到约束后的w
*
和w
*-；。
[0073]
s41、所述使用损失函数对样本对进行约束，具体为：
[0074]
组织两组对比学习损失函数；使用{w
*
,w,w-}作为输入，损失函数记为以为例：
[0075]
首先，给定高层语义{w
*
,w,w-}和水印区域掩码真值m，m是和原图宽高一样的二值矩阵，在水印区域值为1，非水印区域值为0；通过计算负样本特征向量、正样本特征向量以及锚样本特征向量，提取出水印区域特征，具体的计算公式为：
[0076][0077][0078][0079]
其中，代表全局平均池化和归一化操作，
⊙
代表element-wise乘法，表示负样本特征向量，p表示正样本特征向量，q表示锚样本特征向量。
[0080]
其次，基于infonce损失函数，得到变体对比学习损失函数如下：
[0081][0082]
其中，n表示batch中样本数，i表示第i个样本，τ表示的是一个超参数；
[0083]
对于损失函数步骤和一样，只是修改了输入的正负样本集合。
[0084]
本实施例中，通过两组对比学习对高层语义进行约束，使不同分支的高层语义更加关注于自己的任务，改善可见水印去除效果。
[0085]
s42、所述损失函数还包括：
[0086]
对于水印掩码真值m和预测值使用损失函数为：
[0087][0088]
对于第一阶段的水印修复图和第二阶段的水印修复图给定监督标签即无水
印真值图i，使用损失函数为：
[0089][0090][0091]
其中，为第一阶段的水印修复图的损失函数，为第二阶段的水印修复图的损失函数，||1表示一阶范数；
[0092]
深层感知损失函数为：
[0093][0094]
其中表示预训练的vgg网络；
[0095]
总损失函数：
[0096][0097]
其中，λ
mask
,λ
cl
,λ
perc
为超参数。
[0098]
s5、对约束后的w
*
和w
*-，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果。
[0099]
s6、将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
[0100]
进一步的，本实施例采用了两阶段网络模型；第一阶段的输入作为第二阶段的输出；此外，第一阶段采用了多编码器-多解码器结构。
[0101]
请参阅图2，本实施例在多个数据集上组织了实验，分别是logo-l，logo-h，logo-gray；logo-l中包括12151张图片进行训练，2025张图片用于测试；logo-h与logo-l相同，但是图片中水印的透明度更低，因此水印去除任务更加具有挑战性；logo-gray同样含有12151张图片用于训练，2025张图片用于测试，但这些图片都是灰度图；本实施例选择psnr，ssim，lpips作为评价指标。本实施例与此前方法如bvmr，splitnet，slbr等进行了比较，由图2可知，本实例的采用的方法在各指标上均达到了最优的结果。
[0102]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0103]
基于与上述实施例中的基于高维空间解耦合的可见水印去除方法相同的思想，本发明还提供了基于高维空间解耦合的可见水印去除系统，该系统可用于执行上述基于高维空间解耦合的可见水印去除方法。为了便于说明，基于高维空间解耦合的可见水印去除系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0104]
请参阅图3，在本技术的另一个实施例中，提供了一种基于高维空间解耦合的可见
水印去除系统100，该系统包括获取图像模块101、获取语义特征模块102、样本对约束模块103、第一阶段修复模块104以及细化的图像修复模块105；
[0105]
所述获取图像模块101，用于获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
[0106]
所述获取语义特征模块102，用于将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征w-、水印语义特征w和嵌入水印图像语义特征；
[0107]
将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-；
[0108]
所述样本对约束模块103，用于将所述的水印语义特征w、原始图像语义特征w-、水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-构建样本对{w
*
,w-,w}和{w
*-,w-,w}，使用损失函数对样本对进行约束,得到约束后的w
*
和w
*-；
[0109]
所述第一阶段修复模块104，用于对约束后的w
*
和w
*-，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；
[0110]
所述细化的图像修复模块105，用于将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
[0111]
需要说明的是，本发明的基于高维空间解耦合的可见水印去除系统与本发明的基于高维空间解耦合的可见水印去除方法一一对应，在上述基于高维空间解耦合的可见水印去除方法的实施例阐述的技术特征及其有益效果均适用于基于高维空间解耦合的可见水印去除系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0112]
此外，上述实施例的基于高维空间解耦合的可见水印去除系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于高维空间解耦合的可见水印去除系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0113]
请参阅图4，在一个实施例中，提供了一种实现基于高维空间解耦合的可见水印去除方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如高维空间解耦合的可见水印去除程序203。
[0114]
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(securedigital，sd)卡、闪存卡(flash card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器
202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如高维空间解耦合的可见水印去除程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0115]
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
[0116]
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0117]
所述电子设备200中的所述第一存储器202存储的高维空间解耦合的可见水印去除程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
[0118]
获取原始图像、水印图像和嵌入水印图像；所述嵌入式水印图像是在原始图像上嵌入水印图像得到；
[0119]
将所述原始图像、水印图像和嵌入式水印图像输入共享权值的主干网络，分别得到原始图像语义特征w-、水印语义特征w和嵌入水印图像语义特征；
[0120]
将所述嵌入水印图像语义特征经过两个多头自注意力分支，分别得到水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-；
[0121]
将所述的水印语义特征w、原始图像语义特征w-、水印定位分支的高层语义w
*
和水印修复分支的高层语义w
*-构建样本对{w
*
,w-,w}和{w
*-,w-,w}，使用损失函数对样本对进行约束,得到约束后的w
*
和w
*-；
[0122]
将所述得到约束后的w
*
和w
*-，分别经过若干卷积层上采样后得到第一阶段的水印定位掩码和第一阶段的粗略的图像修复结果；
[0123]
将所述第一阶段的水印掩码和第一阶段的粗略的图像修复结果同时投入第二阶段unet网络结构中；对所述第一阶段的粗略的图像进行下采样得到高层语义信息，将下采样得到的高层语义信息再通过上采样恢复图片细节，同时注入第一阶段的解码器信息，得到细化的图像修复结果。
[0124]
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0125]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器
(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0126]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0127]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。