水印消除方法及其装置、设备、介质、产品与流程

1.本技术涉及水印图像处理技术，尤其涉及一种水印消除方法及其装置、设备、介质、产品。


背景技术：

2.近年来，计算机视觉技术不断发展，常使用水印嵌入算法用于图片所有权声明，导致相关图片在转用时产生不便。在一些特殊的情况下，需要对水印进行去除，例如水印版本已过期，而水印的设计公司不再提供技术支持。为满足这样的需求，需要提出独立的解决方案。
3.目前，常用的去除水印的方法是先对水印进行检测，然后再进行图像修复，所实现的效果是将存有水印的图像区域的图像屏蔽掉，这有助于消除一些视觉上不可感知的水印。
4.但是，还存在大量的带有视觉可感知的水印的图片需要处理，视觉可感知的水印，也俗称淡水印。对于淡水印，与水印重叠的背景图像是部分可见的，如果单纯将水印的区域进行掩膜，然后再进行图像修复，会丢失掉很多可见的背景信息，导致修复的效果并不理想。


技术实现要素：

5.本技术的目的在于解决上述问题而提供一种水印消除方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
6.根据本技术的一个方面，提供一种水印消除方法，包括如下步骤：
7.获取原始图像，所述原始图像包含水印；
8.将所述原始图像输入图像分割模型的降采样网络中提取出多个尺度相对应的降采样特征图；
9.由所述图像分割模型中的特征综合网络将最小尺度的降采样特征图变换为综合采样特征图，所述综合采样特征图融合了所述最小尺度的降采样特征图中的频域特征信息和空域特征信息；
10.由所述图像分割模型中的升采样网络基于所述综合采样特征图，参考所述多个尺度的降采样特征图进行逐级升采样，获得将所述原始图像消除了水印的结果图像。
11.可选的，由所述图像分割模型中的特征综合网络将最小尺度的降采样特征图变换为综合采样特征图，包括：
12.由所述特征综合网络将所述最小尺度的降采样特征图按同一维度等分为第一特征图和第二特征图；
13.通过所述特征综合网络中的残差网络提取出所述第一特征图中的频域特征信息，叠加到所述第一特征图中；
14.通过所述特征综合网络中的基础卷积层提取出所述第二特征图中的空域特征信
息，叠加到所述第二特征图中；
15.由所述特征综合网络中的拼接层将经处理后的第一特征图与第二特征图进行多通道拼接为综合采样特征图。
16.可选的，由所述特征综合网络中的拼接层将经处理后的第一特征图与第二特征图进行多通道拼接为综合采样特征图之后，包括：
17.将所述综合采样特征图重新作为最小尺度的降采样特征图，迭代多次通过特征综合网络之后，最终确定所述综合采样特征图。
18.可选的，通过所述特征综合网络中的残差网络提取出所述第一特征图中的频域特征信息，叠加到所述第一特征图中，叠加到所述第一特征图中，包括：
19.由所述残差网络中的傅里叶卷积层对所述第一特征图执行傅里叶变换，从变换后的频域数据中提取出实部特征子图和虚部特征子图，并拼接为信号分离数据图；
20.采用所述残差网络中的基础卷积层从所述信号分离数据图中提取出频域特征信息，获得频域特征图；
21.由所述残差网络中的逆傅里叶卷积层将频域特征图拆分为实部特征子图和虚部特征子图后执行逆傅里叶变换，获得频空变换特征图；
22.由所述残差网络中的残差运算模块将所述频空变换特征图叠加到所述第一特征图中。
23.可选的，获取原始图像之前，包括：
24.获取训练数据集中的训练样本，所述训练样本中包含实样图像和在所述实样图像中预置了视觉可感知的水印图像的合成图像；
25.采用所述训练样本中的合成图像输入所述图像分割模型以获得结果图像；
26.采用所述训练样本中的实样图像计算所述结果图像相对应的损失值，在所述图像分割模型未达到收敛状态时，根据所述损失值更新所述图像分割模型的权重。
27.可选的，获取训练数据集中的训练样本之前，包括：
28.获取实样图像和水印图像；
29.将所述水印图像合成到所述实样图像中获得合成图像，且使所述合成图像中叠加的水印图像在视觉上可感知；
30.将实样图像与合成图像构造为所述训练数据集中的训练样本。
31.可选的，采用所述训练样本中的实样图像计算所述结果图像相对应的损失值，包括：
32.将所述实样图像和结果图像的特征表示构造为组合特征图；
33.将所述组合特征图输入判别器获得两者是否相对应的判别结果；
34.根据所述实样图像和结果图像是否来源于同一训练样本计算所述判别结果相对应的交叉熵损失，获得所述损失值。
35.根据本技术的另一方面，提供一种水印消除装置，包括：
36.图像获取模块，设置为获取原始图像，所述原始图像包含水印；
37.降采样处理模块，设置为将所述原始图像输入图像分割模型的降采样网络中提取出多个尺度相对应的降采样特征图；
38.特征综合模块，设置为由所述图像分割模型中的特征综合网络将最小尺度的降采
样特征图变换为综合采样特征图，所述综合采样特征图融合了所述最小尺度的降采样特征图中的频域特征信息和空域特征信息；
39.升采样处理模块，设置为由所述图像分割模型中的升采样网络基于所述综合采样特征图，参考所述多个尺度的降采样特征图进行逐级升采样，获得将所述原始图像消除了水印的结果图像。
40.根据本技术的另一方面，提供一种水印消除设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的水印消除方法的步骤。
41.根据本技术的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的水印消除方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
42.根据本技术的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本技术任意一种实施例中所述方法的步骤。
43.相对于现有技术，本技术具有多方面优势，包括但不限于：
44.首先，通过在传统的图像分割模型的降采样网络和升采样网络之间实现一个特征综合网络，将降采样网络获得的最小尺度的降采样特征图通过特征综合网络分别提取携带水印的原始图像中的频域特征信息和空域特征信息，获得综合采样特征图，然后由升采样网络基于所述综合采样特征图进行处理实现图像分割，最终获得相对所述原始图像消除了水印的结果图像，由于所述综合采样特征图能够更全面地反映原始图像中的图像特征，使得所述升采样网络可以更准确地理解图像中的语义，从而更为精准的水印消除效果，获得水印消除效果更佳的优质图像。
45.其次，由于在最小尺度的降采样特征图的基础上进行全面的特征提取操作，其运算量小，运算效率高，通过对图像分割网络进行最小化的改造，在保留图像分割模型既有的图像分割处理能力的基础上，实现图像特征信息的增强，使图像分割模型可以进一步实现快速消除水印的功能。
46.此外，利用本技术改进的图像分割模型的推理能力，可以实现批量处理，适于对大规模图像进行快速的数据清洗操作，适于电商平台之类的应用场景中，对海量的商品图像进行去水印处理。
附图说明
47.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本技术的技术方案的应用环境的网络架构示意图；
49.图2为本技术示例性采用的图像分割模型的模型架构示意图；
50.图3为本技术示例性的图像分割模型中的特征综合网络的内部结构的示例性原理框图；
51.图4为本技术的水印消除方法的一种实施例的流程示意图；
52.图5为本技术实施例中对最小尺度的降采样特征提取频域和空域特征信息获得综合采样特征图的流程示意图；
53.图6为本技术实施例中对特征图提取并显化频域特征信息的流程示意图；
54.图7为本技术实施例中训练图像分割模型的过程的流程示意图；
55.图8为本技术实施例中构造训练样本的流程示意图；
56.图9为本技术实施例中计算图像分割模型每次训练相对应的损失值的流程示意图；
57.图10为本技术的水印消除装置的原理框图；
58.图11为本技术所采用的一种水印消除设备的结构示意图。
具体实施方式
59.本技术中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
60.请参阅图1，本技术一种示例性的应用场景所采用的网络架构，包括终端设备80、独立站81和应用服务器82，所述应用服务器82可用于部署水印消除服务，所述水印消除服务通过运行根据本技术的水印消除方法编程实现的计算机程序产品并开放相应的接口来提供服务。所述独立站81也是一种服务器，可用于部署并开放电商服务的线上店铺，所述终端设备80上的用户可以在所述线上店铺的页面中提交或指定原始图像例如商品图像给独立站81，独立站81调用所述应用服务器82的水印消除服务提供的相应接口向其所述商品图像，由水印消除服务消除所述商品图像中的水印，返回相应的结果图像。
61.需要指出的是，图1的应用场景仅是给出一种平台化部署的示例，在另外一些示例性的实施例中，根据本技术的水印消除方法实现的计算机程序产品也可以运行于任意具备足够算力的计算机设备中，执行所述方法的各个步骤，而实现所述水印消除服务。例如，可以运行于所述终端设备80或独立站81中而提供所述水印消除服务。
62.此外，本技术的业务场景也不局限于电商平台场景，其可适用于对任意业务场景，对任意类型的图像进行水印消除处理。
63.请参阅图2，本技术预备有一个示例性的图像分割模型用于消除水印的功能，其包括降采样网络、特征综合网络以及升采样网络。本技术的图像分割模型可以基于u-net系列中任意一个版本的基础模型进行改造获得。
64.根据u-net的原理性架构可知，其包括有降采样网络和升采样网络，分别包括多个尺度相对应的编码器和解码器，其中，降采样网络与升采样网络之间，通过一个残差网络来实现中间连接，该残差网络也常被理解为降采样网络和升采样网络之间的一个变换网络，用于为升采样网络提供所处理的图像特征的底层信息。所述降采样网络实现一个特征逐级降采样过程，形成一个编码路径，相应的，所述升采样网络实现一个特征逐级升采样过程，形成一个解码路径，在降采样过程和升采样过程中，分别与各个尺度一一对应，对于每个尺度，降采样网络会将其每级采样获得的特征图传输给升采样网络的对应级，升采样网络在参考同级降采样获得的特征图的基础上，基于其在先一级的特征图进行升采样，从而获得
本级升采样之后的特征图提供给在后一级继续处理，直至最后获得原始尺度相对应的特征图。
65.本技术中的图像分割模型，预先将传统的u-net框架中的残差网络改造为特征综合网络，请结合图3，所述特征综合网络包括两个支路，其中的第一支路采用残差网络实现，且在残差网络中应用了傅里叶卷积层和逆傅里叶卷积层，用于对所述降采样网络中获得的原始图像的最小尺度的降采样特征图的一部分提取频域特征信息；其中的第二支路采用普通的基础卷积层，用于实现对所述最小尺度的降采样特征图的另一部分提取空域特征信息；频域特征信息与空域特征信息最后由特征综合网络通过拼接层拼接为综合采样特征图后输入升采样网络，按照u-net架构的技术实现进行处理而还原出消除了水印的结果图像。
66.一种实施例中，特征综合网络获得的综合采样特征图可以被迭代多次运行，每次以其自身上一次获得的综合采样特征图为输入，以将该综合采样特征图重新作为最小尺度的降采样特征图对待，进行相同的迭代处理，重新获得综合采样特征图。通过预设多次的这样的迭代过程，使频域特征信息和空域特征信息进行更为充分的综合，最终获得更为有效表示频域特征信息和空域特征信息的综合采样特征图，以提高升采样网络获得消除水印的结果图像的图像品质。
67.本技术的图像分割模型可以预先采样相应的训练样本进行训练，将其训练至收敛状态然后投入推理阶段使用。
68.在参考以上揭示的原理的基础上，请参阅图4，根据本技术提供的一种水印消除方法，在其一个实施例中，包括如下步骤：
69.步骤s1100、获取原始图像，所述原始图像包含水印；
70.一种实施例中，所述原始图像可以是任意一种格式和内容的图像，其中可以生成有水印图像，一般来说，会呈现一个人眼从视觉上可感知的水印。本技术的水印主要是指淡水印，其在视觉上表现为以半透明的方式与图像的主体内容相重叠，使得人眼在观看主体内容时，水印图像的内容虽可识别但不会对主体内容构成识别上的干扰。
71.另一实施例中，所述原始图像中的水印也可以是盲水印，盲水印是指人眼视觉上不可识别的水印，实践表明，本技术的图像分割模型也可以将盲水印从原始图像中消除，属于本技术在实现消除淡水印的过程中衍生的意外技术效果。
72.在一个示例性的业务场景下，在电商平台的独立站的线上店铺中，当商家用户需要发布广告或者编辑商品信息时，可以单独或批量地提交商品图片，所述的商品图片中可能包含水印，将所述商品图片作为原始图像直接应用本技术图像分割模型，便可获得结果图像，结果图像中便消除了原始图像中包含的水印，水印对应区域处的图像内容可以恢复至与图像的主体内容比较协调的效果。过程中无需另行检测原始图像中是否包含水印，也即图像分割模型实际上实现了整合水印的检测和修复两方面的功能，从而可以端到端的方式，给定一个原始图像，而获得从所述原始图像中消除了水印的结果图像。
73.步骤s1200、将所述原始图像输入图像分割模型的降采样网络中提取出多个尺度相对应的降采样特征图；
74.对于一张原始图像来说，当需要输入本技术的图像分割模型时，可以按照图像分割模型的入参约束，做图像格式化预处理，例如调整到特定的尺寸之后进行矩阵化，获得按照红、绿、蓝三个通道组织的原始图像的特征表示，再输入图像分割模型的降采样网络中开
始处理。所述特征表示的尺度可表示为h*w*c，其中h为高度、w为宽度、c为通道数。
75.在所述降采样网络内部，其按照特定级数，例如可以是四级、六级、八级等，设置相应级的编码器，每级对应一个尺度，沿降采样网络的路径，各级相对应的尺度依次递减，上一级的编码器对其所获得的原始图像的特征表示进行降采样，获得相应级的特征表示，该特征表示相对于当前编码器的原始输入的特征表示，在通道数上被扩大，而在高度和宽度方向上被压缩，从而作为本级输出的降采样特征图。
76.前一级获得的降采样特征图，被分成两路，一路输入至下一级的编码器，直至最后一级编码器将其作为整个降采样网络的最终输出；另一路会直接传递给图像分割模型的升采样网络中，尺度相对应的解码器，详见后文，此处暂且不表。不难理解，不仅降采用网络最后会输出最小尺度相对应的降采样特征图，而且，其中各个编码器在对应尺度获得的降采样特征图也会被对应传输给升采样网络中的同尺度相对应的解码器使用。
77.不难理解，通过降采样网络对原始图像进行逐级降采样，获得全部降采样特征图，可以分别关注不同尺度的图像特征，在空域上实现对原始图像的较为全面的特征表示。
78.步骤s1300、由所述图像分割模型中的特征综合网络将最小尺度的降采样特征图变换为综合采样特征图，所述综合采样特征图融合了所述最小尺度的降采样特征图中的频域特征信息和空域特征信息；
79.请结合图2和图3，本技术的图像分割模型的特征综合网络负责在降采样网络最终输出的最小尺度相对应的降采样特征图的基础上，进行更为深入全面的特征处理。所述特征综合网络中存在两个支路，分别用于提取所述最小尺度的降采样特征图中不同通道部分的频域特征信息和空域特征信息，最后再将两者拼接为综合采样特征图。
80.一种实施例中，可以将所述最小尺度的降采样特征图同时输入两个支路，由其中一个支路提取出频域特征信息，由另一个支路提取出空域特征信息，最后再将所述频域特征信息对应部分与空域特征信息对应部分进行融合，获得综合采样特征图，保持与最小尺度的降采样特征图为相同尺度。
81.另一实施例中，可以将所述最小尺度的降采样特征图先分成两个部分，每一部分对应输入一个支路，其中一个支路负责提取出相应部分的频域特征信息，另一支路负责提取出相应部分的空域特征信息，最后再将所述频域特征信息对应部分与空域特征信息对应部分进行拼接，获得综合采样特征图，保持与最小尺度的降采样特征图为相同尺度。
82.在将所述最小尺度的降采样特征图分成两个部分时，在其他不同实施例中，可以按照高度、宽度、通道数中任意一个维度对所述降采样特征图进行分割，只要最终进行相应的拼接而还原为同尺度的综合采样特征图确保其适配升采样网络的入参所需即可。
83.所述特征融合网络在处理所述最小尺度的降采样特征图的过程中，通过其中一个支路专门提取出所述降采样特征图的全部或部分频域特征信息，并将频域特征信息与所述降采样特征图中的空域特征信息进行叠加、融合，使得所获得的综合采样特征图更为全面完整地实现对原始图像的特征表示，不止步于空域特征，还关注了频域特征，更为全面，有利于挖掘出原始图像中隐藏或淡化的水印图像信息。
84.在一些实施例中，为了实现提取最小尺度的降采样特征图整体或其部分的频域特征信息，可以在相应的支路中应用傅里叶变换用于将相应输入的特征图变换至频域，在频域数据的基础上进行卷积提取特征，提取特征后再以逆傅里叶变换回特征表示形式。
85.在一些实施例中，本步骤s1300可以迭代有限多次地执行，使得特征综合网络可以被迭代有限多次地运行，在每次迭代时，特征综合网络将前一次运行时获得的所述综合采样特征图重新作为最小尺度的降采样特征图进行输入，然后重新挖掘出其中的频域特征信息和空域特征信息，再进一步输出综合采样特征图，以此类推，迭代多次之后，最终确定输入升采样网络的综合采样特征图。
86.步骤s1400、由所述图像分割模型中的升采样网络基于所述综合采样特征图，参考所述多个尺度的降采样特征图进行逐级升采样，获得将所述原始图像消除了水印的结果图像。
87.当特征综合网络最后一次执行输出综合采样特征图后，所述综合采样特征图被作为升采样网络作为最底层的信息来源进行处理，通过其中的与降采样网络中的不同尺度编码器相对应的相应多个解码器，由每个解码器参考对应尺度的编码器所获得的降采样特征图，解码出相应尺度相对应的还原特征图，最后，所有各级解码器的还原特征图被融合为同一张特征图与原始图像的特征表示相融合，而获得消除了水印的结果图像。
88.所述综合采样特征图进入所述升采样网络的第一个解码器后，该解码器便以其对应尺度的编码器输出的降采样特征图为基础，将综合采样特征图的特征信息按照所述降采样特征图的尺度与所述降采样特征图相融合，由此便获得当前尺度相对应的还原特征图。当前级的解码器获得的还原特征图，被作为下一级的解码器输入，由下一级的解码器按照与当前级的解码相同的原理进一步还原出更高尺度的还原特征图，以此类推，直接最后一个解码器完成最大尺度的还原特征图为止。
89.不难理解，升采样网络中的各级解码器，其底层信息来源于所述综合采样特征图，而综合采样特征图中不仅包含了原始图像中的空域特征信息，而且也包含了原始图像中的频域特征信息，因而，各级解码器根据其训练时习得的推理能力，可以全面理解原始图像的图像特征，从而准确地消除原始图像中的水印图像，并且确保高保真度地修复水印图像区域中的主体内容相对应的图像。
90.根据以上实施例可知，本技术具有多方面优势，包括但不限于：
91.首先，通过在传统的图像分割模型的降采样网络和升采样网络之间实现一个特征综合网络，将降采样网络获得的最小尺度的降采样特征图通过特征综合网络分别提取携带水印的原始图像中的频域特征信息和空域特征信息，获得综合采样特征图，然后由升采样网络基于所述综合采样特征图进行处理实现图像分割，最终获得相对所述原始图像消除了水印的结果图像，由于所述综合采样特征图能够更全面地反映原始图像中的图像特征，使得所述升采样网络可以更准确地理解图像中的语义，从而更为精准的水印消除效果，获得水印消除效果更佳的优质图像。
92.其次，由于在最小尺度的降采样特征图的基础上进行全面的特征提取操作，其运算量小，运算效率高，通过对图像分割网络进行最小化的改造，在保留图像分割模型既有的图像分割处理能力的基础上，实现图像特征信息的增强，使图像分割模型可以进一步实现快速消除水印的功能。
93.此外，利用本技术改进的图像分割模型的推理能力，可以实现批量处理，适于对大规模图像进行快速的数据清洗操作，适于电商平台之类的应用场景中，对海量的商品图像进行去水印处理。
94.在本技术任意实施例的基础上，请参阅图5，由所述图像分割模型中的特征综合网络将最小尺度的降采样特征图变换为综合采样特征图，包括：
95.步骤s1310、由所述特征综合网络将所述最小尺度的降采样特征图按同一维度等分为第一特征图和第二特征图；
96.所述特征综合网络首先将所述最小尺度的降采样特征图，沿其通道方向，将其平均分为彼此包括不同通道的两部分，可称为第一特征图和第二特征图，不难理解，第一特征图和第二特征图在特征内容上分别属于所述降采样特征图的不同部分。
97.一种实施例中，在分割所述最小尺度的降采样特征图时，可以沿通道、宽度、高度任意一维度方向直接按照顺序划分出两部分作为第一特征图和第二特征图；也可以按照奇偶顺序进行划分，例如将奇数通道构造为第一特征图，将偶数通道构造为第二特征图；还可以按照沿同一方向随机选取的方式，确定出尺度均等的第一特征图和第二特征图。诸如此类，均可实现将所述最小尺度的降采样特征图等分为两部分相对应的第一特征图和第二特征图。
98.步骤s1320、通过所述特征综合网络中的残差网络提取出所述第一特征图中的频域特征信息，叠加到所述第一特征图中；
99.如图3所示，在所述特征综合网络的第一支路中，实现一个残差网络，通过该残差网络处理所述第一特征图，在频域上提取出所述第一特征图中的频域特征信息后融合叠加到所述第一特征图中，使第一特征图进一步突出包含其中的频域特征信息。
100.步骤s1330、通过所述特征综合网络中的基础卷积层提取出所述第二特征图中的空域特征信息，叠加到所述第二特征图中；
101.如图3所示，在所述特征综合网络的第二支路中，应用一个普通的卷积层作为基础卷积层，其负责对所述第二特征图进行常规的卷积操作，在空域上提取第二特征图的深层语义信息，从而获得相应的空域特征信息，然后将空域特征信息融合叠加到所述第二特征图中，使第二特征图进一步表示出其相应部分的特征图中的空域细节特征。
102.步骤s1340、由所述特征综合网络中的拼接层将经处理后的第一特征图与第二特征图进行多通道拼接为综合采样特征图。
103.所述特征综合网络的输出端设置有一个拼接层，用于将经过以上步骤s1320和步骤s1330处理后输出的第一特征图和第二特征图进行相应的拼接，使其恢复最小尺度相对应的降采样特征图相同的尺度规格，成为综合采样特征图。
104.不难理解，经过以上过程的处理，特征综合网络所输出的综合采样特征图既包含了原始图像中的频域特征信息，也包含更多细节的空域特征信息，特征表示更为全面。
105.为了实现更全面的特征融合效果，一些实施例中，将特征综合网络所获得的综合采样特征图循环输入特征综合网络，使特征综合网络重新将其作为最小尺度的降采样特征图对待，而再次特征分割，输入两个支路中分别进行频域特征信息和空域特征信息的挖掘，由此循环多次，使最终经过有限次循环之后输出的综合采样特征图充分全面地表示原始图像的频域特征信息和空域特征信息。
106.在其他一些实施例中，特征综合网络在对输入其中的特征图进行特征分割成第一特征图和第二特征图时，可以沿同一维度方向对原特征图进行随机分割而确定出第一特征图和第二特征图，由此，特征综合网络在其被多次迭代运行的过程中，每一次构造第一特征
图和第二特征图时均以随机的方式选取同一维度上的不同部分来构成同一张特征图，可以确保经过多次迭代运行之后，最终获得的综合采样特征图全面均匀地融合了原始图像的频域特征信息和空域特征信息。
107.根据以上实施例可知，本技术的图像分割模型可以在最小尺度的降采样特征图的基础上，对所述降采样特征图进行两部分的分割而获得第一特征图和第二特征图，然后分别对第一特征图提取频域特征信息和对第二特征图提取空域特征信息，在单次做这样的处理后再将两者结合，在尽量保留空域特征的同时又叠加了频域特征，确保处理后的综合采样特征图语义准确，进一步通过多次做这样的处理，又能够使综合采样特征图中的频域和空域的特征更为全面，且确保整个原始图像的频域和空域特征得到充分的融合，实现对原始图像更为完整的特征表示。
108.在本技术任意实施例的基础上，请参阅图6，通过所述特征综合网络中的残差网络提取出所述第一特征图中的频域特征信息，叠加到所述第一特征图中，叠加到所述第一特征图中，包括：
109.步骤s1321、由所述残差网络中的傅里叶卷积层对所述第一特征图执行傅里叶变换，从变换后的频域数据中提取出实部特征子图和虚部特征子图，并拼接为信号分离数据图；
110.如图3所示，在特征综合网络的残差网络中，应用一个傅里叶卷积层，即傅里叶变换卷积层，用于实现将输入其中的第一特征图从空域变换到频域，从而实现将图像数据转换为频域数据。所述傅里叶卷积层可以在基础卷积层的基础上实现，将其构造为适于对输入其中的图像数据执行傅里叶变换而获得相应的频域数据即可，当然也可采用成熟的已有构件。所述傅里叶卷积层能够将变换后的频域数据表示为其实部和虚部相对应的实部特征子图和虚部特征子图，分别用于表现正弦信号部分和余弦信号部分相对应的频域数据，为便于后续处理，可应用拼接层将所述实部特征子图和虚部特征子图进行拼接，构成信号分离数据图。
111.步骤s1322、采用所述残差网络中的基础卷积层从所述信号分离数据图中提取出频域特征信息，获得频域特征图；
112.如前所述，信号分离数据图是对第一特征图进行频域表示的结果，在此基础上，可以采用普通的基础卷积层(convolutional layer)，对所述信号分离数据图执行卷积操作，实现特征提取，由此获得频域特征图，通过频域特征图实现对第一特征图中频域特征的特征表示。
113.步骤s1323、由所述残差网络中的逆傅里叶卷积层将频域特征图拆分为实部特征子图和虚部特征子图后执行逆傅里叶变换，获得频空变换特征图；
114.在所述基础卷积层之后，对应频域信号的实部和虚部，将所述频域特征图重新分拆为实部特征子图和虚部特征子图两部分，分别输入逆傅里叶卷积层中处理。
115.所述逆傅里叶卷积层，即逆傅里叶变换卷积层，对应所述傅里叶卷积层而设置在所述残差网络中，用于将所述实部特征子图和虚部特征子图还原为频域数据，并在频域数据的基础上进行逆傅里叶变换操作，将其变换回空域，从而获得频空变换特征图。
116.步骤s1324、由所述残差网络中的残差运算模块将所述频空变换特征图叠加到所述第一特征图中。
117.最后，由残差网络中的残差运算模块，将所述频空变换特征图与所述第一特征图进行叠加，获得叠加后的第一特征图，使叠加后的第一特征图增强了对其所对应的图像内容部分的频域特征的特征表示。
118.根据以上实施例可知，在特征综合网络的一个支路的残差网络中，通过对第一特征子图先傅里叶变换获得频域数据，在频域数据的实部和虚部相对应的特征子图的基础上执行卷积操作提取频域特征获得频域特征图，再通过逆傅里叶变换将频域特征图反向处理为频空变换特征图，再叠加回第一特征子图，使第一特征子图显化对应图像的频域特征信息，使后续据此获得的综合采样特征图实现叠加图像的频域特征信息，使特征表示更为全面准确。
119.在本技术任意实施例的基础上，请参阅图7，获取原始图像之前，包括：
120.步骤s2100、获取训练数据集中的训练样本，所述训练样本中包含实样图像和在所述实样图像中预置了视觉可感知的水印图像的合成图像；
121.本技术的图像分割模型可以采用训练数据集预先训练至收敛状态而投入使用。在训练所述图像分割模型之前，先调用一个预备的训练数据集，以便利用其中的训练样本对图像分割模型实施训练。
122.所述的训练样本，包含实样图像和合成图像，其中，实样图像是指未添加任何水印的原始图像，而合成图像则是在所述实样图像的基础上，预先添加了水印图像的合成图像。
123.在本实施例中，所述水印可以是淡水印，即视觉可感知的水印。
124.步骤s2200、采用所述训练样本中的合成图像输入所述图像分割模型以获得结果图像；
125.在启用对所述图像分割模型的训练任务后，每次从所述训练数据集中调用单个训练样本，使用其中的合成图像为图像分割模型的输入，由其推理生成该合成图像相应的结果图像，然后使用其中的实样图像用于计算所述结果图像相对应的损失值，以便根据损失值修正图像分割模型的权重参数。
126.步骤s2300、采用所述训练样本中的实样图像计算所述结果图像相对应的损失值，在所述图像分割模型未达到收敛状态时，根据所述损失值更新所述图像分割模型的权重。
127.在具体计算每个训练样本相对应的损失值时，一种实施例中，可以基于l1范式相对应的损失函数，计算该训练样本的实样图像与相应的结果图像之间的相似损失，来确定相应的损失值。另一实施例中，可以先采用图像特征表示模型，分别获取所述实样图像与结果图像的感知特征，基于两个感知特征计算l1相对应的感知损失而确定出相应的损失值，所述图像特征表示模型可以采用任意一种适于对图像进行特征表示的成熟模型，例如cnn、vgg等。再一实施例中，还可以借助一个判别器来预测所述实样图像与所述结果图像是否一致，然后利用l2范式计算判别器的交叉熵损失来确定所述的损失值。
128.在所述图像分割模型的训练过程中，通常需要迭代多次才能将图像分割模型训练至收敛状态，因而，可以采用批量训练样本进行修正的方式，也可以采用逐个训练样本进行修正的方式，去修正图像分割模型的权重参数。
129.在训练过程中，根据所述损失值与一个表征模型达到收敛时的损失决策阈值来与所述损失值相比较，当所述损失值达到所述阈值时，表明图像分割模型已经达到收敛状态，可以终止对图像分割模型的训练，将其投入推理阶段使用。当所述损失值未达到所述阈值
时，表明图像分割模型未达到收敛状态，需要继续迭代调用所述训练数据集中的下一训练样本对图像分割模型循环训练，并且还应根据所述损失值对图像分割模型实施梯度更新，通过反向传播修正图像分割模型的权重参数，使其进一步逼近收敛，以此类推，直到图像分割模型被训练到收敛状态为止。
130.在一些实施例中，所述实样图像，根据具体的业务场景，可以选取相应业务场景下的同类型图像，例如，在电商场景中，或以基于同品类的商品的商品图片作为实样图像来训练图像分类模型。由于训练时所采用的实样图像的图像内容是同类商品，因而，更易促成图像分割模型的收敛。
131.根据以上实施例，不难理解，通过对本技术的图像分割模型实施训练，使其习得将原始图像中的水印从原始图像消除而获得结果图像，在质量较佳的实样图像的帮助下，不仅能够指导图像分割模型准确消除水印，而且能够指导其进行图像修复，使所获得的结果图像高度逼近原始图像，从而实现端到端的水印消除效果。
132.在本技术任意实施例的基础上，请参阅图8，获取训练数据集中的训练样本之前，包括：
133.步骤s3100、获取实样图像和水印图像；
134.可以预备一批实样图像和一批水印图像，所述实样图像可以是一个未添加任何水印的原图，确保其具有优质的图像质量，同理，所述水印图像也可以有多个，而其图像质量可以不均等。将所述实样图像和水印图像分别存储到各自的存储区域，以便调用。
135.步骤s3200、将所述水印图像合成到所述实样图像中获得合成图像，且使所述合成图像中叠加的水印图像在视觉上可感知；
136.将所述水印图像与所述实样图像进行合成的操作，可采用任意可行的水印合成算法实施，由于所预备的水印图像与实样图像存在多对多的关系，因而，可以将所有实样图像与所有水印图像进行一一对应的交叉合成，即将每一个实样图像分别与每一个水印图像一一对应合成，而获得相应的合成图像。本实施例中，在应用水印合成算法时，推荐采用淡水印相对应的算法，从而使所述合成图像中包含淡水印，也即使被合成到实样图像中的水印图像，在其合成所得的合成图像中，是人眼视觉可感知的。
137.步骤s3300、将实样图像与合成图像构造为所述训练数据集中的训练样本。
138.对于合成而得的每个合成图像，可将其与相应的实样图像一一对应构造为相应的训练样本，然后存储到训练数据集中。通过大量合成所述实样图像与水印图像，可以获得海量的训练样本，使训练数据集中的训练样本足以将所述图像分割模型训练至收敛状态。
139.在一些实施例中，在合成所述实样图像和水印图像获得相应的合成图像之后，在将该实样图像与其合成图像构造为训练样本的过程中，还可以对其中的实样图像和/或合成图像进行数据增强，从而衍生出更多训练样本，使训练数据集中的训练样本的特征实现充分泛化，以便在图像分割模型的训练过程中，利用特征泛化的优势快速将图像分割模型训练至收敛状态。
140.根据以上实施例可知，利用给定的实样图像和水印图像，通过图像合成即可制备出海量的训练样本，无需人工干预，可有效节省训练样本的制备成本，而且，由于实样图像是表达主体内容的原图，本身具有高保真度，可被用户监督标签使用，而其相应的合成图像在训练过程中相对应产生结果图像后，采用其相应的实样图像监督所述结果图像，可以利
用实样图像的高保真度的特征，引导图像分割模型的能力提升方向，使其不仅能够消除给定的合成图像中的水印，而且能够高保真地还原出水印图像区域相对应的主体图像内容，使结果图像中，被消除了水印的地方也具有优秀的图像质量表现。
141.在本技术任意实施例的基础上，请参阅图9，采用所述训练样本中的实样图像计算所述结果图像相对应的损失值，包括：
142.步骤s2310、将所述实样图像和结果图像的特征表示构造为组合特征图；
143.在图像分割模型的训练过程中，针对每个训练样本，根据其中的合成图像生成结果图像之后，所述结果图像与该训练样本中的实样图像，将其各自的特征表示拼接为组合特征图。
144.步骤s2320、将所述组合特征图输入判别器获得两者是否相对应的判别结果；
145.在所述图像分割模型中后接一个判别器，所述判别器可采用基于sigmoid或softmax函数构造的分类器，通过所述判别器，将所述组合特征图全连接后映射到预设的分类空间，获得其映射到所述分类空间中的各个分类的分类概率，构成判别结果。所述分类空间可以包括两个或两个以上的分类，其中有一个分类用于对应正向结果，其余分类用于对应负向结果，其中的正向结果表示所述结果图像与所述实样图像相对应，是消除水印效果良好的合格的结果图像；其中的反向结果表示所述结果图像与所述实样图像不对应，是消除水印效果不佳的不合格的结果图像。
146.步骤s2330、根据所述实样图像和结果图像是否来源于同一训练样本计算所述判别结果相对应的交叉熵损失，获得所述损失值。
147.对于同一训练样本来说，由于其中的实样图像本身是制作其合成图像的原图，而所述结果图像则是根据合成图像而生成的，因而，实样图像与结果图像事实上有同一来源，从属于同一训练样本，据此，如果判别器能够将预测出的结果图像与其相应的实样图像映射到所述正向结果相对应的分类，此时，则视为正例对待，计算相应的判别结果的损失值；反之，如果判别器将其映射到所述负向结果相对应的任意一个分类，则以负例对待，计算相应的判别结果的损失值。
148.在一些实施例中，还可以在所述训练数据集的不同的两个训练样本中，取其中一个训练样本的合成图像作为所述图像分割模型的输入预测出结果图像，而利用其中的另一个训练样本的实样图像与该结果图像构造为组合特征图输入判别器进行预测，针对这种情况，如果判别器得到正向结果便是不正确的，如果得到负向结果便是正确的，根据这一原理，也可基于相应的判别结果计算相应的损失值。
149.根据以上实施例不难理解，借助判别器计算图像分割模型在训练过程的损失值，更为高效，具有生成对抗机制的特性，可以在此基础上发展出自动化生成训练样本和监督训练的训练架构，进一步提升图像分割模型的训练效率，确保图像分割模型能够更为精准地消除图像中的水印。
150.请参阅图10，根据本技术的一个方面提供的一种水印消除装置，包括图像获取模块1100、降采样处理模块1200、特征综合模块1300和升采样处理模块1400，其中：所述图像获取模块1100，设置为获取原始图像，所述原始图像包含水印；所述降采样处理模块1200，设置为将所述原始图像输入图像分割模型的降采样网络中提取出多个尺度相对应的降采样特征图；所述特征综合模块1300，设置为由所述图像分割模型中的特征综合网络将最小
尺度的降采样特征图变换为综合采样特征图，所述综合采样特征图融合了所述最小尺度的降采样特征图中的频域特征信息和空域特征信息；所述升采样处理模块1400，设置为由所述图像分割模型中的升采样网络基于所述综合采样特征图，参考所述多个尺度的降采样特征图进行逐级升采样，获得将所述原始图像消除了水印的结果图像。
151.在本技术任意实施例的基础上，所述特征综合模块1300，包括：通道分割单元，设置为由所述特征综合网络将所述最小尺度的降采样特征图按同一维度等分为第一特征图和第二特征图；频域处理单元，设置为通过所述特征综合网络中的残差网络提取出所述第一特征图中的频域特征信息，叠加到所述第一特征图中；空域处理单元，设置为通过所述特征综合网络中的基础卷积层提取出所述第二特征图中的空域特征信息，叠加到所述第二特征图中；拼接处理单元，设置为由所述特征综合网络中的拼接层将经处理后的第一特征图与第二特征图进行多通道拼接为综合采样特征图。
152.在本技术任意实施例的基础上，所述特征综合模块1300被设置为迭代多次运行，将其每次运行获得的综合采样特征图重新作为最小尺度的降采样特征图输入，迭代多次之后最终确定所述综合采样特征图。
153.在本技术任意实施例的基础上，所述频域处理单元，包括：正向变换子单元，设置为由所述残差网络中的傅里叶卷积层对所述第一特征图执行傅里叶变换，从变换后的频域数据中提取出实部特征子图和虚部特征子图，并拼接为信号分离数据图；卷积处理子单元，设置为采用所述残差网络中的基础卷积层从所述信号分离数据图中提取出频域特征信息，获得频域特征图；逆向变换子单元，设置为由所述残差网络中的逆傅里叶卷积层将频域特征图拆分为实部特征子图和虚部特征子图后执行逆傅里叶变换，获得频空变换特征图；残差叠加子单元，设置为由所述残差网络中的残差运算模块将所述频空变换特征图叠加到所述第一特征图中。
154.在本技术任意实施例的基础上，先于所述图像获取模块1100，包括：样本调用模块，获取训练数据集中的训练样本，所述训练样本中包含实样图像和在所述实样图像中预置了视觉可感知的水印图像的合成图像；模型推理模块，设置为采用所述训练样本中的合成图像输入所述图像分割模型以获得结果图像；损失更新模块，设置为采用所述训练样本中的实样图像计算所述结果图像相对应的损失值，在所述图像分割模型未达到收敛状态时，根据所述损失值更新所述图像分割模型的权重。
155.在本技术任意实施例的基础上，先于所述样本调用模块，包括：素材获取模块，设置为获取实样图像和水印图像；合成处理模块，设置为将所述水印图像合成到所述实样图像中获得合成图像，且使所述合成图像中叠加的水印图像在视觉上可感知；样本构造模块，设置为将实样图像与合成图像构造为所述训练数据集中的训练样本。
156.在本技术任意实施例的基础上，所述损失更新模块，包括：特征拼接单元，设置为将所述实样图像和结果图像的特征表示构造为组合特征图；分类映射单元，设置为将所述组合特征图输入判别器获得两者是否相对应的判别结果；损失计算单元，设置为根据所述实样图像和结果图像是否来源于同一训练样本计算所述判别结果相对应的交叉熵损失，获得所述损失值。
157.本技术的另一实施例还提供一种水印消除设备。如图11所示，水印消除设备的内部结构示意图。该水印消除设备包括通过系统总线连接的处理器、计算机可读存储介质、存
储器和网络接口。其中，该水印消除设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种水印消除方法。
158.该水印消除设备的处理器用于提供计算和控制能力，支撑整个水印消除设备的运行。该水印消除设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本技术的水印消除方法。该水印消除设备的网络接口用于与终端连接通信。
159.本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的水印消除设备的限定，具体的水印消除设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
160.本实施方式中处理器用于执行图10中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本技术的水印消除装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。
161.本技术还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本技术任一实施例的水印消除方法的步骤。
162.本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本技术任一实施例所述方法的步骤。
163.本领域普通技术人员可以理解，实现本技术上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等计算机可读存储介质，或随机存储记忆体(random access memory，ram)等。
164.综上所述，本技术能够精准地消除原始图像中的水印，使相应的结果图像获得更为优质的图像还原效果。