一种联合语义可解释信息的图像修复方法及系统与流程

本申请涉及图像处理技术领域，特别是涉及一种联合语义可解释信息的图像修复方法及系统。

背景技术：

图像修复是计算机视觉领域的热门研究方向，旨在恢复具有损坏图像的缺失区域。传统的图像修复方法主要基于补丁匹配或纹理合成，但是当处理大面积或大量图像的任意缺失区域时，它们会影响所生成图像的质量。因此目前大多数采用深度学习和基于gan(generativeadversarialnetwork，生成对抗网络)的方法来生成更优异的图像修复结果。

但是，现有模型大多数关注了图像的低级特征信息，并且没有考虑修复的图像和原始图像之间的语义一致性关系，这是由于基于gan的修复模型的特性，即模型可以在缺失区域的情况下生成许多可能的修复区域，因此导致图像修复结果可能存在和原始图像语义不相关的缺陷，使得图形修复的准确率较低。

技术实现要素：

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种联合语义可解释信息的图像修复方法，包括：

获取待修复图像；

在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复。

可选地，所述图像修复模型包括修复网络和判别网络；

所述将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复，包括：

将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像；

将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别。

可选地，所述修复网络包括三个子网络，分别为生成器网络、图像属性嵌入网络和图像分割嵌入网络；所述生成器网络包括编码器网络和解码器网络；

所述图像属性嵌入网络和图像分割嵌入网络分别由所述辅助数据集中的标有图像属性信息和标有图像分割信息预训练得到；

所述判别网络包括全局鉴别器、图像属性鉴别器和图像分割鉴别器。

可选地，所述将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像，包括：

将所述待修复图像输入所述图像属性嵌入网络和图像分割嵌入网络，提取所述待修复图像的属性向量和分割图向量；

将所述待修复图像、以及所述待修复图像的属性向量和分割图向量一同传送到所述生成器网络，对所述待修复图像进行修复，得到修复图像。

可选地，所述将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别之前，还包括：

获取对应于所述待修复图像的真实图像；

通过所述图像属性嵌入网络预测并生成所述真实图像的第一属性向量，以及所述修复图像的第二属性向量；

通过所述图像分割嵌入网络生成所述真实图像的第一分割图和所述修复图像的第二分割图。

可选地，所述将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别，包括：

将所述真实图像和所述修复图像输入所述全局鉴别器，基于所述真实图像测试所述修复图像的真实性；

将所述第一属性向量和所述第二属性向量分别作为真判别对象和假判别对象输入所述图像属性鉴别器进行比对判别；

将所述第一分割图和所述第二分割图输入所述图像分割鉴别器进行比对判别。

根据本申请的另一个方面，提供了一种联合语义可解释信息的图像修复系统，包括：

待修复图像获取模块，其配置成获取待修复图像；

辅助数据集构建模块，其配置成在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

图像修复模块，其配置成将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复。

可选地，所述图像修复模型包括修复网络和判别网络；

所述图像修复模块，还配置成：

将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像；

将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别。

可选地，所述修复网络包括三个子网络，分别为生成器网络、图像属性嵌入网络和图像分割嵌入网络；所述生成器网络包括编码器网络和解码器网络；

所述图像属性嵌入网络和图像分割嵌入网络分别由所述辅助数据集中的标有图像属性信息和标有图像分割信息预训练得到；

所述判别网络包括全局鉴别器、图像属性鉴别器和图像分割鉴别器。

可选地，所述图像修复模块，还配置成：

将所述待修复图像输入所述图像属性嵌入网络和图像分割嵌入网络，提取所述待修复图像的属性向量和分割图向量；

将所述待修复图像、以及所述待修复图像的属性向量和分割图向量一同传送到所述生成器网络，对所述待修复图像进行修复，得到修复图像。

可选地，所述图像修复模块，还配置成：

将所述真实图像和所述修复图像输入所述全局鉴别器，基于所述真实图像测试所述修复图像的真实性；

将所述第一属性向量和所述第二属性向量分别作为真判别对象和假判别对象输入所述图像属性鉴别器进行比对判别；

将所述第一分割图和所述第二分割图输入所述图像分割鉴别器进行比对判别。

本申请提供了一种联合语义可解释信息的图像修复方法及系统，在本申请提供的方法中，先获取待修复图像；再在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；然后将待修复图像输入预先训练的图像修复模型，利用辅助数据集对所述待修复图像进行图像修复。

基于本申请提供的一种联合语义可解释信息的图像修复方法及系统，针对现有方法没有考虑图像间语义相关性的缺点，提出一种联合语义可解释信息的图像修复模型，使用语义可解释信息与gan模型相结合，提升修复图像的准确性。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请实施例的一种联合语义可解释信息的图像修复方法流程示意图；

图2是根据本申请实施例的修复网络结构示意图；

图3是根据本申请一个实施例的联合语义可解释信息的图像修复系统结构示意图；

图4是根据本申请另一实施例的联合语义可解释信息的图像修复系统结构示意图；

图5是根据本申请实施例的计算设备示意图；

图6是根据本申请实施例的计算机可读存储介质示意图。

具体实施方式

首次提出的具有编码器-解码器的cnn结构的ce(contextencoder，上下文编码器)模型，可以共同训练ce模型具有重建损失和对抗性损失的组合损失，与传统方法生成的模型相比，ce模型可以生成更好的图像修复结果。然而由于基本编码器-解码器结构的生成器的限制，由ce生成的图像修复结果仍然具有模糊的缺点并且缺少细粒度的细节描述。后来的方法在使用编码器-解码器模型之上使用后处理来提高生成图像的质量，例如，将ce作为初始阶段，并通过传播周围的纹理信息来改进修复结果，或者使用全局鉴别器和局部鉴别来进一步改进图像修复结果，还有的提出了一个基于语境的细化图像修复网络，以此来对生成图像增添更加细粒度的描述。

以上这些方法主要侧重于增强修复图像的分辨率，但是同时忽略了修复内容与现有图像上下文之间的语义一致性。这是因为现今的修复方法主要依赖于一个假设，即与缺失区域中的那些相似的补丁应该出现在非缺失区域中，它们用从非缺失区域获得的背景补丁来填充缺失区域，因此这些方法仅关注了图像的低级特征，而无法处理缺失区域包含非重复内容的情况。传统模型以经典的编码器-解码器结构开始，在生成初始结果时很容易受到错误的一对多模糊性的影响，如果给出语义上不正确的中间结果，则后处理阶段则不会生效。

图1是根据本申请实施例的一种联合语义可解释信息的图像修复方法流程示意图。参见图1所知，本申请实施例提供的一种联合语义可解释信息的图像修复方法可以包括：

步骤s101：获取待修复图像；

步骤s102：在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

步骤s103：将待修复图像输入预先训练的图像修复模型，由图像修复模型利用辅助数据集对所述待修复图像进行图像修复。

本申请实施例提供了一种联合语义可解释信息的图像修复方法，在本申请提供的方法中，先获取待修复图像；再在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；然后将待修复图像输入预先训练的图像修复模型，利用辅助数据集对所述待修复图像进行图像修复。基于本申请提供的方法，针对现有方法没有考虑图像间语义相关性的缺点，提出一种联合语义可解释信息的图像修复模型，使用语义可解释信息与gan模型相结合，提升修复图像的准确性。

本申请实施例中的语义可解释信息主要包括两方面的信息，一是图像属性信息，表示与图像相关的多个描述性文本标签的向量，例如图像人物性别，头发颜色等；二是图像分割信息，其将图像的每个像素与区域标签相关联，例如来自面部图像的眼睛，嘴和鼻子的区域，它可以分辨不同分割区域之间的空间关系和边界。我们的目标是在修复过程中利用和整合这两个基本信息，预先训练最先进的多标签图像分类模型和图像语义分割模型，并将它们合并到图像修复过程中。

在联合语义可解释信息进行图像修复时，首先执行步骤s101，获取待修复的图像。

待修复图像是从预设的修复训练集(记为d0)中获取的，而本申请实施例中采用celeba-hq数据集作为修复训练集d0。

获取了待修复的图像之后，接下来执行步骤s102，在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集。

在图像修复的过程中，需要构建辅助数据集来识别和分析待修复图像的语义信息，进一步地说，需要使用标有图像属性信息的数据和标有图像分割信息的数据来分析待修复图像的语义信息。在本申请实施例中，标有图像属性信息的数据集标记为d1，采用celeba数据集；标有图像分割信息的数据集标记为d2，采用helenface数据集，而数据集d1和数据集d2的选取的标准是具有与修复训练集d0中的修复图像相似的内容。

然后执行步骤s103，将待修复图像输入预先训练的图像修复模型，由图像修复模型利用辅助数据集对待修复图像进行图像修复。

在本申请一可选实施例中，图像修复模型包括修复网络和判别网络；步骤103可进一步理解为：先将待修复图像输入修复网络，结合辅助数据集生成待修复图像的修复图像；再将修复图像输入判别网络，基于判断网络对修复图像进行判别。

可选地，修复网络由三个子网络组成，分别是生成器网络g，图像属性嵌入网络wa和图像分割嵌入网络ws。

其中，生成器网络g由编码器网络和解码器网络组成，编码器共包括6个卷积层，其中设置3个卷积层为下采样，3个卷积层为上采样，从编码器中获得图像的输出特征后将被送至解码器，解码器将学习如何重建原始特征向量，解码器采用了上采样的3个卷积层。

而图像属性嵌入网络wa和图像分割嵌入网络ws由辅助训练集经过预训练得到，首先使用辅助训练集d1预训练图像属性嵌入网络wa，其中采用最先进的多标签图像分类模型作为图像属性嵌入网络wa；再使用辅助训练集d2预训练图像分割嵌入网络ws，同样采用最先进的图像分割网络作为图像分割嵌入网络ws。

基于修复网络进行图像修复时，可先将待修复图像输入图像属性嵌入网络和图像分割嵌入网络，提取待修复图像的属性向量和分割图向量；再将待修复图像、以及待修复图像的属性向量和分割图向量一同传送到生成器网络，对待修复图像进行修复，得到修复图像。

如图2所示，以待修复图像为图像x为例，为了提取图像的属性和分割信息，首先将输入图像x馈送到图像属性嵌入网络wa和图像分割嵌入网络ws，获得n1维的属性向量wa(x)和分割图ws(x)，图像x与其分割图ws(x)按位乘的操作连接，并且被馈送到生成器网络g的编码器网络部分，然后编码器网络生成空间大小为m1×m1的中间特征映射。然后将n1维的属性向量wa(x)与m1×m1的中间特征映射相连，得到m1×m1×n1的特征映射，最后将m1×m1×n1的特征映射馈送入生成器的解码器网络部分，经过解码器网络的一系列上采样操作生成用于生成修复图像z。

进一步地，待修复图像从修复网络进行修复并输出之后，再输入判别网络进行判别。

判别网络是一个多级的判别网络，它由三个鉴别器组成：一个全局鉴别器dg，一个图像属性鉴别器da，以及一个图像分割鉴别器ds。

在本申请一可选实施例中，在修复图像输入判别网络之前，还需要获取对应于待修复图像的真实图像；通过图像属性嵌入网络预测并生成真实图像的第一属性向量，以及修复图像的第二属性向量；再通过图像分割嵌入网络生成真实图像的第一分割图和修复图像的第二分割图。获取到真实图像、第一属性向量、第二属性向量、第一分割图和第二分割图之后，一同输入判别网络中。

在本实施例中，真实图像是对应于待修复图像的完整图像，可通过数据集预先获得。假设待修复图像x对应的真实图像为y。与真实图像y一样，待修复图像x在输入修复网络进行修复之后，在输入判别网络之前，还需要再次通过图像属性嵌入网络和图像分割嵌入网络，输出修复后图像z的属性向量和分割图，然后与真实图像y的属性向量和分割图一同输入判别网络中进行比对。

全局鉴别器dg检查修复的图像z和真实图像y之间的整体一致性。全局鉴别器同一般gan结构的判别器作用相同，它是一个二元分类器，由卷积层和全连接的层构成，用于测试其输入图像是伪造的还是真实的。

图像属性鉴别器da由卷积层和全连接层构成，它需要通过图像属性嵌入网络wa预测真实图像y的属性向量wa(y)，再预测修复图像z的属性向量wa(z)，然后将wa(y)与wa(z)作为一对真假的对比判别对象送入da中进行判别，其中将wa(y)作为真实比对对象，将wa(z)作为“假”的比对对象。

对于图像分割鉴别器ds，修复的图像z和真实图像y在被馈送到分割鉴别器之前，需要通过图像分割嵌入网络ws生成分割图ws(z)和ws(y)，将图像z与其分割图wa(z)连接，将图像y与其分割图ws(y)连接，连接后的图像被送入图像分割鉴别器ds中进行判别。在本实施例中，图像与分割图的连接，可以是指图像与分割图通过按位乘的操作进行连接。

归纳来说，将真实图像和修复图像输入全局鉴别器，基于真实图像测试所述修复图像的真实性；将第一属性向量和第二属性向量分别作为真判别对象和假判别对象输入所述图像属性鉴别器进行比对判别；将第一分割图和第二分割图输入图像分割鉴别器进行比对判别，尽可能正确地识别和分类出真实样本(输出为“真”或者1)，以及生成样本，也称为假样本(输出为“假”或者0)。

通过以上三组判别器，能够和修复网络形成博弈的过程，不断促进修复图像的结果提升。

基于同一发明构思，如图3所示，本申请实施例还提供了一种联合语义可解释信息的图像修复系统，包括：

待修复图像获取模块310，其配置成获取待修复图像；

辅助数据集构建模块320，其配置成在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

图像修复模块330，其配置成将待修复图像输入预先训练的图像修复模型，由图像修复模型利用辅助数据集对待修复图像进行图像修复。

在本申请一可选实施例中，图像修复模型包括修复网络和判别网络；所述修复网络包括三个子网络，分别为生成器网络、图像属性嵌入网络和图像分割嵌入网络；所述生成器网络包括编码器网络和解码器网络；

所述图像属性嵌入网络和图像分割嵌入网络分别由所述辅助数据集中的标有图像属性信息和标有图像分割信息预训练得到；

所述判别网络包括全局鉴别器、图像属性鉴别器和图像分割鉴别器。

图像修复模块330，其还配置成：将待修复图像输入所述修复网络，结合辅助数据集生成所述待修复图像的修复图像；

将修复图像输入所述判别网络，基于判断网络对修复图像进行判别。

在本申请一可选实施例中，修复网络包括三个子网络，分别为生成器网络、图像属性嵌入网络和图像分割嵌入网络；生成器网络包括编码器网络和解码器网络；

图像属性嵌入网络和图像分割嵌入网络分别由辅助数据集中的标有图像属性信息和标有图像分割信息预训练得到；

判别网络包括全局鉴别器、图像属性鉴别器和图像分割鉴别器。

在本申请一可选实施例中，图像修复模块330，其还配置成：将待修复图像输入图像属性嵌入网络和图像分割嵌入网络，提取待修复图像的属性向量和分割图向量；

将待修复图像、以及待修复图像的属性向量和分割图向量一同传送到生成器网络，对待修复图像进行修复，得到修复图像。

在本申请一可选实施例中，如图4所示，上述系统还包括：

真实图像分析模块340，其配置成获取对应于待修复图像的真实图像；通过图像属性嵌入网络预测并生成真实图像的第一属性向量，以及修复图像的第二属性向量；通过图像分割嵌入网络生成真实图像的第一分割图和修复图像的第二分割图。

在本申请一可选实施例中，图像修复模块330，其还可以配置成：

将真实图像和修复图像输入所述全局鉴别器，基于真实图像测试修复图像的真实性；

将第一属性向量和第二属性向量分别作为真判别对象和假判别对象输入所述图像属性鉴别器进行比对判别。

将第一分割图和第二分割图输入图像分割鉴别器进行比对判别。

本申请提供了一种联合语义可解释信息的图像修复方法及系统，在本申请提供的方法中，先获取待修复图像；再在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；然后将待修复图像输入预先训练的图像修复模型，利用辅助数据集对所述待修复图像进行图像修复。

基于本申请提供的一种联合语义可解释信息的图像修复方法及系统，针对现有方法没有考虑图像间语义相关性的缺点，提出一种联合语义可解释信息的图像修复模型，使用语义可解释信息与gan模型相结合，提升修复图像的准确性。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图5，该计算设备包括存储器520、处理器510和存储在所述存储器520内并能由所述处理器510运行的计算机程序，该计算机程序存储于存储器520中的用于程序代码的空间530，该计算机程序在由处理器510执行时实现用于执行任一项根据本发明的方法步骤531。

本申请实施例还提供了一种计算机可读存储介质。参照图6，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序531′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetictape)，软盘(英文：floppydisk)，光盘(英文：opticaldisc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。