一种图像处理方法、装置和电子设备与流程

本发明涉及图像处理技术，具体涉及一种图像处理方法、装置和电子设备。

背景技术：

随着互联网技术的飞速发展，出现了各种图像处理工具，能够对图像中的目标对象(例如人物)进行处理，例如去除图像中的某个目标对象。但这种处理方式虽然能够去除图像中不想保留的目标对象，但目标对象被去除后会在原区域留下与图像格格不入的空白。

基于此，如何在目标对象从图像中移除的场景下填补空白区域，目前尚无有效解决方案。

技术实现要素：

为解决现有存在的技术问题，本发明实施例提供一种图像处理方法、装置和电子设备。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像处理方法，所述方法包括：

获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像；

基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像。

上述方案中，所述识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像，包括：

识别所述第二目标区域中的多个强结构，确定所述多个强结构中满足预设条件的目标强结构，基于所述目标强结构生成强结构补全图像。

上述方案中，所述确定所述多个强结构中满足预设条件的目标强结构，包括：确定所述多个强结构中至少部分强结构的长度以及所述至少部分强结构与所述第一目标区域的距离，获得所述长度超过第一预设阈值以及所述距离小于第二预设阈值的多个目标强结构。

上述方案中，所述基于所述目标强结构生成强结构补全图像，包括：确定多个目标强结构中至少部分目标强结构与特定方向的夹角，基于所述夹角对所述至少部分目标强结构进行分组，获得强结构分组，所述强结构分组中包括至少一个目标强结构；

基于所述强结构分组中的目标强结构的夹角和对应的位置生成强结构补全图像。

上述方案中，所述方法还包括：对所述第二图像中填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像。

上述方案中，所述对填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像，包括：确定第三目标区域，所述第三目标区域为所述第二目标区域中贴近所述第一目标区域的区域；

对所述第一图像和所述第二图像中对应于所述第三目标区域的图像进行最小二乘曲线拟合处理，获得拟合曲线；

基于所述拟合曲线对所述第二图像进行曲线变换，获得第三图像。

上述方案中，所述基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像，包括：将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第二图像，以利用所述生成对抗网络对所述第一图像中的所述第一目标区域进行填充处理。

上述方案中，所述生成对抗网络包括生成器和判别器；所述生成对抗网络的训练方法包括：获得第一样本图像，所述第一样本图像包括待填补区域；所述待填补区域的尺寸为随机尺寸；

通过生成对抗网络的生成器对所述第一样本图像中的待填补区域进行填充处理，获得重建样本图像；

通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果；

响应于所述判别结果为所述重建样本图像为不真实的情况，调整所述生成器和所述判别器的参数。

上述方案中，所述通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果，包括：获得第二样本图像；其中，所述第一样本图像为所述第二样本图像中去除对应的所述待填补区域的图像获得；

将所述重建样本图像和所述第二样本图像输入所述判别器，获得表征所述重建样本图像是否真实的判别结果。

本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元、生成单元和填充单元；其中，

所述获取单元，用于获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

所述生成单元，用于识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像；

所述填充单元，用于基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像。

上述方案中，所述生成单元，用于识别所述第二目标区域中的多个强结构，确定所述多个强结构中满足预设条件的目标强结构，基于所述目标强结构生成强结构补全图像。

上述方案中，所述生成单元，用于确定所述多个强结构中至少部分强结构的长度以及所述至少部分强结构与所述第一目标区域的距离，获得所述长度超过第一预设阈值以及所述距离小于第二预设阈值的多个目标强结构。

上述方案中，所述生成单元，用于确定多个目标强结构中至少部分目标强结构与特定方向的夹角，基于所述夹角对所述至少部分目标强结构进行分组，获得强结构分组，所述强结构分组中包括至少一个目标强结构；基于所述强结构分组中的目标强结构的夹角和对应的位置生成强结构补全图像。

上述方案中，所述装置还包括修正单元，用于对所述第二图像中填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像。

上述方案中，所述修正单元，用于确定第三目标区域，所述第三目标区域为所述第二目标区域中贴近所述第一目标区域的区域；对所述第一图像和所述第二图像中对应于所述第三目标区域的图像进行最小二乘曲线拟合处理，获得拟合曲线；基于所述拟合曲线对所述第二图像进行曲线变换，获得第三图像。

上述方案中，所述填充单元，用于将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第二图像，以利用所述生成对抗网络对所述第一图像中的所述第一目标区域进行填充处理。

上述方案中，所述装置还包括训练单元，用于训练生成对抗网络；所述生成对抗网络包括生成器和判别器；具体用于获得第一样本图像，所述第一样本图像包括待填补区域；所述待填补区域的尺寸为随机尺寸；通过生成对抗网络的生成器对所述第一样本图像中的待填补区域进行填充处理，获得重建样本图像；通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果；响应于所述判别结果为所述重建样本图像为不真实的情况，调整所述生成器和所述判别器的参数。

上述方案中，所述训练单元，用于获得第二样本图像；其中，所述第一样本图像为所述第二样本图像中去除对应的所述待填补区域的图像获得；将所述重建样本图像和所述第二样本图像输入所述判别器，获得表征所述重建样本图像是否真实的判别结果。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。

本发明实施例提供的图像处理方法、装置和电子设备，所述方法包括：获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像；基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像。采用本发明实施例的技术方案，将图像中的待填补区域(即第一目标区域)按照背景区域(即第二目标区域)以及基于背景区域对应的强结构生成的强结构补全图像进行填充处理，一方面保证了图像处理结果的完整性，另一方面也使得待填补区域的填充效果与背景区域相一致，尤其与背景区域的强结构保持一致，实现了待填补区域的填充效果与图像的整体效果的和谐一致，提升了图像处理效果。

附图说明

图1为本发明实施例的图像处理方法的一种流程示意图；

图2为本发明实施例的图像处理方法中的强结构的示意图；

图3为本发明实施例的图像处理方法的另一种流程示意图；

图4为本发明实施例的图像处理方法的又一种流程示意图；

图5为本发明实施例的图像处理方法中的生成对抗网络的训练方法流程示意图；

图6为本发明实施例的图像处理装置的一种组成结构示意图；

图7为本发明实施例的图像处理装置的另一种组成结构示意图；

图8为本发明实施例的图像处理装置的又一种组成结构示意图；

图9为本发明实施例的电子设备的组成结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的一种流程示意图；如图1所示，所述方法包括：

步骤101：获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

步骤102：识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像；

步骤103：基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像。

本实施例的图像处理方法应用于图像处理装置中，图像处理装置可位于手机、平板电脑、笔记本电脑等移动终端中，也可位于台式电脑、一体机电脑等终端中。

本实施例的图像处理方法对第一图像进行处理，所述第一图像中包括待填补区域，所述待填补区域可以理解为空白区域，即所述第一图像为具有空白区域的图像。可以理解，对于一个完整图像，去除其中的某部分区域，得到本实施例中的第一图像。作为一种实施方式，可通过图像处理工具擦除完整图像中的部分区域，获得第一图像。作为另一种实施方式，对于完整图像，确定所述完整图像中的目标对象，将所述目标对象从所述完整图像中分割出来，获得所述第一图像。实际应用中，可通过分割模型分割完整图像中的目标对象，将分割出目标对象的完整图像作为第一图像。其中，所述分割模型具体可以是基于语义的分割模型。作为一种示例，将完整图像输入至分割模型中，获得仅包括目标对象的图像，相应的获得不包括目标对象的图像(即第一图像)。

本实施例中，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域。作为一种示例，所述第一目标区域可以对应于目标对象的区域，以目标对象为人为例，则所述第一目标区域可以对应于人形区域，或者，所述第一目标区域也可以是能够包含人形区域的矩形区域、或不规则区域等等。相应的，所述第二目标区域可以是背景区域。或者说，所述第一目标区域可以是前景区域，所述第二目标区域为后景区域等等。

本实施例中，所述强结构也可称为强线条，为图像的背景区域中视觉影响较强烈的结构、线条或纹理，可以理解为，背景区域中的强结构容易被看到，或者容易吸引到关注点等，作为一种示例，所述强结构可以为具有背景区域中线条特征明显的结构，例如柱子、门等等。图2为本发明实施例的图像处理方法中的强结构的示意图；如图2所示，图2中具有水平直线特征的房梁可以理解为强结构。而图像中的人形区域为所述第一目标区域，除该人形区域以外的区域为第二目标区域。由于本实施例是对例如图2所示的人形区域(第一目标区域)进行填充操作，填充的内容一方面与第二目标区域(背景区域)的特征相关，更与第二目标区域中的强结构相关。可以理解，针对如图2所示的人形区域的填充，需要对人形区域的边缘的强结构进行连接(如图2中的人形区域中的虚线即为补全的强结构)，也即针对强结构的补全；如果强结构补全的效果不佳，则第一目标区域的填充效果会很差，基于此，本实施例通过步骤102识别第二目标区域中的强结构，基于识别出的强结构生成强结构补全图。

作为一种实施方式，可通过检测直线的算法识别所述第二目标区域中的强结构；其中，所述检测直线的算法包括但不限于霍夫变换(houghtransform)算法、直线段检测(lsd，linesegmentdetector)算法等等。进一步基于识别出的强结构的角度以及所在位置连接合适的强结构，生成强结构补全图像。其中，所述强结构补全图像具体可以为二值化图像，或者为黑白图像。

本实施例步骤103中，所述基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，具体是将所述第二目标区域中的图像特征以及所述强结构补全图像中的强结构特征填充至所述第一目标区域中，以使填充后的所述第一目标区域具有与所述第二目标区域的图像特征以及所述强结构补全图像的强结构特征，也即使填充后的所述第一目标区域与周围的背景区域(即第二目标区域)协调一致。

采用本发明实施例的技术方案，将图像中的待填补区域(即第一目标区域)按照背景区域(即第二目标区域)以及基于背景区域对应的强结构生成的强结构补全图像进行填充处理，一方面保证了图像处理结果的完整性，另一方面也使得待填补区域的填充效果与背景区域相一致，尤其与背景区域的强结构保持一致，实现了待填补区域的填充效果与图像的整体效果的和谐一致，提升了图像处理效果。

本发明实施例还提供了一种图像处理方法。图3为本发明实施例的图像处理方法的另一种流程示意图；如图3所示，所述方法包括：

步骤201：获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

步骤202：识别所述第二目标区域中的多个强结构，确定所述多个强结构中满足预设条件的目标强结构，基于所述目标强结构生成强结构补全图像；

步骤203：将所述第一图像和所述强结构补全图像输入生成对抗网络(gan，generativeadversarialnetworks)，获得第二图像，以利用所述生成对抗网络对所述第一图像中的所述第一目标区域进行填充处理。

本实施例步骤201的详细阐述可参照前述实施例中步骤101的详细阐述，这里不在赘述。

本实施例步骤202中，所述识别所述第二目标区域中的多个强结构，包括：通过检测直线的算法识别所述第二目标区域中的强结构；其中，所述检测直线的算法包括但不限于霍夫变换(houghtransform)算法、lsd算法等等。

针对步骤202，在本发明的一种可选实施例中，所述确定所述多个强结构中满足预设条件的目标强结构，包括：确定所述多个强结构中至少部分强结构的长度以及所述至少部分强结构与所述第一目标区域的距离，获得所述长度超过第一预设阈值以及所述距离小于第二预设阈值的多个目标强结构。可以理解，所述至少部分强结构为所述多个强结构中的至少一个强结构，或者所述多个强结构中的每个强结构。这样，通过初步筛选，去除长度较短的并且距离第一目标区域较远的强结构，保留长度较长并且距离第一目标区域较近的强结构作为目标强结构，以减少计算量。

针对步骤202，在本发明的一种可选实施例中，所述基于所述目标强结构生成强结构补全图像，包括：确定多个目标强结构中至少部分目标强结构与特定方向的夹角，基于所述夹角对所述至少部分目标强结构进行分组，获得强结构分组，所述强结构分组中包括至少一个目标强结构；基于所述强结构分组中的目标强结构的夹角和对应的位置生成强结构补全图像。

本实施例中，对于筛选后的长度较长且距离第一目标区域较近的多个目标强结构，按照目标强结构与特定方向的夹角进行分组；作为一种示例，所述特定方向可以是水平方向或竖直方向，则确定每个目标强结构与水平方向或竖直方向的夹角，按照夹角的大小进行分组。

作为一种实施方式，所述基于所述夹角对所述至少部分目标强结构进行分组，获得强结构分组，包括：基于夹角大小对所述至少部分目标强结构进行排序，基于排序结果确定相邻两个目标强结构对应夹角之间的角度差，基于所述角度差对所述至少部分目标强结构进行分组获得强结构分组；其中，所述强结构分组中的相邻两个目标强结构对应夹角之间的角度差小于所述强结构分组对应的角度差阈值。

例如，可分别设置多个强结构分组对应的角度差阈值，所述角度差阈值例如3度。若多个目标强结构与水平方向的夹角度数分别为：1、2、6、8、100、150、178、179、180，某强结构分组对应的角度差阈值为3度，则该强结构分组中的目标强结构与水平方向的夹角度数包括：178、179、180、1、2。相应的，上述示例中的其他目标强结构还可划分为按照与水平方向的夹角度数划分为如下几个强结构分组：[6,8]、[100]、[150]；其中，目标强结构与水平方向的夹角度数为6度和8度的目标强结构划分为一个目标强结构分组；目标强结构与水平方向的夹角度数为100度的目标强结构划分为一个目标强结构分组；目标强结构与水平方向的夹角度数为150度的目标强结构划分为一个目标强结构分组。也就是说，将夹角相近的目标强结构聚类为一组内，每个组内的目标强结构的夹角都相近。进一步地，所述基于每个强结构分组中的目标强结构的夹角和对应的位置生成强结构补全图像，包括：将每个强结构分组中的目标强结构按照夹角大小进行排序；确定每个强结构分组内的夹角大小相同的任意两个目标强结构，或者确定夹角大小差异在预设阈值范围内的任意两个目标强结构(即确定夹角相同或将近的目标强结构)；基于所述任意两个目标强结构的位置连接所述任意两个目标强结构的端点，生成强结构补全图像；其中，连接所述任意两个目标强结构的端点的连接线在所述第一目标区域内。

本实施例步骤203中，基于生成对抗网络对所述第一图像中的第一目标区域进行填充操作，具体是基于生成对抗网络的生成器对所述第一图像中的第二目标区域和强结构补全图像的图像特征进行学习，以将所述第二目标区域的图像特征结合强结构补全图像的特征填充至所述第一目标区域。

作为一种实施方式，所述将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第三图像，包括：基于生成对抗网络对所述第一图像中的所述第二目标区域以及所述强结构补全图像进行特征提取，获得特征图，将所述特征图填充至所述第一目标区域中，生成第二图像。

本实施例的生成对抗网络具体包括生成器和判别器，在用于图像填充的图像处理过程中，只使用生成对抗网络的生成器，用于对第二目标区域进行填充处理；在网络训练过程中，需要使用生成器和判别器，通过生成器和判别器的互相监督学习，训练获得本申请实施例的生成对抗网络(具体是生成器)。则作为一种实施方式，所述将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第二图像，包括：基于生成对抗网络的生成器对所述第一图像中的所述第二目标区域以及所述强结构补全图像进行特征提取，获得特征图，将所述特征图填充至所述第一目标区域中，生成第二图像。

其中，所述基于生成对抗网络对所述第一图像中的所述第二目标区域以及所述强结构补全图像进行特征提取，包括：基于所述生成对抗网络的生成器对所述第一图像和所述强结构补全图像进行下采样处理，对下采样处理后的第一图像的第二目标区域和所述强结构补全图像进行特征提取；相应的，所述将所述特征图填充至所述第一目标区域中，生成第二图像，包括：基于所述生成器将所述特征图进行上采样处理，将上采样处理后的特征图填充至所述第一目标区域，获得第二图像。这里，对图像进行下采样处理的作用在于，一方面可以减少数据处理量，另一方面能够提取深度特征。其中，所述第一图像和所述强结构补全图像在下采样处理前的尺寸相同，在下采样处理后的尺寸也相同。

本实施例的生成对抗网络包括生成器和判别器。具体的，所述生成器采用编码器(encoder)-残差模块-解码器(decoder)。其中，编码器包括多个卷积层，用于对输入的第一图像以及强结构补全图像进行下采样以及特征提取处理；解码器具有与编码器对称的结构，用于对输入的图像进行上采样以及图像恢复处理，使输出的图像恢复到与输入的第一图像相同的尺寸。

其中，编码器和解码器包括的卷积层的数量与输入的所述第一图像以及强结构补全图像的尺寸相关联；作为一种示例，所述第一图像的尺寸越大，编码器和解码器包括的卷积层的数量越多。

其中，残差模块中可包括多个相同的残差块(residualblock)，用于解决网络难以训练的问题。作为一种示例，每个残差块的处理过程相当于在输入和输出之间添加一个“快捷链接”，可以理解，残差块的输入为x，残差块的输出为y，则残差为(x+y)。

具体的，将第一图像和强结构补全图像输入至编码器，基于编码器对所述第一图像和强结构补全图像进行下采样处理，并对下采样处理后的第一图像中的所述第二目标区域和强结构补全图像进行特征提取，生成特征图(featuremap)，将特征图通过残差模块进行处理后输入至解码器，由解码器将将特征图填充至所述第一目标区域中，并通过上采样处理恢复至原始尺寸，生成第二图像。其中，所述第一图像为具有颜色的图像，也即所述第一图像通过三个通道的数据表示，所述三个通道的数据分别表示红色、黄色和蓝色通道的数据；强结构补全图像使没有颜色的，也即强结构补全图像通过一个通道的数据表示。在将第一图像和强结构补全图像输入至编码器之前，将所述第一图像的三个通道的数据和强结构补全图像的一个通道的数据拼接形成四个通道的数据，将该四个通道的数据输入至编码器。

采用本发明实施例的技术方案，将图像中的待填补区域(即第一目标区域)按照背景区域(即第二目标区域)以及基于背景区域对应的强结构生成的强结构补全图像进行填充处理，一方面保证了图像处理结果的完整性，另一方面也使得待填补区域的填充效果与背景区域相一致，尤其与背景区域的强结构保持一致，实现了待填补区域的填充效果与图像的整体效果的和谐一致，提升了图像处理效果。

本发明实施例还提供了一种图像处理方法。图4为本发明实施例的图像处理方法的又一种流程示意图；如图4所示，所述方法包括：

步骤301：获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

步骤302：识别所述第二目标区域中的多个强结构，确定所述多个强结构中满足预设条件的目标强结构，基于所述目标强结构生成强结构补全图像；

步骤303：将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第二图像，以利用所述生成对抗网络对所述第一图像中的所述第一目标区域进行填充处理。

步骤304：对所述第二图像中填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像。

本发明实施例步骤301至步骤303的详细阐述具体可参照前述实施例中步骤201至步骤203的详细阐述，这里不在赘述。

本实施例中，由于生成对抗网络不能确保输入的图像和输出的图像完全相同，存在重构误差，则通过生成对抗网络对第一目标区域进行填充处理后生成的第二图像与原始图像可能会出现色差，例如填充的第一目标区域与第二目标区域之间可能会由于色差导致呈现分界线。例如填充后的第一目标区域的色彩能会暗沉一些，而原始的第二目标区域的色彩可能会明亮一些。基于此，本实施例通过步骤304对填充后的第一目标区域进行颜色修正处理，获得第三图像。

对于本实施例步骤304，在本发明的一种可选实施例中，所述对填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像，包括：确定第三目标区域，所述第三目标区域为所述第二目标区域中贴近所述第一目标区域的区域；对所述第一图像和所述第二图像中对应于所述第三目标区域的图像进行最小二乘曲线拟合处理，获得拟合曲线；基于所述拟合曲线对所述第二图像进行曲线变换，获得第三图像。

本实施例中，所述第三目标区域为所述第二目标区域中贴近所述第一目标区域的区域，可以理解，所述第三目标区域为所述第一目标区域外的周围区域。由于填充的第一目标区域与第二目标区域之间可能会由于色差导致呈现分界线，则本实施例中基于第一目标区域外的周围区域的色彩参数对所述第一目标区域的色彩进行修正处理。

作为一种实施方式，所述确定第三目标区域，包括：将所述第一目标区域对应的区域范围进行放大处理，获得第一区域；将所述第一区域减去所述第一目标区域对应的第二区域，获得所述第三目标区域对应的区域范围。所述第三目标区域可以理解为所述第一目标区域外的一圈区域。

进一步地，在所述第三目标区域内，对填充处理前的所述第一图像和填充处理后的所述第二图像进行最小二乘曲线拟合处理，获得拟合曲线。作为一种示例，拟合曲线可选择一元n次方程，n为大于等于3的整数；方程的输入可以为所述第二图像的像素值，方程的输出可以为对应位置处的第一图像的像素值；针对第一图像和第二图像均为彩色图像，则可以得到分别对应于红色通道数据、绿色通道数据和蓝色通道数据的三个拟合曲线。进一步，针对所述第二图像按照得到的三个拟合曲线进行曲线变换，得到颜色修正处理后的第三图像。在一种可能的实施方式中，处理后的所述第三图像相比于处理前的所述第二图像，相当于进行了滤镜效果处理。

采用本发明实施例的技术方案，通过将图像中的待填补区域(即第一目标区域)按照背景区域(即第二目标区域)以及基于背景区域对应的强结构生成的强结构补全图像进行填充处理，一方面保证了图像处理结果的完整性，另一方面也使得待填补区域的填充效果与背景区域相一致，尤其与背景区域的强结构保持一致；另外通过颜色修正处理对填补区域的颜色进行了修正，实现了待填补区域的填充效果与图像的整体效果的和谐一致，提升了图像处理效果。

在本发明的一种可选实施例中，在执行本实施例步骤203或步骤303之前，首先对生成对抗网络进行训练。

图5为本发明实施例的图像处理方法中的生成对抗网络的训练方法流程示意图；如图5所示，所述方法包括：

步骤401：获得第一样本图像，所述第一样本图像包括待填补区域；所述待填补区域的尺寸为随机尺寸；

步骤402：通过生成对抗网络的生成器对所述第一样本图像中的待填补区域进行填充处理，获得重建样本图像；

步骤403：通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果；

步骤404：响应于所述判别结果为所述重建样本图像为不真实的情况，调整所述生成器和所述判别器的参数。

本实施例中，所述第一样本图像为完整的图像中去除某块区域的图像；该去除的某块区域为待填补区域。作为一种示例，若第二样本图像为完整的图像，则将所述第二样本图像中去除某个区域获得所述第一样本图像。

本实施例中，所述待填补区域的尺寸为随机尺寸；可以理解，所述待填补区域的形状可以是随机形状的随机尺寸，尤其是大尺寸(适用于针对大尺寸的待填补区域的填充处理)。作为一种示例，若生成对抗网络主要用于对图像中的人形区域进行填充，则所述待填补区域为人形区域相关的区域，可以理解，所述第二样本图像为包含目标对象为真人的图像，则将第二样本图像中的人物对应的区域去除，得到所述第一样本图像，所述第一样本图像中的待填充区域对应于人形区域。在其他实施方式中，所述第一样本图像中的待填充区域也可以是其他形状，例如方形、矩形、圆形或者不规则形状等等。

本实施例步骤402中，通过生成对抗网络的生成器对第一样本图像中的待填补区域进行填充处理。作为一种示例，所述通过生成对抗网络对所述第一样本图像中的待填补区域进行填充处理，获得重建样本图像，包括：基于所述生成器对所述第一样本图像进行特征提取，获得样本特征图，将所述样本特征图填充至所述待填补区域，获得重建样本图像。

在本发明的一种可选实施例中，所述基于所述生成对抗网络对所述第一样本图像进行特征提取，包括：基于所述生成器对所述第一样本图像进行下采样处理，对下采样处理后的第一样本图像进行特征提取；相应的，所述将所述样本特征图填充至所述待填补区域，获得重建样本图像，包括：基于所述生成器将所述样本特征图进行上采样处理，将上采样处理后的样本特征图填充至所述待填补区域，获得重建样本图像。

其中，上述通过生成器对第一样本图像的待填补区域进行填补处理的具体过程可参照前述实施例中针对第二图像的第二目标区域的填补处理过程，这里不再赘述。

这里，由于初始的生成对抗网络的生成器的初始参数并不完善，因此通过生成器获得的重建样本图像中针对待填补区域的填补效果并不佳，有可能出现例如第一样本图像中的背景部分具有直线、而待填补区域应该具有与背景部分的直线相连接的直线，但最终获得的重建样本图像中的待填补区域的并不具有直线或者直线的位置不匹配导致待填补区域与背景区域不协调的情况发生。基于此，本实施例在生成对抗网络的训练过程中，需要借助判别器的判别结果，对生成对抗网络中的生成器和判别器的参数进行调整更新，从而使得生成器生成的重建样本图像越来越趋近于真实图像(即第二样本图像)。

基于此，本实施例步骤403中，所述通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果，包括：获得第二样本图像；其中，所述第一样本图像为所述第二样本图像中去除对应的所述待填补区域的图像获得；将所述重建样本图像和所述第二样本图像输入所述判别器，获得表征所述重建样本图像是否真实的判别结果。

本实施例中，将作为真实图像的第二样本图像和所述重建样本图像作为判别器的输入数据，通过判别器识别所述重建样本图像与所述第二样本图像之间的差异程度，确定所述重建样本图像是否为真实的判别结果。作为一种实施方式，所述判别器识别所述重建样本图像与所述第二样本图像之间的差异程度，根据该差异程度得到一个得分；其中，得分的分值越高，表明所述重建样本图像约趋近于第二样本图像，得分的分值越低，表明所述重建样本图像越背离所述第二样本图像。实际应用中，可通过预先设置阈值的方式，若得分高于阈值，则获得重建样本图像为真实的判别结果；若得分小于等于阈值，则获得重建样本图像为不真实的判别结果。

本实施例步骤404中，在所述判别结果为所述重建样本图像为不真实的情况，调整所述生成器和所述判别器的参数，以通过调整后的参数，重新将第一样本图像输入至生成器进行待填补区域的填充处理，获得重建样本图像，并重新基于判别器对重建样本图像进行判别，也即重新执行步骤402至步骤404的过程，直至获得判别结果为重建样本图像为真实。

在本发明的其他实施例中，若所述第一图像中的所述第一目标区域为通过分割目标对象而获得的，则所述方法还可以包括：将所述目标对象添加至所述第二图像或所述第三图像中，生成第四图像。也即可以将分割除的目标对象添加至填充后的图像中的任意位置。

其中，添加的目标对象可以是图像变形处理后的目标对象。

本实施例的图像处理方法，一方面能够恢复图像，即实现将图像中的待填补区域填充完整；另一方面，还能够实现图像中的目标对象的分割、图像变形处理以及图像变形处理后的目标对象的位置移动。

本发明实施例还提供了一种图像处理装置。图6为本发明实施例的图像处理装置的一种组成结构示意图；如图6所示，所述装置包括：获取单元51、生成单元52和填充单元53；其中，

所述获取单元51，用于获得第一图像，所述第一图像包括对应于待填补区域的第一目标区域以及除所述待填补区域以外的其他区域的第二目标区域；

所述生成单元52，用于识别所述第二目标区域中的强结构，基于所述强结构生成强结构补全图像；

所述填充单元53，用于基于所述第二目标区域以及所述强结构补全图像对所述第一目标区域进行填充处理，获得第二图像。

在本发明的一种可选实施例中，所述生成单元52，用于识别所述第二目标区域中的多个强结构，确定所述多个强结构中满足预设条件的目标强结构，基于所述目标强结构生成强结构补全图像。

在本发明的一种可选实施例中，所述生成单元52，用于确定所述多个强结构中至少部分强结构的长度以及所述至少部分强结构与所述第一目标区域的距离，获得所述长度超过第一预设阈值以及所述距离小于第二预设阈值的多个目标强结构。

在本发明的一种可选实施例中，所述生成单元52，用于确定多个目标强结构中至少部分目标强结构与特定方向的夹角，基于所述夹角对所述至少部分目标强结构进行分组，获得强结构分组，所述强结构分组中包括至少一个目标强结构；基于所述强结构分组中的目标强结构的夹角和对应的位置生成强结构补全图像。

在本发明的一种可选实施例中，如图7所示，所述装置还包括修正单元54，用于对所述第二图像中填充处理后的所述第一目标区域进行颜色修正处理，获得第三图像。

在本发明的一种可选实施例中，所述修正单元54，用于确定第三目标区域，所述第三目标区域为所述第二目标区域中贴近所述第一目标区域的区域；对所述第一图像和所述第二图像中对应于所述第三目标区域的图像进行最小二乘曲线拟合处理，获得拟合曲线；基于所述拟合曲线对所述第二图像进行曲线变换，获得第三图像。

在本发明的一种可选实施例中，所述填充单元53，用于将所述第一图像和所述强结构补全图像输入生成对抗网络，获得第二图像，以利用所述生成对抗网络对所述第一图像中的所述第一目标区域进行填充处理。

在本发明的一种可选实施例中，如图8所示，所述装置还包括训练单元55，用于训练生成对抗网络；所述生成对抗网络包括生成器和判别器；具体用于获得第一样本图像，所述第一样本图像包括待填补区域；所述待填补区域的尺寸为随机尺寸；通过生成对抗网络的生成器对所述第一样本图像中的待填补区域进行填充处理，获得重建样本图像；通过所述生成对抗网络的判别器判别所述重建样本图像是否真实，获得判别结果；响应于所述判别结果为所述重建样本图像为不真实的情况，调整所述生成器和所述判别器的参数。

在本发明的一种可选实施例中，所述训练单元55，用于获得第二样本图像；其中，所述第一样本图像为所述第二样本图像中去除对应的所述待填补区域的图像获得；将所述重建样本图像和所述第二样本图像输入所述判别器，获得表征所述重建样本图像是否真实的判别结果。

本发明实施例中，所述装置中的获取单元51、生成单元52、填充单元53、修正单元54和训练单元55，在实际应用中均可由中央处理器(cpu，centralprocessingunit)、数字信号处理器(dsp，digitalsignalprocessor)、微控制单元(mcu，microcontrollerunit)或可编程门阵列(fpga，field－programmablegatearray)实现。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种电子设备。图9为本发明实施例的电子设备的硬件组成结构示意图，如图9所示，所述电子设备包括存储器62、处理器61及存储在存储器62上并可在处理器61上运行的计算机程序，所述处理器61执行所述程序时实现本发明实施例所述图像处理方法的步骤。

可以理解，电子设备中的各个组件通过总线系统63耦合在一起。可理解，总线系统63用于实现这些组件之间的连接通信。总线系统63除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统63。

可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本发明实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。