一种图像的生成方法和装置与流程

文档序号:22616370发布日期:2020-10-23 19:17阅读:80来源:国知局
一种图像的生成方法和装置与流程

本申请涉及计算机领域,尤其涉及一种图像的生成方法和装置。



背景技术:

目前,对图像中显示的对象进行美化处理,都是在原始对象的基础上进行参数的调整,但对于部分对象,由于原始对象上某些特征太强(比如以人脸为例,脸上有疤痕,部分畸形,眼睛过小等),目前的处理方式也只能是对原始对象的特征较强的部位进行参数调整,调整后的结果仍然会保持较强的特征,并不能达到较好的美化效果。

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本申请提供了一种图像的生成方法和装置,以至少解决相关技术中对图像中显示的对象进行美化时美化效果较差的技术问题。

根据本申请实施例的一个方面,提供了一种图像的生成方法,包括:

从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

根据所述对象部位图像获取所述初始图像所对应的目标图像。

可选地,为所述第一对象部位生成对象部位图像包括:

对所述目标图像区域进行模糊处理,得到目标模糊图像;

通过目标图像生成模型生成所述目标模糊图像所对应的所述对象部位图像,其中,所述目标图像生成模型是使用标注了部位图像样本的图像区域样本对初始图像生成模型进行训练得到的,所述部位图像样本中展示的对象部位的质量参数样本高于或者等于第二阈值,所述图像区域样本是对所述部位图像样本进行模糊处理得到的。

可选地,通过目标图像生成模型生成所述目标模糊图像所对应的所述对象部位图像包括:

将所述目标模糊图像输入所述目标图像生成模型的目标生成层,其中,所述目标图像生成模型包括所述目标生成层和目标对抗层;

获取所述目标生成层输出的所述对象部位图像。

可选地,在将所述目标模糊图像输入所述目标图像生成模型的生成层之前,所述方法还包括:

固定初始生成层的第一模型参数,使用标注了部位图像样本的图像区域样本对初始对抗层进行训练,得到所述目标对抗层,其中,所述初始图像生成模型包括所述初始生成层和所述初始对抗层;

固定所述目标对抗层的第二模型参数,使用标注了部位图像样本的图像区域样本对所述初始生成层进行训练,得到所述目标生成层。

可选地,对所述目标图像区域进行模糊处理,得到目标模糊图像包括以下之一:

对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像;

从所述初始图像上提取所述目标图像区域,得到区域图像;对所述区域图像进行模糊处理,得到所述目标模糊图像。

可选地,根据所述对象部位图像获取所述初始图像所对应的目标图像包括:

在对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像的情况下,将所述对象部位图像确定为所述目标图像;

在对所述区域图像进行模糊处理,得到所述目标模糊图像的情况下,将所述初始图像上的所述目标图像区域替换为所述对象部位图像,得到所述目标图像。

可选地,从所述每个对象部位对应的图像区域中确定目标图像区域包括:

通过目标对象检测模型获取所述每个对象部位所对应的质量参数,其中,所述目标对象检测模型是使用标注了质量参数样本的对象部位样本对初始对象检测模型进行训练得到的;

从所述一个或者多个对象部位中获取质量参数低于所述第一阈值的对象部位作为所述第一对象部位;

将所述第一对象部位在所述初始图像上所在的区域确定为所述目标图像区域。

根据本申请实施例的另一方面,还提供了一种图像的生成装置,包括:

检测模块,用于从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

确定模块,用于从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

生成模块,为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

获取模块,用于根据所述对象部位图像获取所述初始图像所对应的目标图像。

根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。

根据本申请实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。

在本申请实施例中,采用从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;从每个对象部位对应的图像区域中确定目标图像区域,其中,目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;为第一对象部位生成对象部位图像,其中,对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,第二对象部位与第一对象部位属于相同的部位类型;根据对象部位图像获取初始图像所对应的目标图像的方式,通过在初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域,将初始图像划分为对象部位对应的图像区域,从中确定不满足第一阈值要求的第一对象部位,也就是需要进行美化的第一对象部位,将其对应的图像区域确定为目标图像区域,为第一对象部位生成用于展示与其属于相同类型的对象部位的对象部位图像,使得对象部位图像中展示的第二对象部位的第二质量参数能够满足第一阈值的要求,使用该对象部位图像对初始图像进行美化得到美化后的目标图像,可见,美化过程中对于不满足要求的第一对象部位并不是在第一对象部位的基础上简单地进行参数的调整达到美化的目的,而是为其生成了新的满足要求的对象部位图像,使用该新生成的对象部位图像美化原始图像来达到美化的目的,从而实现了提高对图像中显示的对象进行美化时美化效果的技术效果,进而解决了对图像中显示的对象进行美化时美化效果较差的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的图像的生成方法的硬件环境的示意图;

图2是根据本申请实施例的一种可选的图像的生成方法的流程图;

图3是根据本申请实施例的一种对象部位划分的示意图一;

图4是根据本申请实施例的一种对象部位划分的示意图二;

图5是根据本申请可选实施例的一种人脸图像美化方法的示意图;

图6是根据本申请实施例的一种可选的图像的生成装置的示意图;

图7是根据本申请实施例的一种终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一方面,提供了一种图像的生成的方法实施例。

可选地,在本实施例中,上述图像的生成方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示,服务器103通过网络与终端101进行连接,可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器103提供数据存储服务,上述网络包括但不限于:广域网、城域网或局域网,终端101并不限定于pc、手机、平板电脑等。本申请实施例的图像的生成方法可以由服务器103来执行,也可以由终端101来执行,还可以是由服务器103和终端101共同执行。其中,终端101执行本申请实施例的图像的生成方法也可以是由安装在其上的客户端来执行。

图2是根据本申请实施例的一种可选的图像的生成方法的流程图,如图2所示,该方法可以包括以下步骤:

步骤s202,从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

步骤s204,从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

步骤s206,为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

步骤s208,根据所述对象部位图像获取所述初始图像所对应的目标图像。

通过上述步骤s202至步骤s208,通过在初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域,将初始图像划分为对象部位对应的图像区域,从中确定不满足第一阈值要求的第一对象部位,也就是需要进行美化的第一对象部位,将其对应的图像区域确定为目标图像区域,为第一对象部位生成用于展示与其属于相同类型的对象部位的对象部位图像,使得对象部位图像中展示的第二对象部位的第二质量参数能够满足第一阈值的要求,使用该对象部位图像对初始图像进行美化得到美化后的目标图像,可见,美化过程中对于不满足要求的第一对象部位并不是在第一对象部位的基础上简单地进行参数的调整达到美化的目的,而是为其生成了新的满足要求的对象部位图像,使用该新生成的对象部位图像美化原始图像来达到美化的目的,从而实现了提高对图像中显示的对象进行美化时美化效果的技术效果,进而解决了对图像中显示的对象进行美化时美化效果较差的技术问题。

在步骤s202提供的技术方案中,目标对象可以但不限于包括:人脸、动物的脸等等。

可选地,在本实施例中,一个或者多个对象部位是目标对象上划分的各个部位。图3是根据本申请实施例的一种对象部位划分的示意图一,如图3所示,以面部为例,一个或者多个对象部位可以但不限于包括:眼睛,眉毛,鼻子,嘴,牙齿,脸颊等等。图4是根据本申请实施例的一种对象部位划分的示意图二,如图4所示,对于具有对称的两个部分的对象部位,也可以进行细分,比如:眼睛分为左眼和右眼,眉毛分为左眉毛和右眉毛,嘴分为上嘴唇和下嘴唇。

可选地,在本实施例中,从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域的方式可以但不限于采用语义分割的方式或者传统方法。语义分割是图像分割的一个子类,用于对图像中的每个像素按语义分割并打上类别标签。传统方法指非深度学习方法。

可选地,在本实施例中,语义分割可以但不限于通过深度神经网络(dnn,deepneuralnetwork)来实现。单层神经网络中的隐藏层扩展出多层时,即称为深度神经网络。通过训练过程dnn可以完成输入到输出的映射任务。对于不同的任务,dnn的输入输出不尽相同。对于图像分割任务,输入为一幅图像,输出为该图像中每个目标所包含的像素区域。对于图像生成或图像增强任务,输入为一幅低质量图像,输出为一个高质量图像。

可选地,在本实施例中,语义分割过程可以但不限于使用dnn的deeplabv3+网络模型,该网络模型是目前较好的一个语义分割网络。该网络的预训练模型本身并不能分割人脸的各个面部部位,基于该网络模型,配置了数据集(输入为人脸图像,输出为每个面部部位的标签以及对应的像素区域),训练出了一个可以实现人脸面部部位分割的网络。

可选地,在本实施例中,获取到的初始图像可以但不限于是分辨率达到一定标准的图像,比如:设定一个分辨率阈值,如果用户上传的图像的分辨率低于该分辨率阈值,则对该图像进行上采样处理,将其分辨率调整到分辨率阈值后,将调整后的图像作为初始图像。如果用户上传的图像的分辨率高于或者等于该分辨率阈值,则直接将用户上传的图像作为初始图像。

可选地,在本实施例中,上采样的方式可以但不限于采用bicubic(双三次插值)方法,bilinear(双线性插值)方法等。

在步骤s204提供的技术方案中,第一质量参数是目标图像区域中展示的第一对象部位对应的质量参数。质量参数的高低可以用于衡量对象部位的质量。质量参数的确定也可以通过深度神经网络来实现。质量参数可以但不限于看作是对目标对象的一个打分,分数的高低用来指示目标对象的质量好坏,比如:以目标对象为人脸为例,第一质量参数可以但不限于用来指示人脸的颜值,分数越高表示颜值越高。第一质量参数低于第一阈值则表示目标对象的颜值没有达到预设的第一阈值的标准,可以认为是颜值较低的目标对象。

在步骤s206提供的技术方案中,可以但不限于使用用于生成高质量图像的网络结构为第一对象部位生成对象部位图像。比如:采用stylegan网络结构或者其他类似图像增强或图像生成网络。

可选地,在本实施例中,对象部位图像中展示的第二对象部位的第二质量参数高于或者等于上述第一阈值,因此,可以看出对象部位图像是比目标图像区域质量更高的图像。

可选地,在本实施例中,第二对象部位与第一对象部位属于相同的部位类型,比如:如果第一对象部位为嘴,那么第二对象部位也为嘴。如果第一对象部位为上嘴唇,那么第二对象部位也为上嘴唇。

在步骤s208提供的技术方案中,可以但不限于采用贴图,抠图替换等方式将对象部位图像添加到初始图像上,从而得到美化后的目标图像。

可选地,在本实施例中,如果初始图像是对用户上传的图像进行上采样得到的,那么在得到目标图像后,也可以对目标图像进行对应的下采样,得到最终的图像返回给用户。

可选地,在本实施例中,下采样的方式与上采样的方式是对应的,也可以但不限于采用bicubic插值方法,bilinear(双线性插值)方法等。如果上采样采用了bicubic插值方法,那么下采样也采用bicubic插值方法。如果上采样采用了bilinear插值方法,那么下采样也采用bilinear插值方法。

作为一种可选的实施例,为所述第一对象部位生成对象部位图像包括:

s11,对所述目标图像区域进行模糊处理,得到目标模糊图像;

s12,通过目标图像生成模型生成所述目标模糊图像所对应的所述对象部位图像,其中,所述目标图像生成模型是使用标注了部位图像样本的图像区域样本对初始图像生成模型进行训练得到的,所述部位图像样本中展示的对象部位的质量参数样本高于或者等于第二阈值,所述图像区域样本是对所述部位图像样本进行模糊处理得到的。

可选地,在本实施例中,目标图像生成模型是使用标注了部位图像样本的图像区域样本对初始图像生成模型进行训练得到的,部位图像样本中展示的对象部位的质量参数样本高于或者等于第二阈值,图像区域样本是对部位图像样本进行模糊处理得到的。由于目标图像生成模型是使用模糊处理后的图像训练初始图像生成模型得到的,因此,在将图像输入到目标图像生成模型之前,首先对目标图像区域进行模糊处理,得到目标模糊图像,将目标模糊图像作为目标图像生成模型的输入。

可选地,在本实施例中,高斯处理的方式可以但不限于包括高斯模糊,以及其他的模糊方法。

作为一种可选的实施例,通过目标图像生成模型生成所述目标模糊图像所对应的所述对象部位图像包括:

s21,将所述目标模糊图像输入所述目标图像生成模型的目标生成层,其中,所述目标图像生成模型包括所述目标生成层和目标对抗层;

s22,获取所述目标生成层输出的所述对象部位图像。

可选地,在本实施例中,目标图像生成模型可以但不限于包括目标生成层和目标对抗层,目标生成层用于生成图像,目标对抗层用于进行对抗训练。比如:目标图像生成模型可以但不限于采用gans(生成式对抗网络,generativeadversarialnetworks)的网络结构。目标图像生成模型可以但不限于采用stylegan的网络结构,progan的网络结构等等。

作为一种可选的实施例,在将所述目标模糊图像输入所述目标图像生成模型的生成层之前,所述方法还包括:

s31,固定初始生成层的第一模型参数,使用标注了部位图像样本的图像区域样本对初始对抗层进行训练,得到所述目标对抗层,其中,所述初始图像生成模型包括所述初始生成层和所述初始对抗层;

s32,固定所述目标对抗层的第二模型参数,使用标注了部位图像样本的图像区域样本对所述初始生成层进行训练,得到所述目标生成层。

可选地,在本实施例中,在将目标模糊图像输入目标图像生成模型的生成层之前,可以分别对目标生成层和目标对抗层进行训练,从而得到目标图像生成模型。可以首先固定初始生成层的第一模型参数,使用训练集训练初始对抗层,得到目标对抗层,再固定目标对抗层的第二模型参数,使用训练集训练初始生成层得到目标生成层。

可选地,在本实施例中,stylegan网络本身是一个纯粹的人脸生成网络,输入是一组潜码(一串随机数字),输出为一副高清人脸图像。本实施例中将stylegan的网络进行了修改,将输入从潜码改为一幅模糊图像,使得训练后的stylegan的网络能很好地完成将图像中的模糊图像区域生产高清图像的功能。为了达到目标对象全局的美化效果,在生成训练数据集时,针对性地选用高清且评分较高的高质量图像样本作为输出图像,然后对这些图像样本上的对象部位随机进行模糊处理作为训练数据集中的输入图像。

作为一种可选的实施例,对所述目标图像区域进行模糊处理,得到目标模糊图像包括以下之一:

s41,对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像;

s42,从所述初始图像上提取所述目标图像区域,得到区域图像;对所述区域图像进行模糊处理,得到所述目标模糊图像。

可选地,在本实施例中,可以对目标图像区域模糊后的整张初始图像进行生成和美化,亦可将目标图像区域单独抠出做图像生成和美化,再融合到初始图像中。

作为一种可选的实施例,根据所述对象部位图像获取所述初始图像所对应的目标图像包括:

s51,在对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像的情况下,将所述对象部位图像确定为所述目标图像;

s52,在对所述区域图像进行模糊处理,得到所述目标模糊图像的情况下,将所述初始图像上的所述目标图像区域替换为所述对象部位图像,得到所述目标图像。

可选地,在本实施例中,如果是对初始图像上的目标图像区域进行模糊处理,得到目标模糊图像的情况,那么目标图像生成模型输出的对象部位图像即为对初始图像进行生成和美化的最终结果,如果是对区域图像进行模糊处理,得到目标模糊图像的情况,那么目标图像生成模型输出的是只展示了第二对象部位的对象部位图像,则将初始图像上的目标图像区域替换为对象部位图像,得到目标图像。

可选地,在本实施例中,将初始图像上的目标图像区域替换为对象部位图像可以但不限于采用对初始图像上的目标图像区域进行模糊处理后将对象部位图像粘贴融合在目标图像区域的方式,或者,也可以采用抠图拼接的方式,比如:将目标图像区域从初始图像上抠除,在将对象部位图像拼接到抠图后的图像上。

作为一种可选的实施例,从所述每个对象部位对应的图像区域中确定目标图像区域包括:

s61,通过目标对象检测模型获取所述每个对象部位所对应的质量参数,其中,所述目标对象检测模型是使用标注了质量参数样本的对象部位样本对初始对象检测模型进行训练得到的;

s62,从所述一个或者多个对象部位中获取质量参数低于所述第一阈值的对象部位作为所述第一对象部位;

s63,将所述第一对象部位在所述初始图像上所在的区域确定为所述目标图像区域。

可选地,在本实施例中,用深度学习算法对检测出的各个对象部位进行评价,得到每个对象部位的质量参数(值域区间可以为0-100分)。质量参数越高表示质量越高。将每个对象部位的质量参数与第一阈值进行比较,得到质量参数低于第一阈值的对象部位作为第一对象部位,并将第一对象部位在初始图像上所在的区域确定为目标图像区域。

本申请还提供了一种可选实施例,该可选实施例提供了一种基于深度学习的人脸图像美化方法,图5是根据本申请可选实施例的一种人脸图像美化方法的示意图,如图5所示,该方法包括以下步骤:

步骤s502,人脸图像上采样,接收到用户上传的人脸图像(相当于上述初始图像),为了更好地完成后续的人脸组件(相当于上述对象部位)检测和人脸生成和美化的功能,对输入图像的分辨率有一定要求。因此,对于分辨率小于128*128的图像,会首先上采样至128*128的分辨率,而对于分辨率大于128*128的人脸图像不作处理。若输入图像不是正方形图像,按比例上采样至最短边为128像素即可。上采样方法可以采用bicubic(双三次插值算法)。

步骤s504,人脸组件检测,检测并分割出人脸图像中的各个人脸组件,包括眉毛(左、右),眼睛(左、右),鼻子,嘴唇(上、下),牙齿,脸颊等。检测方法为深度学习方法,使用dnn的deeplabv3+,该网络的预训练模型本身并不能分割人脸的组件,在本可选实施例中基于该网络模型,准备的用于进行模型训练的数据集输入参数为人脸图像,输出参数为每个人脸组件的标签以及对应的像素区域,使用该训练了一个可以实现人脸组件分割的网络。

需要说明的是,该人脸分割网络同时分割出了头发区域,在本可选实施例中可以对其进行处理,也可以不对头发区域进行处理。

步骤s506,人脸组件评价,用深度学习算法对检测出的各个人脸组件评价,得到每个组件的分数(值域区间为0-100分)。

步骤s508,对分数低于阈值的组件区域进行模糊处理,目前所有区域均设定阈值为50,标记出分数低于阈值的组件。对于眉毛、眼睛、嘴唇这三个成对的组件,如果左/右或上/下任意一个组件的分数低于阈值,则将一对组件都标记出来(如假设左眼评分低于阈值,则将两只眼睛都标记出来)。在原始的人脸图像中,对所有标记出的组件做模糊处理。如果所有组件评分均高于阈值,则对原图不做处理。

在本可选实施例中,模糊方法可以但不限于为高斯模糊,模糊的强度依据原始输入的人脸图像的模糊程度确定,原始图像越模糊,则对标记组件模糊时使用的强度越低。因为对于原始就较模糊的图像,不能做过高强度的模糊,否则图像信息会损失过多,不利于后期的图像生成和美化,而对于原始较清晰的图像,则可以适当加大模糊强度。

步骤s510,人脸图像生成和美化,对步骤s508模糊后的图像整体,用修改的stylegan网络模型对模糊图像进行细节生成和人脸美化。stylegan本身是一个纯粹的人脸生成网络,输入是一组潜码(一串随机数字),输出为一副高清人脸图像。

在本可选实施例中,对stylegan的网络进行了修改,将输入从潜码改为一幅图像,使其能很好地完成将图像中的模糊人脸组件生产高清组件的功能。同时,为了达到人脸全局的美化效果,在生成训练数据集时,针对性地选用高清且评分较高的高质量人脸图像作为输出图像,然后对这些人脸图像上的人脸组件随机进行模糊处理作为训练数据集中的输入图像。

步骤s512,图像分辨率还原,对于分辨率小于128*128的图像,因为在刚开始处理时进行了上采样操作改变了分辨率,因此在输出前可以进行下采样操作,使得输出图像的分辨率与输入图像一致。具体的下采样方法与上采样时一样,也可以是bicubic(双三次插值算法)。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

根据本申请实施例的另一个方面,还提供了一种用于实施上述图像的生成方法的图像的生成装置。图6是根据本申请实施例的一种可选的图像的生成装置的示意图,如图6所示,该装置可以包括:

检测模块62,用于从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

确定模块64,用于从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

生成模块66,为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

获取模块68,用于根据所述对象部位图像获取所述初始图像所对应的目标图像。

需要说明的是,该实施例中的检测模块62可以用于执行本申请实施例中的步骤s202,该实施例中的确定模块64可以用于执行本申请实施例中的步骤s204,该实施例中的生成模块66可以用于执行本申请实施例中的步骤s206,该实施例中的获取模块68可以用于执行本申请实施例中的步骤s208。

此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。

通过上述模块,通过在初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域,将初始图像划分为对象部位对应的图像区域,从中确定不满足第一阈值要求的第一对象部位,也就是需要进行美化的第一对象部位,将其对应的图像区域确定为目标图像区域,为第一对象部位生成用于展示与其属于相同类型的对象部位的对象部位图像,使得对象部位图像中展示的第二对象部位的第二质量参数能够满足第一阈值的要求,使用该对象部位图像对初始图像进行美化得到美化后的目标图像,可见,美化过程中对于不满足要求的第一对象部位并不是在第一对象部位的基础上简单地进行参数的调整达到美化的目的,而是为其生成了新的满足要求的对象部位图像,使用该新生成的对象部位图像美化原始图像来达到美化的目的,从而实现了提高对图像中显示的对象进行美化时美化效果的技术效果,进而解决了对图像中显示的对象进行美化时美化效果较差的技术问题。

作为一种可选的实施例,所述生成模块包括:

处理单元,用于对所述目标图像区域进行模糊处理,得到目标模糊图像;

生成单元,用于通过目标图像生成模型生成所述目标模糊图像所对应的所述对象部位图像,其中,所述目标图像生成模型是使用标注了部位图像样本的图像区域样本对初始图像生成模型进行训练得到的,所述部位图像样本中展示的对象部位的质量参数样本高于或者等于第二阈值,所述图像区域样本是对所述部位图像样本进行模糊处理得到的。

作为一种可选的实施例,所述生成单元用于:

将所述目标模糊图像输入所述目标图像生成模型的目标生成层,其中,所述目标图像生成模型包括所述目标生成层和目标对抗层;

获取所述目标生成层输出的所述对象部位图像。

作为一种可选的实施例,所述装置还包括:

第一训练模块,用于在将所述目标模糊图像输入所述目标图像生成模型的目标生成层之前,固定初始生成层的第一模型参数,使用标注了部位图像样本的图像区域样本对初始对抗层进行训练,得到所述目标对抗层,其中,所述初始图像生成模型包括所述初始生成层和所述初始对抗层;

第二训练模块,用于固定所述目标对抗层的第二模型参数,使用标注了部位图像样本的图像区域样本对所述初始生成层进行训练,得到所述目标生成层。

作为一种可选的实施例,所述处理单元用于以下之一:

对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像;

从所述初始图像上提取所述目标图像区域,得到区域图像;对所述区域图像进行模糊处理,得到所述目标模糊图像。

作为一种可选的实施例,所述获取模块包括:

第一确定单元,用于在对所述初始图像上的所述目标图像区域进行模糊处理,得到所述目标模糊图像的情况下,将所述对象部位图像确定为所述目标图像;

替换单元,用于在对所述区域图像进行模糊处理,得到所述目标模糊图像的情况下,将所述初始图像上的所述目标图像区域替换为所述对象部位图像,得到所述目标图像。

作为一种可选的实施例,所述确定模块包括:

第一获取单元,用于通过目标对象检测模型获取所述每个对象部位所对应的质量参数,其中,所述目标对象检测模型是使用标注了质量参数样本的对象部位样本对初始对象检测模型进行训练得到的;

第二获取单元,用于从所述一个或者多个对象部位中获取质量参数低于所述第一阈值的对象部位作为所述第一对象部位;

第二确定单元,用于将所述第一对象部位在所述初始图像上所在的区域确定为所述目标图像区域。

此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。

根据本申请实施例的另一个方面,还提供了一种用于实施上述图像的生成方法的电子装置,例如服务器或终端。

图7是根据本申请实施例的一种终端的结构框图,如图7所示,该终端可以包括:一个或多个(图中仅示出一个)处理器701、存储器703、以及传输装置705,如图7所示,该终端还可以包括输入输出设备207。

其中,存储器703可用于存储软件程序以及模块,如本申请实施例中的图像的生成方法和装置对应的程序指令/模块,处理器701通过运行存储在存储器203内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像的生成方法。存储器703可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器703可进一步包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置705用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置705包括一个网络适配器(networkinterfacecontroller,nic),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置705为射频(radiofrequency,rf)模块,其用于通过无线方式与互联网进行通讯。

其中,具体地,存储器703用于存储应用程序。

处理器701可以通过传输装置705调用存储器703存储的应用程序,以执行下述步骤:

从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

根据所述对象部位图像获取所述初始图像所对应的目标图像。

采用本申请实施例,提供了一种图像的生成的方案。通过在初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域,将初始图像划分为对象部位对应的图像区域,从中确定不满足第一阈值要求的第一对象部位,也就是需要进行美化的第一对象部位,将其对应的图像区域确定为目标图像区域,为第一对象部位生成用于展示与其属于相同类型的对象部位的对象部位图像,使得对象部位图像中展示的第二对象部位的第二质量参数能够满足第一阈值的要求,使用该对象部位图像对初始图像进行美化得到美化后的目标图像,可见,美化过程中对于不满足要求的第一对象部位并不是在第一对象部位的基础上简单地进行参数的调整达到美化的目的,而是为其生成了新的满足要求的对象部位图像,使用该新生成的对象部位图像美化原始图像来达到美化的目的,从而实现了提高对图像中显示的对象进行美化时美化效果的技术效果,进而解决了对图像中显示的对象进行美化时美化效果较差的技术问题。

可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。

本领域普通技术人员可以理解,图7所示的结构仅为示意,终端可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobileinternetdevices,mid)、pad等终端设备。图7其并不对上述电子装置的结构造成限定。例如,终端还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图7所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-onlymemory,rom)、随机存取器(randomaccessmemory,ram)、磁盘或光盘等。

本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行图像的生成方法的程序代码。

可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:

从初始图像上检测目标对象的一个或者多个对象部位中每个对象部位对应的图像区域;

从所述每个对象部位对应的图像区域中确定目标图像区域,其中,所述目标图像区域中展示的第一对象部位所对应的第一质量参数低于第一阈值;

为所述第一对象部位生成对象部位图像,其中,所述对象部位图像中展示的第二对象部位的第二质量参数高于或者等于所述第一阈值,所述第二对象部位与所述第一对象部位属于相同的部位类型;

根据所述对象部位图像获取所述初始图像所对应的目标图像。

可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。

可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1