一种基于循环一致性生成式对抗网络的民族服饰草图提取方法

1.本发明涉及一种基于循环一致性生成式对抗网络的民族服饰草图提取方法，属于图像翻译技术领域。


背景技术：

2.少数民族服饰文化在中华民族传统文化中具有非常重要的地位，也是少数民族文化保护与传承的重要内容之一。作为少数民族文化数字化的重要手段，少数民族服饰草图的生成具有很多实际的应用需求。草图是在一定的规则下组成的可以反映图像轮廓特征的线条集合，在一定程度上体现所要描绘物体的主要特征。而少数民族服饰比较复杂，特别是一些少数民族服饰上还带有很多的花纹和图案，这就导致在进行边缘轮廓提取的时候要充分考虑到民族服饰中的细节信息，特别是一些比较重要的线条，只有尽量的使这些细节信息得到保留，才能更好的实现少数民族服饰图像的边缘特征的提取。所以对于少数民族服饰图像边缘轮廓特征提取方法的研究在计算机视觉领域具有重要的研究意义。


技术实现要素：

3.本发明要解决的技术问题是提供一种基于循环一致性生成式对抗网络的民族服饰草图提取方法，用以解决现有草图生成方法对民族服饰图像效果较差的问题。
4.本发明的技术方案是：一种基于循环一致性生成式对抗网络的民族服饰草图提取方法，利用基于循环一致性生成式对抗网络来对民族服饰图像进行草图自动生成，对少数民族服饰图像的边缘及轮廓特征进行提取，从而自动的生成民族服饰草图。在输入到生成器网络之前，需要对源图像进行双边滤波的降噪处理与颜色量化处理，优化源图像的质量帮助最终的民族服饰草图生成。
5.具体步骤为：step1：图像预处理；step1.1：对民族服饰图像进行边缘以及轮廓信息提取，使民族服饰图像转换为民族服饰草图，从而获得自动草图生成任务的目标图像，构成了民族服饰草图数据集。
6.转化后的民族服饰草图图像数据维度由原来的3维变成了1维，采用1维的表示方法可以减少整个循环一致性生成式对抗网络模型的参数，减少计算复杂度，提高生成草图图像的效果。
7.step 1.2：将原始的民族服饰图像进行降噪处理，采用双边滤波算法进行图像降噪。保持边缘细节以及降噪平滑图像，从而获得边缘更为清晰的结果，使得图像细节信息更加完整的保留下来，提高后续草图生成的效果。
8.step 1.3：将step 1.2优化处理后的图像结果作为本步骤的输入，对图像进行颜色量化的操作，将整副图像的颜色进行聚类，聚类算法采用k-means，设聚类的级别为4，也就是所谓的四个颜色类别中心，经过颜色量化处理后得到图像色块图。由四个颜色组成的
图像色块图简化了图像的整体复杂性，有助于后续草图生成任务。
9.step 2：图像生成与判别；step 2.1：将step 1.3中处理过的图像色块图作为草图生成器g
ab
的输入，从而得到由草图生成器生成的草图图像。草图生成器的输入数据维度为3，为rgb颜色空间图像，输出结果的维度为1，为无颜色信息的灰度图像，step 2.2：将step 2.1中生成的生成草图与step 1.1中标注的草图图像交替输入到草图判别器中，对每一部分的图像块进行判断，然后再汇总判断的结果，使得判别器输出的结果综合了整个图像的每一部分，更具有可解释性。
10.step 2.3：将step 2.1中生成的生成草图作为服饰图生成器g
ba
的输入，从而得到由服饰图生成器生成的生成服饰图像。服饰图生成器的输入数据维度为1，输出结果的维度为3，为rgb颜色空间图像。
11.step 2.4：将step 1.3中处理后的图像与step 2.3中由生成器生成的生成服饰图像交替输入到服饰图判别器中，输入的图像数据通过服饰图判别器进行服饰图像真假的判断。
12.step 2.5：对草图生成器g
ab
与服饰图生成器g
ba
进行迭代训练，重复step 2.1、step 2.2、step 2.3、step 2.4。在不断迭代的过程中，两组判别器的最终判别结果将辅助并影响生成器生成更好的草图图像。
13.所述step1.3中，颜色量化处理采用的量化等级为四。
14.所述step2.1、step2.3中的两个图像生成器g
ab
与g
ba
，具有相同的网络模型，但输入、输出不同。
15.所述step2.2中的草图判别器和所述step2.4中的服饰图判别器，都采用分块判断的方式进行图像判别。
16.本发明对民族服饰草图自动生成方法进行设计，将图像翻译技术应用到草图生成任务之中，利用图像降噪算法与图像颜色量化算法进行优化。使用两组相同结构的生成器对草图生成与草图复原服饰图分别进行迭代与学习，利用两个图像生成器，将服饰图像转换翻译为服饰草图，然后再将生成的服饰草图转换翻译为服饰图像，通过生成的服饰图像与原本服饰图像的差异，不断优化生成器生成图像的效果。同时两组判别器也可以使服饰生成器更好的生成最终的图像，优化最终的图像效果。
17.相较于一般的图像，民族服饰的草图自动生成任务更加困难。由于民族服饰的样式与颜色更加复杂，使用一般的方法难以很好的完成民族服饰草图的自动生成，利用循环一致性生成式对抗网络模型，使得最终生成的草图效果更加出色。
18.本发明的有益效果是：能够有效的自动生成少数民族服饰草图，实现民族服饰灰图像草图自动生成。与现有的自动生成草图方法相比，本发明可以更好的针对复杂结构的民族服饰图像对象进行草图的生成，使得最终效果超过主流的草图生成方法。使用两组生成器与判别器，能够更好的生成高分辨率的民族服饰草图图像、保留民族服饰细节，对于少数民族服饰草图生成有着重大的意义。
附图说明
19.图1是本发明的流程图；
图2是本发明实施例1中的step 2.1使用的生成器网络架构图；图3是本发明的草图判别器网络架构图；图4是本发明的服饰图判别器网络架构图；图5是本发明实施例1中的step 2.3使用的生成器网络架构图；图6是本发明的彩色化输出结果。
具体实施方式
20.下面结合附图和具体实施方式，对本发明作进一步说明。
21.实施例1：如图1所示，一种基于循环一致性生成式对抗网络的民族服饰草图提取方法，具体步骤为：step1：图像预处理；step1.1：对民族服饰图像进行边缘及轮廓信息提取与标注，提取与标注的方式可以是手工提取和手工标注，获得民族服饰草图，从而构成民族服饰草图数据集。数据集由两部分构成分别是民族服饰图像和与之对应的民族服饰草图。
22.step 1.2：对民族服饰图像进行预处理的第一步，利用双边滤波降噪算法对民族服饰图像进行处理，使图像保持边缘以及降噪平滑，从而得到清晰的民族服饰图像的边缘信息，因此民族服饰图像的边缘细节信息更加突出，利于后续步骤的处理。
23.step 1.3：将step1.2中降噪后的图像进行颜色量化操作，k-means颜色量化中有一个重要的参数是量化等级，不同量化等级下的图像量化效果不同。通过实验分析，量化等级为4时图像的细节信息能够基本体现出来，而且颜色分布很平均，轮廓边界更加明显。
24.step 2：图像生成与判别；step 2.1：将step 1.3处理后的图像输入到草图生成器g
ab
中，得到草图生成器生成的草图图像。生成器g
ab
的作用是将预处理后的民族服饰图像转换为民族服饰草图图像。生成器g
ab
的网络模型结构如图2所示。
25.step 2.2：将step 2.1中生成的生成草图与step 1.1手工标注的草图图像交替输入到草图判别器中，不断训练草图判别器的判别能力。草图判别器的作用是判断草图生成器g
ab
生成图像的效果，从而辅助草图生成器g
ab
生成效果更好的结果。草图判别器的网络模型结构如图3所示。
26.step 2.3：将step 2.1中生成的生成草图输入到服饰图生成器g
ba
中，得到服饰图生成器生成的生成服饰图。生成器g
ba
的作用是将生成器g
ab
生成的结果从民族服饰草图图像再转换为民族服饰图像。生成器g
ba
的网络模型结构如图5所示。
27.step 2.4：将step1.3中处理后的图像与step 2.3中生成的生成服饰图交替输入到服饰图判别器中，不断训练服饰图判别器的判别能力。服饰图判别器的作用是判断服饰图生成器g
ba
生成图像的效果，同样可以通过与原始的民族服饰进行比较，从而间接更新迭代生成器g
ab
的网络模型参数。服饰图判别器的网络模型结构如图4所示。
28.step 2.5：对草图生成器g
ab
与服饰图生成器g
ba
进行迭代训练，重复step 2.1、step 2.2、step 2.3、step 2.4。
29.进一步的，所述step1.3中，颜色量化处理采用的量化等级为四。
30.进一步的，所述step2.1、step2.3中的两个图像生成器g
ab
与g
ba
，具有相同的网络
模型，但输入、输出不同。
31.进一步的，所述step2.2中的草图判别器和所述step2.4中的服饰图判别器，都采用分块判断的方式进行图像判别。
32.图1示明了基于循环一致性生成式对抗网络的架构。首先将民族服饰图像进行预处理的操作，预处理的第一步为图像降噪，利用双边滤波降噪算法进行处理。预处理的第二步为颜色量化，利用k-means聚类算法对图像进行颜色量化，设置量化等级为4。然后将预处理后的图像输入到草图生成器g
ab
中，输出生成草图，将真实草图与生成草图交替输入到草图判别器中，输出图像的真假，从而判断草图生成器g
ab
的生成图像效果。接着将生成草图输入到服饰图生成器g
ba
中，输出生成服饰图，将预处理后的服饰图与生成服饰图交替输入到服饰图判别器中，输出判别器的判断结果，从而判断服饰图生成器g
ba
生成图像的效果。
33.具体实施时，草图生成器g
ab
的网络结构，首先是输入的图像数据为3维，经过下采样操作数据维度依次转换为64维、128维、256维、512维，然后经过9个残差块组进行图像特征的进一步表示，最后经过上采样操作将数据维度进行还原，最终生成服饰草图。模型维度的转化是通过图像卷积与反卷积实现的。服饰图生成器g
ba
的网络结构与草图生成器g
ab
的网络结构一致，只是在输入输出的设置有所不同。
34.两组生成器和判别器的各自的参数不断迭代与更新，最终完成对民族服饰草图生成器的训练。由民族服饰图转化为民族服饰草图的效果如图6所示。
35.以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。