一种风格化矢量图生成方法、系统、设备及介质

本发明涉及深度学习，更具体的说是涉及一种风格化矢量图生成方法、系统、设备及介质。

背景技术：

1、现有的风格化矢量图生成方法仅仅通过文本描述来提供风格信息往往难以精确地控制生成的矢量图的风格，例如diffsketcher、svgdreamer等，都需要结合位图上风格迁移的方法，没有充分利用矢量图由基元组成的特殊性。

2、并且，关于风格化矢量图生成的研究仍然很有限。styleclipdraw是目前text-to-stylizedsvg领域唯一存在的研究，但是这个方法仍然遵循在光栅图像(位图)上进行风格迁移的流程，生成的结果较为抽象，难以表达文本描述的内容。

3、因此，如何提高对风格的表示以及内容生成的保真度是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种风格化矢量图生成方法、系统、设备及介质，提高了对风格的表示以及内容生成的保真度。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种风格化矢量图生成方法，包括：

4、s1:获取风格参考图像，将风格参考图像中相似特征的笔画划分为不同的区域，获得笔画集合；

5、s2:对笔画集合中每一区域的笔画进行矢量化，得到矢量化笔画；

6、s3:将提取的矢量化笔画作为风格化矢量图的初始化，计算渲染后的光栅图像；

7、获取输入的文本描述，并计算潜在空间向量；

8、s4:将潜在空间向量和光栅图像作为分数蒸馏采样的输入计算梯度并进行反向传播，生成风格化矢量图；

9、s3和s4在风格化矢量图模型中进行计算。

10、优选的，风格化矢量图模型包括风格保留损失和文本引导的内容损失。

11、优选的，风格保留损失包括局部笔画变形约束损失和全局绘画感知约束损失；

12、局部笔画变形约束损失计算公式为：

13、

14、其中，表示局部笔画变形约束，s是针对原始提取的矢量化笔画集合，si表示原始提取的矢量化笔画集合里的一条矢量化笔画，表示迭代过程更新后的矢量化笔画集合，s'i表示在迭代过程当中更新之后的一条矢量化笔画，n表示笔画的总数量，pi表示s和s'的第i个控制点，分别为二维二次贝塞尔曲线中p1和p2之间的向量、p2和p3之间的向量；

15、风格保留损失计算公式为：

16、

17、其中，是风格保留损失，是将初始化风格化矢量图输入进可微渲染器渲染后得到的光栅图像，是风格参考图像，是全局绘画感知约束损失，λs和λg分别表示局部笔画变形约束和全局绘画感知约束的权重。

18、优选的，文本引导的内容损失包括jvsp损失和asds损失：

19、jvsp损失计算公式为：

20、

21、式中，表示jvsp损失，表示冻结的预训练的潜在扩散模型，通过可微渲染器渲染后得到的光栅图像，clipl表示clip模型的第l层，y表示给定的文本描述，t是潜在扩散模型里的时间步t，zt表示在y和t的条件下在潜在扩散模型里得到的潜在向量，表示vae解码器，用来将zt解码成光栅图像；

22、asds损失计算公式为：

23、

24、式中，w(t)是权重函数，θ表示风格化矢量图参数，φ是潜在扩散模型的参数，表示光栅图像增强后的图像，z是经过vae编码器ε得到的潜在空间向量。

25、优选的，风格化矢量图模型优化目标为：

26、

27、其中，λjvsp表示损失的权重，λasds表示的梯度的缩放比例，θ为风格化矢量图参数。

28、优选的，对笔画集合中每一区域的笔画进行矢量化，具体过程为：

29、将每个区域均分别作为初始化的一条笔画，选择每个区域中距离最远的一对点作为初始控制点和终端控制点，计算区域的平均颜色作为初始化笔画颜色，并计算边界点到初始控制点和终端控制点的连线的垂直距离的平均值作为初始化笔画宽度，将每个区域转化成矢量笔画作为初始化笔画曲线。

30、一种风格化矢量图生成系统，包括：

31、风格笔画提取模块：用于获取风格参考图像，将风格参考图像中相似特征的笔画划分为不同的区域，获得笔画集合；对笔画集合中每一区域的笔画进行矢量化，得到矢量化笔画；

32、风格化矢量图生成模块：用于将提取的矢量化笔画作为风格化矢量图的初始化计算渲染后的光栅图像；获取输入的文本描述，并计算潜在空间向量；将潜在空间向量和光栅图像作为分数蒸馏采样的输入计算梯度并进行反向传播，生成风格化矢量图。

33、一种计算机设备，包括：存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时，实现一种风格化矢量图生成方法的步骤。

34、一种计算机可读存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现一种风格化矢量图生成方法的步骤。

35、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种风格化矢量图生成方法、系统、设备及介质，具有以下优点：

36、(1)本发明创新性的提出了一种全新的风格化矢量图生成算法，将风格化矢量图生成过程建模成为对参考图像当中提取的笔画进行重新排列的过程，这种思想可以提高对风格表示以及内容生成的保真度。

37、(2)提出了一种新的方法，用于从风格参考图像当中提取一组矢量笔画，这些提取出的矢量笔画是后续生成风格化矢量图的基本元素。此外，引入了风格保留损失，在风格化矢量图生成过程当中提供风格监督，保持笔画形状没有显著形变，以及整体颜色与风格参考图像相似。

38、(3)因为使用文本生成图像的潜在扩散模型(ldm)，使用不同的随机种子可以生成不同的图像，所以本发明针对相同的输入可以有完全不同的输出。

技术特征：

1.一种风格化矢量图生成方法，其特征在于，包括：

2.根据权利要求1所述的一种风格化矢量图生成方法，其特征在于，风格化矢量图模型包括风格保留损失和文本引导的内容损失。

3.根据权利要求2所述的一种风格化矢量图生成方法，其特征在于，风格保留损失包括局部笔画变形约束损失和全局绘画感知约束损失；

4.根据权利要求3所述的一种风格化矢量图生成方法，其特征在于，文本引导的内容损失包括jvsp损失和asds损失：

5.根据权利要求4所述的一种风格化矢量图生成方法，其特征在于，风格化矢量图模型优化目标为：

6.根据权利要求1所述的一种风格化矢量图生成方法，其特征在于，对笔画集合中每一区域的笔画进行矢量化，具体过程为：

7.一种风格化矢量图生成系统，其特征在于，包括：

8.一种计算机设备，其特征在于，包括：存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时，实现权利要求1至6任一项方法的步骤。

9.一种计算机可读存储介质，其特征在于，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至6中任一项方法的步骤。

技术总结
本发明公开了一种风格化矢量图生成方法、系统、设备及介质，方法包括：获取风格参考图像，将风格参考图像中相似特征的笔画划分为不同的区域，获得笔画集合；对笔画集合中每一区域的笔画进行矢量化，得到矢量化笔画；将提取的矢量化笔画作为风格化矢量图的初始化计算渲染后的光栅图像；获取输入的文本描述，并计算潜在空间向量；将潜在空间向量和光栅图像作为分数蒸馏采样的输入计算梯度并进行反向传播，生成风格化矢量图。本发明提高了对风格的表示以及内容生成的保真度。

技术研发人员：于茜,胡峻诚,行习铭
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/8/27