汉字骨架生成方法、装置、电子设备和存储介质与流程

本发明涉及图像处理，尤其涉及一种汉字骨架生成方法、装置、电子设备和存储介质。

背景技术：

1、阅读和写作在人们的生活中占据着极其重要的位置，其分别是从世界输入信息以及向世界输出信息。因此，如何赋予设备阅读(手写文本识别)和书写(手写文本生成)能力成为了当下热门的研究课题。

2、当前，设备的手写文本识别技术已较为成熟，但是，在手写数据合成上，由于汉字字体类别繁多，因而针对于其手写字体的骨架生成的研究较少，而在仅存的少量研究中，也由于书写者笔记风格、内容样式、字形使用、字符间距等的变换，导致设备难以定义/预测字符的外观表征，最终使得合成的手写数据的自然度和逼真度堪忧。

技术实现思路

1、本发明提供一种汉字骨架生成方法、装置、电子设备和存储介质，用以解决现有技术中汉字骨架合成的风格相似性和结构稳定性难以保证，且使用场景较为局限的缺陷。

2、本发明提供一种汉字骨架生成方法，包括：

3、确定目标用户的手写汉字图像，以及目标汉字的标准轨迹序列；

4、基于所述手写汉字图像进行风格提取，得到所述目标用户的手写风格特征；

5、基于所述标准轨迹序列进行内容提取，得到所述目标汉字的内容结构特征；

6、基于所述手写风格特征，以及所述内容结构特征，进行汉字骨架生成，得到所述目标用户对于所述目标汉字的手写轨迹序列。

7、根据本发明提供的一种汉字骨架生成方法，所述基于所述手写汉字图像进行风格提取，得到所述目标用户的手写风格特征，包括：

8、将所述手写汉字图像输入至图像风格提取模型，得到所述图像风格提取模型输出的所述目标用户的手写风格特征；

9、所述图像风格提取模型是在样本手写汉字图像的样本手写风格特征，以及所述样本手写汉字图像对应的样本手写汉字轨迹序列的样本手写风格特征的基础上，联合序列风格提取模型训练得到的；

10、所述序列风格提取模型用于基于所述样本手写汉字轨迹序列进行风格提取，得到所述样本手写汉字轨迹序列的样本手写风格特征。

11、根据本发明提供的一种汉字骨架生成方法，所述图像风格提取模型基于如下步骤确定：

12、基于初始图像风格提取模型和初始序列风格提取模型，分别确定所述样本手写汉字图像的样本手写风格特征，以及所述样本手写汉字轨迹序列的样本手写风格特征；

13、确定正样本的样本手写风格特征之间的相似度，以及负样本的样本手写风格特征之间的相似度，所述正样本为同一人员的样本手写汉字图像，以及对应的样本手写汉字轨迹序列，所述负样本为不同人员的样本手写汉字图像，和/或样本手写汉字轨迹序列；

14、基于所述正样本的样本手写风格特征之间的相似度，以及所述负样本的样本手写风格特征之间的相似度，确定对比损失，并基于所述对比损失，对所述初始图像风格提取模型和所述初始序列风格提取模型进行参数调整，得到图像风格提取模型和序列风格提取模型。

15、根据本发明提供的一种汉字骨架生成方法，所述基于所述对比损失，对所述初始图像风格提取模型和所述初始序列风格提取模型进行参数调整，得到图像风格提取模型和序列风格提取模型，包括：

16、基于所述样本手写汉字图像的样本手写风格特征，与初始手写风格类中心的初始类中心矩阵之间的距离，确定分布损失；所述初始类中心矩阵基于所述初始手写风格类中心内各手写风格进行聚类得到；

17、基于所述分布损失和所述对比损失，确定联合训练损失，并基于所述联合训练损失，对所述初始序列风格提取模型、所述初始图像风格提取模型，以及所述初始手写风格类中心进行参数调整，得到序列风格提取模型、图像风格提取模型，以及手写风格类中心。

18、根据本发明提供的一种汉字骨架生成方法，所述基于所述分布损失和所述对比损失，确定联合训练损失，包括：

19、在任一样本手写汉字图像缺失对应的样本手写汉字轨迹序列的情况下，确定所述任一样本手写汉字图像对应的预测手写轨迹序列；

20、基于所述初始序列风格提取模型，确定所述预测手写轨迹序列的预测手写风格特征，所述预测手写轨迹序列基于所述任一样本手写汉字图像的样本手写风格特征，以及参考汉字的样本标准轨迹序列的样本内容结构特征，进行汉字骨架生成得到；

21、基于所述任一样本手写汉字图像的样本手写风格特征，与所述预测手写轨迹序列的预测手写风格特征之间的相似度，确定一致性损失，并基于所述一致性损失，以及所述分布损失和所述对比损失，确定联合训练损失。

22、根据本发明提供的一种汉字骨架生成方法，所述将所述手写汉字图像输入至图像风格提取模型，得到所述图像风格提取模型输出的所述目标用户的手写风格特征，包括：

23、将所述手写汉字图像输入至图像风格提取模型，得到所述图像风格提取模型输出的所述目标用户的初始手写风格特征；

24、确定手写风格类中心的类中心矩阵，基于所述初始手写风格特征和所述类中心矩阵之间的相关性，确定所述目标用户的手写风格特征。

25、根据本发明提供的一种汉字骨架生成方法，所述基于所述手写风格特征，以及所述内容结构特征，进行汉字骨架生成，得到所述目标用户对于所述目标汉字的手写轨迹序列，包括：

26、基于所述手写风格特征，以及所述内容结构特征，进行轨迹预测，得到所述目标汉字的各手写轨迹点的相对位置；

27、基于所述手写风格特征，以及所述内容结构特征，进行状态预测，得到所述目标汉字的各手写轨迹点的轨迹状态；

28、基于所述各手写轨迹点的相对位置和轨迹状态，进行汉字骨架生成，得到所述目标用户对于所述目标汉字的手写轨迹序列。

29、本发明还提供一种汉字骨架生成装置，包括：

30、数据确定单元，用于确定目标用户的手写汉字图像，以及目标汉字的标准轨迹序列；

31、风格提取单元，用于基于所述手写汉字图像进行风格提取，得到所述目标用户的手写风格特征；

32、内容提取单元，用于基于所述标准轨迹序列进行内容提取，得到所述目标汉字的内容结构特征；

33、骨架生成单元，用于基于所述手写风格特征，以及所述内容结构特征，进行汉字骨架生成，得到所述目标用户对于所述目标汉字的手写轨迹序列。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的汉字骨架生成方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的汉字骨架生成方法。

36、本发明提供的汉字骨架生成方法、装置、电子设备和存储介质，通过手写汉字图像进行风格提取，通过标准轨迹序列进行内容提取，分别得到目标用户的手写风格特征，以及目标汉字的内容结构特征，据此两者进行汉字骨架生成，得到目标用户对于目标汉字的手写轨迹序列，克服了传统方案中汉字骨架合成的风格相似性和结构稳定性难以保证，且使用场景较为局限的缺陷，实现了基于包含任意且少量手写汉字的手写汉字图像的稳定手写风格提取，不仅保证了生成汉字与手写汉字之间的风格一致性，还提升了生成汉字的内容正确性和结构稳定性，同时保证了应用范围。