一种含有汉字的车牌生成方法、装置、设备及存储介质与流程

本发明属于人工智能与计算机视觉领域，尤其涉及一种含有汉字的车牌生成方法、装置、设备及存储介质。

背景技术：

1、目前基于深度学习的车牌图像生成主要分成两类方法：一、基于循环对抗生成网络(cycle generative adversarial network，cyclegan)、pix2pix模型的直接生成车牌的方法；二、基于场景文本编辑方法的车牌生成方法。第一类车牌生成方法是先前的研究者在pix2pix和cyclegan的基础上提出的若干种基于gan的车牌生成方法，如cyclewgan、cyclewgan-gp和asymcyclegan等，这些方法直接生成一张完整车牌，然而这些方法生成的车牌笔画不清晰，字符真实感不强，尤其是汉字的效果差，并且前景文本(车牌上的文本)和背景(车牌背景)的差异不如真实车牌那么明显；第二类车牌生成方法是基于场景文本编辑方法，以模块化的方式将车牌的前景文本和背景分开，以消除相互干扰，使得背景生成更加关注纹理特征，而前景生成更加集中于字形和笔画，相比于第一类，第二类方法的模型可以更好的学习到车牌的风格特征，但是第二类方法的模型生成的车牌汉字笔画结构相比于真实车牌还是不够精细。

2、虽然目前车牌生成方法已经有了比较成熟的成果，但是由于车牌包含的复杂字形少于简单的字母数字字形，例如，中文车牌只有一个复杂的汉字，却有六个简单的字母数字字符，这使得模型在训练过程中会减少对生成复杂字形的关注，进一步地，由于复杂字形的特点是笔画更密集，结构更复杂，这使得它们更难与简单字形一起准确生成，这就会导致笔画缺失和结构不正确，因此，目前上述两类车牌生成方法生成的中文车牌图像均存在汉字笔画不清晰、字符真实感不强、字形不准确等问题。

技术实现思路

1、本发明的目的在于提供一种含有汉字的车牌生成方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的含有汉字的车牌生成方法，导致中文车牌图像生成中汉字的生成效果差的问题。

2、一方面，本发明提供了一种含有汉字的车牌生成方法，所述方法包括下述步骤：

3、当接收到车牌生成请求时，获取车牌源图像和车牌文本图像；

4、根据所述车牌源图像和所述车牌文本图像，通过预先训练好的第一文本替换网络得到完整车牌图像；

5、根据所述车牌源图像和所述车牌文本图像，通过预先训练好的第二文本替换网络得到汉字区域图像；

6、将所述完整车牌图像和所述汉字区域图像进行图像拼接，得到车牌拼接图像；

7、通过预先训练好的痕迹优化网络对所述车牌拼接图像中的拼接痕迹进行擦除，得到目标车牌图像。

8、优选地，所述第一文本替换网络和所述第二文本替换网络均包括背景擦除模块、文本转换模块以及融合模块，且输入所述第二文本替换网络的图像分辨率高于输入所述第一文本替换网络的图像分辨率。

9、优选地，所述通过预先训练好的第一文本替换网络得到完整车牌图像的步骤，包括：

10、通过所述第一文本替换网络中的所述背景擦除模块对所述车牌源图像中的源文本进行擦除，得到车牌背景图像；

11、根据所述车牌源图像和所述车牌文本图像，通过所述第一文本替换网络中的所述文本转换模块得到前景文本图像；

12、通过所述第一文本替换网络中的所述融合模块将所述车牌背景图像和所述前景文本图像进行图像融合，得到所述完整车牌图像。

13、优选地，所述通过所述第一文本替换网络中的所述文本转换模块得到前景文本图像的步骤，包括：

14、通过所述文本转换模块提取所述车牌源图像中所述源文本的字体风格特征；

15、通过所述文本转换模块提取所述车牌文本图像中的目标文本；

16、通过所述文本转换模块将所述字体风格特征和所述目标文本进行特征融合，得到所述前景文本图像。

17、优选地，在接收车牌生成请求之前，所述方法还包括：

18、基于预设的所述背景擦除模块的第一损失函数、所述文本转换模块的第二损失函数、所述融合模块的第三损失函数以及所述痕迹优化网络的第四损失函数，根据预设的第一车牌样本数据集对所述第一文本替换网络、所述第二文本替换网络以及所述痕迹优化网络进行预设训练次数的预训练；

19、根据预设的第二车牌样本数据集对预训练后的所述第一文本替换网络、所述第二文本替换网络以及所述痕迹优化网络的网络参数进行微调，以完成所述第一文本替换网络、所述第二文本替换网络以及所述痕迹优化网络的网络训练。

20、另一方面，本发明提供了一种含有汉字的车牌生成装置，所述装置包括：

21、源图像获取单元，用于当接收到车牌生成请求时，获取车牌源图像和车牌文本图像；

22、第一图像获得单元，用于根据所述车牌源图像和所述车牌文本图像，通过预先训练好的第一文本替换网络得到完整车牌图像；

23、第二图像获得单元，用于根据所述车牌源图像和所述车牌文本图像，通过预先训练好的第二文本替换网络得到汉字区域图像；

24、拼接图像获得单元，用于将所述完整车牌图像和所述汉字区域图像进行图像拼接，得到车牌拼接图像；以及

25、目标图像获得单元，用于通过预先训练好的痕迹优化网络对所述车牌拼接图像中的拼接痕迹进行擦除，得到目标车牌图像。

26、优选地，所述第一文本替换网络和所述第二文本替换网络均包括背景擦除模块、文本转换模块以及融合模块，且输入所述第二文本替换网络的图像分辨率高于输入所述第一文本替换网络的图像分辨率。

27、优选地，所述第一图像获得单元包括：

28、背景获得单元，用于通过所述第一文本替换网络中的所述背景擦除模块对所述车牌源图像中的源文本进行擦除，得到车牌背景图像；

29、前景获得单元，用于根据所述车牌源图像和所述车牌文本图像，通过所述第一文本替换网络中的所述文本转换模块得到前景文本图像；以及

30、图像融合单元，用于通过所述第一文本替换网络中的所述融合模块将所述车牌背景图像和所述前景文本图像进行图像融合，得到所述完整车牌图像。

31、另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一种含有汉字的车牌生成方法所述的步骤。

32、另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种含有汉字的车牌生成方法所述的步骤。

33、本发明当接收到车牌生成请求时，获取车牌源图像和车牌文本图像，根据车牌源图像和车牌文本图像，通过预先训练好的第一文本替换网络和第二文本替换网络分别得到完整车牌图像和汉字区域图像，将完整车牌图像和汉字区域图像进行图像拼接，得到车牌拼接图像，通过预先训练好的痕迹优化网络对车牌拼接图像中的拼接痕迹进行擦除，得到目标车牌图像，从而有效提升了车牌中汉字的真实性、笔画的完整性以及字形的准确性，提高了含有汉字的车牌的生成效果。