车牌图像生成方法、系统和车牌图像成器与流程

1.本发明涉及数据处理技术领域，具体涉及一种样本图像的生成方法。


背景技术：

2.随着深度学习技术的快速发展，基于神经网络的端到端车牌识别算法逐渐取代了基于传统机器学习的车牌识别算法。前者具有鲁棒性好、准确率高、处理速度快等明显优势，但其存在需要收集大量的车牌标注样本用于训练的缺点。
3.为了获取满足训练要求的车牌标注数据，需要耗费大量的时间、资金和人力进行收集和标注工作。首先，车牌的种类繁多，包含小型车牌、大型车牌、大型双层车牌、新能源车牌、警牌、军牌、双层军牌等，相对罕见的车牌增加了样本收集工作的难度；其次，各省市的车牌内容也存在差异，需要对每个地区进行同样的重复收集。
4.为了减少成本，一般会使用计算机图像技术，按照车牌的颜色、字体和字符内容等规则人工合成车牌图片，作为车牌标注数据的补充。在合成车牌图片的过程中，通过加入常见的数据增强技术，例如随机裁剪、缩放、旋转，随机亮度、对比度、色度、色饱和度，增加污损、遮挡等方式，使合成的车牌图片尽可能模拟真实的车牌图片。然而这种通过人工方法合成的车牌图片同真实场景下车牌图片数据分布差距较大，往往会导致识别模型学习到错误的知识，无法挖掘车牌图片数据的本质特征，从而使得模型泛化能力下降，在真实数据上的表现效果较差。


技术实现要素：

5.本发明提供了一种自动生成车牌样本数据的方法和系统，解决了车牌样本采集和标注繁琐的难点。
6.为了解决上述技术问题，本发明通过下述技术方案得以解决：
7.一种车牌图像生成方法，包括以下步骤：
8.获取真实车牌图像，构建与真实车牌图像对应的语义标签，得到训练数据集；
9.以所述训练数据集训练oasis生成网络，得到第一固定参数；
10.以所述第一固定参数下的oasis生成网络输出第一车牌图像；
11.以所述第一车牌图像和所述真实车牌图像训练oasis语义分割网络，得到第二固定参数；
12.以所述第二固定参数下的oasis生成网络为目标oasis生成网络；
13.获取模拟车牌图像，构建与所述模拟车牌图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述目标oasis生成网络，得到目标样本。
14.可选的，以所述训练数据集训练oasis生成网络的方法包括：
15.所述训练数据集包括语义标签数据和车牌图像数据；
16.将所述语义标签数据输入oasis生成网络，输出第一车牌图像；
17.所述第一车牌图像输入冻结网络参数的oasis语义分割网络，输出第一车牌语义
分割图；
18.将所述语义标签数据和所述第一车牌语义分割图进行损失计算后更新所述oasis生成网络。
19.可选的，以所述第一车牌图像和所述真实车牌图像训练oasis语义分割网络的方法包括：
20.所述训练数据集包括语义标签数据和车牌图像数据；
21.将所述语义标签数据输入冻结网络参数的oasis生成网络，输出第二车牌图像；
22.将所述第二车牌图像输入oasis语义分割网络，输出第二车牌语义分割图；
23.将所述车牌图像数据输入oasis语义分割网络，输出第二车牌图像分割图；
24.分别计算所述车牌图像数据和所述第二车牌图像分割图，以及所述车牌图像数据和所述第二车牌图像分割图的损失函数，更新所述oasis语义分割网络。
25.可选的，还包括迭代训练的方法：
26.获取真实车牌图像，构建与真实车牌图像对应的语义标签，得到训练数据集和验证数据集；
27.所述验证数据集包括验证车牌图像和验证车牌语义标签；
28.每经过预设迭代次数，执行验证数据集训练，对所述oasis生成网络进行验证；
29.运算所述验证车牌语义标签，oasis生成网络输出第三车牌图像；
30.对所述验证车牌图像和所述第三车牌图像执行fid运算，直至fid值稳定，完成oasis模型训练。
31.可选的，获取模拟车牌语义图像，构建与所述模拟车牌语义图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述oasis生成网络，得到目标样本的过程还包括：
32.a获取模拟车牌语义图像，构建与所述模拟车牌语义图像对应的语义标签，得到n张语义图像；
33.b将n张语义图像归一化后输入训练好的oasis生成网络，得到n张与所述语义图像一一对应的车牌图像；
34.执行a-b步骤m次，得到m*n阵列的目标样本。
35.可选的，获取真实车牌图像，构建与真实车牌图像对应的语义标签的方法包括：
36.获取不同类型的原始车牌图像；
37.校正所述原始车牌图像，得到车牌图像；
38.根据颜色参数或灰度参数对所述车牌图像进行标注，构建与所述车牌图像对应的语义标签。
39.本发明还提供了一种车牌图像生成系统，包括：
40.样本采集单元，用于获取原始车牌数据，并对所述原始车牌数据进行预处理得到车牌图像数据；
41.语义运算单元，用于构建与所述车牌图像数据对应的语义标签，得到训练数据集；
42.第一训练单元，用于以所述训练数据集训练oasis生成网络，得到第一固定参数；
43.第二训练单元，用于以所述第一车牌图像和真实车牌图像训练oasis语义分割网络，得到第二固定参数；以所述第二固定参数下的oasis生成网络为目标oasis生成网络；
44.车牌生成单元，用于输入模拟车牌图像，构建与所述模拟车牌图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述目标oasis生成网络，得到目标样本。
45.还有一种车牌图像成器，包括：
46.车牌输入单元，用于输入模拟车牌图像；
47.运算单元，采用上述方法计算目标样本；
48.输出单元，用于输出目标样本。
49.车牌模拟器，用于输出模拟车牌图像。
50.本发明的有益效果：
51.根据本发明披露的技术方案能够根据不同的输入信息生成不同内容且分布近似真实车牌数据的模拟车牌图片，能够有效地扩充车牌标注样本，减少人工标注的成本。
52.其生成的目标样本相比传统模拟车牌样本更加真实；且可以生成任意类型与任意内容的车牌。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
54.图1是车牌图像生成方法的总流程图；
55.图2是oasis生成网络训练流程图；
56.图3是oasis语义分割网络训练流程图；
57.图4是实施例3的生成器的工作流程图。
具体实施方式
58.下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
59.实施例1：
60.一种车牌图像生成方法，其特征在于，包括以下步骤：
61.训练样本准备：获取真实车牌图像，构建与真实车牌图像对应的语义标签，得到训练数据集；
62.模拟训练阶段：以所述训练数据集训练oasis生成网络，得到第一固定参数；
63.以所述第一固定参数下的oasis生成网络输出第一车牌图像；
64.以所述第一车牌图像和所述真实车牌图像训练oasis语义分割网络，得到第二固定参数；
65.以所述第二固定参数下的oasis生成网络为目标oasis生成网络；
66.生成车牌阶段：获取模拟车牌图像，构建与所述模拟车牌图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述目标oasis生成网络，得到目标样本。
67.其中，获取真实车牌图像，构建与真实车牌图像对应的语义标签的方法包括：
68.获取不同类型的原始车牌图像；
69.校正所述原始车牌图像，得到真实车牌图像；
70.根据颜色参数或灰度参数对所述车牌图像进行标注，构建与所述车牌图像对应的语义标签。
71.具体的，
72.1)收集不同类型的原始车牌图像，包括常见的单层车牌与双层车牌，其中单层车牌包括新能源车牌(小汽车、卡车)、蓝牌、黄牌(教练、挂车)，双层车牌包括蓝牌、黄牌(挂车)等。
73.2)对收集的原始车牌图像进行校正，具体为：对于每张原始车牌图像，标注车牌的4个角点，根据4个角点坐标以及预定义的校正角点坐标进行透视变换转换，得到校正后的真实车牌图像。
74.3)根据颜色对步骤1-1-2的真实车牌图像进行像素标注，构建与真实车牌图像对应的语义标签，得到训练数据集。图像中车牌的每一种主要颜色作为语义标签的一个类别，语义标签包括{blue,yellow,white,black,red,green}，除了green为新能源车牌的渐变底色外，其它标签皆为纯色。
75.4)完成标注的样本还包括验证数据集，划分比例为训练数据集:验证数据集＝4:1。
76.其中，以所述训练数据集训练oasis生成网络的方法包括：
77.所述训练数据集包括语义标签数据和车牌图像数据；
78.将所述语义标签数据输入oasis生成网络，输出第一车牌图像；
79.所述第一车牌图像输入冻结网络参数的oasis语义分割网络，输出第一车牌语义分割图；
80.将所述语义标签数据和所述第一车牌语义分割图进行损失计算后更新所述oasis生成网络。
81.具体的，如图2所示；
82.设，语义标签数据i
target
，车牌图像数据i
real
，第一车牌图像i
fake1
，第一车牌语义分割图d
fake1
83.冻结oasis语义分割网络d的网络参数，将语义标签数据i
target
送入oasis生成网络g，得到第一车牌图像i
fake1
，将第一车牌图像i
fake1
送入oasis语义分割网络d得到第一车牌语义分割图d
fake1
，将第一车牌图像i
fake1
，第一车牌语义分割图d
fake1
进行交叉熵损失计算并进行反向传播对oasis语义分割网络的网络参数进行更新。
84.其中，以所述第一车牌图像和所述真实车牌图像训练oasis语义分割网络的方法包括：
85.所述训练数据集包括语义标签数据和车牌图像数据；
86.将所述语义标签数据输入冻结网络参数的oasis生成网络，输出第二车牌图像；
87.将所述第二车牌图像输入oasis语义分割网络，输出第二车牌语义分割图；
88.将所述车牌图像数据输入oasis语义分割网络，输出第二车牌图像分割图；
89.分别计算所述车牌图像数据和所述第二车牌图像分割图，以及所述车牌图像数据和所述第二车牌图像分割图的损失函数，更新所述oasis语义分割网络。
90.具体的，如图3所示：
91.冻结oasis生成网络g的网络参数，将上述语义标签数据i
target
再次输入oasis生成网络g得到第二车牌图像i
fake2
，并将第二车牌图像i
fake2
输入oasis语义分割网络d中得到第二车牌语义分割图d
fake2
；
92.同时将车牌图像数据i
real
同时输入oasis语义分割网络d得到第二车牌图像分割图d
real
。分别计算第二车牌图像i
fake2
与第二车牌语义分割图d
fake2
的交叉熵损失，以及车牌图像数据i
real
与第二车牌图像分割图d
real
的交叉熵损失，并进行反向传播，对oasis语义分割网络d的网络参数进行更新。
93.其中，还包括迭代训练的方法：
94.获取真实车牌图像，构建与真实车牌图像对应的语义标签，得到训练数据集和验证数据集；
95.所述验证数据集包括验证车牌图像和验证车牌语义标签；
96.每经过预设迭代次数，执行验证数据集训练，对所述oasis生成网络进行验证；
97.运算所述验证车牌语义标签，oasis生成网络输出第三车牌图像；
98.对所述验证车牌图像和所述第三生成车牌图像执行fid运算，直至fid值稳定，完成oasis模型训练。
99.具体的，
100.设，验证车牌图像i
real_val
和验证车牌语义标签i
target_val
101.在oasis网络训练的迭代过程中，每经过n个迭代次数对oasis生成网络g在验证数据集进行验证，验证过程为：将验证车牌语义标签i
target_val
送入oasis生成网络g中获得第三车牌图像i
fake_val
，将验证车牌图像i
real_val
与第三车牌图像i
fake_val
进行fid计算，计算验证数据集每一对样本的fid并取平均值作为当前模型的性能，当迭代过程中模型fid值不在降低则停止训练获得训练完成的oasis模型。
102.其中，获取模拟车牌语义图像，构建与所述模拟车牌语义图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述oasis生成网络，得到目标样本的过程还包括：
103.a获取模拟车牌语义图像，构建与所述模拟车牌语义图像对应的语义标签，得到n张语义图像；
104.b将n张语义图像归一化后输入训练好的oasis生成网络，得到n张与所述语义图像一一对应的车牌图像；
105.执行a-b步骤m次，得到m*n阵列的目标样本。
106.具体的，
107.1)通过程序模拟生成符合标准车牌结构的语义图像，其中语义标签与步骤1-1-3中的语义标签一致，得到n张语义图像；
108.2)将n张生成的语义图像归一化为384
×
128送入oasis的生成网络中，得到n张同输入语义图像一一对应的车牌图像；
109.3)循环执行步骤1)与步骤2)m次，得到m*n张生成的车牌图像，即输出目标样本，所述目标样本即本方案所需要的神经网络训练中所需要的用到的车牌样本。解决了车牌样本收集和标注困难的难题。
110.实施例2
111.一种车牌图像生成系统，包括：
112.样本采集单元，用于获取原始车牌数据，并对所述原始车牌数据进行预处理得到车牌图像数据；
113.语义运算单元，用于构建与所述车牌图像数据对应的语义标签，得到训练数据集；
114.第一训练单元，用于以所述训练数据集训练oasis生成网络，得到第一固定参数；
115.第二训练单元，用于以所述第一车牌图像和真实车牌图像训练oasis语义分割网络，得到第二固定参数；以所述第二固定参数下的oasis生成网络为目标oasis生成网络；
116.车牌生成单元，用于输入模拟车牌图像，构建与所述模拟车牌图像对应的语义标签，得到生成车牌数据集，将所述生成车牌数据集输入所述目标oasis生成网络，得到目标样本。
117.实施例3：
118.一种车牌图像生成器，包括：
119.车牌输入单元，用于输入模拟车牌；
120.运算单元，采用实施例1披露的方法计算目标样本；
121.输出单元，用于输出目标样本。
122.其中，还包括车牌模拟器，所述车牌模拟器连接车牌输入单元。
123.基于此车牌图像生成器，可以批量化生产车牌样本，不再需要为收集车牌图像、标注花费大量时间。
124.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
125.所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
126.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
127.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
128.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。