一种车牌识别方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种车牌识别方法、装置、电子设备及存储介质。


背景技术：

2.现如今，我国车辆保有量和交通出行量不断增长，道路交通管理的工作任务日渐繁重。在人工智能发展迅猛的今天，智能交通系统应运而生，并逐步取代传统人工监管，成为当前交通监管的主流系统。其以车牌识别、人脸识别、路况采集、违章取证、红绿灯监管等多种功能为一体，通过数字化管理实现信息交互，有效地解决了交通管理领域诸多棘手问题。
3.车牌是车辆最为关键的信息，车牌识别对于交通监管有重大意义。现有技术中一般获取到车辆图像之后，通过车牌检测模型确定车辆图像中的车牌检测区域，将车牌检测区域作为识别到的车牌。由于交通场景情况复杂多变，除了标准车牌，现有技术中还可能将4s店在车辆的车牌位置悬挂的标识、出租车的车顶车身广告、印在运载混凝土或渣土的大车车身的字符等误识别成车牌。因此，面对复杂多变的交通场景，提供一种准确地车牌识别方案显得尤为重要。


技术实现要素：

4.本发明实施例提供了一种车牌识别方法、装置、电子设备及存储介质，用以解决现有技术车牌识别不准确的问题。
5.本发明实施例提供了一种车牌识别方法，所述方法包括：
6.获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；
7.基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；
8.根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
9.进一步地，所述车牌分类模型的第一分支结构是利用标注有颜色和层数标签信息的样本图像训练得到的，其中所述车牌类别信息包括车牌的颜色信息和层数信息；所述车牌分类模型的第二分支结构是利用标注有是否为车牌的标签信息的样本图像训练得到的。
10.进一步地，所述根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果包括：
11.若所述车牌识别信息表示所述车牌检测区域图像为车牌图像，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于所述车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；其中，所述车牌字符识别模型是利用标注有车牌字符信
息的样本图像训练得到的。
12.进一步地，所述获取待识别图像中的车牌检测区域图像包括：
13.获取包含车辆的待识别图像，将所述待识别图像输入预先训练完成的车牌检测模型，基于所述车牌检测模型确定所述待识别图像中的车牌检测区域图像；其中，所述车牌检测模型是利用标注有车牌检测区域位置信息的样本图像训练得到的。
14.进一步地，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于所述车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息包括：
15.若所述车牌类别信息为单层车牌，将所述车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于所述单层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；
16.若所述车牌类别信息为双层车牌，将所述车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于所述双层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息。
17.进一步地，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型之前，所述方法还包括：
18.对所述车牌检测区域图像进行区域扩大处理，将所述区域扩大处理后的区域位置信息映射至所述待识别图像中，从所述待识别图像中截取所述区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。
19.进一步地，所述方法还包括：
20.将所述车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果；其中，所述字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。
21.进一步地，所述车牌检测模型依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、卷积层、池化层和卷积层。
22.进一步地，所述车牌分类模型的主干网络结构包括设定第一数量的卷积层和池化层，其中卷积层和池化层交叉排列；所述车牌分类模型的第一分支结构包括第一卷积层和第一全连接层；所述车牌分类模型的第二分支结构包括第二卷积层和第二全连接层。
23.进一步地，所述车牌字符识别模型包括设定卷积层、池化层和lstm层。
24.另一方面，本发明实施例提供了一种车牌识别装置，所述装置包括：
25.获取模块，用于获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；
26.车牌识别模块，用于基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
27.进一步地，所述车牌识别模块，具体用于若所述车牌识别信息表示所述车牌检测区域图像为车牌图像，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于所述车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；其中，所述车牌字符识别模型是利用标注有车牌字符信息的样本图像训练得到的。
28.进一步地，所述获取模块，具体用于获取包含车辆的待识别图像，将所述待识别图像输入预先训练完成的车牌检测模型，基于所述车牌检测模型确定所述待识别图像中的车牌检测区域图像；其中，所述车牌检测模型是利用标注有车牌检测区域位置信息的样本图像训练得到的。
29.进一步地，所述车牌识别模块，具体用于若所述车牌类别信息为单层车牌，将所述车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于所述单层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；若所述车牌类别信息为双层车牌，将所述车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于所述双层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息。
30.进一步地，所述车牌识别模块，还用于对所述车牌检测区域图像进行区域扩大处理，将所述区域扩大处理后的区域位置信息映射至所述待识别图像中，从所述待识别图像中截取所述区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。
31.进一步地，所述车牌识别模块，还用于将所述车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果；其中，所述字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。
32.再一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
33.存储器，用于存放计算机程序；
34.处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
35.再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
36.本发明实施例提供了一种车牌识别方法、装置、电子设备及存储介质，所述方法包括：获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
37.上述的技术方案具有如下优点或有益效果：
38.本发明实施例中，获取待识别图像中的车牌检测区域图像之后，将车牌检测区域图像输入预先训练完成的车牌分类模型。基于车牌分类模型的第一分支结构确定车牌检测区域图像的车牌类别信息；基于车牌分类模型的第二分支结构确定车牌检测区域图像的车牌识别信息。进而得到车牌识别结果。本发明实施例通过车牌分类模型的第一分支结构和第二分支结构对车牌检测区域图像进行进一步的车牌识别，提高了车牌识别的准确性。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
的附图。
40.图1为本发明实施例提供的车牌识别过程示意图；
41.图2为本发明实施例提供的车牌类型举例示意图；
42.图3为本发明实施例提供的车牌检测模块主网络结构示意图；
43.图4为本发明实施例提供的fpn结构示意图；
44.图5为本发明实施例提供的车牌分类模型结构示意图；
45.图6为本发明实施例提供的双层车牌字符识别模型的结构示意图；
46.图7为本发明实施例提供的车牌识别详细流程图；
47.图8为本发明实施例提供的车牌识别装置结构示意图；
48.图9为本发明实施例提供的电子设备结构示意图。
具体实施方式
49.下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
50.实施例1：
51.图1为本发明实施例提供的车牌识别过程示意图，该过程包括以下步骤：
52.s101：获取待识别图像中的车牌检测区域图像，将车牌检测区域图像输入预先训练完成的车牌分类模型。
53.s102：基于车牌分类模型的第一分支结构，对车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于车牌分类模型的第二分支结构，确定车牌检测区域图像是否为车牌图像的车牌识别信息。
54.s103：根据车牌类别信息和车牌识别信息，确定待识别图像对应的车牌识别结果。
55.本发明实施例提供的车牌识别方法应用于电子设备，该电子设备可以是pc、平板电脑、服务器等设备，也可以是智能图像采集设备。如果电子设备为智能图像采集设备，电子设备中保存有预先训练完成的车牌分类模型，电子设备采集待识别图像之后，获取待识别图像中的车牌检测区域图像，将车牌检测区域图像输入预先训练完成的车牌分类模型，基于车牌分类模型进行车牌识别。如果电子设备为pc、平板电脑、服务器等设备。图像采集设备采集待识别图像之后，首先将待识别图像发送至电子设备，电子设备接收到待识别图像之后，获取待识别图像中的车牌检测区域图像，将车牌检测区域图像输入预先训练完成的车牌分类模型，基于车牌分类模型进行车牌识别。
56.本发明实施例中的待识别图像可以是图像采集设备直接采集到的包含车辆、车牌和背景的图像。也可以是包含车辆和车牌的图像。
57.车牌分类模型包括两个分支结构，车牌分类模型的第一分支结构用于确定车牌检测区域图像中车牌类别信息，车牌分类模型的第二分支结构用于确定车牌检测区域图像是否为车牌图像。
58.车牌分类模型的第一分支结构是利用标注有颜色和层数标签信息的样本图像训练得到的，确定出的车牌检测区域图像中车牌类别信息包括车牌的颜色信息和层数信息。车牌分类模型的第二分支结构是利用标注有是否为车牌的标签信息的样本图像训练得到
的。考虑到机动车的车牌类型有单层车牌和双层车牌，颜色有蓝色、黄色、绿色、白色等。我们将车牌分为10类，分别是单层蓝牌、单层绿牌、单层黄牌、单层白牌、单层黑牌、双层黄牌、双层白牌、双层黑牌、双层绿牌、红外车牌。
59.车牌分类模型的主干网络结构包括设定第一数量的卷积层和池化层，其中卷积层和池化层交叉排列；车牌分类模型的第一分支结构包括第一卷积层和第一全连接层；车牌分类模型的第二分支结构包括第二卷积层和第二全连接层。
60.电子设备基于车牌分类模型的第一分支结构，确定车牌检测区域图像的车牌类别信息，基于车牌分类模型的第二分支结构，确定车牌检测区域图像是否为车牌图像的车牌识别信息。然后根据车牌类别信息和车牌识别信息，确定待识别图像对应的车牌识别结果。若车牌识别信息为车牌检测区域图像不是车牌图像，则车牌识别结果为待识别图像中不包含车牌。若车牌识别信息为车牌检测区域图像是车牌图像，则车牌识别结果包括待识别图像中包含车牌，并且车牌类别信息为基于车牌分类模型的第一分支结构识别得到的车牌类别信息。
61.本发明实施例中，获取待识别图像中的车牌检测区域图像之后，将车牌检测区域图像输入预先训练完成的车牌分类模型。基于车牌分类模型的第一分支结构确定车牌检测区域图像的车牌类别信息；基于车牌分类模型的第二分支结构确定车牌检测区域图像的车牌识别信息。进而得到车牌识别结果。本发明实施例通过车牌分类模型的第一分支结构和第二分支结构对车牌检测区域图像进行进一步的车牌识别，提高了车牌识别的准确性。
62.具体的，利用标注有颜色和层数标签信息的样本图像训练得到车牌分类模型的第一分支结构，利用标注有是否为车牌的标签信息的样本图像训练得到车牌分类模型的第二分支结构。将车牌检测区域图像输入车牌分类模型，基于车牌分类模型的第一分支结构确定车牌检测区域图像的车牌类别信息，基于车牌分类模型的第二分支结构确定车牌检测区域图像是否是车牌图像。结合车牌分类模型的第一分支结构和第二分支结构的输出结果完成车牌识别，当第一分支结构确定出车牌类别信息，此时可以滤除与车牌颜色不一致的区域的干扰，并且当第二分支结构确定车牌检测区域图像是车牌图像，才最终确定待识别图像中包含车牌，避免了将4s店在车辆的车牌位置悬挂的标识、出租车的车顶车身广告、印在运载混凝土或渣土的大车车身的字符等误识别成车牌。提高了车牌识别的准确性。
63.实施例2：
64.为了识别车牌中的车牌字符信息，在上述实施例的基础上，在本发明实施例中，根据车牌类别信息和车牌识别信息，确定待识别图像对应的车牌识别结果包括：
65.若车牌识别信息表示车牌检测区域图像为车牌图像，将车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于车牌字符识别模型确定车牌检测区域图像中的车牌字符信息；其中，车牌字符识别模型是利用标注有车牌字符信息的样本图像训练得到的。
66.电子设备中保存有预先训练完成的车牌字符识别模型，车牌字符识别模型是利用标注有车牌字符信息的样本图像训练得到的。车牌字符识别模型包括卷积层、池化层和lstm层。
67.电子设备基于车牌分类模型的第一分支结构确定出车牌检测区域图像的车牌类别信息，基于车牌分类模型的第二分支结构确定车牌检测区域图像为车牌时，将车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于车牌字符识别模型确定车牌检测区
域图像中车牌字符信息。从而实现识别车牌中的车牌字符信息。
68.实施例3：
69.为了准确获取车牌检测区域图像，在上述各实施例的基础上，在本发明实施例中，获取待识别图像中的车牌检测区域图像包括：
70.获取包含车辆的待识别图像，将待识别图像输入预先训练完成的车牌检测模型，基于车牌检测模型确定待识别图像中的车牌检测区域图像；其中，车牌检测模型是利用标注有车牌检测区域位置信息的样本图像训练得到的。
71.车牌检测模型依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、卷积层、池化层和卷积层。
72.一般情况下，电子设备直接获取到的原始图像为包含车辆、车牌和背景的图像。首先确定出包含车辆的图像，例如采用预先训练完成的车辆检测模型，从原始图像中确定出包含车辆的图像，车辆检测模型利用标注有车辆检测框位置信息的样本图像训练得到。本发明实施例不对获取包含车辆的图像以及训练车辆检测模型的过程进行赘述。
73.将包含车辆的图像输入预先训练完成的车牌检测模型，基于车牌检测模型确定包含车辆的图像中的车牌检测框。其中，车牌检测模型是利用标注有车牌检测区域位置信息的样本图像训练得到的。然后将车牌检测框包含的图像确定为车牌检测区域图像。将车牌检测区域图像输入预先训练完成的车牌分类模型。这样输入到车牌分类模型的为车牌图像，减少了背景干扰，提高了车牌识别的准确性。
74.实施例4：
75.为了进一步提高车牌识别的准确性，在上述各实施例的基础上，在本发明实施例中，将车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于车牌字符识别模型确定车牌检测区域图像中的车牌字符信息包括：
76.若车牌类别信息为单层车牌，将车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于单层车牌字符识别模型确定车牌检测区域图像中的车牌字符信息；
77.若车牌类别信息为双层车牌，将车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于双层车牌字符识别模型确定车牌检测区域图像中的车牌字符信息。
78.由于车牌按照类别信息可以分为单层车牌和双层车牌，为了进一步提高车牌识别的准确性，对于单层车牌和双层车牌，针对性的训练了单层车牌字符识别模型和双层车牌字符识别模型。其中，单层车牌字符识别模型是利用标注有车牌字符信息的单层车牌样本图像训练得到的，双层车牌字符识别模型是利用标注有车牌字符信息的双层车牌样本图像训练得到的。若确定车牌检测区域图像中车牌类别信息为单层车牌，将车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于单层车牌字符识别模型确定车牌检测区域图像中车牌字符信息；若确定待识别图像中车牌类别信息为双层车牌，将车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于双层车牌字符识别模型确定车牌检测区域图像中车牌字符信息。从而提高对不同类别的车牌识别的准确性。
79.实施例5：
80.电子设备获取包含车辆的图像，将包含车辆的图像输入预先训练完成的车牌检测模型确定包含车辆的图像中的车牌检测区域图像。为了避免车牌检测区域图像中未包含完整的车牌字符信息，导致车牌字符信息识别不准确的问题，在上述各实施例的基础上，在本
发明实施例中，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型之前，所述方法还包括：
81.对所述车牌检测区域图像进行区域扩大处理，将所述区域扩大处理后的区域位置信息映射至所述待识别图像中，从所述待识别图像中截取所述区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。
82.对车牌检测区域图像进行区域扩大处理，可以是将车牌检测区域图像的上下左右外扩预设的像素数量，或者按照比例将车牌检测区域图像的上下左右进行外扩，例如外扩50个像素点，或者外扩五分之一等等。然后将区域扩大处理后的区域位置信息映射至包含车辆的待识别图像，从包含车辆的待识别图像中截取区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。从而保证车牌检测区域图像中包含完整的车牌字符信息。再进行后续车牌字符信息识别的过程。因为本发明实施例可以保证车牌检测区域图像中包含完整的车牌字符信息，因此提高了车牌字符信息识别的准确性。
83.为了确定真实的车牌字符信息，本发明实施例中，所述方法还包括：
84.将车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果；其中，所述字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。
85.电子设备中预先保存了字符字典，字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。在对车牌字符识别模型进行训练时，也是根据字符字典标注样本图像中的车牌字符信息的。将车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果，也就是真实的车牌号码信息。
86.下面结合附图对车牌识别的过程进行详细说明。
87.本发明实施例首先基于车牌分类模型的第一分支结构确定车牌检测区域图像中车牌类别信息，基于车牌分类模型的第二分支结构确定车牌检测区域图像是否为车牌图像。结合车牌分类模型的第一分支结构和第二分支结构的输出结果完成车牌识别，当第一分支结构确定出车牌检测区域图像中车牌类别信息，并且当第二分支结构确定车牌检测区域图像为车牌图像，才最终确定待识别图像中包含车牌，同时可以确定出车牌的车牌类别信息。
88.若确定车牌检测区域图像中车牌类别信息为单层车牌，将车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于单层车牌字符识别模型确定车牌检测区域图像中车牌字符信息；若确定车牌检测区域图像中车牌类别信息为双层车牌，将车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于双层车牌字符识别模型确定待识别图像中车牌字符信息。
89.1、建立基础数据库：
90.机动车车俩图像标注出车辆检测框信息、车牌检测框信息、车牌内字符。搜集常规车牌图像素材和几种易被误检误识别的车牌图像素材。所有数据按照一定比例分为训练集和测试集，比例可以是9：1或者10：1等，其中兼顾常规车牌图像和易被误检误识别的图像。机动车的车牌类型有单层车牌和双层车牌，颜色有蓝色、黄色、绿色、白色等。我们将车牌分为10类：单层蓝牌、单层绿牌、单层黄牌、单层白牌、单层黑牌、双层黄牌、双层白牌、双层黑牌、双层绿牌、红外车牌。图2为本发明实施例提供的车牌示意图，图2中仅示出了单层车牌
和双层车牌，并未示出车牌的颜色信息。
91.车牌检测模型：输入是车辆图(只包含车辆的车辆检测图)，输出是车牌检测区域图像。
92.用基于yolov3的目标检测方法，构建包含特征金字塔fpn结构的神经网络模型(pd)，fpn结构如图3所示。如图3，fpn结构包括一个自底向上的线路，一个自顶向下的线路和横向连接(lateral connection)。图中放大的区域就是横向连接，这里1*1的卷积核的主要作用是减少卷积核的个数，也就是减少了特征图feature map的个数，并不改变feature map的尺寸大小。自底向上其实就是网络的前向过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，作者将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。自顶向下的过程采用上采样(upsampling)进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的feature map进行融合(merge)。在融合之后还会再采用3*3的卷积核对每个融合结果进行卷积，目的是消除上采样的混叠效应(aliasing effect)。
93.车牌检测模型主网络结构如图4所示，包含五层卷积层，使用了focal loss损失函数，从车辆图(只包含车辆的车辆检测图)中检测出车牌的位置区域。使用此目标检测算法的耗时低，且检测准确率高。输入图像会缩放至128*128大小，经过网络处理后，输出结果是包含车牌的目标框位置(左上角点和右下角点的坐标)。具体的，车牌检测模块主网络依次包括卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、卷积层、池化层和卷积层。卷积层中还包括归一化层(bn和scale)和激活函数relu。
94.车牌分类模型：对车牌检测模块输出的车牌检测区域图像进行区分，判断是否是车牌图像，过滤掉误检的车牌框，并输出车牌的类别信息。
95.车牌分类模型是一个双分支输出的网络模型，主干网络是6+1层卷积层，后续有两个分支：分支1是一个卷积层和全连接层，可以输出十分类的车牌类别；分支2也是一个卷积层和全连接层，可以输出二分类的车牌判断结果(车牌检测区域图像是否为车牌图像)。如果分支2的输出结果是车牌图像，就将车牌检测区域图像送入下一步的车牌字符识别模型，如果不是车牌图像，就不会对其进行识别字符，而是直接将此检测到的车牌检测区域图像过滤掉，从而减少车牌误检误识别。图5为车牌分类模型结构示意图，车牌分类模型的主干网络结构包括设定第一数量的卷积层和池化层，其中卷积层和池化层交叉排列；所述车牌分类模型的第一分支结构包括第一卷积层和第一全连接层；所述车牌分类模型的第二分支结构包括第二卷积层和第二全连接层。图5中示出了车牌分类模型的主干网络结构包括6个卷积层和6个池化层，卷积层和池化层交叉排列。卷积层中还包括归一化层(bn和scale)和激活函数relu。
96.车牌字符识别模型：输入是检测到的车牌检测区域图像，输出是车牌字符信息。首先对车牌检测区域图像进行区域扩大处理，将区域扩大处理后的区域位置信息映射至包含车辆的图像，从包含车辆的图像中截取区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。模型训练过程中为了提高算法鲁棒性，会对输入图像做随机亮度增强、随机错切的操作。因为实际应用中，摄像机拍摄的车牌图像不会是矩形，会存在一定角度从而造成车牌倾斜和错切，所以为了提高算法鲁棒性会在训练算法模型时对输入图像做随机错
切的操作，模拟真实情况。在应用模型时不需要进行随机亮度增强、随机错切的操作。
97.车牌字符识别模型采用crnn+ctc的算法方案。根据车牌检测结果，此处结合十分类的结果判定是单层车牌或双层车牌，单层车牌输入到单层车牌字符识别模型，双层车牌输入到双层车牌字符识别模型。这两个识别模型的主体结构相似。算法的基础思想是crnn+ctc。crnn(卷积循环神经网络)为cnn+rnn的组合。整个crnn分为了三个部分：1、卷积层：提取特征。2、循环层：使用深层双向rnn，预测从卷积层获取的特征序列的标签(真实值)分布。3、转录层：使用ctc，代替softmax，训练样本无需对齐。
98.单层车牌字符识别模型：缩放后的输入图像高宽100*256。7层卷积层(提取图像特征)，然后输入到lstm层(继续提取文字序列特征)，再接ctcloss(解决不定长序列的对齐问题)。
99.双层车牌字符识别模型：缩放后的输入图像高宽80*240。8层卷积层(提取图像特征)，然后将张量在1/2高度上裁剪，首尾拼接(模拟将双层车牌裁剪再拼接成单层车牌的操作)，再输入到时间序列预测lstm层(继续提取文字序列特征)，最后接ctcloss(解决不定长序列的对齐问题)。双层车牌字符识别模型的结构图如图6所示。车牌字符识别模型包括卷积层、池化层和lstm层。如图6所示，双层车牌字符识别模型的第一分支与单层车牌字符识别模型具备的结构，第二分支为图像裁剪模块。如图6所示，第一分支包括卷积层、池化层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、池化层和卷积层。第一分支的输出结果与第二分支的输出结果进行融合，再输入lstm层，得到最终的车牌字符识别结果。
100.最终将识别结果用字符字典与汉字和数字一一对应(字符字典：数字0～86与数字0到9、26个英文字母、各个省份汉字等相对应)，完成车牌字符识别。
101.本发明实施例结合车牌分类模型和车牌字符识别模型可以正确输出车辆的车牌类型信息及车牌字符信息。本发明实施例提供的方案可以很好地过滤掉车身字符、4s店悬挂标识等易被误检误识别的字符区域，降低误检误识别情况，提高车牌识别准确率。
102.本发明实施例设计独特的车牌分类模型，对车牌检测框做判断，减少误检误识别情况，提高车牌颜色层数分类准确率。设计独特的车牌检测模型，使用基于yolov3的算法模型做车牌检测，耗时低，准确率高。按照颜色和单双层给车牌类型分类，分类规则明确且分别采用不同的模型识别单双层车牌，字符识别准确率更高。在训练阶段，对车牌检测区域做扩边和数据增强(错切等)，提高算法鲁棒性。设计独特的车牌字符识别模型网络结构，对单层车牌和双层车牌分别做字符识别。
103.图7为本发明实施例提供的车牌识别详细流程图，包括以下步骤：
104.s201：获取包含车辆的图像，将包含车辆的图像输入预先训练完成的车牌检测模型，基于车牌检测模型确定包含车辆的图像中的车牌检测区域图像。
105.s202：获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息。
106.s203：若所述车牌类别信息为单层车牌，将所述车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于所述单层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；若所述车牌类别信息为双层车牌，将所述车牌检测区域图像输入预
先训练完成的双层车牌字符识别模型，基于所述双层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息。
107.s204：将所述车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果；其中，所述字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。
108.实施例6：
109.图8为本发明实施例提供的车牌识别装置结构示意图，所述装置包括：
110.获取模块81，用于获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；
111.车牌识别模块82，用于基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
112.所述车牌识别模块82，具体用于若所述车牌识别信息表示所述车牌检测区域图像为车牌图像，将所述车牌检测区域图像输入预先训练完成的车牌字符识别模型，基于所述车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；其中，所述车牌字符识别模型是利用标注有车牌字符信息的样本图像训练得到的。
113.进一步地，所述装置还包括：
114.车牌检测模块83，用于获取包含车辆的待识别图像，将所述待识别图像输入预先训练完成的车牌检测模型，基于所述车牌检测模型确定所述待识别图像中的车牌检测区域图像；其中，所述车牌检测模型是利用标注有车牌检测区域位置信息的样本图像训练得到的。
115.进一步地，所述车牌识别模块82，具体用于若所述车牌类别信息为单层车牌，将所述车牌检测区域图像输入预先训练完成的单层车牌字符识别模型，基于所述单层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息；若所述车牌类别信息为双层车牌，将所述车牌检测区域图像输入预先训练完成的双层车牌字符识别模型，基于所述双层车牌字符识别模型确定所述车牌检测区域图像中的车牌字符信息。
116.进一步地，所述车牌识别模块82，还用于对所述车牌检测区域图像进行区域扩大处理，将所述区域扩大处理后的区域位置信息映射至所述待识别图像中，从所述待识别图像中截取所述区域扩大处理后的区域位置信息对应的图像作为车牌检测区域图像。
117.进一步地，所述车牌识别模块82，还用于将所述车牌检测区域图像中的车牌字符信息与字符字典一一对应，确定车牌字符识别结果；其中，所述字符字典中包括车牌字符信息分别与各个省份汉字、字母及数字的对应关系。
118.实施例7：
119.在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图9所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
120.所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
121.获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；
122.基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；
123.根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
124.基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与车牌识别方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
125.本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)、网络侧设备等。
126.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
127.通信接口302用于上述电子设备与其他设备之间的通信。
128.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
129.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
130.在本发明实施例中处理器执行存储器上所存放的程序时，实现获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
131.实施例8：
132.在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
133.获取待识别图像中的车牌检测区域图像，将所述车牌检测区域图像输入预先训练完成的车牌分类模型；
134.基于所述车牌分类模型的第一分支结构，对所述车牌检测区域图像进行车牌类别信息的识别，得到车牌类别信息；并基于所述车牌分类模型的第二分支结构，确定所述车牌检测区域图像是否为车牌图像的车牌识别信息；
135.根据所述车牌类别信息和车牌识别信息，确定所述待识别图像对应的车牌识别结果。
136.基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与车牌识别方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
137.上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd)等。
138.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
139.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
140.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
141.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
142.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。