一种车牌智能识别方法、装置、电子设备及介质与流程

1.本发明涉及人工智能领域，尤其涉及一种车牌智能识别方法、装置、电子设备以及计算机可读存储介质。


背景技术：

2.车牌识别是指对车辆进行信息认证的过程，通过所述车牌识别可以获取车辆信息是否预先注册，如在小区安防场景中，通过车牌识别可以快速定位出进出小区的车辆是否为本小区的车辆，从而可以很好的监控小区车辆进出的安全情况。
3.由于车牌识别通常包含车牌定位和字符识别两个过程，目前在车牌定位过程通常是采用边缘检测算法实现，这样容易混入无用信息，无法实现车牌字符的准确定位，从而会影响车牌识别的准确性，而在字符识别中通常是采用模板匹配的算法实现，这样容易出现字符识别错误的现象，如字符格式不正确，从而也会影响车牌识别的准确性。


技术实现要素：

4.为了解决上述技术问题，本发明提供了一种车牌智能识别方法、装置、电子设备以及计算机可读存储介质，可以提高车牌识别的准确性。
5.第一方面，本发明提供了一种车牌智能识别方法，包括：
6.获取车辆图片，利用预训练好的车牌检测模型检测所述车辆图片的车牌区域；
7.利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述车牌区域的字符区域；
8.对所述字符区域进行仿射变换，得到所述校正字符图像；
9.利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，并对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符。
10.在第一方面的一种可能实现方式中，所述利用预训练好的车牌检测模型检测所述车牌图片的车牌区域，包括：
11.利用所述车牌检测模型中的卷积层对所述车牌图片进行特征提取，得到特征车牌图片；
12.利用所述车牌检测模型中的交互层对所述特征车牌图片进行特征融合，得到融合特征图片；
13.利用所述车牌检测模型中的池化层对所述融合特征图片进行降维处理，得到降维特征图片；
14.利用所述车牌检测模型中的全连接层计算所述降维特征图片的车牌类别，根据所述车牌类别，利用所述车牌检测模型中的输出层输出所述车辆图片的车牌区域。
15.在第一方面的一种可能实现方式中，所述利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述车牌区域的字符区域，包括：
16.利用所述字符分割模型中的卷积层对所述车牌区域进行特征提取，得到特征车牌
区域；
17.利用所述字符分割模型中的决策层识别所述特征车牌区域中的字符位置序列；
18.利用所述字符分割模型中的激活函数计算所述字符位置序列的字符置信度；
19.根据所述字符置信度，利用所述字符分割模型中的前向网络输出所述车牌区域的字符区域。
20.在第一方面的一种可能实现方式中，所述利用所述字符分割模型中的决策层识别所述特征车牌区域中的字符位置序列，包括：
21.利用所述决策层中的输入门计算所述特征车牌区域的状态值，利用所述决策层中的遗忘门计算所述特征车牌区域的激活值；
22.根据所述状态值和激活值计算所述特征车牌区域的状态更新值；
23.利用所述决策层中的输出门计算所述状态更新值的字符位置序列。
24.在第一方面的一种可能实现方式中，所述对所述字符区域进行仿射变换，得到所述校正字符图像，包括：
25.对所述字符区域进行裁剪，得到裁剪字符区域；
26.识别所述裁剪字符区域中的字符方向是否处于正方向；
27.若所述字符方向不处于正方向，采用放射变换算法将所述裁剪字符区域进行方向校正，得到所述校正字符图像；
28.若所述字符方向处于正方向，则将所述裁剪字符区域作为所述校正字符图像。
29.在第一方面的一种可能实现方式中，所述对所述字符区域进行裁剪，得到裁剪字符区域，包括：
30.对所述字符区域进行二值化处理，得到二值化字符区域；
31.查询所述二值化字符区域中纵轴方向的字符起始位置和字符终止位置，及所述二值化字符区域的纵轴方向长度，根据所述纵轴方向的字符起始位置、字符终止位置以及纵轴方向长度，对所述二值化字符区域进行纵向裁剪，得到纵向裁剪字符框；
32.查询所述纵向裁剪字符框中横轴方向的字符起始位置和字符终止位置，及所述纵向裁剪字符框的横轴方向长度，根据所述横轴方向的字符起始位置和字符终止位置，及所述横轴方向长度，对所述纵向裁剪字符框进行横向裁剪，得到所述裁剪字符区域。
33.在第一方面的一种可能实现方式中，所述利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，包括：
34.利用所述字符识别模型中的卷积神经网络对所述校正字符图像进行特征提取，得到特征字符图像；
35.利用所述字符识别模型中的长短期记忆网络对所述特征字符图像进行文字位置序列识别，生成原始字符；
36.利用所述字符识别模型中的时序分类网络对所述原始字符进行字符对齐，生成所述校正字符图像中的车牌字符。
37.第二方面，本发明提供了一种车牌智能识别装置，所述装置包括：
38.车牌区域检测模块，用于获取车辆图片，利用预训练好的车牌检测模型检测所述车辆图片的车牌区域；
39.字符区域分割模块，用于利用预训练好的字符分割模型对所述车牌区域进行字符
区域分割，得到所述车牌区域的字符区域；
40.字符仿射变换模块，用于对所述字符区域进行仿射变换，得到所述校正字符图像；
41.车牌字符识别模块，用于利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，并对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符。
42.第三方面，本发明提供一种电子设备，包括：
43.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
44.其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的车牌智能识别方法。
45.第四方面，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的车牌智能识别方法。
46.与现有技术相比，本方案的技术原理及有益效果在于：
47.本方案通过车牌检测模型和字符分割模型实现所述车牌图片的字符区域粗粒度和细粒度定位，可以避免在车牌字符定位中无用信息的混入，提高车牌字符的识别准确性，并结合对识别的字符区域进行仿射变换，可以保障所述字符区域中字符方向的一致性，提高后续车牌字符的检测效率和准确性，进一步地，本发明实施例通过字符识别模型识别仿射变换后字符区域中的车牌字符，并对所述车牌字符进行校验后生成车辆图片的最终车牌字符，可以避免字符识别错误的现象，进一步保障车牌字符的识别准确性。因此，本发明实施例提出的一种车牌智能识别方法、装置、电子设备以及存储介质，可以提高车牌识别的准确性。
附图说明
48.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
49.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1为本发明一实施例提供的一种车牌智能识别方法的流程示意图；
51.图2为本发明一实施例中图1提供的一种车牌智能识别方法的其中一个步骤的流程示意图；
52.图3为本发明一实施例中图1提供的一种车牌智能识别方法的另外一个步骤的流程示意图；
53.图4为本发明一实施例提供的一种车牌智能识别装置的模块示意图；
54.图5为本发明一实施例提供的实现车牌智能识别方法的电子设备的内部结构示意图。
具体实施方式
55.应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
56.本发明实施例提供一种车牌智能识别方法，所述车牌智能识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述车牌智能识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
57.参阅图1所示，是本发明一实施例提供的车牌智能识别方法的流程示意图。其中，图1中描述的车牌智能识别方法包括：
58.s1、获取车辆图片，利用预训练好的车牌检测模型检测所述车辆图片的车牌区域。
59.本发明实施例中，所述是指包括车辆信息的图像，其通过高清摄像头采集得到，所述预训练好的车牌检测模型包括retinanet网络，其用于检测所述车辆图片中车牌字符的位置，所述车牌区域是指包括车牌字符的图像。
60.进一步地，本发明实施例通过所述预训练好的车牌检测模型检测所述车辆图片的车牌区域，实现所述车辆图片的车牌字符的粗粒度定位，保障后续车牌字符的识别准确性。
61.作为本发明的一个实施例，参阅图2所示，所述利用预训练好的车牌检测模型检测所述车牌图片的车牌区域，包括：
62.s201、利用所述车牌检测模型中的卷积层对所述车牌图片进行特征提取，得到特征车牌图片；
63.s202、利用所述车牌检测模型中的交互层对所述特征车牌图片进行特征融合，得到融合特征图片；
64.s203、利用所述车牌检测模型中的池化层对所述融合特征图片进行降维处理，得到降维特征图片；
65.s204、利用所述车牌检测模型中的全连接层计算所述降维特征图片的车牌类别，根据所述车牌类别，利用所述车牌检测模型中的输出层输出所述车辆图片的车牌区域。
66.其中，所述卷积层用于提取所述车牌图片中的特征信息，以获取所述车牌图片中的特征区域，所述交互层用于将所述特征车牌图片与车牌图片的底层特征进行特征融合，以保障获取的特征车牌图片包含所述车牌图片的底层信息，从而可以减小对不同增益引起的图像灰度变化影响，所述底层特征指的是所述原始图像的基本特征，例如、颜色、长度、宽度等；所述池化层用于对所述融合特征图片进行降维处理，以删除所述融合特征图片中的冗余信息，提高后续数据的处理速度，所述全连接层用于汇总所述降维特征图片中所有特征信息，计算出所述降维特征图片中的车牌类别，从而输出所述车牌图片的车牌区域，所述车牌类别包括0和1，即0代表该区域图片不是车牌区域，1代表该区域图片是车牌区域。
67.进一步地，本发明一可选实施例中，所述车牌图片的特征提取通过所述卷积层中的卷积核实现，所述特征车牌图片的特征融合通过所述交互层中全连接模块实现，所述融合特征图片的降维处理通过所述池化层中的激活函数实现，如relu函数，所述降维特征图片中的车牌类别通过所述全连接层中的激活函数实现，如softmax函数。
68.s2、利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述
车牌区域的字符区域。
69.应该了解，所述车牌区域包括所述车牌图片中的车牌字符，因此，本发明实施例通过预训练好的字符分割模型对所述车牌区域进行字符区域分割，以获取所述车牌区域中的字符存在的图像区域，实现所述车牌图片的车牌字符的细粒度定位，进一步保障后续所述车牌字符的识别准确率。其中，所述字符分割模型包括refinene网络，其用于检测所述车牌区域中的字符区域。
70.作为本发明的一个实施例，参阅3所示，所述利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述车牌区域的字符区域，包括：
71.s301、利用所述字符分割模型中的卷积层对所述车牌区域进行特征提取，得到特征车牌区域；
72.s302、利用所述字符分割模型中的决策层识别所述特征车牌区域中的字符位置序列；
73.s303、利用所述字符分割模型中的激活函数计算所述字符位置序列的字符置信度；
74.s304、根据所述字符置信度，利用所述字符分割模型中的前向网络输出所述车牌区域的字符区域。
75.其中，所述车牌区域的特征提取与上述s1中车牌图片的特征提取原理相同，在此不做赘述，所述决策层用于定位所述特征车牌区域中存在字符的位置信息，所述字符置信度用于表征所述字符区域中为车牌字符的可信度。
76.进一步地，本发明一可选实施例中，所述利用所述字符分割模型中的决策层识别所述特征车牌区域中的字符位置序列，包括：利用所述决策层中的输入门计算所述特征车牌区域的状态值，利用所述决策层中的遗忘门计算所述特征车牌区域的激活值，根据所述状态值和激活值计算所述特征车牌区域的状态更新值，利用所述决策层中的输出门计算所述状态更新值的字符位置序列。
77.进一步地，本发明一可选实施例中，所述激活函数包括：
[0078][0079]
其中，s
′
表示字符置信度，s表示字符位置序列，e表示无限不循环小数。
[0080]
s3、对所述字符区域进行仿射变换，得到所述校正字符图像。
[0081]
应该了解，在所述字符区域中会存在字符位置出现角度偏离的现象，如字符出现倒立的现象，因此，本发明实施例通过对所述字符区域进行仿射变换，以矫正所述字符区域中每个字符处于正方向的位置，提高后续字符识别的准确性。
[0082]
作为本发明的一个实施例，所述对所述字符区域进行仿射变换，得到所述校正字符图像，包括：对所述字符区域进行裁剪，得到裁剪字符区域，识别所述裁剪字符区域中的字符方向是否处于正方向，若所述字符方向不处于正方向，采用放射变换算法将所述裁剪字符区域进行方向校正，得到所述校正字符图像，若所述字符方向处于正方向，则将所述裁剪字符区域作为所述校正字符图像。
[0083]
其中，所述字符区域的裁剪用于筛选出所述字符区域中的背景区域，以提高后续字符识别的速度，进一步提高后续字符识别的准确率，所述字符方向的识别通过预先编译
的字符方向识别脚本实现，所述字符方向识别脚本可以通过javascript脚本语言编译，所述放射变换算法包括图像旋转算法。
[0084]
进一步地，本发明一可选实施例中，所述对所述字符区域进行裁剪，得到裁剪字符区域，包括：所述字符区域进行二值化处理，得到二值化字符区域；查询所述二值化字符区域中纵轴方向的字符起始位置和字符终止位置，及所述二值化字符区域的纵轴方向长度，根据所述纵轴方向的字符起始位置、字符终止位置以及纵轴方向长度，对所述二值化字符区域进行纵向裁剪，得到纵向裁剪字符框；查询所述纵向裁剪字符框中横轴方向的字符起始位置和字符终止位置，及所述纵向裁剪字符框的横轴方向长度，根据所述横轴方向的字符起始位置和字符终止位置，及所述横轴方向长度，对所述纵向裁剪字符框进行横向裁剪，得到所述裁剪字符区域。
[0085]
其中，所述字符区域的二值化处理包括：将所述字符区域中的字符区域标记为1，背景区域标记为0，所述纵向裁剪和横向裁剪通过当前已知的字符裁剪工具实现，如photoshop裁剪工具。
[0086]
s4、利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，并对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符。
[0087]
本发明实施例中，所述字符识别模型包括googlenet网络，其用于识别图像中字符信息，作为本发明的一个实施例，所述利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，包括：利用所述字符识别模型中的卷积神经网络对所述校正字符图像进行特征提取，得到特征字符图像；利用所述字符识别模型中的长短期记忆网络对所述特征字符图像进行文字位置序列识别，生成原始字符；利用所述字符识别模型中的时序分类网络对所述原始字符进行字符对齐，生成所述校正字符图像中的车牌字符。
[0088]
其中，所述卷积神经网络用于识别所述校正字符图像的特征字符区域，所述长短期记忆网络用于提取特征字符区域中的字符序列，所述时序分类网络用于解决字符特征序列中字符无法对齐的问题。
[0089]
应该了解，在识别的车牌字符中会存在一些字符不符合车牌信息的字符或者车牌字符长度超过标准的车牌字符长度，因此本发明实施例对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符，以保障最终生成的车牌字符的准确性，可选的，所述车牌字符的校验通过预设的正则校验技术实现，所述正则校验技术包括：数字校验表达式(如^[0-9]*$)、汉字校验表达式(^[\u4e00-\u9fa5]{0，}$)以及特殊需求检验表达式(如日期格式：^\d{4}-\d{1，2}-\d{1，2})。
[0090]
本方案通过车牌检测模型和字符分割模型实现所述车牌图片的字符区域粗粒度和细粒度定位，可以避免在车牌字符定位中无用信息的混入，提高车牌字符的识别准确性，并结合对识别的字符区域进行仿射变换，可以保障所述字符区域中字符方向的一致性，提高后续车牌字符的检测效率和准确性，进一步地，本发明实施例通过字符识别模型识别仿射变换后字符区域中的车牌字符，并对所述车牌字符进行校验后生成车辆图片的最终车牌字符，可以避免字符识别错误的现象，进一步保障车牌字符的识别准确性。因此，本发明实施例提出的一种车牌智能识别方法可以提高车牌识别的准确性。
[0091]
如图4所示，是本发明车牌智能识别装置的功能模块图。
[0092]
本发明所述车牌智能识别装置400可以安装于电子设备中。根据实现的功能，所述
architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
[0104]
所述通信接口53用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，所述用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0105]
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0106]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器50逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0107]
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
[0108]
所述电子设备中的所述存储器51存储的车牌智能识别程序是多个计算机程序的组合，在所述处理器50中运行时，可以实现：
[0109]
获取车辆图片，利用预训练好的车牌检测模型检测所述车辆图片的车牌区域；
[0110]
利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述车牌区域的字符区域；
[0111]
对所述字符区域进行仿射变换，得到所述校正字符图像；
[0112]
利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，并对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符。
[0113]
具体地，所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0114]
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0115]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0116]
获取车辆图片，利用预训练好的车牌检测模型检测所述车辆图片的车牌区域；
[0117]
利用预训练好的字符分割模型对所述车牌区域进行字符区域分割，得到所述车牌
区域的字符区域；
[0118]
对所述字符区域进行仿射变换，得到所述校正字符图像；
[0119]
利用预训练好的字符识别模型识别所述校正字符图像中的车牌字符，并对所述车牌字符进行校验，将校验成功的所述车牌字符作为所述车辆图片的最终车牌字符。
[0120]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0121]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0122]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0123]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0124]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0125]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0126]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。