一种车牌类型识别方法及设备与流程

本发明属于图像识别技术领域，更具体地说，尤其涉及一种车牌类型识别方法及设备。

背景技术：

随着人工智能和计算机视觉技术的发展，车牌类型识别技术已经广泛运用于许多交通管理及执法系统中。现有技术中车牌类型识别一般使用卷积神经网络进行识别，但这种识别方式对数据的需求较为严格，需要大量的数据进行网络训练，但部分特别车牌数据无法达到训练识别的标准，例如，在训练样本采集阶段，由于很少遇到港澳台的车辆数据，警车、武警、军车的车牌数据，采集到的车牌数据中大量为单层蓝黄牌等常见车牌数据，导致训练样本的不充分及分布不均衡，影响对神经网络的训练效果，从而实际应用场景下车牌类型识别的精度。

技术实现要素：

针对上述问题，本发明的目的在于提供一种车牌类型识别方法及设备，其能提高对各种车牌类型识别的准确率，从而提高各种车牌类型泛化性，适用于多种车牌识别的场景。

第一方面，本发明实施例提供了一种车牌类型识别方法，包括：

根据接收到的车牌图像，通过预先建立的车牌区域检测模型，对所述车牌图像中的车牌进行定位分割；

对分割出的车牌进行校正处理；

根据校正后的车牌，通过预先建立的车牌类型识别模型，获取所述车牌所属的车牌类型；其中，所述车牌类型包括：预设的第一类别车牌和预设的第二类别车牌；

当所述车牌属于所述第一类别车牌时，将所述车牌类型识别模型输出的车牌类型作为所述车牌图像的车牌类型识别结果；

当所述车牌属于所述第二类别车牌时，对所述车牌进行字符分割，获取所述车牌中位于预设位置上的字符，作为待识别字符；

根据所述待识别字符，通过预设的字符识别模型，获得字符识别结果；

根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果。

相对于现有技术，本发明实施例的有益效果在于：

通过预先训练好的车牌区域检测模型对车牌图像进行车牌检测、定位、分割，然后对分割出来的车牌进行校正，之后输入到车牌类型识别模型进行车牌类型的初次识别，当识别出是第一类别车牌时，直接将所述车牌类型识别模型输出的车牌类型作为所述车牌图像的车牌类型识别结果；当识别出是第二类别车牌时，分割该车牌设定位置上的字符，通过对该字符进行识别，从而判断出该车牌所属的车牌类型，实现对车牌进行二次识别，通过车牌的二次识别，需识别出特定的字符即可判断出属于哪类车牌，解决了训练样本不均衡问题，提高了车牌识别的精度，从而提高各种车牌类型泛化性，适用于多种车牌识别的场景。

作为上述方案的改进，所述第一类别车牌包括蓝牌、白牌、双层绿牌、新能源牌；所述第二类别车牌包括：黄牌、黑牌、双层黄牌。

作为上述方案的改进，所述方法还包括：

对预先采集的车牌图像样本进行车牌关键点标注；其中，所述车牌关键点包括所述车牌图像中属于预设的车牌类型的车牌的四个顶点；

根据标注后的车牌图像样本，建立训练样本集；

采用所述训练样本集，对预先建立的ssd神经网络进行训练，获得车牌区域检测模型。

相对于现有技术，本发明实施例的有益效果在于：

使用ssd神经网络进行车牌区域的检测定位、分割，能实现车牌的快速检测定位，提高车牌检测的效率。

作为上述方案的改进，所述根据接收到的车牌图像，通过预先建立的车牌区域检测模型，对所述车牌图像中的车牌进行定位分割，具体包括：

将所述车牌图像输入到所述车牌区域检测模型中进行车牌定位分割，获取所述车牌图像中的车牌以及车牌关键点；

所述对分割出的车牌进行校正处理，具体包括：

根据所述车牌关键点，对所述车牌进行仿射变换处理，以校正所述车牌。

相对于现有技术，本发明实施例的有益效果在于：

通过预测车牌的四个顶点作为车牌关键点实现对车牌的定位和校正，定位、校正方式简单，能有效降低计算的复杂度，提高车牌类型识别的效率。

作为上述方案的改进，所述车牌类型识别模型包括：至少四个残差模块，所述残差模块包括：串联的第一1*1卷积层、3*3点卷积层以及第二1*1卷积层。

作为上述方案的改进，所述字符识别模型包括：至少三个预设的卷积模块，所述卷积模块包括：串联的第一1*1卷积层、3*3卷积层以及第二1*1卷积层。

作为上述方案的改进，所述当所述车牌属于所述第二类别车牌时，对所述车牌进行字符分割，获取所述车牌中位于预设位置上的字符，作为待识别字符，具体包括：

当所述车牌属于黄牌或黑牌时，对所述车牌进行字符分割，获取所述车牌中位于第七位上的字符，作为待识别字符；

当所述车牌属于双层黄牌时，对所述车牌进行字符分割，获取所述车牌中位于末位的字符，作为待识别字符。

作为上述方案的改进，所述根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果，具体包括：

当所述车牌属于黄牌时，判断所述字符识别结果是否为预设的第一中文字符；

当判断出所述字符识别结果是所述第一中文字符时，确定所述车牌为普通黄牌；

当判断出所述字符识别结果不是所述第一中文字符时，确定所述车牌为教练车牌；或，

当所述车牌属于黑牌时，判断所述字符识别结果是否为预设的第二中文字符或预设的第三中文字符；

当判断出所述字符识别结果是所述第二中文字符时，确定所述车牌为港牌；

当判断出所述字符识别结果是所述第三中文字符时，确定所述车牌为澳牌；

当判断出所述字符识别结果不是所述第二中文字符或所述第三中文字符时，确定所述车牌为普通黑牌。

作为上述方案的改进，所述根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果，具体包括：

当所述车牌属于双层黄牌时，判断所述字符识别结果是否为预设的第四中文字符；

当判断出所述字符识别结果是所述第四中文字符时，确定所述车牌为普通双层黄牌；

当判断出所述字符识别结果不是所述第四中文字符时，确定所述车牌为双层挂牌。

第二方面，本发明实施例提供了一种车牌类型识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一实施例中任意一项所述的车牌类型识别的方法。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种车牌类型识别方法的流程图；

图2是本发明实施例提供的车牌类型识别流程的示意图

图3是本发明实施例提供的残差模块的结构示意图；

图4是本发明实施例提供的卷积模块的结构示意图；

图5是本发明第二实施例提供的一种车牌类型识别设备的示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明第一实施例提供了一种车牌类型识别,包括：

s11：根据接收到的车牌图像，通过预先建立的车牌区域检测模型，对所述车牌图像中的车牌进行定位分割。

优选地，所述方法还包括以下车牌区域检测模型的建立过程：

对预先采集的车牌图像样本进行车牌关键点标注；其中，所述车牌关键点包括所述车牌图像中属于预设的车牌类型的车牌的四个顶点；

根据标注后的车牌图像样本，建立训练样本集；

采用所述训练样本集，对预先建立的ssd神经网络进行训练，获得车牌区域检测模型。

s12：对分割出的车牌进行校正处理。

在本发明实施例中，由于受拍摄角度、镜头等因素的影响，车牌图像中的车牌存在水平倾斜、垂直倾斜或梯形畸变等变形，这给后续的识别处理带来了困难。本发明实施例通过对车牌进行车牌关键点定位后进行车牌校正处理，以去除车牌边框等噪声，以便于字符识别。需要说明的是，在本发明实施例中对车牌图像的校正方法步骤具体的限定，例如可以采用hough变换法、旋转投影法、主成分分析法、方差最小法、仿射变换等。

s13：根据校正后的车牌，通过预先建立的车牌类型识别模型，获取所述车牌所属的车牌类型；其中，所述车牌类型包括：预设的第一类别车牌和预设的第二类别车牌。

优选地，所述第一类别车牌包括蓝牌、白牌、双层绿牌、新能源牌；所述第二类别车牌包括：黄牌、黑牌、双层黄牌。

s14：当所述车牌属于所述第一类别车牌时，将所述车牌类型识别模型输出的车牌类型作为所述车牌图像的车牌类型识别结果。

s15：当所述车牌属于所述第二类别车牌时，对所述车牌进行字符分割，获取所述车牌中位于预设位置上的字符，作为待识别字符。

s16：根据所述待识别字符，通过预设的字符识别模型，获得字符识别结果。

s17：根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果。

在本发明实施例中，通过预先训练好的车牌区域检测模型对车牌图像进行车牌检测、定位、分割，然后对分割出来的车牌进行校正，之后输入到车牌类型识别模型进行车牌类型的初次识别，当识别出是第一类别车牌时，直接将所述车牌类型识别模型输出的车牌类型作为所述车牌图像的车牌类型识别结果；当识别出是第二类别车牌时，分割该车牌设定位置上的字符，通过对该字符进行识别，从而判断出该车牌所属的车牌类型，实现对车牌进行二次识别，通过车牌的二次识别，需识别出特定的字符即可判断出属于哪类车牌，解决了训练样本不均衡问题，提高了车牌识别的精度，从而提高各种车牌类型泛化性，适用于多种车牌识别的场景；同时使用ssd神经网络进行车牌区域的检测定位、分割，能实现车牌的快速检测定位，提高车牌检测的效率。

在一种可选的实施例中，所述根据接收到的车牌图像，通过预先建立的车牌区域检测模型，对所述车牌图像中的车牌进行定位分割，具体包括：

将所述车牌图像输入到所述车牌区域检测模型中进行车牌定位分割，获取所述车牌图像中的车牌以及车牌关键点；

所述对分割出的车牌进行校正处理，具体包括：

根据所述车牌关键点，对所述车牌进行仿射变换处理，以校正所述车牌。

在本发明实施例中，对所述车牌图像的获取方式不做具体的限定，例如可以是通过卡口系统抓拍的车牌图像，所述车牌图像中的车牌可以是蓝牌、单层黄牌、双层黄牌、新能源牌、港牌或澳牌中的任意一种车牌。在本发明实施例中，以大陆车牌作为预设的车牌类型进行大陆车牌识别为例进行说明，通过预先训练好的车牌区域检测模型，对抓拍到的车牌图像进行关键点标注，其中，当车牌区域检测模型识别出车牌图像中的车牌是对于蓝牌、单层黄牌、双层黄牌或新能源牌时，直接标注车牌的四个顶点作为该车牌图像的车牌关键点；当识别出是港牌或澳牌时，直接标注车牌中大陆车牌区域的四个顶点作为该车牌图像的车牌关键点；通过步骤s11获取车牌关键点具有更加简洁的定位方式与定位性能，能有效降低计算的复杂度，提高车牌类型识别的效率。其中，仿射变换是利用检测到的车牌的四个顶点经过相关矩阵变换后实现车牌的畸变校正，其校正原理属于现有技术，本发明不进行详细说明。

在一种可选的实施例中，所述车牌类型识别模型包括：至少四个残差模块，所述残差模块包括：串联的第一1*1卷积层conv、3*3点卷积层pointwiseconv以及第二1*1卷积层conv。

在一种可选的实施例中，所述字符识别模型包括：至少三个预设的卷积模块，所述卷积模块包括：串联的第一1*1卷积层conv、3*3卷积层conv以及第二1*1卷积层conv,linear。其中，所述卷积模块中的3*3卷积层conv的stride＝2，采用prelu激活函数。

在本发明实施例中，所述车牌类型识别模型通过采用预先采集的车牌图像样本对预先构建的第一卷积神经网络进行训练所得，所述车牌类型识别模型包括：四个残差模块，如图3所示，同理地，所述字符识别模型通过采用预先采集的车牌上包括的数字，字母及省份汉字共73类字符对预先构建的第二卷积神经网络进行训练所得，所述字符识别模型包括：三个卷积模块，如图4所示。在所述车牌类型识别模型和所述字符识别模型的轻量级网络中均大幅度使用1*1卷积层,取消池化层，同时使用全局均衡池化代替全连接层，并使用了focalloss损失函数，提高模型识别的准确率以及效率，同时能显著的优化模型大小。通过试验，本发明的车牌类型识别方法对于24*50分辨率的单张车牌图像的处理整体耗时4ms左右，字符识别为1ms左右，整体识别完约6ms，效率高，能满足现实场景应用的需求。

在本发明实施例中，从公安派出所获取各应用场景如喀什、赤峰、清远以及网上爬虫获取的车辆图片样本，截取车牌图片作为车牌图像样本，通过不断筛选与清洗数据，共包含12类车辆主品牌，约30万车牌图像样本；例如，通过对该车牌图像样本进行车牌类型标注，构建第一训练样本，以对第一卷积神经网络进行训练。

在一种可选的实施例中，所述当所述车牌属于所述第二类别车牌时，对所述车牌进行字符分割，获取所述车牌中位于预设位置上的字符，作为待识别字符，具体包括：

当所述车牌属于黄牌或黑牌时，对所述车牌进行字符分割，获取所述车牌中位于第七位上的字符，作为待识别字符；

当所述车牌属于双层黄牌时，对所述车牌进行字符分割，获取所述车牌中位于末位的字符，作为待识别字符。

在一种可选的实施例中，所述根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果，具体包括：

当所述车牌属于黄牌时，判断所述字符识别结果是否为预设的第一中文字符；

当判断出所述字符识别结果是所述第一中文字符时，确定所述车牌为普通黄牌；

当判断出所述字符识别结果不是所述第一中文字符时，确定所述车牌为教练车牌；或，

当所述车牌属于黑牌时，判断所述字符识别结果是否为预设的第二中文字符或预设的第三中文字符；

当判断出所述字符识别结果是所述第二中文字符时，确定所述车牌为港牌；

当判断出所述字符识别结果是所述第三中文字符时，确定所述车牌为澳牌；

当判断出所述字符识别结果不是所述第二中文字符或所述第三中文字符时，确定所述车牌为普通黑牌。

在本发明实施例中，所述第一中文字符为‘学’，所述第二中文字符为‘港’；所述第三中文字符为‘澳’。

在一种可选的实施例中，所述根据所述字符识别结果，获得所述车牌图像的车牌类型识别结果，具体包括：

当所述车牌属于双层黄牌时，判断所述字符识别结果是否为预设的第四中文字符；

当判断出所述字符识别结果是所述第四中文字符时，确定所述车牌为普通双层黄牌；

当判断出所述字符识别结果不是所述第四中文字符时，确定所述车牌为双层挂牌。

在本发明实施例中，所述第四中文字符为‘挂’。

在本发明实施例中，根据车牌整体底色不同,将数据分为七大类，并对应对车牌类型识别模型设置7个车牌类型标签，包括蓝牌、白牌、双层绿牌、新能源牌、黄牌、黑牌、双层黄牌；其中教练车及普通黄色底色相同视为同一类，即单层黄牌，其差别只在于车牌上最后一个字符是否为‘学’字；双层牌及挂车车牌同属于双层黄牌,差别在第二排最后一个字符是否为‘挂’字；单层黑牌中包括了黑色普通牌,港牌及澳牌,差别在最后一个字符是否为‘港’或‘澳’字。将上述车牌图像样本按照车牌类型进行标注分类后分别输入到第一卷积神经网络进行训练。在车牌类型识别过程中，抓拍到的车牌图像先进入车牌类型识别模型,判断出是属于单层蓝牌,单层黄牌,双层黄牌,单层黑牌,单层白牌,双层绿牌和新能源牌的其中一种。

基于上述字符上的差异,在初步识别出车牌类型后，对所述车牌进行字符分割，在切割出最后一个字符后,获取所述车牌中位于预设位置上的字符，作为待识别字符，并输入进轻量化的字符识别模型进行二次识别达到细分十二类的要求。识别出七类车牌类型后,设定不同的二次识别判断逻辑,在指定的车牌位置上切割出字符做识别。字符识别模型作为在上一阶段判断出为黄牌，黑牌，单层黄牌的时候追加的后续逻辑判断。比如识别出蓝牌时,直接判断为蓝牌.当识别为黄牌时,切割出第七位的字符,传进字符识别模型,若是识别出学字,则判断为教练车牌,若是数字或是字母,则判断为普通黄牌，具体流程如图2所示；本发明实施例通过车牌的二次识别，需识别出特定的字符即可判断出属于哪类车牌，解决了训练样本不均衡问题，提高了车牌识别的精度。

参见图5，是本发明第二实施例提供的车牌类型识别设备的示意图。如图5所示，该车牌类型识别设备包括：至少一个处理器11，例如cpu，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括usb接口以及其他标准接口、有线接口。网络接口14可选的可以包括wi-fi接口以及其他无线接口。存储器15可能包含高速ram存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

程序152。

具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的车牌类型识别方法，例如图1所示的步骤s11。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车牌类型识别设备中的执行过程。

所述车牌类型识别设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车牌类型识别设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是车牌类型识别设备的示例，并不构成对车牌类型识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

所称处理器11可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述车牌类型识别设备的控制中心，利用各种接口和线路连接整个车牌类型识别设备的各个部分。

所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车牌类型识别设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器15可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述车牌类型识别设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。