一种基于字符融合特征的车牌字符识别方法及系统的制作方法
【专利摘要】本发明公开了一种基于字符融合特征的车牌字符识别方法及系统，克服目前车牌字符识别准确度较低的不足。该方法包括：对车牌图像进行预处理，获得预处理图像；提取出预处理图像中字符的融合特征；对字符的融合特征进行分类识别，获得车牌信息。本申请的实施例可以提高车牌字符识别的准确度和速度。
【专利说明】一种基于字符融合特征的车牌字符识别方法及系统【技术领域】
[0001]本发明涉及车牌字符识别，尤其涉及一种基于字符融合特征的车牌字符识别方法及系统。
【背景技术】
[0002]车牌识别技术是现代智能交通系统(Intelligent Transportation System, ITS)中的重要组成部分。高效的车牌识别系统(License Plate Recognition,LPR)可以大幅度提高路网的通行能力和服务质量。
[0003]车牌识别技术主要包括车牌区域的定位、车牌字符的分割和车牌字符的识别等三个部分。车牌字符的识别，可以获取完整的车牌信息，是车牌识别技术的最终目的。因此车牌字符识别准确率是直接影响到获取车牌的信息是否准确，如何快速准确地在实际复杂场景中对车牌字符进行识别是一个挑战。 [0004]车牌字符识别属于模式识别的范畴，模式识别是对过程或者事物的分类与描述，具有类似性质的过程或者事物被划为一类。简单来说，车牌字符识别的实现方式是通过提取待识别车牌字符的特征与收集的字符数据库中的特征进行匹配并找出匹配度最大的特征对应的字符，该字符就是识别结果，将识别的结果逐个显示可以看到车牌的全部信息，因此车牌字符识别阶段包括车牌字符预处理、提取字符特征、分类匹配判决等过程。
[0005]常用的字符识别方法围绕车牌字符的特征展开，包括统计模式识别、结构模式识别和神经网络，其中统计模式识别统计字符的整体规律并将统计信息作为字符特征，输入到分类网络中通过判决函数识别，该法对外部条件的鲁棒性不强且计算量过大；结构模式识别方法鲁棒性差且算法复杂而无实用性；神经网络作为一种机器学习的方法需要经过充足的训练和参数调整后才具备很好地泛化能力和正确率，因此分类网络的训练比较费时费力并会出错。
[0006]在复杂场景中，单一特征无法完整提取车牌特征而导致车牌字符的识别准确率较低。支持向量机中分类网络的构建，不仅要考虑识别速度必须满足实时性的要求，还需构建的分类网络具有一定的鲁棒性和适应性。
[0007]如何选择和提取字符的特征以及构建合适的分类网络，是影响车牌字符识别性能的关键因素。有必要在提高车牌字符识别准确率的同时，提高车牌字符的识别速度，克服车牌边框等自身条件的干扰和光照变化等外部条件的影响，最终高效准确地对车牌字符进行识别。
【发明内容】
[0008]本发明所要解决的技术问题是克服目前车牌字符识别准确度较低的不足。
[0009]为了解决上述技术问题，本发明提供了一种基于字符融合特征的车牌字符识别方法，用于从车牌图像中识别出车牌信息，该方法包括:
[0010]对所述车牌图像进行预处理，获得预处理图像；[0011]提取出所述预处理图像中字符的融合特征；
[0012]对所述字符的融合特征进行分类识别，获得所述车牌信息。
[0013]其中，对所述车牌图像进行预处理，获得预处理图像，包括:
[0014]对所述车牌图像进行二值化处理，得到二值化图像；
[0015]在所述二值化图像中确定包含有字符的有效字符区域；
[0016]在所述有效字符区域中提取出字符的骨架，得到包含所述骨架的所述预处理图像。
[0017]其中，提取出所述预处理图像中字符的融合特征，包括:
[0018]提取出所述预处理图像中体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
[0019]其中，对所述字符的融合特征进行分类识别，获得所述车牌信息，包括:
[0020]采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别，获得所述第一个字符对应的汉字；
[0021]采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行识别，获得所述第二个字符至最后一个字符各自对应的数字或字母；
[0022]根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应的数字或字母，获得所述车牌信息。
[0023]本申请的实施例还提供了一种基于字符融合特征的车牌字符识别系统，用于从车牌图像中识别出车牌信息，该系统包括:
[0024]预处理模块，对所述车牌图像进行预处理，获得预处理图像；
[0025]提取模块，提取出所述预处理图像中字符的融合特征；
[0026]识别模块，对所述字符的融合特征进行分类识别，获得所述车牌信息。
[0027]其中，所述预处理模块包括:
[0028]二值化处理单元，对所述车牌图像进行二值化处理，得到二值化图像；
[0029]确定单元，在所述二值化图像中确定包含有字符的有效字符区域；
[0030]提取单元，在所述有效字符区域中提取出字符的骨架，得到包含所述骨架的所述预处理图像。
[0031]其中:所述提起模块提取出所述预处理图像中体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
[0032]其中，所述识别模块包括:
[0033]汉字识别单元，采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别，获得所述第一个字符对应的汉字；
[0034]字母数字识别单元，采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行识别，获得所述第二个字符至最后一个字符各自对应的数字或字母；
[0035]获取单元，根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应的数字或字母，获得所述车牌信息。
[0036]与现有技术相比，本申请的实施例利用融合特征提取及支持向量机相结合的算法来对车牌字符进行识别，适用于不同时间段和光照条件下实地的街道、马路、商场、地下停车场等拍摄的各种质量的车牌图片，车牌图像类型可以是特写图像、低质量图像或者复杂场景图像等，可以提高车牌字符识别的准确度和速度。本申请的实施例利用字符融合特征向量可以克服在复杂情况下利用单一字符特征对车牌字符识别准确度不高的缺陷，并且让汉字、字母数字分别进入构建的两类分类网络，遍历较少的分类网络获取字符识别结果，以此来提高识别速度。提取的融合特征综合考虑车牌字符的整体形状分布、形状特征、不同方向上像素点的分布情况、周边的笔画信息，将车牌字符由内而外、由整体到局部的特征充分进行提取，对汉字、数字和字母都比较适用，从而解决车牌汉字特征提取的难题。利用字符融合特征和支持向量机相结合的方法可以快速准确的实现车牌字符的识别，获得完整的车牌信息。
【专利附图】
【附图说明】
[0037]图1为本申请实施例的基于字符融合特征的车牌字符识别方法的流程示意图。
[0038]图2为本申请实施例的基于字符融合特征的车牌字符识别系统的构造示意图。
[0039]图3为利用本申请实施例的原理对样本进行训练获得字符分类网络的过程示意图。
[0040]图4为本申请实施例中细化处理时像素的邻近关系示意图。
[0041]图5(a)-图5 Cd)为本申请实施例中字符融合特征的提取过程示意图。
【具体实施方式】
[0042]以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征在不相冲突前提下的相互结合，均在本发明的保护范围之内。
[0043]车牌识别技术是智能交通系统的重要组成部分，而车牌字符识别是车牌识别系统的关键步骤，车牌字符识别效果的好坏直接影响到能否获得完整的车牌信息，必须利用有效的方法获取良好的车牌字符识别效果，特别是在实际复杂环境中能够对车牌字符进行快速准确地识别，并且能够对边框以及光照变化的影响具有较高的鲁棒性和较强的泛化能力。但现有的统计模式识别和结构模式识别的方法无法考虑到各方面的因素，需要研究一种可以应用于实际的车牌字符识别方法。
[0044]支持向量机以结构风险最小化和VC维理论为基础的统计学习方法，通过寻找最大间隔超平面来分类并将分类问题转化为二次规划问题，根据训练样本的信息考虑学习能力和模型复杂度之间的平衡获得最好的泛化能力，在处理非线性、高维和小样本模式识别问题中具有很大的优势，并且在进行车牌字符识别只需要简单的训练学习与参数调整就能得到不输于神经网络分类网络的准确率。
[0045]本发明的技术方案中，利用字符融合特征提取和支持向量机相结合的算法对车牌字符进行识别，基于字符融合特征的提取方法克服了单一字符特征无法获得较高的车牌字符识别准确率的缺陷，提取的融合特征综合考虑车牌字符的整体形状分布、形状特征、不同方向上像素点的分布情况、周边的笔画信息，将车牌字符由内而外、由整体到局部的特征充分进行提取，对汉字、数字和字母都比较适用，从而解决车牌汉字特征提取的难题。利用支持向量机构建汉字、字母数字两类分类网络，并且让汉字、字母数字分别进入构建的两类分类网络，遍历较少的分类网络获取字符识别结果，以此来提高识别速度；支持向量机本身在处理小样本、非线性和高维的模式识别问题上具有良好的优势，并且泛化能力较强，能够适应边框以及光照等变化因素的影响，因此适合应用到实际场景中对车牌字符进行识别。将两者结合起来，先提取车牌字符的融合特征，以融合特征向量为支持向量机的输入训练两类分类网络，测试车牌字符也提取融合特征并分别输入到两类分类网络进行识别，逐个显示识别结果获得完整车牌信息，将两者结合可以不仅成功提高了车牌字符识别的准确率，具有较好的识别速度，而且具有较强的鲁棒性和泛化能力，能够在实际复杂环境中获得良好的车牌字符识别效果。
[0046]本发明实施例的基于字符融合特征的车牌字符识别方法，用于从车牌图像中识别出车牌信息。如图1所示，该方法主要包括如下步骤:
[0047]步骤S110，对待从中识别出车牌信息的车牌图像进行预处理，获得预处理图像。
[0048]本申请的实施例中，该预处理的过程主要包括二值化处理、截取有效字符区域并从中提取出字符的骨架。首先，对车牌图像进行二值化处理，得到二值化图像。其次，在二值化图像中确定包含有字符的有效字符区域。然后，在有效字符区域中提取出字符的骨架，得到包含字符骨架的预处理图像。
[0049]步骤S120，提取出预处理图像中字符的融合特征。
[0050]本申请的实施例中，字符的融合特征，主要包括体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
[0051]步骤S130，对字符的融合特征进行分类识别，获得车牌信息。
[0052]本申请的实施例中，所述的分类识别主要是采用汉字分类网络对汉字进行识别，以及采用字母数字分类网络对字母和数字进行识别。具体地，采用汉字分类网络对预处理图像中的第一个字符的融合特征进行识别，获得第一个字符对应的汉字；采用字母数字分类网络对预处理图像中的第二个字符至最后一个字符进行识别，获得第二个字符至最后一个字符各自对应的数字或字母。根据第一个字符对应的汉字以及第二个字符至最后一个字符各自对应的数字或字母，获得车牌信息。
[0053]本发明实施例的基于字符融合特征的车牌字符识别系统，用于从车牌图像中识别出车牌信息。如图2所示，该系统主要包括如下步骤预处理模块210、提取模块220以及识别模块230。其中:
[0054]预处理模块210，设置为对车牌图像进行预处理，获得预处理图像。
[0055]提取模块220，与预处理模块210相连，提取出预处理图像中字符的融合特征；
[0056]识别模块230，与提取模块220相连，对字符的融合特征进行分类识别，获得车牌信息。
[0057]如图2所示，该预处理模块210主要包括二值化处理单元211、确定单元212以及提取单元213。其中:
[0058]二值化处理单元211，对车牌图像进行二值化处理，得到二值化图像。
[0059]确定单元212，与二值化处理单元211相连，在二值化图像中确定包含有字符的有效字符区域。
[0060]提取单元213，与确定单元212相连，在有效字符区域中提取出字符的骨架，得到包含骨架的预处理图像。
[0061]本申请的实施例中，提取模块220提取出预处理图像中体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
[0062]如图2所示，该识别模块230包括汉字识别单元231、字母数字识别单元232以及获取单元233。其中:
[0063]汉字识别单元231，采用汉字分类网络对预处理图像中的第一个字符的融合特征进行识别，获得第一个字符对应的汉字。
[0064]字母数字识别单元232，采用字母数字分类网络对预处理图像中的第二个字符至最后一个字符进行识别，获得第二个字符至最后一个字符各自对应的数字或字母。 [0065]获取单元233，与汉字识别单元231及字母数字识别单元232相连，根据第一个字符对应的汉字以及第二个字符至最后一个字符各自对应的数字或字母，获得车牌信息。
[0066]本申请的实施例在应用时，首先训练出汉字、字母数字两类分类网络。需要说明的是，利用训练样本训练出汉字、字母数字两类分类网络并利用测试样本进行测试的过程，与本申请实施例的基于字符融合特征的车牌字符识别方法的原理和过程实质上相同，与本申请实施例的基于字符融合特征的车牌字符识别系统的工作原理和过程实质上相同，可以用来对本申请实施例进行理解和参考。
[0067]如图3所示，训练的主要过程包括如下步骤:
[0068]步骤S310，收集车牌字符训练样本和车牌字符测试样本，其中训练样本和测试样本均包括对应于中国31个省份的31类汉字，10类数字和24类英文字母。
[0069]本申请的实施例中，每类数字和字母的训练样本和测试样本可以分别为20张，每类汉字的训练样本和测试样本数不等，方便研究不同的样本数对车牌汉字识别造成的影响，汉字总共的训练样本和测试样本数分别为208张，训练和测试样本利用平均加权法进行灰度化处理。
[0070]步骤S320，对训练样本和测试样本进行预处理。
[0071]处理的对象是简单的车牌字符，首先采用OTSU全局二值化算法进行二值化处理，得到二值化图像。它按照图像的目标和背景类间方差最大时取到二值化的阈值，不管图像的直方图有无明显的双峰都能达到比较好的效果。
[0072]将大小为MXN的图像I (X，y)的分割阈值记为ξ，图像中像素点的灰度值大于阈值ξ的数目记为K1，小于ξ的记为K2JPMXN = K1+!^属于目标的像素点的个数占整幅图像的比例记做a i = V(MXN)，目标像素点的平均灰度记作β !;属于背景的像素点占整幅图像的比例记做a2 = K2/(ΜΧΝ)，背景像素点的平均灰度记作β2，整幅图像的平均灰度记作β，类间方差记为Y，那么这些变量的关系如下:
[0073]β = α1Χβ1+α2Χβ2式(I)
[0074]Y =α2式(2)
[0075]将式(I)代入式(2)，得到:
[0076]y = (β「β2)2Χ Ci1X α2式(3)[0077]分割阈值ξ从灰度值0-255开始迭代，计算每次迭代的边缘检测图像的类间方差Y并将前后两次的Y进行比较，当Y为最大的时候取得二值化效果最好的分割阈值ξ。
[0078]然后根据获取的最佳分割阈值ξ对图像进行二值化处理，图像中灰度值大于阈值ξ的像素点的新值记为1，小于阈值ξ的像素点的新值记为O,将灰度图转化为二值图，转化公式为:
【权利要求】
1.一种基于字符融合特征的车牌字符识别方法，用于从车牌图像中识别出车牌信息，其特征在于，该方法包括: 对所述车牌图像进行预处理，获得预处理图像； 提取出所述预处理图像中字符的融合特征； 对所述字符的融合特征进行分类识别，获得所述车牌信息。
2.根据权利要求1所述的方法，其特征在于，对所述车牌图像进行预处理，获得预处理图像，包括: 对所述车牌图像进行二值化处理，得到二值化图像； 在所述二值化图像中确定包含有字符的有效字符区域； 在所述有效字符区域中提取出字符的骨架，得到包含所述骨架的所述预处理图像。
3.根据权利要求1所述的方法，其特征在于，提取出所述预处理图像中字符的融合特征，包括: 提取出所述预处理图像中体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
4.根据权利要求1所述的方法，其特征在于，对所述字符的融合特征进行分类识别，获得所述车牌信息，包括: 采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别，获得所述第一个字符对应的汉字； 采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行识别，获得所述第二个字符至最后一个字符各自对应的数字或字母； 根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应的数字或字母，获得所述车牌信息。
5.一种基于字符融合特征的车牌字符识别系统，用于从车牌图像中识别出车牌信息，其特征在于，该系统包括: 预处理模块，对所述车牌图像进行预处理，获得预处理图像； 提取模块，提取出所述预处理图像中字符的融合特征； 识别模块，对所述字符的融合特征进行分类识别，获得所述车牌信息。
6.根据权利要求5所述的系统，其特征在于，所述预处理模块包括: 二值化处理单元，对所述车牌图像进行二值化处理，得到二值化图像； 确定单元，在所述二值化图像中确定包含有字符的有效字符区域； 提取单元，在所述有效字符区域中提取出字符的骨架，得到包含所述骨架的所述预处理图像。
7.根据权利要求5所述的系统，其特征在于: 所述提起模块提取出所述预处理图像中体现字符整体形状分布情况的网格特征、反映不同方向上字符像素点分布情况的笔画密度特征、反映字符四周笔画信息的四边码特征以及反映字符轮廓信息的字符轮廓特征。
8.根据权利要求5所述的系统，其特征在于，所述识别模块包括: 汉字识别单元，采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别，获得所述第一个字符对应的汉字； 字母数字识别单元，采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行识别，获得所述第二个字符至最后一个字符各自对应的数字或字母； 获取单元，根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应的数字或字母，获 得所述车牌信息。
【文档编号】G06K9/00GK103902981SQ201410132674
【公开日】2014年7月2日 申请日期:2014年4月2日 优先权日:2014年4月2日
【发明者】熊继平, 汤清华, 赵健 申请人:浙江师范大学