一种车牌识别方法
【专利摘要】本发明提供一种车牌识别方法，结合卷积神经网络和维特比算法，包括以下步骤：(1)图像稀疏化；(2)组合edge group；(3)计算edge group的相似度；(4)计算每一个edge group的权值wb；(5)计算评分；(6)选择精确的车牌定位框；(7)对步骤(6)中的到的车牌定位框进行卷积操作和池化操作得到特征图；(8)使用卷积神网络识别器对特征图进行扫描，得到字符序列；(9)使用维特比算法对步骤(8)中的字符序列计算得到特定字符序列。该方法能应对复杂条件下拍摄的电子图像，提高车牌识别系统的识别准确率，并且该技术在字符识别前，无需对图片进行分割，避免了由于字符分割不准确导致的错误。
【专利说明】
一种车牌识别方法
技术领域
[0001] 本发明属于图像识别领域，特别涉及一种基于卷积神经网络的车牌识别方法。
【背景技术】
[0002] 随着汽车的大规模普及在给我们带来便利的同时也滋生了一系列不安全因素。如 驾驶员无视法律法规随意行车，不规范停车，使得道路交通安全性无法保证。目前国家采用 电子警察应对这一问题，其中车牌识别是其中重要的一环。
[0003] 车牌识别系统(License Plate Recognition System)，目的是对道路交通路口电 子摄像机拍摄的违反了交通法规的车辆的车牌进行自动识别，其基本形式是:将违法违章 车辆的图像输入系统，系统返回该车辆的车牌号码。车牌识别系统能够有效的减少人工工 作量，提高工作效率。
[0004] 车牌识别就是从一张图片中提取车牌号码信息。车牌识别技术有很广泛的应用范 围，如高速收费站，收费停车场，交通路口管理等等。图片的质量是影响识别准确率最主要 的因素，但是由于某些不可抗拒的因素（如下雨或者雾霾较严重的时候），或者在傍晚光照 不足等情况下，摄像机拍摄的图片不尽如人意，这就需要我们通过一系列技术手段攻克这 些难题。
[0005] 卷积神经网络（Convolutional Neural Network，CNN),是一种优秀的图像识别算 法，在计算机视觉领域，该算法的大规模图像分类及大规模图像识别挑战赛中屡屡拔得头 筹。卷积神经网络是一种深度神经网络，该算法通过感受野(Receptive Field)和权值共享 (Shared Weights)进行卷积运算和池化运算，减少神经网络需要训练的参数和保持图像的 平移不变性，降低计算复杂度，提高性能。
[0006] 现有车牌识别流程包括车牌定位、字符分割、字符识别。在复杂环境中，摄像机所 拍摄的图片经常会出现噪声过大或者图片扭曲，倾斜，导致图像中的字符模糊不清或者紧 密相连，从而会导致字符分割困难，因此导致无法准确的识别。
[0007] 所以，现有的车牌识别技术存在不足，有必要改进。
【发明内容】
[0008] 在传统的车牌定位算法中，对车牌的定位主要依赖图像的特征，比如边缘特征，颜 色特征，纹理特征等等。但是这些特征很容易被光照或者图像背景等因素干扰，导致提取特 征困难，从而影响车牌识别系统的准确率。为了避免上述问题，本发明基于卷积神经网络提 出了一种基于物体检测算法的车牌定位方法。
[0009] 本发明是提供一种结合卷积神经网络和维特比算法的车牌识别方法，该方法能应 对复杂条件下拍摄的电子图像，提高车牌识别系统的识别准确率，并且该技术在字符识别 前，无需对图片进行分割，从而避免了由于字符分割不准确导致的错误。
[001 0]在深度学习领域，物体检测是深度学习专注的方向之一，该方向每年都有突破性 的进展，利用深度学习算法不仅能够检测到物体，还能对物体进行语义识别，本发明受此启 发，提出了运用深度学习算法中的物体检测方法来进行车牌定位。本发明提出了一种新的 车牌定位方法，首先输入待识别的图像，然后使用在参考文献提出的Edge Boxes方法生成 一系列的可能是车牌区域的候选框，再训练一个卷积神经网络过滤部分非车牌区域候选 框，由于可能存在多个候选框都包含车牌区域，故接下来需要使用非极大值抑制算法消除 多余的候选框，最后对候选框进行调整定位到车牌区域。
[0011 ]为了解决上述问题，本发明提供的技术方案如下：
[0012] -种车牌识别方法，包括以下步骤：
[0013] (1)图像稀疏化:使用Structure Edge detector对输入图像计算图像中每个像素 点的计算边缘响应，稀疏化，得到一个稀疏化的图像；
[00?4] (2)组合edge group:对步骤（1)中生成的稀疏化图像中的边，以像素点为基本计 算单位，计算相邻像素点之间的方向角度差值的和，如果小于M，则认为这些像素点的相似 度高，组成edge group，继续计算下一个像素点；如果大于Μ，则停止计算，将已经计算过的 像素点组成一个edge group;
[0015] (3)计算edge group的相似度：将步骤(2)中得到所有edge group记为S，（Si,Sj) e S然后使用式（1-1)计算Si，Sj两个edge group的相似度a(si，Sj)，
[0016] a(si,sj)= | cos(0i-0ij)cos(9j-0ij) | γ (1-1)
[0017]其中：0ij表示Xi，Xj间的夹角，Xi， Xj为Si，Sj的平均距离，θ?,θ」为Si，Sj的平均角度， γ用来调整两个edge group之间的相似度；
[0018] (4)计算每一个edge group的权值Wb:使用一个滑动窗口扫描整个图片，每滑动一 步得到一个窗口中的Edge group以及它们的相似度之后，根据式（1-2)计算每一个edge group的权值wb;
[0020]其中：T为每个edge group中edge的集合，|T|表示T中的edge的数目，j表示T中 edge序号，从0开始计数。tj和tj+i表示T中相邻的edge，a(tj，tj+i)表示tj和tj+i两个edge之间 的相似度；
[0021 ] (5)计算评分:根据式(1-3)计算定位框的评分hb，选择得分Top-n的轮廓图。
[0023]其中:hb表示定位框的评分，bw表示定位框的宽，bh表示定位的高，πη表示像素点的 幅度值，i表示定位框中edge group，i的取值范围是edge group的数目，k取固定值1.5,用 来调整窗口的大小；
[0024] (6)选择精确的车牌定位框；
[0025] (7)对步骤(6)中的到的车牌定位框区域进行卷积操作和池化操作得到特征图；
[0026] (8)使用卷积神网络识别器对特征图进行滑动扫描，得到字符序列；
[0027] (9)使用维特比算法对步骤(8)中的字符序列进行计算得到特定字符序列，该序列 即为车牌字符识别结果。
[0028] 在本发明中，"si,Sj的平均位置"为edge group中每个edge与水平坐标见距离的平 均值。"Si,Sj的平均角度"为edge group中每个edge与水平坐标的夹角的平均值。
[0029]在本发明中，步骤(1)中所述的稀疏化采用NMS算法最边缘信息进行稀疏化。
[0030]在本发明中，步骤(2)中所述Μ值为阈值，是一个固定的值，M = V2。
[0031]在本发明中，步骤(3)中所述γ -般为1.6-2.2，例如2。
[0032]在本发明中，步骤(4)中：若Wb = l，则把该edge group判定为该窗口中物体轮廓的 一部分，用于下一步计算评分;若wb = 0，则判定该edge group不属于窗口中物体轮廓，贝1J不 用于计算评分。
[0033] 在本发明中，步骤(6)中选择精确的车牌定位框采用非极大值抑制法。
[0034] 在本发明中，步骤(6)中选择精确的车牌定位框，具体步骤为：
[0035] a)训练一个卷积神经网络模型，过滤掉步骤(5)中不包含车牌区域的轮廓图，得到 包含车牌区域的定位框；
[0036] b)使用NMS算法消除多余的定位框；
[0037] c)定位框调整，首先扩大步骤b)中得到的定位框每条边，然后在该区域使用sobel 算子进行边缘检测，得到精确的车牌定位框。
[0038]在本发明中，步骤c)中扩大步骤b)中得到的定位框每条边5-40%，优选为10-30%。更优选为15-25。
[0039] 在本发明中，步骤(8)的具体操作为:使用一个固定尺寸的卷积神网络识别器对特 征图一步长为1个像素进行滑动扫描，得到字符序列。
[0040] 在本发明中，为了得到更高的查全率，可以选择多一些的轮廓图，即η取更大值。η 的取值根据实验效果调整。一般地，η为2-500，优选10-300，更有选为20-200，如40、60、80或 100〇
[0041] 在本发明中，Edge Boxes方法的思想是基于这样一个直觉，如果一个边界框中 (Edge Boxes)中如果包含了一定数目的轮廓那么这可能意味着这个边界框中包含了一个 物体。本发明的研究方法是利用边缘信息(Edge)，利用边界框中的轮廓数目，来进行物体检 测。边界框(Edge Boxes)方法进行物体检测的详细步骤：
[0042] 1 ·首先是根据文献《Structured Forests for Fast Edge Detection》提出的结 构化边缘算法，计算每个像素点的边缘响应，使用一个Structured Edge detector得到边 缘结构图。然后使用匪3(1'1〇11-]\&?；[11^15卯口1688；[011)方法，得到一个边缘信息稀疏化的图 像。
[0043] 2.在上一步得到的稀疏化边缘图像后，将近似在同一直线上的边缘线段集中起来 行成一个edge group，使用贪心算法计算相邻8条边的曲率，如果方向变化小于一个阈值 (π/2)，则把这8条边确定为一个edge group。
[0044] 3.计算edge group的相似度，假设在上一步骤中得到所有edge group的集合为S， (Si，Sj) e S然后使用公式(3-1)计算Si，Sj两个edge group的相似度，在公式(3-1)中0ij表示 Xi，Xj间的夹角，Xi，Xj为Si，Sj的平均距离，，θ」为Si，Sj的平均角度，γ用来调整两个edge group之间的相似度，在实际应用中一般取值为2。
[0045] a(si,sj)= | cos(0i-0ij)cos(9j-0ij) | γ (0-1)
[0046] 4.使用一个滑动窗口扫描整个图片，每滑动一步得到一个窗口中的Edge group以 及它们的相似度之后，根据公式（3-2)计算每一个edge group的权值wb。若wb = 1，则把该 edge group判定为该窗口中物体轮廓的一部分，若wb = 0,则判定该edge group不属于窗口 中物体轮廓，其中T为物体轮廓edge group按顺序排列的路径。
[0050] 在本发明中，非极大值抑制(Non-maximum suppression)，即搜索局部极大值基于 贪心策略，抑制非极大值。
[0051 ] 在本发明中，边界框(Bounding-Box)调整采用以下方法：
[0052] 1.将初始的定位框的每条边扩大20%(根据实验测试，扩大20%效果最好）
[0053] 2.在步骤1限定的区域中使用sobel算子进行垂直边缘检测
[0054] 3.根据步骤2得到的垂直边缘特征图的水平投影得到车牌区域的顶部和底部。
[0055] 4.通过垂直投影得到左右边界。
[0056] 5.旋转定位框，使得定位框与车牌契合。
[0057] 在本发明中，viterbi算法是一个应用非常广泛的动态规划算法用于在一个图中 寻找最短路径，特别地常应用在在隐藏马尔科夫模型中根据可观察到的状态和状态转移概 率求解最有可能的隐藏状态。对于一个特定的隐马尔科夫模型，viterbi算法被用来寻找生 成一个观察序列的最可能的隐藏状态序列。利用概率的时间不变性，通过避免计算状态转 换图中每一条路径的概率来降低问题的复杂度。维特比算法对于每一个状态都保存了一个 局部概率。局部概率是指示的路径到达某个状态的概率。
[0058] 当t = T时，维特比算法所到达的这些终止状态的局部概率是按照最优(最可能）的 路径到达该状态的概率。因此，选择其中最大的一个，并回溯找出所隐藏的状态路径，就是 这个问题的最优解。
[0059] 维特比算法并不是简单的对于某个给定的时间点选择最可能的隐藏状态，而是基 于全局序列做决策一一因此，如果在观察序列中有一个"非寻常"的事件发生，对于维特比 算法的结果也影响不大。这在车牌字符串处理中，当卷积神经网络的感受野探测到了部分 相邻的字符的图像信息导致识别错误时，viterbi算法能将该错误信息排除，找出正确的路 径。
[0000]本发明通过对viterbi算法选择字符序列，设Ci为边i的权值，Si是图的开始节点， cU是图的最后一个节点，在它们之间还存在许许多多的节点。Viterbi算法主要做以下工 作，每一个节点都有一个累加的权值 Vn。这些累加值是任意顺序计算，必须满足图中局部顺 序是一个有向无环图。开始节点的权值初始化为〇,记vstart = 〇。其他节点的权值由父节点的 权值递归的进行计算。通过这些边Un= {arc i with destination di = n}:
当到达最后一个节点时，我们可以获得一个Wnd，它在所有的边的权值中是最小的。为了得 至Ijviterbi路径中的节点和边，我们按照如下方法回溯这些边和节点。从最后一个节点开 始，ητ后一个节点，递归寻找最小的边％ =?。直到到达第一个节点。这个序列就 是要选择的字符子序列。
[0061]与现有技术相比较，本发明具有以下有益技术效果：
[0062] 1、提出了一种基于Edge Boxes算法的车牌定位方法。
[0063] 2、基于卷积神经网络的字符识别算法，卷积神经网络能够从"低级别"中的特征组 合中学习到"更高级别"的特征，从而能够应对复杂环境中拍摄的车牌图像。
[0064] 3、本发明采用字符串识别算法，该算法能够有效避免现有车牌识别技术中由于字 符分割不准确导致的识别错误。
【附图说明】
[0065]图1为本发明一个总体框架图。
[0066] 图2为本发明中的车牌定位流程图。
[0067] 图3为本发明中的字符串识别流程图。
[0068] 图4为本发明Viterbi Transformer训练结构图。
【具体实施方式】
[0069] 为了使本领域的技术人员更好的理解本申请的技术方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。应当理解，此处所描述 的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0070] 一种车牌识别方法，包括以下步骤：
[0071] (1)图像稀疏化:使用Structure Edge detector对输入图像计算图像中每个像素 点的计算边缘响应，稀疏化，得到一个稀疏化的图像；
[0072] (2)组合edge group:对步骤（1)中生成的稀疏化图像中的边，以像素点为基本计 算单位，计算相邻像素点之间的方向角度差值的和，如果小于M，则认为这些像素点的相似 度高，组成edge group，继续计算下一个像素点；如果大于Μ，则停止计算，将已经计算过的 像素点组成一个edge group;
[0073] (3)计算edge group的相似度：将步骤(2)中得到所有edge group记为S，（Si,Sj) e S然后使用式（1-1)计算Si，Sj两个edge group的相似度a(si，Sj)，
[0074] a(si,Sj)= I cos(0i-0ij)cos(9j-0ij) | γ (1-1)
[0075]其中：9ij表示Xi，Xj间的夹角，Xi， Xj为Si，Sj的平均位置，0i，0j为Si，Sj的平均角度， γ用来调整两个edge group之间的相似度；
[0076] (4)计算每一个edge group的权值wb:使用一个滑动窗口扫描整个图片，每滑动一 步得到一个窗口中的Edge group以及它们的相似度之后，根据式（1-2)计算每一个edge group的权值wb;
[0078]其中：T为每个edge group中edge的集合，|T|表示T中的edge的数目，j表示T中 edge序号，从0开始计数。tj和tj+i表示T中相邻的edge，a(tj，tj+i)表示tj和tj+i两个edge之间 的相似度；
[0079 ] (5)计算评分:根据式(1 -3)计算定位框的评分hb，选择得分Top-n的轮廓图。
[0081]其中:hb表示定位框的评分，bw表示定位框的宽，bh表示定位的高，πη表示像素点的 幅度值，i表示定位框中edge group，i的取值范围是edge group的数目，k取固定值1.5,用 来调整窗口的大小；
[0082] (6)选择精确的车牌定位框；
[0083] (7)对步骤(6)中的到的车牌定位框区域进行卷积操作和池化操作得到特征图；
[0084] (8)使用卷积神网络识别器对特征图进行滑动扫描，得到字符序列；
[0085] (9)使用维特比算法对步骤(8)中的字符序列进行计算得到特定字符序列，该序列 即为车牌字符识别结果。
[0086]在本发明中，步骤(1)中所述的稀疏化采用NMS算法最边缘信息进行稀疏化。
[0087]在本发明中，步骤(2)中所述Μ值为阈值，是一个固定的值，M = V2。
[0088]在本发明中，步骤(3)中所述γ为2。
[0089]在本发明中，步骤(4)中：若Wb = l，则把该edge group判定为该窗口中物体轮廓的 一部分，用于下一步计算评分;若wb = 0，则判定该edge group不属于窗口中物体轮廓，贝1J不 用于计算评分。
[0090] 在本发明中，步骤(6)中选择精确的车牌定位框采用非极大值抑制法。
[0091] 在本发明中，步骤(6)中选择精确的车牌定位框，具体步骤为：
[0092] a)训练一个卷积神经网络模型，过滤掉步骤(5)中不包含车牌区域的轮廓图，得到 包含车牌区域的定位框；
[0093] b)使用NMS算法消除多余的定位框；
[0094] c)定位框调整，首先扩大步骤b)中得到的定位框每条边，然后在该区域使用sobel 算子进行边缘检测，得到精确的车牌定位框。
[0095]在本发明中，步骤c)中扩大步骤b)中得到的定位框每条边5-40%，优选为10-30%。更优选为15-25。
[0096] 在本发明中，步骤(8)的具体操作为:使用一个固定尺寸的卷积神网络识别器对特 征图一步长为1个像素进行滑动扫描，得到字符序列。
[0097] 实施例1
[0098] 一种车牌识别方法，包括以下步骤：
[0099] 步骤A，车牌定位：
[0?00] A1、使用Structure Edge detector对输入图像计算图像中每个像素点的计算边 缘响应，然后使用NMS算法最边缘信息进行稀疏化，得到一个稀疏化的图像；
[0101] A2、对A1步骤中生成的稀疏化图像中的边，以像素点为基本计算单位，计算相邻像 素点之间的方向角度差值的和，如果两边缘点之间的方向角度差值的和大于0/2)则将这 些边组合成edge group;
[0102] A3、计算edge group的相似度，假设在上一步骤中得到所有edge group记为S， (Si，Sj) e S然后使用公式(3-1)计算Si，Sj两个edge group的相似度，在公式（1-1)中0ij表示 Xi，Xj间的夹角，Xi，Xj为Si，Sj的平均位置，，θ」为Si，Sj的平均角度，γ用来调整两个edge group之间的相似度，在实际应用中一般取值为2。
[0103] a(si,sj)= I cos(0i-0ij)cos(9j-0ij) | γ (1-1)
[0104] A4、使用一个滑动窗口扫描整个图片，每滑动一步得到一个窗口中的Edge group 以及它们的相似度之后，根据公式（1-2)计算每一个edge group的权值wb。若wb = 1，则把该 edge group判定为该窗口中物体轮廓的一部分，若wb = 0,则判定该edge group不属于窗口 中物体轮廓，其中T为物体轮廓edge group按顺序排列的路径。
[0106] T为每个edge group中edge的集合，|T|表示T中的edge的数目，j表示T中edge序 号，从〇开始计数。tj和tj+l表示T中相邻的6(^3(1：」，1：」+1)表示1：」和1：」+1两个6(^之间的相似 度；
[0107] A5、最后，根据公式(1-3)计算评分
，选择得分Top-n的轮廓图。
[0109] 其中:hb表示定位框的评分，bw表示定位框的宽，bh表示定位的高，πη表示像素点的 幅度值，i表示定位框中edge group，i的取值范围是edge group的数目，k取固定值1.5,用 来调整窗口的大小；
[0110] A6、训练一个卷积神经网络模型，过滤掉A5步骤中不包含车牌区域的轮廓图，得到 包含车牌区域的定位框。
[0111] A7、使用NMS算法消除多余的定位框。
[0112] A8、定位框调整，首先将A7步骤中的到的定位框每条边扩大20%，然后在该区域使 用sobel算子进行边缘检测，得到精确的车牌定位框。
[0113] 步骤B，字符串识别：
[0114] B1、对步骤A中的到的车牌区域进行卷积操作和池化操作得到特征图；
[0115] B2、使用一个固定尺寸的卷积神网络识别器对特征图一步长为1个像素进行滑动 扫描，得到字符序列；
[0116] B3、使用维特比算法对B2步骤中产生的字符序列中得到特定字符序列，该序列即 为车牌字符识别结果。
[0117] 实施例2
[0118]用于实验的数据集主要来源于开源项目EasyPR中的数据集，然后本人使用数码相 机在雨天、雾天、傍晚分别采集了900张图片，并将原始图片分割二值化处理后和EasyPR数 据训练集合并在一起。整个数据集共有图片49385张字符图片，共67类包含数字、大写英文 字母和汉字，所有的图片都转换成了灰度图像并且把图像尺寸归一化为24*24。
[0119] 实验硬件设施:浪潮服务器，型号NF5240M3;CPU型号:E5-2407V2;内存:8G。
[0120] 软件环境:操作系统:Ubuntul4.04;深度学习框架caffe;Matlab R2012b。
[0121 ] 使用Edge Box Detector检测车牌图片，生成候选框。设置Edge Box Detector的 步长为〇 · 65，设置Non-Maximum Suppress ion算法的阈值为0 · 75。
[0122]训练cnn模型，过滤候选框。在CNN模型中，输入图像的尺寸必须是固定的，上一步 生成的候选框大小不一，需要对提取的候选框区域进行归一化。
[0123] NMS消除多余定位框。
[0124] 使用左上角坐标和右下角坐标来描述定位框的位置，坐标原点为初始定位框的中 心点。若原始图片的坐标为(xl，yl，x2，y2)，其中（xl，yl)表示左上角坐标，（x2，y2)表示右 下角坐标。将定位框扩大20%后的坐标为（1 · 2*xl，1 · 2*yl，1 · 2*x2，1 · 2*y2)。
[0125] 表1车牌定位结果比较
[0126]
[0127] 从上表可以看出，本文提出的方法在查全率和查准率都优于Hsu方法中的实验结 果。在Hsu方法中使用Expectation-Maximization (EM)算法对图像中的边缘特征聚类从而 对车牌进行定位。在本文中使用EdgeBox算法结合CNN分类器来对车牌进行定位，EdgeBox算 法也是通过图像中的边缘信息检测车牌，所以两种方法的查全率差别不大。由于车牌区域 中本文方法还使用了一个CNN分类器过滤非车牌区域，所以本文方法的查准率相比Hsu方法 具有较明显的优势。
[0128] 实施例3
[0129] CNN模型训练
[0130] cnn实验都是基于caffe框架和MATLAB中完成，将待识别的车牌图像转换成灰度图 像，将尺寸归一化成28*128像素大小并将左右两边各增加10像素点的边用来保留边缘信 息。细节描述如下：
[0131] 前向传播中激活函数使用Relu函数：
[0132] f(x)=max(0，x) (0-4)
[0133] 卷积层计算：
[0138]子采样层，子采样层的作用是生成一个特征图的下采样版本，如果有N个输入图 像，则会产生N个输出图像，经过下采样的输入图像会比输入图像更小。
[0140] 其中，down(,v) 1)表示池化方法，本文采用的最大池化方法。
[0141] Viterbi Transformer训练：
[0142] 图4是Viterbi Transformer训练结构图，我们希望使用viterbi算法找出最优路 径，而这路径正好代表这字符串正确的顺序。所以我们的目标是通过训练调整参数，使得正 确字符顺序所在的路径的权值能达到最小值。我们首先定义一个损失函数，使用反向传播 算法计算损失函数的梯度，使用牛顿方法来调整学习率。如图4所示，在训练中我们使用了 一个path Selector标记正确的字符串顺序进行前向传播训练，其中Cdf。?子路径的传播值， Cf 〇rw为整个图的前向传播值，Edf ^ = Cdf orw-Cf，理想状态为Edf = 0，所以在训练中应该尽 可能的使Edf。?趋近于0。
[0143] 本文的字符识别实验主要通过比较本文方法和Hsu方法以及ANN在A0LP三个子数 据集中的识别率，实验结果如下表2所示。
[0144] 表2车牌字符识别结果比较
[0145]
[0146] 参考文献中的Hsu方法首先使用LBP提取字符特征，然后使用LDA分类相较于ANN方 法在A0LP数据集中进行测试的到的实验结果优势比较明显。但是本文提出的基于卷积神经 网络的字符识别准确率比Hsu方法更高，分析原因是，A0LP数据集中的数据囊括了不同环境 中获取的图片，单一的字符特征提取方法不足以应对多变的任务，而卷积神经网络可以通 过不同处理层学习到图像中的多种低维到高维的特征，从而使模型具有更高的识别能力。
【主权项】
1. 一种车牌识别方法，包括W下步骤： (1) 图像稀疏化:使用structure Edge detector对输入图像计算图像中每个像素点的 计算边缘响应，稀疏化，得到一个稀疏化的图像； (2) 组合edge group:对步骤（1)中生成的稀疏化图像中的边，W像素点为基本计算单 位，计算相邻像素点之间的方向角度差值的和，如果小于M，则认为运些像素点的相似度高， 组成edge group，继续计算下一个像素点；如果大于M，则停止计算，将已经计算过的像素点 组成一个edge group; (3) 计算edge group的相似度：将步骤（2)中得到所有edge group记为S，（Si, Sj) e S然 后使用式（1-1)计算Si，sj两个edge group的相似度a(si，sj)， a(si,sj)= I cos(目广目ij)cos(目广目。）I Y (1-1) 其中：9i康示Xi，Xj间的夹角，Xi，Xj为Si，Sj的平均位置，0i，0j为Si，Sj的平均角度，丫用 来调整两个edge group之间的相似度； (4) 计算每一个edge group的权值wb:使用一个滑动窗口扫描整个图片，每滑动一步得 到一个窗口中的Edge group W及它们的相似度之后，根据式（1-2)计算每一个edge group 的权值Wb;(1-:2) 其中：Τ为每个edge group中edge的集合，|Τ|表示Τ中的edge的数目，j表示Τ中edge序 号，从0开始计数。tj和tj+i表示T中两个相邻的edge，a(tj，tj+i)表示tj和tj+i两个edge之间的 相似度； (5) 计算评分:根据式（1-3)计算定位框的评分hb，选择得分Τορ-η的轮廓图：(1-3) 其中：h读示定位框的评分，bw表示定位框的宽，bh表示定位的高，m康示像素点的幅度 值，i表示定位框中edge group, i的取值范围是edge group的数目，k取固定值1.5,用来调 整窗口的大小； (6) 选择精确的车牌定位框； (7) 对步骤(6)中的到的车牌定位框区域进行卷积操作和池化操作得到特征图； (8) 使用卷积神网络识别器对特征图进行滑动扫描，得到字符序列； (9) 使用维特比算法对步骤(8)中的字符序列进行计算得到特定字符序列，该序列即为 车牌字符识别结果。2. 根据权利要求1所述的方法，其特征在于:步骤（1)中所述的稀疏化采用醒S算法最边 缘信息进行稀疏化。3. 根据权利要求1-3中任一项所述的方法，其特征在于：步骤(2)中所述Μ值为阔值，是 一个固定的值，M=V2。4. 根据权利要求1-3中任一项所述的方法，其特征在于:步骤(3)中所述丫为2。5. 根据权利要求1-4中任一项所述的方法，其特征在于：步骤(4)中：若wb=l，则把该 edge group判定为该窗口中物体轮廓的一部分，用于下一步计算评分;若wb = 0,则判定该 edge group不属于窗口中物体轮廓，则不用于计算评分。6. 根据权利要求1-5中任一项所述的方法，其特征在于：步骤(6)中选择精确的车牌定 位框采用非极大值抑制法。7. 根据权利要求1-5中任一项所述的方法，其特征在于：步骤(6)中选择精确的车牌定 位框，具体步骤为： a) 训练一个卷积神经网络模型，过滤掉步骤(5)中不包含车牌区域的轮廓图，得到包含 车牌区域的定位框； b) 使用NMS算法消除多余的定位框； C)定位框调整，首先扩大步骤b)中得到的定位框每条边，然后在该区域使用sobel算子 进行边缘检测，得到精确的车牌定位框。8. 根据权利要求7所述的方法，其特征在于:步骤C)中扩大步骤b)中得到的定位框每条 边5-40 %，优选为10-30 %。更优选为15-25 %。9. 根据权利要求1-8中任一项所述的方法，其特征在于:步骤(8)的具体操作为:使用一 个固定尺寸的卷积神网络识别器对特征图一步长为1个像素进行滑动扫描，得到字符序列。
【文档编号】G06K9/32GK106096607SQ201610408067
【公开日】2016年11月9日
【申请日】2016年6月12日
【发明人】欧阳建权, 唐欢容, 李达
【申请人】湘潭大学