一种基于色彩投影分类的车牌颜色识别方法及装置与流程

本发明涉及图像处理技术领域，具体涉及一种基于色彩投影分类的车牌颜色识别方法及装置。

背景技术：

车牌识别是智能交通系统的核心组成部分，在车辆收费管理、违章车辆监控、交通流量监控等场合中发挥着重要作用。虽然针对车牌识别技术的研究越来越成熟，但现代社会车辆越来越多，车牌类型也在不断的更新换代，特别是新能源车牌的使用；再加上天气、光照、拍摄角度、污损、扭曲变形等因素的影响，准确实时的车牌识别面临的挑战仍然很大。

车牌识别过程包括车牌定位、校正、分割、字符识别等步骤。随着车牌类型的增多，车牌识别的难度增大，目前把对车牌颜色和类型作为车牌识别辅助判断条件的技术并不多见。现有的颜色识别技术大都基于颜色直方图、支持向量机、神经网络的识别方法。

中国专利申请号为201510607901.1的专利提出了一种车身颜色识别方法及装置，该方法通过提取待识别区域的多维颜色直方图特征，将多维颜色直方图特征输入预先训练的神经网络，根据所述神经网络的输出结果确定颜色类别。该方法识别对象是车身颜色而非车牌颜色，并且所需要的训练样本较多，计算量大，实现复杂。

中国专利申请号为201310488682.0的专利提出了一种车辆颜色识别方法，该专利中提出了根据车牌颜色确定车身颜色参考区域的方法，该方法只把车牌颜色分成黄色和其它颜色两类，分类种类少，不能满足需求。

中国专利申请号为201310117698.0的专利提出了一种车辆牌照字符和颜色联合识别方法，在车牌颜色的识别中，首先在定位后的车牌区域中找到字符，对非字符车牌区域统计每个像素点，把每个像素点的rgb值转换为hsv颜色值，并用分类器对这些像素点进行分类，然后根据分类结果统计各种颜色分别有多少个像素点，最后像素点颜色最多的，就是车牌颜色。该方法实现复杂且容易受到光照变化的影响，鲁棒性不好。

技术实现要素：

为弥补现有技术的不足，本发明提供一种基于色彩投影分类的车牌颜色识别方法及装置，可对车牌颜色进行有效地分类，并根据车牌颜色判断出车牌类型，目的是根据不同类型车牌的不同特点进行有针对性的车牌字符分割和号码识别。该颜色识别方法准确率高，鲁棒性好，适用于较复杂的场景，可有效辅助提高车牌号码或车身颜色识别的准确率。

本发明是通过如下技术方案实现的：

一种基于色彩投影分类的车牌颜色识别方法，特殊之处在于：包括以下步骤：

（1）车牌样本采集

根据所要识别的车牌颜色的种类，采集车牌图像；

（2）训练样本预处理

对采集到的含有车牌的图像，提取车牌区域，可以把整个车牌区域作为一个样本，也可把车牌区域分成若干个子区域，每个子区域作为一个独立的样本；提取每个样本的所有像素点的r、g、b值，把属于同一通道的像素值按列相连组成一个n*3的特征矩阵f，其中n为一个样本的所有像素点的个数，3表示r、g、b三个通道，每个通道的像素值作为一列；把属于同一类别的所有样本的特征矩阵f放到一起构造一个m*3的特征矩阵，得到训练集特征矩阵ftrain，其中m为所有样本的像素点的总数；

（3）构造车牌颜色分类器

计算样本集特征矩阵ftrain的类内离散度、总类内离散度、类间离散度，并据此获取fisher准则函数；根据fisher准则函数获取投影矢量的解；选择投影中心的均值或加权平均值作为判决函数的阈值；构造多类分类器；

（4）车牌颜色识别

对视频流中的每帧图像根据车牌定位算法定位车牌，得到车牌区域；对整张车牌区域进行识别或在一张车牌图像中选取若干个子区域进行识别；提取每个待识别区域的所有像素点的r、g、b通道的像素值，把区域中属于同一通道的像素值按列相连组成一个n*3的特征矩阵matfeat，其中，n为一个样本的所有像素点的个数，3表示r、g、b三个通道，每个通道的像素值作为一列；把特征矩阵matfeat与第一个分类器的投影向量w相乘得到投影矩阵value，计算value中大于该分类器判决函数阈值w0的元素的个数占元素总数的比例c_rate；把c_rate与设定阈值c_thr比较后根据投票结果选择进入下一个分类器，其中c_thr的取值范围为(0，1)；根据分类器的投票结果判定该区域所属的颜色类别，若选取的整张车牌作为识别对象，则分类器输出的结果就是该车牌所属的颜色类别，若是对车牌中的若干子区域进行识别，则对这若干个识别结果综合判断得到整张车牌颜色的识别结果。

本发明的一种基于色彩投影分类的车牌颜色识别方法，步骤（2）中提取车牌区域可以采用车牌定位算法也可以手动截取。

进一步的，本发明的一种基于色彩投影分类的车牌颜色识别方法，步骤（3）中构造多类分类器包括两种方式：1）设计一个针对多类的分类器，一次性考虑所有样本，并求解一个多目标函数的优化问题，一次性得到多个分类面；2）对k类待实验数据，两两训练一个线性判别分类器，让每个分类器进行投票来判决类别，共需要设计k*(k-1)/2个分类器。

进一步的，本发明的一种基于色彩投影分类的车牌颜色识别方法，步骤（4）中车牌定位包括车牌粗定位和精定位；车牌粗定位包括：对图像进行去噪、边缘检测、竖直投影、形态学处理后，根据车牌的形状等特征获取车牌的候选区域；车牌精定位包括：对粗定位得到的车牌区域进行旋转、灰度化、二值化、边缘检测等处理后，把字符分割出来，根据分割出的字符个数进一步判断是否为车牌区域，若判断为车牌区域则进行下一步操作。

用于实现本发明的一种基于色彩投影分类的车牌颜色识别方法的装置，包括视频数据采集设备和视频数据分析设备，所述视频数据采集设备为摄像机；所述视频数据分析设备为摄像机、nvr、pc、服务器中的一种或几种；所述视频数据分析设备内依次连接设有车牌定位模块、特征矩阵提取模块、颜色识别模块、车牌颜色决策模块。

本发明的有益效果是：

（1）本发明的车牌颜色识别准确率高，对光照变化的鲁棒性较好，可应用于较复杂的场景中。

（2）本发明采用色彩投影的方法对车牌颜色进行识别，根据车牌颜色判断出车牌的类型，然后根据不同类型车牌的特点进行针对性的字符分割和识别，对多种类型的车牌号码识别，尤其是对新能源车牌、警车车牌的识别能够提供有效地辅助作用，有效地提高车牌号码识别准确率，另外，也可有效辅助车身颜色的识别。

（3）本发明的基于色彩投影分类的车牌颜色识别方法，计算量小，实现简单，实时性好。

附图说明

附图1是本发明的流程示意图；

附图2是本发明的构造车牌颜色分类器的流程示意图；

附图3是本发明的车牌颜色识别过程的流程示意图；

附图4是本发明实现基于色彩投影分类的车牌颜色识别方法的装置的模块示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解，本发明的保护范围包括但不限于以下实施例，在不偏离本申请的精神和范围的前提下任何对本发明的技术方案的细节和形式所做出的修改均落入本发明的保护范围内。

实施例1

一种基于色彩投影分类的车牌颜色识别方法，该方法利用不同颜色车牌图像r、g、b三通道的像素值预处理后得到特征矩阵，根据fisher准则训练分类器，并根据分类器实现车牌颜色识别。如图1所示，本实施例包括如下步骤：

s11、车牌样本采集

为了提高车牌颜色识别的准确率，必须保证训练样本的充足性与多样性。具体地，通过采集足够的车牌样本图像，使得车牌样本图像中要包含所需要的所有的车牌颜色种类，由于抓拍的车牌图像受光照和拍摄角度的影响，即使是同样颜色的车牌拍出的样式差距也非常大，为了提高颜色识别的准确率，每种颜色车牌的样本数目不能太少，并且要尽量保证车牌颜色种类的类内多样性。

s12、进行预处理得到训练集ftrain；

具体地，对采集到的车牌图像按照以下步骤进行预处理：1）提取车牌区域，可以采用车牌定位算法也可以手动截取，在本实施例中采用了车牌定位算法；2）可以把整个车牌区域作为一个样本，也可以把车牌区域分成多个子区域并把每一个子区域作为一个独立的样本，在本实施例中，在每个车牌中提取4~5个子区域，子区域宽度大小约为一个字符的宽度，高度约为车牌的高度；3）提取每个样本的所有像素点的r、g、b通道的像素值，把属于同一通道的像素值按列相连组成一个n*3的特征矩阵f，如公式一所示，公式中w表示图像的宽度，h表示图像的高度，n=w*h为一个样本的所有像素点的个数，3表示r、g、b三个通道，每个通道的像素值作为一列；4）把属于同一颜色类别的所有样本的特征矩阵放到一起构造一个m*3的特征矩阵，得到训练样本特征矩阵ftrain，如公式二所示，其中m=k*n为样本的像素点的总数，k为训练样本图像的个数。

公式一

公式二

s13、构造车牌颜色分类器

本实施例根据fisher准则构造分类器，fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。具体地，如图2所示，包含以下步骤：

s131、对训练样本集ftrain，根据公式三计算样本的类内离散度si，根据公式四计算总类内离散度sw，根据公式五计算类间离散度sb；

公式三

公式四

公式五

其中，mi为第i类样本的均值。

s132、为保证投影后的类间差异最大，类内聚合度最高，定义准则函数如公式六；

公式六

s133、使上式达到最大，则得到投影矢量的解wp为：

公式七

根据公式八归一化处理后得到最终解为w；

公式八

由于用于训练的特征向量为r、g、b三个颜色通道的像素值，则求出的投影矢量的解为包含三个元素的列向量。

s134、选择两类投影中心的均值或者是加权均值作为判决函数的阈值，计算公式如公式九、公式十、公式十一所示，得到车牌识别颜色分类器参数，在本实施例中选按照公式十一计算判决函数的阈值；

公式九

公式十

公式十一

其中，l1和l2分别是第一类和第二类样本像素点的总数。

s135、构造多类分类器，构造多类分类器可以采用两种方式：一种是设计一个针对多类的分类器，一次性考虑所有样本，并求解一个多目标函数的优化问题，一次性得到多个分类面；另一种是，对k类待实验数据，两两训练一个线性判别分类器，让每个分类器进行投票来判决类别，一共需要设计k*(k-1)/2个分类器。在本实施例中，选择第二种构造方式，根据s13中的步骤构造多个两类分类器，例如要分类三种不同颜色的车牌，则需要训练三个两类分类器。

s14、车牌颜色判断

根据训练好的分类器对车牌颜色进行识别，如图3所示，具体步骤如下：

s141、对视频图像中的车牌进行定位，所述车牌定位包含车牌粗定位和精定位。车牌粗定位具体包括：对图像进行去噪、边缘检测、竖直投影、形态学处理后，根据车牌的形状等特征获取车牌的候选区域；车牌精定位具体包括：对粗定位得到的车牌区域进行旋转、灰度化、二值化、边缘检测等处理后，把字符分割出来，根据分割出的字符个数进一步判断是否为车牌区域，若判断为车牌区域则进行下一步的操作。

s142、对一个车牌，可以对整个车牌区域进行识别，也可以在一张车牌区域中选取若干个子区域分别进行识别，然后根据每个子区域的识别结果综合判断车牌所属的颜色类别。在本实施例中，选取m个子区域进行识别，对每个子区域进行识别的步骤如下：1）提取每个待识别子区域的所有像素点的r、g、b通道的像素值，如公式十二所示，把子区域中属于同一通道的像素值按列相连组成一个n*3的特征矩阵matfeat，公式中w表示图像的宽度，h表示图像的高度，n=w*h为一个样本的所有像素点的个数，3表示r、g、b三个通道，每个通道的像素值作为一列；2）把特征矩阵matfeat根据公式十三与第一个分类器的投影向量w相乘得到投影矩阵value，计算矩阵value中大于该分类器判决函数阈值w0的元素的个数占value中元素总数的比例c_rate；3）把c_rate与设定阈值c_thr比较，根据投票结果选择进入下一个分类器，c_thr的取值范围为(0，1)，在本实施例中取c_thr=0.5；4）根据分类器的投票结果判定该子区域所属的颜色类别；5）对每个子区域都进行识别处理后，分别统计被分在每个颜色类别的车牌子区域的个数，子区域个数最多的颜色类别即为该车牌的颜色类别。

公式十二

公式十三

s143、根据车牌颜色判定车牌类型，比如黄牌、新能源车牌、警车车牌等。不同类型的车牌的特点不同，比如车牌号码的位数、汉字字母顺序等，判断出车牌类型后可根据这些特点针对性的进行后续的车牌分割，号码识别。

实施例2

本实施例提供一种用于实现实施例1的基于色彩投影分类的车牌颜色识别方法的装置，如图4所示，该装置包括：

视频数据采集设备，为所有可以采集视频图像的设备，本实施例采用的是网络视频摄像机；

视频数据处理设备，可以为摄像机、nvr、pc、服务器等设备，本实施例采用的是网络视频摄像机；

具体地，所述视频数据处理设备中的处理过程还包括以下几个模块：

车牌定位模块，用于定位视频图像中的车牌；

特征矩阵提取模块，用于提取定位到的车牌的整体或者多个子区域的特征矩阵；

颜色识别模块，采用训练好的分类器根据特征矩阵对车牌区域的颜色进行识别；

车牌颜色决策模块，用于根据车牌整体或者子区域的颜色识别结果判断车牌的颜色。

本领域的技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过程序指令相关的硬件来完成，上述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施方式的步骤；所述存储介质包括：rom、ram等各种可以存储程序代码的介质。