一种基于深度神经网络的交通标志分类方法

一种基于深度神经网络的交通标志分类方法
【专利摘要】本发明公开了一种基于深度神经网络的交通标志分类方法，包括有以下步骤：A、基于光流方法的运动目标检测方法对读入的视频进行检测，当检测到有运动物体时，提取出感兴趣区域；B、利用固定大小的块对提取出的感兴趣区域进行分块处理；C、对分块处理后的图片进行缩放处理，转换成同样大小的图片；D、将转换后的图片作为输入，利用卷积神经网络进行分类。本发明方法对经过运动检测后的图像提起感兴趣区域，进而进行分块处理，并将得到的图片转换成同样大小后利用卷积神经网络进行处理，避免了人为假设类条件密度函数所带来的问题，极大地加快了测试速度、提高了精度。本发明作为一种基于深度神经网络的交通标志分类方法可广泛应用于交通领域。
【专利说明】一种基于深度神经网络的交通标志分类方法

【技术领域】
[0001]本发明涉及交通领域，尤其是一种基于深度神经网络的交通标志分类方法。

【背景技术】
[0002]随着城市化的进展以及汽车的普及，机动车数量大量增加，交通拥挤加剧，交通事故频发，公路交通的安全以及运输效率问题变得日益突出。而基于计算机视觉的驾驶员支持系统是解决交通安全和运输效率问题的重要措施之一，在智能交通系统中逐渐获得应用，它的研究大致在道路识别、碰撞识别、交通标志识别等三方面进行。在道路识别、碰撞识别方面研究较早，也取得许多好的结果；但在交通标志识别方面研究较少，由于交通标志中包含许多重要的交通信息，如驾驶前方道路状况的改变、速度限制、驾驶行为限制等信息，适时提供这些信息给驾驶员有利于驾驶员适时反应，保证驾驶安全，避免交通事故的发生，具有重要的意义。
[0003]从交通标志的国家标准中，可以获得以下的先验知识:交通标志可以根据它的颜色进行分类:交通标志一般可分为警告、禁令、指示和指路标志等三类，每类交通标志具有不同的颜色。交通标志的形状、尺寸大小以及内部包含的字符、数字、几何图样等在标准中都有规定。交通标志通常安装在道路的右边，距离路边2 ~4.5m的位置。总之，利用这一知识，可减少搜索空间，大大加快交通标志识别的处理速度。
[0004]交通标志识别的难点:交通标志识别是通过安装在汽车上的摄影机摄取户外自然场景中交通标志图像，输入计算机进行处理完成的，它比一般的非自然场景下的目标志别更具挑战性，原因在于自然场景中存在多种因素影响交通标志的识别效果和执行效率:
(I)户外自然场景中光照条件是变化的且不可控；(2)由于交通标志的运动和震动，使得交通标志的图像产生模糊；(3)交通标志牌安置在户外，由于天气条件、乱涂乱画以及灰尘影响而导致毁损；(4)虽然交通标志制作有国际标准，但各国执行的却是本国的国家标准，因而不能用国际标准作为分类的样本库；(5)交通标志的识别必须能应用在实时环境中。
[0005]近些年来，我国的大量研究机构、学校也都纷纷参与到交通标志识别研究这一领域当中，并且也取得了一定的研究成果。例如:
1、广东工业大学的杨海东等人提出的一种基于SURF的交通标志识别方法及系统(CN103544484A),该方法提高了交通标志识别的效率；
2、广东工业大学的蔡念、梁文昭等人提出的一种低照度场景下的户外交通标志识别方法(CN102881160A)，该发明为一种鲁棒性较强、准确率较高的户外交通标志识别方法；
3、北京交通大学的袁雪、张晖等提出的一种交通标志识别方法(CN102799859A)，该发明的方法不仅保留了 SIFT特征对于图像尺度变化和旋转具有不变性的优点，而且使提取的特征量更便于判别颜色及空间位置特征，对于色彩丰富及空间位置分布变化各异的交通标志识别极为有效；
4、浙江大学的王东辉、邓霄等提出的一种基于稀疏表达和字典学习进行交通标志识别的方法(CN102024152A)，该发明利用稀疏表达和概率方法实现交通标志图片的分类，达到较高的交通标志识别率；
5、奇瑞汽车股份有限公司的孙锐、王继贞等人提出的一种多特征的分层交通标志识别方法(CN103390167A)，该方法通过基于颜色的侦测方法解决了交通标志识别中准确率不高、实时性差的问题。
[0006]总之，现有技术中交通标志识别一般包括侦测和分类两个模块，侦测阶段一般是利用交通标志的色彩或形状特征侦测出可能包含交通标志的区域，然后将感兴趣的区域进行大小规则化，在分类阶段进一步判定交通标志区域的有效性并识别出交通标志的含义。
[0007]侦测方法可分为基于颜色的侦测和基于形状的侦测两类。基于颜色的侦测方法:颜色信息具有大小和视角不变性，而且有较强的可分离性，故颜色信息对于交通标志的侦测是非常重要的，在几乎所有的交通标志识别系统中都利用了颜色信息。基于颜色的侦测方法是最为基本的侦测方法，它通过在摄取到的图像中对交通标志典型颜色进行分割，侦测出感兴趣的区域。这类方法中又可以分为三类:
(O彩色阈值分割法:在这类算法中，色彩空间的选择是很重要的。最直观的是选择RGB空间，直接通过设定的阈值进行分割。
[0008](2)基于神经网络学习的方法。为克服空间转换的非线性以及噪声的影响，可采用基于神经网络学习的方法。这类方法由于采用离线训练，在线侦测，实时性较好，而且具有一定的泛化能力，可降低噪声的影响；但缺点在于神经网络的构造、隐节的个数和层数的选择都依靠训练集的代表性，而建立包含各种情况的数据库不是易事。
[0009](3)基于视觉模型的方法。为克服各种视觉条件的影响，通过视觉模型对交通标志进行侦测，在许多项目中也获得应用。这类基于模型的方法考虑了人类视觉特点和环境条件，有一定的效果，但应用时要根据环境条件确定参数，较为复杂，而且对于遮掩、交通标志的污损等情况考虑较少。基于形状的方法:虽然基于颜色的侦测方法具有直接聚焦的特点，但由于受到光照和天气变化等影响，仅仅依靠颜色信息不能精确侦测出交通标志的区域，而从机器人学的场景分析、三维物体识别、在CAD数据库中的部件定位研究中发展起来的利用图像梯度的基于形状的方法，可不受光照的影响，在交通标志侦测研究中获得重视。基于颜色和基于形状这两种方法的结合，是交通标志侦测研究的最合适的方法。目前，大多数基于形状的侦测方法都是建立在基于颜色的侦测方法之上。在交通标志识别方面，基于形状的方法又可以分为基于边缘轮廓方法和基于模板匹配方法。基于边缘轮廓方法是最基本的方法，目前有多种成熟的边缘提取方法可供选择，在提取出的边缘上再进行分析，但上述方法的缺点在于交通标志分类方面的精度和检测速度很难得到兼顾。


【发明内容】

[0010]为了解决上述技术问题，本发明的目的是:提供一种基于深度神经网络的高精度和快速检测的交通标志分类方法。
[0011]本发明所采用的技术方案是:一种基于深度神经网络的交通标志分类方法，包括有以下步骤:
A、基于光流方法的运动目标检测方法对读入的视频进行检测，当检测到有运动物体时，提取出感兴趣区域；
B、利用固定大小的块对提取出的感兴趣区域进行分块处理； C、对分块处理后的图片进行缩放处理，转换成同样大小的图片；
D、将转换后的图片作为输入，利用卷积神经网络进行分类。
[0012]进一步，所述步骤B具体为:
B1、利用固定大小的块对提取出的感兴趣区域进行分块得到分块图片；
B2、利用固定大小的块移动一个像素后，对提取出的感兴趣区域进行分块得到分块图片;
B3、重复执行步骤B2得到多个分块图片。
[0013]进一步，所述步骤B中固定大小的块的大小为NXN，N的取值为50_70。
[0014]进一步，所述步骤C中转换后图片的大小为32X32。
[0015]进一步，所述步骤D中的卷积神经网络包括有7层，依次为第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、特征向量层和输出层。
[0016]进一步，所述第一卷积层包括有6个28X28大小的特征图，所述第一下采样层包括有6个14X 14大小的特征图，所述第二卷积层包括有16个1X 10大小的特征图，所述第二下采样层包括有16个5X5大小的特征图，所述第三卷积层包括有300个神经元。
[0017]进一步，所述输出层包括有43个标签，所述第三卷积层的300个神经元与输出层的每一个标签全连接。
[0018]本发明的有益效果是:本发明方法对经过运动检测后的图像提起感兴趣区域，进而进行分块处理，并将得到的图片转换成同样大小后利用卷积神经网络进行处理，避免了人为假设类条件密度函数所带来的问题，极大程度地加快了测试速度、提高了精度。

【专利附图】

【附图说明】
[0019]图1为本发明方法的步骤流程图；
图2为本发明方法中神经网络的分层示意图；
图3为本发明方法中卷积过程示意图。

【具体实施方式】
[0020]下面结合附图对本发明的【具体实施方式】作进一步说明:
参照图1，一种基于深度神经网络的交通标志分类方法，包括有以下步骤:
A、基于光流方法的运动目标检测方法对读入的视频进行检测，当检测到有运动物体时，提取出感兴趣区域；
B、利用固定大小的块对提取出的感兴趣区域进行分块处理；
C、对分块处理后的图片进行缩放处理，转换成同样大小的图片；
D、将转换后的图片作为输入，利用卷积神经网络进行分类。
[0021]卷积神经网络(CNN, Convolut1nal Neural Networks)是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。其网络结构如图2所示。
[0022]进一步作为优选的实施方式，所述步骤B具体为:
B1、利用固定大小的块对提取出的感兴趣区域进行分块得到分块图片；
B2、利用固定大小的块移动一个像素后，对提取出的感兴趣区域进行分块得到分块图片;
B3、重复执行步骤B2得到多个分块图片。
[0023]进一步作为优选的实施方式，所述步骤B中固定大小的块的大小为NXN，N的取值为 50-70。
[0024]进一步作为优选的实施方式，所述步骤C中转换后图片的大小为32X32。
[0025]参照图2，进一步作为优选的实施方式，所述步骤D中的卷积神经网络包括有7层，依次为第一卷积层Cl、第一下采样层S2、第二卷积层C3、第二下采样层S4、第三卷积层C5、特征向量层F6 (图2中未标出)和输出层output。
[0026]参照图3，其卷积过程包括:用一个可训练的滤波器匕去卷积一个输入的图像(第一阶段是输入的图像，后面的阶段就是卷积特征图了)，然后加一个偏置1^，得到卷积层cx。子采样过程包括:每邻域四个像素求和变为一个像素，然后通过标量wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。所以从一个平面到下一个平面的映射可以看作是做卷积运算，下采样层可看作是模糊滤波器，起到二次特征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。
[0027]用一个固定大小的卷积核去感知输入图像中的每一个神经元(即每个像素)，卷积后在Cl层产生特征图，然后特征图中每组的四个像素再进行求和，加权值，加偏置，通过一个sigmoid函数得到S2层的特征图，这些特征图再经过卷积得到C3层。这个层级结构再和S2 —样产生S4。将S4层的每一个特征图与卷积层C5中的每一个神经元连接，这样可以防止过拟合的发生。最终，这些像素值在特征向量层F6被光栅化，并连接成一个向量输入至IJ传统的神经网络，得到输出。
[0028]一般地，C层为特征提取层，即卷积层，用一个由权值组成的卷积核去感知前面一层的每个特征图，这就提取出了图像的特征，并且生成该卷积层的特征图；S层是下采样层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响核函数小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。尤其是在每一层使用的卷积核是完全一样的，这样就达到了权值共享的效果，使得整个网络的复杂度大大降低。
[0029]本发明中卷积神经网络共有7层(不包含输入层)，每层都包含可训练参数(即连接权重)，并且每个层有多个特征图，每个特征图通过一种卷积核提取输入的一种特征，然后每个特征图有多个神经元。本发明中，设定输入图像为32X32大小。
[0030]Cl层是一个卷积层，由6个特征图构成。特征图中每个神经元与输入中5X5的邻域相连。特征图的大小为28 X 28，Cl层有(28 X 28+1) X 6=4710个可训练参数(权值和偏置值)，与输入层共有5X5X6X32X32=153600个连接。
[0031]S2层是一个下采样层，有6个14X14大小的特征图。特征图中的每个单元与Cl层中相对应特征图的2X2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。通过sigmoid函数计算出结果。可训练系数和偏置控制着sigmoid函数的非线性程度。每个单元的2X2感受野并不重叠，因此S2层中每个特征图的大小是Cl层中特征图大小的1/4 (行和列各1/2)。S2层有(14X14+0X6=1020个可训练参数,与Cl层有6X28X28X5X5=117600个连接。
[0032]C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征图就只有10X10个神经元，每一个特征图对应一种卷积核，所以它有16种不同的卷积核。这里需要注意的一点是:C3中的每个特征图是连接到S2中的所有6个或者几个特征图的，表示本层的特征图是上一层提取到的特征图的不同组合。
[0033]S4层是一个下采样层，由16个5X5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2 X 2邻域相连接，与Cl和S2之间的连接一样。S4层有16 X 5 X 5+16=416个可训练参数，其和C3层一共有10X10X5X5X16=65000个连接。
[0034]最后，S4层与卷积层全连接，该卷几层由一个个的神经元组成，本实验用100个神经元，S4层中的每一个特征图都与该卷积层的每一个神经元全连接。最后，将卷积层C5的300个神经元与输出层每一个标签全连接，加入一个卷积层的目的在于，防止过拟合的情况发生。最后通过输出层输出得到Hw，b(X)。
[0035]进一步作为优选的实施方式，所述第一卷积层包括有6个28X28大小的特征图，所述第一下采样层包括有6个14 X 14大小的特征图，所述第二卷积层包括有16个1X 10大小的特征图，所述第二下采样层包括有16个5 X 5大小的特征图，所述第三卷积层包括有300个神经元。
[0036]进一步作为优选的实施方式，所述输出层包括有43个标签，所述第三卷积层的300个神经元与输出层的每一个标签全连接。
[0037]本发明卷积神经网络主要包括两个组成部分:训练过程、测试过程。
[0038]神经网络用于模式识别的主流是有监督学习，无监督学习更多的是用于聚类分析。对于有监督的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再是依据其自然分布倾向来划分，而是要根据同类样本在空间的分布及不同类样本之间的分离程度找一种适当的空间划分方法，或者找到一个分类边界，使得不同类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。
[0039]卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有监督训练，所以其样本集是由形如:(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化，比如[0，I]之间分布的随机数。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权矩阵，则具有对称性，导致每一层的卷积核都相同，则网络无能力学习。
[0040]训练算法与传统的BP算法差不多。主要包括4步，这4步被分为两个阶段:
第一阶段，向前传播阶段:
a)从样本集中取一个样本(X，Yp),将X输入网络；
b)计算相应的实际输出0P。
[0041]在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的卷积核相乘，得到最后的输出结果):Op=Fn (…(F2 (Fl (Xpff (l))ff (2)) -)ff (η)) 第二阶段，向后传播阶段:
a)算出代价函数，即:J(W，b)=1/2X I Op-Yp I2;
b)按极小化误差的方法反向传播调整权矩阵。
[0042]本发明中训练过程首先是对样本进行搜集，本发明搜集30万个样本，其中5万限速标志图片，5万张其他禁令标志图片，5万取消禁令标志，5万张指示标志图片，其他标志图片5万张，以及5万危险标志图片；然后将这30万张图片经过卷积神经网络进行分类，得到标签结果，即包括:限速标志类、其他禁令标志类、取消禁令标志类、指示标志类、危险标志类、其他标志类，一共有43个标签。
[0043]而测试过程则是用来测试所使用的神经网络用于交通标志分类的精度、速度是否可靠。其过程包括:读入视频图像、进行运动目标检测、对图像进行分块、分类器分类、得出检测结果。
[0044]以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
【权利要求】
1.一种基于深度神经网络的交通标志分类方法，其特征在于:包括有以下步骤: A、基于光流方法的运动目标检测方法对读入的视频进行检测，当检测到有运动物体时，提取出感兴趣区域； B、利用固定大小的块对提取出的感兴趣区域进行分块处理； C、对分块处理后的图片进行缩放处理，转换成同样大小的图片； D、将转换后的图片作为输入，利用卷积神经网络进行分类。
2.根据权利要求1所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述步骤B具体为: B1、利用固定大小的块对提取出的感兴趣区域进行分块得到分块图片； B2、利用固定大小的块移动一个像素后，对提取出的感兴趣区域进行分块得到分块图片; B3、重复执行步骤B2得到多个分块图片。
3.根据权利要求1或2所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述步骤B中固定大小的块的大小为NXN，N的取值为50-70。
4.根据权利要求1所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述步骤C中转换后图片的大小为32X32。
5.根据权利要求1所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述步骤D中的卷积神经网络包括有7层，依次为第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、特征向量层和输出层。
6.根据权利要求5所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述第一卷积层包括有6个28X28大小的特征图，所述第一下采样层包括有6个14 X 14大小的特征图，所述第二卷积层包括有16个10 X 10大小的特征图，所述第二下采样层包括有16个5X5大小的特征图，所述第三卷积层包括有300个神经元。
7.根据权利要求6所述的一种基于深度神经网络的交通标志分类方法，其特征在于:所述输出层包括有43个标签，所述第三卷积层的300个神经元与输出层的每一个标签全连接。
【文档编号】G06K9/00GK104517103SQ201410841539
【公开日】2015年4月15日 申请日期:2014年12月26日 优先权日:2014年12月26日
【发明者】贺庆, 冷斌, 官冠, 胡欢, 蒋东国 申请人:广州中国科学院先进技术研究所