一种基于多特征深度学习的车辆检测方法及装置与流程

本发明涉及智能交通管理领域，更具体的说，是涉及一种基于多特征深度学习的车辆检测方法及装置。

背景技术：

智能交通装置(its)采用图像处理、人工智能、嵌入式、传感器和模式识别等多种技术手段，解决交通拥堵、交通事故等问题，从而提高道路交通装置安全性和有效性。其中，车辆检测是智能交通装置的重要组成部分，交通疏导、辅助驾驶装置道路监控等领域有着广阔的应用前景。

目前，常用的车辆检测方法有：基于建模和模板匹配的方法和基于统计学习的方法。基于建模和模板匹配的方法利用局部特征描述车辆，并利用模版匹配方法进行车辆定位，该方法容易受到背景环境、复杂光照和复杂天气的影响，且对所建模型的要求较高，算法的稳定性不够好。基于统计学习的方法首先对车辆样本提取特征，再利用分类器对样本特征进行训练，获得前景车辆和复杂背景的差异特征后，利用差异特征进行车辆定位。目前利用神经网络自主学习识别对象特征的方法已成功实现，如利用卷积神经网络(convolutionalneuralnetwork，cnn)自主选取车辆特征进行学习与识别，但是采用单纯的cnn方案摆脱不了运算量大、所需时间长的缺点。

技术实现要素：

有鉴于此，有必要针对上述问题，提供一种基于多特征深度学习的车辆检测方法及装置，用组合特征的卷积神经网络方法，能够减少训练所需计算量，缩短检测时间，同时提高了车辆定位的准确率。

为了实现上述目的，本发明的技术方案如下：

一种基于多特征深度学习的车辆检测方法，包括以下步骤：

s1、通过组合特征卷积神经网络训练得到的车辆检测模型；

s2、抓拍获取车辆图像数据；

s3、提取车辆图像数据中的特征信息；

s4、将特征信息输入到车辆检测模型中进行车辆检测，得到检测结果。

作为优选的，在步骤s1中，所述组合特征卷积神经网络的训练过程包括：

s11、获取若干车辆样本图像，组成源样本，并标注样本图像中每辆车的有外接矩形框；

s12、提取源样本中每一个样本图像的灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息；

s13、将步骤s12中获取的信息输入到组合特征卷积神经网络中进行训练，得到车辆监测模型。

作为优选的，在步骤s2中，所述特征信息包括灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息。

作为优选的，所述步骤s3具体包括：对源图像分别进行灰度变换、x方向上的sobel边缘检测、y方向上的sobel边缘检测，得到灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息三个单通道图像，并舍弃原来的rgb颜色特征。

作为优选的，所述步骤s4具体包括：

s41、在组合特征卷积神经网络中输入灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息；

s42、灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息分别经过第一卷积层、第一池化层，得到三个维度为n的特征向量；

s43、将三个特征向量进行组合，得到维度为3*n的组合特征向量；将组合特征向量作为下一个卷积层的输入，经过若干组卷积层计算并均值池化后，输入到全连接层，最终输出车辆坐标位置。

作为优选的，所述步骤s42具体包括：

s421、灰度图像经过第一卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过第一池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到灰度图像的特征向量(x1,x2,...,xn)；

s422、x方向上的sobel边缘图像经过经过第一卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过第一池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到x方向上的sobel边缘图像的特征向量(y1,y2,...,yn)；

s422、y方向上的sobel边缘图像经过经过卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到y方向上的sobel边缘图像的特征向量(z1,z2,...,zn)。

作为优选的，所述步骤s43具体包括：

s431、将步骤s2中的三个特征向量进行组合，得到维度为3*n的组合特征向量(x1，x2，...，xn，y1，y2，...，yn，z1，z2，...，zn)，作为下一个卷积层的输入；

s431、经过第二卷积层进行卷积计算conv2(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；

s432、经过第二池化层采用均值池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素；

s433、经过第三卷积层进行卷积计算conv3(5，1，64)，卷积核大小为3*3，滑动时每次移动2个像素，总共64个特征图像；

s434、经过第三池化层采用均值池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素；

s435、经过第一全连接层fc(512)，全连接层的节点个数为64个；

s436、经过第二全连接层fc(4)，全连接层的节点个数为4个，最终输出四个数字输出(4)，表示车辆位置的坐标。

作为优选的，所述步骤s436还包括：经过损失函数层，最终输出四个数字输出(4)转换为真实坐标数值。

一种根据上述的方法进行车辆检测的装置，包括获取单元、图像预处理单元、训练单元和检测单元；

所述获取单元用于获取抓拍的检测车辆图像；

所述图像预处理单元用于用于对车辆图像提取三个通道的特征信息，包括：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测；

所述训练单元用于通过组合特征卷积神经网络训练得到的车辆检测模型；

所述检测单元用于将预处理之后的图像输入到车辆检测模型中进行车辆检测，输出车辆的相对位置。

作为优选的，所述训练单元具体包括：获取若干车辆样本图像，组成源样本，并标注样本图像中每辆车的有外接矩形框；提取样本集中每一个样本图片的三通道信息：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测；将三个通道信息输入到组合特征卷积神经网络中进行训练，根据检测结果与所述外接矩形框调整所述卷积核内的参数和全连接层的参数，直至所述检测结果中车辆的位置与所述外接矩形框尽可能接近，得到车辆检测模型。

与现有技术相比，本发明的有益效果在于：本发明通过获得智能网络摄像机采集标准的抓拍车辆图像，对车辆图像提取三个通道的特征信息，主要包括：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测，将三个通道的特征信息，输入到预先训练得到的组合特征卷积神经网络模型中进行车辆检测，输出检测结果。本发明针对车辆的外观信息和和形状信息，提取了三个特征通道，舍弃了原始的rgb颜色特征，增加了我们对特征的先验知识，并利用组合特征的卷积神经网络方法，能够减少训练所需计算量，缩短检测时间，同时提高了车辆定位的准确率。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例组合特征卷积神经网络的工作流程图；

图3为本发明实施例的装置结构框图。

具体实施方式

下面结合附图和实施例对本发明所述的一种基于多特征深度学习的车辆检测方法及装置作进一步说明。

以下是本发明所述的一种基于多特征深度学习的车辆检测方法及装置的最佳实例，并不因此限定本发明的保护范围。

图1示出了一种基于多特征深度学习的车辆检测方法，包括以下步骤：

s1、通过组合特征卷积神经网络训练得到的车辆检测模型；

s2、抓拍获取车辆图像数据；

s3、提取车辆图像数据中的特征信息；

s4、将特征信息输入到车辆检测模型中进行车辆检测，得到检测结果。

作为优选的，在步骤s1中，所述组合特征卷积神经网络的训练过程包括：

s11、获取若干车辆样本图像，组成源样本，并标注样本图像中每辆车的有外接矩形框；

s12、提取源样本中每一个样本图像的灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息；

s13、将步骤s12中获取的信息输入到组合特征卷积神经网络中进行训练，得到车辆监测模型。

作为优选的，在步骤s2中，所述特征信息包括灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息。

作为优选的，所述步骤s3具体包括：对源图像分别进行灰度变换、x方向上的sobel边缘检测、y方向上的sobel边缘检测，得到灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息三个单通道图像，并舍弃原来的rgb颜色特征。

如图2所示，图中，conv(m，n，k)表示卷积核大小为m*m，滑动时每次移动n个像素，总共有k个特征图像；maxpooling(m，n)表示采用最大池化(maxpooling)，范围大小是m*m，每次移动n个像素；avepooling(m，n)表示采用均值池化(averagepooling)；fc(m)表示这是一个全连接层，节点个数为m个；loss表示这是一个损失函数层。所述步骤s4具体包括：

s41、在组合特征卷积神经网络中输入灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息(灰度图像128*128，x方向上的sobel边缘图像128*128，y方向上的sobel边缘图像128*128)；

s42、灰度信息、x方向上的sobel边缘检测信息、y方向上的sobel边缘检测信息分别经过第一卷积层、第一池化层，得到三个维度为n的特征向量；

s43、将三个特征向量进行组合，得到维度为3*n的组合特征向量；将组合特征向量作为下一个卷积层的输入，经过若干组卷积层计算并均值池化后，输入到全连接层，最终输出车辆坐标位置。

作为优选的，所述步骤s42具体包括：

s421、灰度图像经过第一卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过第一池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到灰度图像的特征向量(x1,x2,...,xn)；

s422、x方向上的sobel边缘图像经过经过第一卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过第一池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到x方向上的sobel边缘图像的特征向量(y1,y2,...,yn)；

s422、y方向上的sobel边缘图像经过经过卷积层进行卷积计算conv(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；经过池化层采用最大池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素，得到y方向上的sobel边缘图像的特征向量(z1,z2,...,zn)。

作为优选的，所述步骤s43具体包括：

s431、将步骤s2中的三个特征向量进行组合，得到维度为3*n的组合特征向量(x1，x2，...，xn，y1，y2，...，yn，z1，z2，…，zn)，作为下一个卷积层的输入；

s431、经过第二卷积层进行卷积计算conv2(5，1，32)，卷积核大小为5*5，滑动时每次移动1个像素，总共32个特征图像；

s432、经过第二池化层采用均值池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素；

s433、经过第三卷积层进行卷积计算conv3(5，1，64)，卷积核大小为3*3，滑动时每次移动2个像素，总共64个特征图像；

s434、经过第三池化层采用均值池化pooling(3，2)，池化范围大小为3*3，每次移动2个像素；

s435、经过第一全连接层fc(512)，全连接层的节点个数为64个；

s436、经过第二全连接层fc(4)，全连接层的节点个数为4个，最终输出四个数字输出(4)，表示车辆位置的坐标。

作为优选的，所述步骤s436还包括：经过损失函数层，最终输出四个数字输出(4)转换为真实坐标数值。

车辆检测模型的训练可以利用反向传播(bp，backpropagation)算法调整参数，使得在测试集上输出的结果与真实的标注尽可能接近。反向传播除了在全链接层进行调整之外，在灰度通图像、x方向上的sobel边缘图像和y方向上的sobel边缘图像输入到卷积神经网络时卷积层分别进行调整，从而提取不同的特征卷积参数。

图3示出了一种根据上述的方法进行车辆检测的装置，包括获取单元、图像预处理单元、训练单元和检测单元；

所述获取单元用于获取抓拍的检测车辆图像；

所述图像预处理单元用于用于对车辆图像提取三个通道的特征信息，包括：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测；

所述训练单元用于通过组合特征卷积神经网络训练得到的车辆检测模型；

所述检测单元用于将预处理之后的图像输入到车辆检测模型中进行车辆检测，输出车辆的相对位置。

作为优选的，所述训练单元具体包括：获取若干车辆样本图像，组成源样本，并标注样本图像中每辆车的有外接矩形框；提取样本集中每一个样本图片的三通道信息：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测；将三个通道信息输入到组合特征卷积神经网络中进行训练，根据检测结果与所述外接矩形框调整所述卷积核内的参数和全连接层的参数，直至所述检测结果中车辆的位置与所述外接矩形框尽可能接近，得到车辆检测模型。

与现有技术相比，本发明的有益效果在于：本发明通过获得智能网络摄像机采集标准的抓拍车辆图像，对车辆图像提取三个通道的特征信息，主要包括：灰度信息、x方向上的sobel边缘检测、y方向上的sobel边缘检测，将三个通道的特征信息，输入到预先训练得到的组合特征卷积神经网络模型中进行车辆检测，输出检测结果。本发明针对车辆的外观信息和和形状信息，提取了三个特征通道，舍弃了原始的rgb颜色特征，增加了我们对特征的先验知识，并利用组合特征的卷积神经网络方法，能够减少训练所需计算量，缩短检测时间，同时提高了车辆定位的准确率。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。