一种基于机器视觉的电动车识别及电梯防护方法

1.本发明涉及机器视觉领域，具体涉及一种基于机器视觉识别的电动车识别及电梯防护方法。


背景技术：

2.随着社会和经济快速发展，电动车辆迅速增加，我国的城市交通问题显得日益严峻，特别是在大城市里，交通阻塞、车辆被盗等现象频繁发生。为了提高交通管理水平和交通的运行效率，人们提出了智能交通系统。智能交通系统是将先进的计算机技术、数据通信传输技术、电子传感器技术、自动控制技术等学科成果综合运用于整个运输管理系统，加强了车辆、道路和使用者之间的联系，从而形成一种定时、准确高效的综合运输系统。现如今大多数机器视觉识别都将眼光集中在了汽车方面，却很少有人将眼光放在电动车上。其实在我国电动车的数量并不比汽车少，所以对于电动车的识别也十分关键。电动车识别可用于避免社区居民将车推上电梯给高层带来火灾的风险，也可以为获取公路上电动车违法的行为提供帮助，同时还可以帮助解决一些因电动车胡乱停放产生的问题。
3.现有的电动车识别及电梯防护方法如cn112960505a，识别电动车整体，当识别出电梯口有电动车则会发出警报并阻止电梯运行。该电动车识别及电梯防护方法的缺陷在于，以电动车整体作为识别对象，由于电动车整体相对较大，导致识别过程中图像处理的数据量较大，因此识别速度、识别精度及相应的电梯防护效果难以保证。


技术实现要素：

4.针对上述电动车识别及电梯防护问题，本发明提出一种基于机器视觉ssd(single shot multibox detector，单发多预测检测网络)的深度学习模型，此模型实现对于摄像头采集的视频/图像的实时检测，并根据与之相连的后台识别系统，当确定摄像头中有人推电动车进入电梯时对其进行阻挡，从而实现对一些隐患的防治。
5.本发明一方面提供了一种电动车识别方法，包括，步骤1：通过摄像头采集图像；步骤2：将得到的图像传输至后台识别系统；步骤3：后台识别系统根据用深度学习框架训练好的识别模型来实时判断传回来的图像中是否含有电动车。
6.根据本发明一个实施方式，所述步骤3中采用基于机器视觉ssd的深度学习模型对摄像头采集的图像数据进行训练及判断。
7.根据本发明另一个实施方式，先对摄像头采集的图像数据进行局部二值化处理再进行训练及判断。
8.根据本发明另一个实施方式，先对摄像头采集的图像数据进行预处理再进行训练及判断，所述预处理过程为将采集到高维的rgb背景图像与含有识别目标的rgb背景图像灰度处理后的低维的灰度图像输入到预处理的网络进行对应的矩阵相减去除两者中相同的部分。
9.根据本发明另一个实施方式，将识别电动车整体改为识别电动车关键部件，车胎、
把手、车灯。对摄像头采集的图像数据进行特征提取时，用这三者的识别来判断是否存在电动车。因为识别的是局部部件，含有的特征较少，因此采用简单的ssd网络就可以达到预期的效果。
10.本发明另一面提供了一种电梯防护方法，所述电梯防护方法基于前述电动车识别方法，当识别到电梯口存在电动车时，将提醒人员不准将电动车推入电梯，并阻止电梯继续工作。
11.本发明具有如下有益效果：
12.根据本发明的电动车识别方法及电梯防护方法，一方面通过图像预处理去除背景图像，提高识别准确率。另一方面，不直接识别电动车整体，改为识别车胎、把手、车灯，因为识别的都是电动车的局部部件，含有的特征较少，因此采用简单的ssd网络就可以达到预期的效果，ssd网络里主要运用的是vgg-16的分类系统，对于训练和数据集的要求大大降低，并且三个局部部件一同判断能够很好的提高识别的准确率，在电动车被雨衣或其他物体遮挡，或是只有部分进入视野时根据暴露在视野里的部件也能有较好的识别效果。
附图说明
13.图1为本发明电动车识别及电梯防护的整体流程示意图。
14.图2为本发明ssd工作原理示意图。
15.图3为本发明图像预处理中的局部二值化示意图。
16.图4为本发明图像预处理效果图。
具体实施方式
17.为了使本领域技术人员更好地理解本发明方案，下面将结合附图对本发明具体实施方式进行清楚、完整地描述。显然，所描述的实施方式仅仅是本发明一部分的实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本发明保护的范围。以下通过具体实施方式进一步说明本发明。
18.图1是为本发明的电动车识别及电梯防护的整体流程示意图，其工作流程包括：摄像头实时采集电梯口的的图像信息，将取得的图像数据传输至后台服务器，服务器运行其搭载的三部件(即车胎、把手、车灯)识别模型对图像数据进行预测识别；在识别到电梯口存在电动车时，将提醒人员不准将电动车推入电梯，并阻止电梯继续工作。其中，摄像头可以是电梯自带的摄像头，如单目摄像头等。
19.图2为本发明使用的ssd的工作原理示意图，其是一个持续采集——识别——分类的系统的核心。ssd采用卷积层来代替全连接层进行分类，参考wei liu在european conference on computer vision(eccv),2016(in press)的《ssd:single shot multibox detector》文章中得到的，ssd网络在一种典型的卷积神经网络-vgg(visual geometry group network，视觉几何群，vgg是一个研究团队名字visual geometry group的缩写，该团队所提的一个网络被大家广泛地称为vgg网络，它是卷积神经网络的一种)网络的基础上将它的两个全连接层用卷积特征层取代并用第二次的卷积后得到的特征层作为ssd预测网络的第二个预测特征层，后面几个特征层通过相应的卷积得到。但是对多个目标检测，还需
要知道他们groundtruth(置信度，即在这次预测框中的特征和所标记出来需要训练的特征之间的相似度)，然后利用defaultbox(预测框，以网络提取到的中心点生成边框)这项技术。其作用就是为了获取网格对应的训练真值。可能是因为人工标注的真值没办法与想要的k个特征框对应，所以作者新建k个default box作为训练时的真值。每个default box的长宽比例保持固定。ssd训练图像中的置信度需要赋予到那些固定输出的框体上。default box在不同的特征层有不同的评判系数，在同一个特征层又有不同的长宽比，因此基本上可以覆盖输入图像中的各种形状和大小的目标。参考自european conference on computer vision(eccv),2016(in press)的《ssd:single shot multibox detector》。
20.ssd在训练时先将要训练的图片变为300*300大小输入到训练网络中，图片格式可以采用png格式，随后图片数据进入vgg
‑‑
16的卷积网络中进行特征提取，vgg-16即将300*300*3的图片通过两个3*3的卷积核进行最大下采样，之后再通过两个3*3的卷积核进行最大下采样，紧接着再通过三个3*3的卷积核进行最大下采样，下一步就是两次通过3*3的卷积核和最大下采样，它的池化核大小为2，最后通过两个全连接层和归一化指数函数来实现预测。按照发表ssd模型的文章中所讲，将vgg模型中第二次通过3*3卷积核的第三个卷积层得到的图像，再经过修改后的池化层(将一个池化核2*2步距为2变成一个池化核3*3步距为1)输出一个通道数不变长宽变为原来一半的预测特征层，作为ssd网络的第一个特征层即38*38*512的特征层，经过第一个3*3*1024的卷积层，随后再经历1*1*1024的卷积层得到第二个19*19*1024的特征层，再通过1*1*256和3*3*512(步距为2)的卷积层得到第三个10*10*512的特征层，最后经过1*1*128和3*3*256(步距为2)的三次卷积得到第四个5*5*256的特征层和第五个3*3*256的特征层以及第六个1*1*256的特征层。然后利用得到的不同的特征层去识别不同大小的目标即在不同的尺度上用不同的特征尺度来预测，一般用第一层预测较小的目标，第二层预测稍大一点的目标以此类推。然后搭配上预测框来对所要识别的物体进行预测。
21.预测过程:对于输入图像，同样会产生6个不同尺度的特征图，其实，由于训练图像和测试图像的分辨率相同，训练图像上的那8732个滑动窗口的4个坐标值和测试图像中的8732*4个坐标值是一样的，只是测试过程中没有置信度，网络会对这8732个框都预测出分类向量和本地化张量，再对于每一个滑动窗口，它的21维分类向量找到最大值，作为当前滑动窗口的分类类别和置信度，去除那些分类类别为背景的滑动窗口，再设置置信度阈值将那些置信度低的窗口去掉，得到所有具有置信度(大于一定阈值)的属于某个类别的窗口，然后再遍历所有的类别，对于每个类别，使用nms(非极大值抑制)。
22.nms流程如下：假设有k个判定为当前类别的边界窗口，先对k个窗口的置信度进行从大到小的排序，之后，从第一个窗口开始，比较其置信度与剩下的所有k-1个窗口之间的iou(即原图片与检测图片的相似度)，如果iou大于一个较大的阈值，则认为这两个窗口框出的是同一个物体，丢弃掉后面那些置信度较低的物体；之后更新对于当前类别的窗口的张量(即窗口数量，去除之前被丢弃掉的窗口和第一个窗口)，更新置信度列表，之后对于剩下的窗口张量中的第一个窗口进行相同的操作。
23.为了提高识别准确率，可以对摄像头采集到的图像进行预处理。如图3、图4所示。
24.图3展示的是通过局部二值化将电动车的特征更加的突出。由于传统摄像头采集到的图片含有较多的干扰信息，因此在本发明对图片进行局部二值化处理，突出其容易识
别的轮廓特征，从而提高整个系统的识别率。
25.局部二值化算法即niblack二值化法，其思想是：对于图像的每一个像素点，在rxr领域空间(即像素空间，按像素划分成每个单位格)里，计算该像素点领域方位内其他像素点(如该像素点周围的8个像素点)的均值和方差。然后利用公式(1)进行二值化
26.t(x,y)＝m(x,y)+k*s(x,y)
‑‑‑‑‑‑‑‑‑‑‑‑
(1)
27.其中，t(x,y)是阈值，k是预先设定的修正值(k取值范围0～1，如取0.5),图像为f(x,y)，均值为m(x,y)，方差为s(x,y)。
28.图4是将正常采集的图片与背景图片先减去相同的部分以降低对识别结果的干扰。在电动车识别过程中，影响识别准确度的主要是电梯原有的一些背景，以及电梯背景特征里包含的与要检测轮廓相似的信息。分别将采集到高维的rgb背景图像与含有识别目标的rgb背景图像灰度处理后的低维的灰度图像输入到预处理的网络进行对应的矩阵相减去除两者中相同的部分，发现可以将电动车的背景良好的去除；同时，在进行对一整个数据集的测试后发现，处理后的图像识别准确度比以往没有预处理提高了一定的准确率。
29.传统机器视觉方法大都识别电动车整体，对于被遮挡的电动车或者只有部分暴露在外的电动车，传统的机器视觉检测方法是：将电动车作为一整个整体来进行标定和处理，将整体输入识别的网络来进行简单的二分类问题，这种识别方法对于数据集的数量要求较高，因为要识别的电动车的特征较多，因此对于网络的负担也较大，训练的时间较长，并且训练损失函数的下降不够平滑，对于一些稍微遮挡的电动车也不能很好识别。
30.考虑到电动车出现在电梯口前可能只是部分，本发明采用了将识别电动车整体改为识别电动车的三个关键部件：车胎，把手，车灯，用这三者的识别来判断是否存在电动车。因为识别的都是小物件，含有的特征较少，因此采用简单的ssd网络就可以达到预期的效果，对于训练和数据集的要求大大降低，并且三个局部部件一同判断能够很好的提高识别的准确率，在电动车被雨衣或其他物体遮挡，或是只有部分进入视野时根据暴露在视野里的部件也能有较好的识别效果。将得到的三者识别的概率传输给最后的判别机制，根据训练的不同部件效果和最后的整体识别准确率，来给每个部件添加权重随后进行计算得出最后是否含有电动车的概率。例如，假设车把手的识别准确度为a，车灯的识别准确度为b，车胎的识别准确度为c，如果三者全存在的情况会对其识别出来的概率进行如下处理：0.3*a+0.3*b+0.4*c为最后的识别准确度。0.3，0.3，0.4的由来是根据ssd对小目标的不足和真实生活里的一些情况选取的。如果只存在两者的话，如只露出把手和车灯时，会让每者识别准确度乘上0.5相加作为最后的电动车识别准确度。
31.对于本领域技术人员而言，上述实施方式是示意性的，而且是非限制性的，本发明的范围由权利要求书而不是上述实施方式限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵盖在本发明内。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。