基于车牌识别和跟踪技术的路边停车智能收费系统及方法与流程

本发明属于智能公共设备技术领域，具体涉及基于车牌识别和跟踪技术的路边停车智能收费系统及方法。

背景技术：

随着城市车辆数量不断增多，对于一些交通路口，如果仅仅采用人力进行停车收费，需要在不同路口都设置人员，这样将会大大增加人力成本，所以对于智能停车系统需求也越来越高，能够降低人力成本，同时增加停车方便性，实现无人监管而自觉网上缴费。

并且，对于车牌识别进行车辆停车系统已经出过类似技术，但是其中有车牌已经被遮挡后，无法进行车牌识别，从而将会产生漏检，或者误认为已经离开，所以对于现在仅采用车辆检测加车牌检测进行判断方法，存在较大漏洞，需要进行提升。

对于深度学习算法，在嵌入式前段运行将会耗时较长，不论是用作车辆检测或者车牌识别，如果一直采用深度学习方法，对于嵌入式设备计算力消耗是非常大的，所以需要通过优化，进一步在嵌入式设备上运行速度。

技术实现要素：

针对现有技术中的上述不足，本发明提供的基于车牌识别和跟踪技术的路边停车收费系统及方法解决了现有的停车收费检测方法不准确的问题。

为了达到上述发明目的，本发明采用的技术方案为：基于车牌识别和跟踪技术的路边停车智能收费系统，包括云端服务器、缴费装置、若干前端检测及识别装置和通讯装置；

每个所述前端检测及识别装置通过通讯装置与所述云端服务器连接，所述云端服务器与所述缴费装置连接；

所述前端检测及识别装置通过视频检测技术对停车位的车辆停留情况进行判断，并将停留车辆的车牌检测和识别结果上传至云端服务器；

所述云端服务器用于对各前端检测及识别装置上传的停留车辆的车牌信息进行保存及处理；

所述缴费装置用于为用户提供在线自助缴纳停车费渠道；

所述通讯装置用于为云端服务器和前端检测及识别装置之间的数据传输提供通讯接口。

进一步地，每个所述前端检测及识别装置均包括相互连接的智能摄像头和存储卡；

所述智能摄像头分别与所述云端服务器和存储卡通信连接；

所述智能摄像头设置于路边车位上方，每个所述智能摄像头可同时监测至少四个车位的车辆停留情况；

所述智能摄像头内嵌集成有车辆停留判断和车牌识别算法的芯片。

进一步地，所述缴费装置包括智能手机和平板电脑；

所述缴费装置上设置有停车缴费app或停车缴费小程序；

所述停车缴费app或停车缴费小程序的通讯接口通过通讯装置与所述云端服务器的通讯接口连接。

基于车牌识别和跟踪技术的路边停车智能收费方法，包括以下步骤：

s1、通过前端检测及识别装置确定其监控范围内的目标车辆监测框；

s2、通过前端检测及识别装置判断当前目标车辆监测框中的车辆是否有停车意图；

若是，则进入步骤s3；

若否，则进入步骤s4；

s3、确定车辆运行轨迹，对有停车意图的车辆进行车牌识别，并将对应的车牌及车位信息上传至云端服务器并开始计时，并进入步骤s5；

s4、通过前端检测及识别装置对车位中的车辆停留情况进行监控，并返回步骤s31；

s5、当前端检测及识别装置检测到车位中的车辆有离开时，确定离开车辆与车位的对应关系，并将识别的车位信息上传至云端服务器；

s6、通过云端服务器根据上传的车位信息，确定车辆在车位中的停留时间，并生成对应的停车费信息；

s7、通过缴费装置链接访问云端服务器端中停车费信息，并进行停车缴费；

s8、根据停车缴费信息将云端服务器中存储的对应车辆停留信息清空，并将停车缴费成功信息返回至缴费装置，完成停车收费。

进一步地，所述步骤s1具体为：

s11、对当前帧图片进行二值化处理，并将二值化处理后的图片与以前10帧为基础建立的背景模型进行对比，将对比差值作为初步结果；

s12、对初步结果中的像素点依次进行侵蚀和膨胀，并加上外接矩形框形成移动检测框；

s13、对形成的移动检测框进行筛选，确定车辆检测框；

s14、对车辆检测框进行deepsort跟踪，并对车辆检测框中的图片进行特征提取及对比，确定相同车辆对应的车辆检测框作为目标车辆监测框。

进一步地，所述步骤s13中，对移动目标检测框进行筛选时的筛选条件包括：

(1)将宽大于长的移动目标检测框保留，长大于宽的移动目标检测框剔除；

(2)将像素点小于12000的移动目标检测框剔除，大于12000的移动目标检测框保留。

进一步地，所述步骤s14具体为：

在对车辆检测框进行deepsort跟踪过程中，计算每个车辆检测框中的图片的特征余弦向量值，当两个图片对应的特征向量余弦值的差值小于设定阈值时，将其对应的车辆检测框标记为相同id，将所有id相同的车辆检测框中作为一个目标车辆监测框。

进一步地，所述步骤s2具体为：

在连续两帧内，判断目标车辆监测框的xmin和xmax与车位停车线横坐标xp的绝对值差值是否均小于或等于80；

若是，则目标车辆监测框中的车辆有停车意图，进入步骤s3；

若否，则目标车辆监测框中的车辆没有停车意图，进入步骤s4；

其中，xmin为外接矩形中左上角点横坐标，xmax为外接矩形中右下角点横坐标。

进一步地，所述步骤s3中的具体为：

s31、通过yolo目标检测网络，检测出目标车辆监测框中的车辆位置；

s32、在监控范围内，进行车辆运行轨迹确定；

s33、确定车辆运行轨迹中起始点及结束点与车位停车线的关系；

若起始点在车位停车线外，且结束点在车位停车线内，则车辆在停车，进入步骤s34；

若起始点在车位停车线内，且结束点在车位停车线外，则车辆在离开，返回步骤s31；

若起始点和结束点均在车位停车线外，则车辆在路过车位，返回步骤s31；

若起始点和结束点均在车位停车线内，则车辆在车位内移动，返回步骤s31；

s34、回溯10帧图片，并通过yolo目标检测网络确定该车辆位置；

s35、利用opencv训练haar级联分类器查找该车辆的车牌，并通过一个神经网络进行车牌识别，提取对应的车牌信息；

s36、将识别的车牌及车位信息上传至云端服务器并开始计时。

进一步地，所述步骤s5中，确定离开车辆与车位的对应关系的方法具体为：

当车位中的车辆对车位x轴的投影大于设定阈值时，判定车辆在车位中移动，然后根据车辆对车位y轴投影确定车辆车顶位置，进而确定离开车辆与车位的对应关系。

本发明的有益效果为：

(1)采用视频检测技术对停车位是否有车停入、停入车辆车牌信息进行判断和识别，本发明与跟踪技术结合，不是单纯依靠检测停车位上是否有车，而是通过跟踪和检测一起生成车辆轨迹，如果该轨迹有向停车位的矢量，则判断停车，采用是一个连续过程进行判断，更为准确；

(2)在不启动深度学习方法时，采用移动目标建模方法进行车位附近移动车辆的筛选，能够提升目标车辆识别速度；

(3)在判断到有停车事件时，将会在另一个进程中启用车牌检测和识别，和主程序并行运行，降低延时，然后等车辆完全停稳之后，进行车位估计，并将车位和车牌信息通过通讯装置上传至云端服务器，云端服务器对各停车位信息进行处理，用户通过网上服务器对停车信息进行查询和缴费，提高自助缴费的准确率。

附图说明

图1为本发明提供的基于车牌和跟踪技术的路边停车智能收费系统结构图。

图2为本发明提供的基于车牌和根据技术的路边停车智能收费方法流程图。

图3为本发明提供的二值化差值图。

图4为本发明提供的车辆外接矩形框示意图。

图5为本发明提供的车位水平投影示意图。

图6为本发明提供的车位垂直投影示意图。

图7为本发明提供的车辆停进车位示意图。

图8为本发明提供的车辆离开车位示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，基于车牌识别和跟踪技术的路边停车智能收费系统，包括云端服务器、缴费装置、若干前端检测及识别装置和通讯装置；

每个前端检测及识别装置通过通讯装置与云端服务器连接，云端服务器与缴费装置连接；

前端检测及识别装置通过视频检测技术对停车位的车辆停留情况进行判断，并将停留车辆的车牌检测和识别结果上传至云端服务器；

云端服务器用于对各前端检测及识别装置上传的停留车辆的车牌信息进行保存及处理；

缴费装置用于为用户提供在线自助缴纳停车费渠道；

通讯装置用于为云端服务器和前端检测及识别装置之间的数据传输提供通讯接口。

具体地，前端检测及识别装置采用视频检测技术对停车位附近车辆是否有停车和离开动作进行判断，对于停车车辆，将会进行相应车辆停车位判断，同时进行车牌检测和识别，将该车牌信息和车位等信息通过相应通讯装置上传至云端服务器；每个前端检测及识别装置包括相互连接的智能摄像头和存储卡；智能摄像头分别与云端服务器和存储卡通信连接；智能摄像头设置于路边车位上方，每个智能摄像头可同时监测至少四个车位的车辆停留情况，并将采集的视频资料通过存储卡进行本地保存；智能摄像头内嵌集成有车辆停留判断和车牌识别算法的芯片。

云端服务器对各停车位信息进行处理，保存停车车辆车位和车牌信息，具体存储了停车位是否空闲、所停车辆车牌，同时可以查看保存车辆停车时照片、停靠时间等信息，同时开始计时；

缴费装置包括智能手机和平板电脑；缴费装置上设置有停车缴费app或停车缴费小程序；停车缴费app或停车缴费小程序的通讯接口通过通讯装置与云端服务器的通讯接口连接。缴费装置可实现在线网上登录缴费，通过网站登录用户名，同时完成缴费，并可以用于查询停靠时间、及空闲停车位指引，可在线完成缴费功能；

通讯装置通过网络云端服务器访问摄像头内网ip和相应端口，可以得到实时现场画面，同时可以采用opencv本地保存图片，将所获得图片保存在前端摄像头本地存储卡上，进行处理。

实施例2：

本实施例提供了如图2所示的基于车牌识别和跟踪技术的路边停车智能收费方法，包括以下步骤：

s1、通过前端检测及识别装置确定其监控范围内的目标车辆监测框；

s2、通过前端检测及识别装置判断当前目标车辆监测框中的车辆是否有停车意图；

若是，则进入步骤s3；

若否，则进入步骤s4；

s3、确定车辆运行轨迹，对有停车意图的车辆进行车牌识别，并将对应的车牌及车位信息上传至云端服务器并开始计时，并进入步骤s5；

s4、通过前端检测及识别装置对车位中的车辆停留情况监控，并返回步骤s31；

s5、当前端检测及识别装置检测到车位中的车辆有离开时，确定离开车辆与车位的对应关系，并将识别的车位信息上传至云端服务器；

s6、通过云端服务器根据上传的车位信息，确定车辆在车位中的停留时间，并生成对应的停车费信息；

s7、通过缴费装置链接访问云端服务器端中停车费信息，并进行停车缴费；

s8、根据停车缴费信息将云端服务器中存储的对应车辆停留信息清空，并将停车缴费成功信息返回至缴费装置，完成停车收费。

上述步骤s1具体为：

s11、对当前帧图片进行二值化处理，并将二值化处理后的图片与以前10帧为基础建立的背景模型进行对比，将对比差值作为初步结果；

其中，形成的对比的二值图差值(初步结果)如图4所示；

s12、对初步结果中的像素点依次进行侵蚀和膨胀，并加上外接矩形框形成移动检测框；

其中，外接矩形框如图5所示；

s13、对形成的移动检测框进行筛选，确定车辆检测框；

其中，对移动目标检测框进行筛选，区别行人和车辆，具体筛选条件包括：

(1)将宽大于长的移动目标检测框保留，长大于宽的移动目标检测框剔除；

(2)将像素点小于12000的移动目标检测框剔除，大于12000的移动目标检测框保留。

s14、对车辆检测框进行deepsort跟踪，并对车辆检测框中的图片进行特征提取及对比，确定相同车辆对应的车辆检测框作为目标车辆监测框；

步骤s14具体为：

在对车辆检测框进行deepsort跟踪过程中，计算每个车辆检测框中的图片的特征余弦向量值，当两个图片对应的特征向量余弦值的差值小于设定阈值时，将其对应的车辆检测框标记为相同id，将所有id相同的车辆检测框中作为一个目标车辆监测框；具体地，提取特征余弦向量值的提取网络结构如表1所示：

上述步骤s2中，在判定车辆与车位的位置关系时，会对车位部分做建模图二值投影，将车位部分的移动目标对x轴和y轴方向分别进行投影(水平投影和垂直投影如图5和图6所示)，因此步骤s2具体为：

在连续两帧内，判断目标车辆监测框的xmin和xmax与车位停车线横坐标xp的绝对值差值是否均小于或等于80；

即判定min_abs＝xmin-xp<＝80或者max_abs＝xmax-xp<＝80是否成立；

若是，则目标车辆监测框中的车辆有停车意图，进入步骤s3；

若否，则目标车辆监测框中的车辆没有停车意图，进入步骤s4；

其中，xmin为外接矩形中左上角点横坐标，xmax为外接矩形中右下角点横坐标。

上述步骤s3中的具体为：

s31、通过yolo目标检测网络，检测出目标车辆监测框中的车辆位置；

s32、在监控范围内，进行车辆运行轨迹确定；

s33、确定车辆运行轨迹中起始点及结束点与车位停车线的关系；

若起始点在车位停车线外，且结束点在车位停车线内，则车辆在停车(如图7所示)，进入步骤s34；

若起始点在车位停车线内，且结束点在车位停车线外，则车辆在离开(如图8所示)，返回步骤s31；

若起始点和结束点均在车位停车线外，则车辆在路过车位，返回步骤s31；

若起始点和结束点均在车位停车线内，则车辆在车位内移动，返回步骤s31；

s34、回溯10帧图片，并通过yolo目标检测网络确定该车辆位置；

s35、利用opencv训练haar级联分类器查找该车辆的车牌，并通过一个神经网络进行车牌识别，提取对应的车牌信息；

s36、将识别的车牌及车位信息上传至云端服务器并开始计时；

具体地，在步骤s32中确定车辆运行轨迹时，设置两个字典数据保存每个id方框中心点坐标，一个字典dic1存入初始出现id号时中心点坐标，另一个字典dic2保存结束时候该id中心点坐标，如果id一直存在，则不断更新dic2中该id中心点坐标(即结束坐标)，若该id已经不再出现，则最后一次中心点坐标更新后则不再更新。

上述步骤s5中，确定离开车辆与车位的对应关系的方法具体为：

当车位中的车辆对车位x轴的投影大于设定阈值时，判定车辆在车位中移动，然后根据车辆对车位y轴投影确定车辆车顶位置，进而确定离开车辆与车位的对应关系。

本发明的有益效果为：

(1)采用视频检测技术对停车位是否有车停入、停入车辆车牌信息进行判断和识别，本发明与跟踪技术结合，不是单纯依靠检测停车位上是否有车，而是通过跟踪和检测一起生成车辆轨迹，如果该轨迹有向停车位的矢量，则判断停车，采用是一个连续过程进行判断，更为准确；

(2)在不启动深度学习方法时，采用移动目标建模方法进行车位附近移动车辆的筛选，能够提升目标车辆识别速度；

(3)在判断到有停车事件时，将会在另一个进程中启用车牌检测和识别，和主程序并行运行，降低延时，然后等车辆完全停稳之后，进行车位估计，并将车位和车牌信息通过通讯装置上传至云端服务器，云端服务器对各停车位信息进行处理，用户通过网上服务器对停车信息进行查询和缴费，提高自助缴费的准确率。