一种基于视频流事件的无感加油方法与流程

1.本发明涉及无感加油技术领域，具体涉及一种基于视频流事件的无感加油方法。


背景技术：

2.随着国家经济水平的提升，人民生活水平的提高，汽车保有量日益庞大，加油站的负担随之逐步增加。传统的加油方案是使用加油卡插入加油机进行加油。如果卡是加油工的，车主需要使用现金或则微信支付等方式进行支付，支付时间较长，为了缓解加油站加油压力，提高加油效率，推出了无感加油系统。通过摄像头ai智能算法快速识别车辆以及车辆的车牌号，车辆停靠油机时，加油机自带屏幕（或加油机旁设立的专用屏幕）提示车主或者加油工提枪加油。车辆加油后，自动对车牌号对应的用户进行扣款，缩减了整个加油过程的时间。
3.从车辆进入加油站到车辆离开加油站，如何根据车辆位置的检测形成车辆事件，并精确地判断车辆在加油站的位置，才能使无感加油系统能根据这些位置，进行油枪授权、提示加油等操作，并在加油后进行自动扣款。


技术实现要素：

4.本发明的目的是针对现有技术存在的不足，提供一种基于视频流事件的无感加油方法。
5.为实现上述目的，本发明提供了一种基于视频流事件的无感加油方法，包括：以设定频次对进入油站入口、加油机四周区域、加油机车位的车辆的视频流进行目标检测和目标跟踪，在跟踪到车辆后，为车辆分配唯一的id，对车辆的车牌进行ocr识别，并计算识别出所述车辆的车牌的置信度，记录置信度最高的车牌号；根据车辆的id、置信度最高的车牌号对进入油站入口和加油机四周区域的车辆分别生成抵达事件和欢迎事件，且车辆在加油机车位静止达到第一设定时间后生成停靠事件，并分别将所述抵达事件、欢迎事件和停靠事件分别反馈至无感加油系统；当无感加油系统接收到抵达事件时，输出引导信息至引导单元，以引导车主驾驶至某一加油机四周区域；当无感加油系统接收到欢迎事件时，控制其显示单元显示识别出的车牌号，以供车主确认。
6.当无感加油系统接收到停靠事件时，为车辆分配油枪，并输出油枪信息至显示单元，以引导加油工或车主采用分配的油枪进行加油，并根据加油机的反馈信息，对停靠事件中的车辆对应的用户自动扣款；还包括对加油机车位内的车辆进行检测和跟踪，当车辆全部驶离加油机车位时，根据车辆的id、置信度最高的车牌号对驶离车辆生成驶离事件，并将驶离事件反馈至无感加油系统，无感加油系统收到所述驶离事件后，对所述加油机车位进行初始化操作。
7.进一步的，判断计算出的进入油站入口车辆的车牌的置信度是否在设定阈值以
上，否，则继续对车辆进行检测、目标跟踪和对其车牌进行ocr识别，直至所述进入油站入口车辆的车牌的置信度在设定阈值以上。
8.进一步的，如所述车辆在驶离油站入口前计算识别出的车牌的置信度均低于设定阈值，在车辆驶离加油入口后，则采用记录的置信度最高的车牌号生成抵达事件。
9.进一步的，判断识别出的进入加油机四周区域和加油机车位的车辆的车牌是否分别与进入油站入口的车辆的车牌是否一致，如不一致，且进入加油机四周区域和加油机车位的车辆的车牌的置信度低于设定阈值，则舍弃当前车牌识别结果，并重新识别。
10.进一步的，如因异常因素导致未判断出车辆驶离加油机车位，在异常因素消除后，如在第二设定时间内未发现该车辆在加油机车位，则补充一个驶离事件。
11.进一步的，所述显示单元为加油机屏幕或设置在加油机一侧的屏幕。
12.进一步的，基于yolov5算法对车辆进行检测。
13.进一步的，基于deepsort算法对车辆进行目标跟踪。
14.进一步的，所述设定频次包括每秒3帧。
15.有益效果：本技术通过采用ai智能算法，能够实时跟踪车辆在油站中所处的位置，并生成相应的事件，并将这些时间反馈至无感加油系统，无感加油系统可根据不同的事件进行明确、高效地指示。
附图说明
16.图1是本发明实施例的基于视频流事件的无感加油方法的结构示意图。
具体实施方式
17.下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
18.如图1所示，一种基于视频流事件的无感加油方法，包括：以设定频次对进入油站入口、加油机四周区域、加油机车位的车辆的视频流进行目标检测和目标跟踪，在跟踪到车辆后，为车辆分配唯一的id，对车辆的车牌进行ocr识别，并计算识别出所述车辆的车牌的置信度，记录置信度最高的车牌号。具体可参见图1，图1中的区域1即为油站入口，可以通过摄像头s来采集进入区域1内的车辆的视频流，区域2即为加油机四周区域，区域3即为加油机车位，区域2和区域3内的车辆的视频流可由摄像头a进行采集。上述设定频次优选为每秒3帧。
19.根据车辆的id、置信度最高的车牌号对进入油站入口和加油机四周区域的车辆分别生成抵达事件和欢迎事件，且车辆在加油机车位静止达到第一设定时间后生成停靠事件，如静止达到3秒后生成停靠事件。分别将抵达事件、欢迎事件和停靠事件分别反馈至无感加油系统。具体的， 每一事件都包括事件名称、车辆的id、车牌号，还可以包括车牌颜色等。对于同一个车辆在同一摄像头下分配的id是相同的，按照图1所示的方式设置摄像头，欢迎事件与停靠事件的车辆的id是相同的，而与抵达事件中的车辆的id是不同的。
20.无感加油系统接收到不同的事件，会做出不同的反应，具体的，当无感加油系统接收到抵达事件时，输出引导信息至引导单元，以引导车主驾驶至某一加油机四周区域。可见，抵达事件只是为了记录进入油站的车辆以及让无感加油系统引导车主行驶至加油机四
周区域，并未与加油相关的信息进行关联，所以抵达事件中的车辆的id与欢迎事件与停靠事件的车辆的id不同，并不影响正常进行无感加油。
21.当无感加油系统接收到欢迎事件时，控制其显示单元显示识别出的车牌号，以供车主确认。该显示单元可以是加油机屏幕，或设置在加油机一侧的无感加油专用屏幕。
22.当无感加油系统接收到停靠事件时，为车辆分配油枪，并输出油枪信息至显示单元，以引导加油工或车主采用分配的油枪进行加油，并根据加油机的反馈信息，对停靠事件中的车辆对应的用户自动扣款。具体的，无感加油系统收到停靠事件后，就判定车辆在油机旁边停好，判断为有加油的意向。无感加油系统根据加油机情况，以及车辆在系统设置的需要加油的油品，自动分配加油机上可用的对应油品的油枪。加油的数量可以在系统中设定，也可在机旁设定，在完成加油后，无感加油系统根据加油机反馈的信息完成扣款操作。
23.还包括对加油机车位内的车辆进行检测和跟踪，当车辆全部驶离加油机车位时，根据车辆的id、置信度最高的车牌号对驶离车辆生成驶离事件，并将驶离事件反馈至无感加油系统，无感加油系统收到所述驶离事件后，对加油机车位进行初始化操作。同样，驶离事件也包括事件名称、车辆的id、车牌号，还可以包括车牌颜色等，驶离事件中的车辆的id与欢迎事件与停靠事件的车辆的id相同。
24.一般情况下，在区域2和区域3中的车速较慢，识别后计算出的车牌置信度相对较高，为了确保计算出的进入油站入口车辆的车牌的置信度较高，还可以判断计算出的进入油站入口车辆的车牌的置信度是否在设定阈值以上，否，则继续以设定频次对车辆进行检测、目标跟踪和对其车牌进行ocr识别，直至进入油站入口车辆的车牌的置信度在设定阈值以上。此处的设定阈值优选为0.9。
25.后续识别计算出的车牌置信度也可能会出现均低于设定阈值，如车辆在驶离油站入口前计算识别出的车牌的置信度均低于设定阈值，在车辆驶离加油入口后，则采用记录的置信度最高的车牌号生成抵达事件。
26.为了确保在加油机四周区域和加油机车位识别计算出的车牌的置信度较高，还优选判断识别出的进入加油机四周区域和加油机车位的车辆的车牌是否分别与进入油站入口的车辆的车牌是否一致，如不一致，且进入加油机四周区域和加油机车位的车辆的车牌的置信度低于设定阈值，则舍弃当前车牌识别结果，并重新识别。如一致，即便计算出的进入加油机四周区域和加油机车位的车辆的车牌的置信度低于设定阈值，也无需重新识别。如不一致，但计算出的进入加油机四周区域和加油机车位的车辆的车牌的置信度在设定阈值以上，则无需重新识别，以在加油机四周区域和加油机车位的车牌识别结果为准进行无感加油。
27.在一般情况下，车辆驶离加油机车位会准确的被摄像头识别捕捉到，但一些异常因素会造成不能识别到车辆驶离加油机车位。如因异常因素导致未判断出车辆驶离加油机车位，在异常因素消除后，如第二设定时间内未发现该车辆在加油机车位，则补充一个驶离事件。例如，大型车辆遮挡了摄像头a，在遮挡期间如车辆离开加油机车位，就会造成不能识别到车辆驶离加油机车位，在遮挡消除后，如在第二设定时间内未发现该车辆在加油机车位，则补充一个驶离事件。第二设定时间优选为5秒。
28.目标检测也叫目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场
景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。本发明优选基于yolov5算法对车辆进行目标检测。yolov5算法相比之前提出的其他目标算法，具有以下优点：增加了focus结构，原始608 * 608 * 3的图像输入focus结构，采用切片操作，先变成304 * 304 * 12的特征图，再经过一次32个卷积核的卷积操作，最终变成304 * 304 * 32的特征图。yolov5中采用其中的diou_loss做bounding box的损失函数。diou loss可以直接最小化两个目标框的距离，因此比giou loss收敛快得多。对于包含两个框在水平方向和垂直方向上这种情况，diou损失可以使回归非常快。yolov5的网络结构中添加了大量的csp结构，csp结构增强了cnn的学习能力，能够在轻量化的同时保持准确性、降低计算瓶颈、降低内存成本。更新了边框回归公式，更有利于训练时，算法的收敛。
29.目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。本发明实施例优选基于deepsort算法对车辆进行目标跟踪，deepsort算法可以为视频中被检测的目标分配唯一的id，并持续跟踪、直到目标在视频中消失。在deepsort中主要使用马氏距离来评测预测的目标状态和新来的状态是否一致。
30.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，其它未具体描述的部分，属于现有技术或公知常识。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。