基于深度学习视觉算法的智慧加油站安全监管方法

本发明属于深度学习，涉及一种基于深度学习视觉算法的智慧加油站安全监管方法。

背景技术：

1、随着我国经济形势不断向前发展，社会对能源的需要也越来越迫切，在交通运输领域更是离不开千千万万个加油站及时地给运输车辆加油补充能源。加油站属危化品零售业，经营过程中需大量存储和销售汽油和柴油物质，具有易爆性、易然性、有毒性等危险、危害特性，一旦发生泄漏或爆炸，不仅造成人员伤亡和财产损失，更严重威胁到周边居民和环境。必须有效杜绝违章作业，减少操作失误，从而降低事故发生率，保障企业利益，人员安全。因此有必要将实现加油站安全管理现代化作为一个重要问题来解决。

2、近年来随着人工智能技术的不断发展，以深度学习为代表的人工智能技术发挥了极大优势，搜索技术、数据挖掘、视觉技术、自然语言处理、推荐个性化技术等在各自的领域以极快的速度迅速实现了产业化落地，将人类发展推到了一个前所未有的高度。在人工智能、深度学习快速发展的今天，一个迫切需要解决的问题是如何更好地将先进的科学技术理论转化成生产力，解决人们生产生活中遇到的实际问题，解决传统企业面临的痛点问题，真正意义上将人工智能技术强大的生命力表现出来。在人工智能的一个分支计算机视觉技术方面，目标检测技术已经逐步走向实际应用化，在智能安防、智能驾驶、工业缺陷检测、光学遥感领域、智能巡检等方面，目标检测技术发挥了极大作用。

3、目前工业界中常用的目标检测算法技术有二阶段的rcnn系列算法和一阶段的yolo系列算法，相较于二阶段的rcnn系列算法，一阶段的yolo系列算法无论是在检测速度上还是检测精度上都有着极大的优势，同时yolo系列算法仍在不断地推陈出新，不断发展，这使得持续优化成为可能。从表1可以看出yolov5算法和之前的yolov3、yolov4相比，无论是在精度还是在速度上均有大幅度提升。

4、表1 yolo系列算法性能对比

5、

技术实现思路

1、为解决上述问题，本发明为了为提升加油站对不安全行为的监测，针对加油站中一些不安全行为、危险情况进行智能化分析，通过计算机视觉目标检测算法对数据进行分析检测，得到识别结果经处理后可对站点全域实现安全行为的识别和预警，能够有效地将隐患安全降到最低，杜绝安全事故的发生。

2、为实现上述目的，本发明的技术方案为基于深度学习视觉算法的智慧加油站安全监管方法，包括以下步骤：

3、s10，训练模型；

4、s20，后端处理及前端展示。

5、优选地，所述s10，训练模型，包括以下步骤：

6、s11，收集数据；

7、s12，标注数据，组织数据集；

8、s13，设置yolov5框架训练配置文件，进行训练。

9、优选地，所述s11，收集数据，包括以下步骤：

10、s111，在加油站现场利用球机进行拍摄，获取视频样本。

11、s112，根据视频样本的时间长度决定采样时间，获取样本，使训练出来的模型更加准确。本实施例每隔10秒，对获取的视频样本进行采样，获取图像样本，命名为合适的名字后，存于一个文件夹，形成图像数据集。

12、优选地，所述s112中对视频样本每隔10秒进行采样。

13、优选地，所述s12，标注数据，组织数据集，包括以下步骤：

14、s121，利用labelimg对数据集进行标注，设置两个大类，分别是加油类和卸油类，分别有10个小类和13个小类，选择生成yolo格式的txt标注文件，格式为：

15、class_id x y w h

16、class_id:类别的id编号

17、其中，x:目标的中心点x坐标/图片总宽度；

18、y:目标的中心的y坐标/图片总高度；

19、w:目标框的宽带/图片总宽度；

20、h:目标框的高度/图片总高度。

21、s122，将所有需要训练和测试的图片放入jpegimages文件夹，对应的yolo格式标记文件放入labels文件夹；

22、s123，利用python脚本文件，生成训练集和测试集，生成train.txt和test.txt，分别给出训练图片文件和测试图片文件的列表，含有每个图片的路径和文件名。

23、优选地，所述s13，设置yolov5框架训练配置文件，进行训练，具体为：设置测试配置文件，进行测试和性能统计，并据此修改yolov5先验框大小，重新训练和测试，获取最佳权重文件和配置文件。

24、优选地，在所述s13后，将训练完成后的模型其部署在边缘端计算板卡上，在服务器端基于pytorch深度学习框架训练的模型在部署时，进行迁移量化工作，通过迁移量化将模型转化为能够适配在边缘端计算板卡上的模型格式；

25、再将算法模块进行封装，用http协议以json格式与后端进行交互，根据实际需求，定义接口地址、请求方式、请求参数、响应参数、返回格式、错误码；请求参数有timestamp:时间戳，算法推理检测的时间、camera_id:摄像头编号、detections:检测内容json字符串、image_origin:原始图像、image_det:检测图像；检测内容的json字符串参数：detections：[{},{},{},…]、class:类别、prob:识别概率。

26、优选地，在所述s13后，实时识别球机拍摄到的画面，得到位置信息和种类信息，在监控画面中框出具体位置并打印种类信息，具体包括以下步骤：

27、s31，利用opencv，来调用摄像头，以获取实时监控视频画面；

28、s32，提取视频的每一帧，进行颜色空间转换，从opencv图像的bgr格式，转换为yolov5所需要的rbg格式；

29、s33，进行图片的缩放，以适配yolov5要求的图像大小；

30、s34，将处理好之后的单帧图像输入yolov5，进行转换和识别，得到识别出来的位置信息和种类信息；

31、s35，若存在人员和工装，则框出人员及工装，标出类别信息，不做后处理判断；若存在抽烟、抽烟、打电话、未穿工装、未放置灭火器的不安全类别，则框出位置并标出类别信息，输出坐标信息并上传告警平台。

32、优选地，所述s35后告警平台收到相关信息后，进行逻辑后处理操作，形成告警信息，包括人员离岗告警、抽烟告警、打电话告警、烟火告警，前端页面弹窗提示告警信息，工作人员去及时处理。

33、优选地，所述s20，后端处理及前端展示，包括将检测到信息以json字符串的形式传递给后端，后端模块解析后进行后处理逻辑的编写，通过后处理后将最终告警结果传递给前端展示页面；同时后端模块也涉及前端功能的相关配置，包括摄像头的添加与删除，用户的增删改查。

34、本发明至少有如下具体有益效果：

35、1.现有加油站的安全监管只是简单的通过调看监控去发现问题，出现问题既无法立即做出有效干预，也无法在排查问题时短时间内从大量的监控视频中确定发生问题的时间及监控位置。本发明将深度学习方法引入到加油站安全监管中，通过视觉目标检测算法与加油站已有摄像头联动，对同一物体进行多次识别，可实现变焦识别、多摄像机联动识别。对于加油站出现的不安全行为以及危险情况能做出实时告警反馈，一旦出现不安全行为及危险情况，可立即反馈给工作人员，实时性高、检测效率准，能够有效减少加油站的安全隐患，降低加油站的危险情况的发生；

36、2.本发明视频ai检测模型丰富，可对多种不安全行为进行检测，实现的检测范围有人员识别、工服识别、安全帽识别、车辆识别、车牌识别、油箱盖识别、抽烟识别、打电话识别、灭火器识别、烟火识别等多种检测类型。检测类型丰富，可针对不同加油站的不同需求，选择检测类型，便于移植；

37、3.本发明实现了多算法、多技术融合，多算法联动将识别后的输出结果进行大数据分析，针对不同的告警信息，统计分析一天之内不同时间段告警信息数量，告警信息的类型，统计一个月内有哪些不安全行为或者危险情况的发生并将结果以折线图、饼状图、条形图等各种直观手段呈现出，有利于加油站更有针对性地去排查安全隐患，规范作业行为；

38、4.本发明将整套系统集成到了边缘端计算盒子中，边缘端计算盒子轻便灵巧，便于部署，同时支持海康、大华等主流摄像头的视频接入，支持8路/16路/32路视频流的智能实时分析，支持h264/h265硬件编解码，rtsp/onvif协议封装转发。通过模型压缩、量化、剪枝、并行加速等技术实现智能前置，从而达到边缘部署、前端智能的效果；

39、5.本方法还将视觉算法与业务流程进行了高度融合，针对系统检测出的结果，可自动生成报表，报表种类丰富，自动生成安全、服务、营销、运营等报表，不仅对加油站本身运维起到良好的作用，对于加油站的上级监管部门也可使其工作量大幅减少，实现提升效率、降本增效。