一种基于边缘技术和深度学习的安全帽佩戴识别方法与流程

本发明涉及一种基于边缘技术和深度学习的安全帽佩戴识别方法，属于计算机视觉。

背景技术：

1、钻井采油平台是海上油田生产作业的主要设施，其特点是远离陆地、环境复杂且空间有限，一旦发生安全生产事故，将会产生巨大损失。视频监控作为安全生产工作中的一种监管手段，早已被广泛应用在油气田生产领域。但是随着生产规模的扩增以及硬件的普及，视频监控的规模范围日益增多，传统的借助人工进行视频监控内容审查的方式效率低下，并且受限于人的主观影响和疲劳等不可靠因素的干扰，这种方式已经远远无法满足海上石油作业平台作业的需求。因此，采用新兴技术对传统监控领域进行赋能，提高监管效率和质量，实现降本增效将成为安全生产领域新的探索方向。

2、一方面，视频流中为低价值密度信息流，数小时的画面中可能都是前景信息，分析价值较低，同时随着监控设备清晰度的提升，视频传输所占用的带宽越来越大。以主流的1080p摄像头为例，在采用h264编码的情况下，则单路摄像头需要的上行带宽为4mbps，按照20路计算则所需带宽至少为80mbps。海上平台受限于远离陆地的地理特征，难以进行大规模光纤铺设，目前多利用微波通讯，难以用合理的成本提供如此大的带宽容量。因而，采用大规模云计算的方案困难重重，边缘计算的方式则由于其灵活部署、成本较低的优势成为当下海上平台视频分析的极佳方案。另一方面传统的目标检测方法如hog+svm分类的方法存在识别效果不够好、准确率不高、计算量比较大、运算速度慢等问题，随着卷积神经网络的发展，卷积层强大的特征提取能力及神经网络的分类能力，对准确率进行了一定的提升。因此，基于深度学习的方法具有更强的准确性和实时性。

技术实现思路

1、本发明设计开发了一种基于边缘技术和深度学习的海上平台安全帽佩戴识别系统，在减少带宽资源消耗的同时缩短了传输时间，实现高实时性、高精确度的目标检测任务，为海上平台提供智能视频分析。

2、本发明还设计开发了一种基于边缘技术和深度学习的海上平台安全帽佩戴识别方法，通过改进后的yolv4算法实现较高的检测速度，并对yolv4模型的网络结构进行改进，降低模型体积，减少模型运行所需的开销。

3、本发明提供的技术方案为：

4、一种基于边缘技术和深度学习的安全帽佩戴识别方法，包括：

5、模拟摄像头和网络摄像头，用于采集海上平台作业现场图像；

6、硬盘录像机，其通过同轴电缆与所述模拟摄像头相连接；

7、网络摄像机，其通过网线与所述网络摄像头相连接；

8、边缘计算服务器，其余所述网络摄像机和所述硬盘录像机的输出端相连接；

9、监控室，其连接所述边缘计算服务器的输出端；

10、扬声器，其连接所述边缘计算服务器的输出端。

11、一种基于边缘计算和深度学习的海上平台安全帽佩戴识别方法，使用所述的基于边缘计算和深度的学习的海上平台安全帽佩戴识别系统，包括：

12、步骤一、按照采样间隔，通过抽帧获取佩戴安全帽和不佩戴安全帽的正负样本；对获取的样本进行标注，标注后作为本地数据集送入预训练模型中进行迁移学习；

13、步骤二、对采集到的样本图片分别进行数据增强，包括：光照增强、几何增强、随机擦除；

14、步骤三、经过数据强化的图像送入修改配置文件的网络层参数的yolov4模型进行训练，训练后得到检测模型；

15、步骤四、在gpu服务器上部署服务，拉取现场视频流并抽帧送入模型进行推理，识别是否佩戴安全帽，识别到现场人员未佩戴安全帽的情况过扬声器进行报警。通过传回陆地的正常报警信息以及误报信息进行人工标注，迭代训练模型，提高模型推理的准确度，减少误报。

16、优选的是，其特征在于，

17、所述步骤一中，样本标注包括：

18、通过labelme工具对样本数据进行标注，主要包括标注佩戴安全帽的行人头部；未佩戴安全帽的行人头部。

19、优选的是，所述步骤二中，数据增强包括：

20、光照增强：通过图像处理技术修改图像对比度参数、亮度参数，调整图像对比度、亮度模拟夜晚和白天等照明情况；从而实现同一个样本的环境多样性；

21、几何增强：采用随机缩放、裁剪、翻转和旋转等方法，表示在摄像头不同的照射角度下、不同焦距下采集的数据，进一步拓充数据集，从而使得模型能够具备多点位的检测能力；

22、随机擦除：随机选择图像中的一个矩形区域，用随机值擦除其像素，通过随机擦除目标的特种模拟遮挡效果，提高模型的泛化能力。

23、优选的是，所述步骤三中，改进的yolov4算法包括：

24、通过二分类对比方法，将不带安全帽和佩戴安全帽两种情形进行one-hot编码，在损失函数加入分类方差计算；

25、设置iou的阈值为0.7，计算公式为：

26、

27、式中，iou为交并比，a为图片当中真实标记的框面积，b为预测的时候标记的框面积。

28、优选的是，所述步骤四包括：

29、通过map、recall两个指标衡量模型性能，通过调整学习率、阈值等超参数进行训练，根据训练结果map、recall判断模型的优劣。相关指标的计算公式如下：

30、

31、

32、

33、式中，tp分类器认为是正样本而且确实是正样本的例子，fp分类器认为是正样本但实际上不是正样本的例子，fp分类器认为是负样本但实际上不是负样本的例子；q为检测类别的数量，q为某个类别的id，ap为利用不同的precision和recall的点的组合，画出来的曲线下面的面积，map、为所有的类的ap值求平均，较高的map值表示模型在目标检测任务上的性能更好；

34、迭代更新过程包括：

35、步骤1、将多路视频流进行轮流抽帧形成图像帧队列送入检测程序进行检测，然后返回设备id、图像、检测结果等信息；

36、步骤2、使用显卡以及cuda加速器提高模型推理速度，多线程技术提高多路摄像头并发检测效率；

37、步骤3、根据待检测模型路数配置检测动态模型线程数，避免待检测队列过长影响系统的io性能；

38、步骤4、对采样图像通过画区域的方式，从而能够满足现场设置作业红区的需要；

39、步骤5、对检测出来的异常情形进行持久化处理，将图像上的违规人员进行标注，同时保留时间、检测结果、地点等信息发送至远程管理端进行统一管理。

40、本发明所述的有益效果：

41、本发明采用了从dvr和nvr取流进行边缘计算的系统架构，减少了作业现场的带宽消耗，缩短了传输时间，同时较高程度地复用了用户现有设备，保护了用户投资，控制了实施成本。同时，本发明所采用的改进后的yolo算法能够实现较高的检测速度，满足作业现场进行实施检测的需要，同时由于对模型结构进行了改进，有效地降低了模型的体积，减少了模型运行所需要的开销。另外，本发明所采用的二分类改进算法可以明显的提示系统检测召回率，所采用的多线程动态优化能够较好的消除检测队列带来的迟滞和阻塞。综上，本发明所采用的技术方案能够以较低成本较高性能满足海上平台进行智能视频分析的需要，具有较高的实用价值。