基于目标检测模型的危废工厂安全隐患检测方法及系统与流程

本发明涉及计算机视觉和图像处理，特别涉及一种基于目标检测模型的危废工厂安全隐患检测方法及系统。

背景技术：

1、图像识别领域涵盖了广泛的应用场景，包括但不限于人脸识别、物体识别、场景识别等。图像识别领域的主要内容和技术重点，从优化方面包括：深度学习模型优化、数据增强与预处理、模型压缩与加速等，从部署方面包括：边缘计算与云计算、可视化界面与交互体验、安全与隐私保护等，在工厂的安全隐患检查及安全监控方面也得到了广泛的应用。

2、中国发明专利cn115631408b提出了一种星地协同的黑臭水体识别模型自动优化系统，通过联动高点摄像头拍摄水体近地图像，利用基于近地图像的黑臭水体识别模型a的识别结果对对应的遥感影像进行标记，形成标记样本，并作为训练样本，在云计算中心对基于遥感图像的黑臭水体识别模型b进行训练，得到优化后的黑臭水体识别模型b，从而提升黑臭水体识别模型b的识别准确率，该系统仅涉及黑臭水体识别场景的模型自动优化，没有涉及自动优化后的模型版本迭代管理和自动部署。

3、中国发明专利申请cn114529011a提出了一种机器学习模型自我学习、评估及更新的方法，通过自动化监控对已部署的机器学习模型进行监控，从而获得现有模型的健康情况、可靠性和成绩，并对模型进行自动重建优化后自动部署上线，实现模型的自动化更新。但是该模型在自动优化方面仅涉及模型结构优化，未涉及扩充有效的图像样本数据，所有待优化模型共用同样的数据集，优化效果有限，此外，它没有涉及识别目标不同、基础参数配置不同、作用不同的目标检测模型版本迭代管理和自动部署。

技术实现思路

1、本发明所要解决的问题是：提供一种基于目标检测模型的危废工厂安全隐患检测方法及系统，自动化收集潜在漏识别、误识别的图像样本数据，对增补优化数据集自动进行标注，在标注结果经人工审核后，自动进行模型重新训练与部署，进行危废工厂安全隐患检测。

2、本发明采用如下技术方案：一种基于目标检测模型的危废工厂安全隐患检测方法，包括如下步骤：

3、s1、根据危废处置工厂不同安全隐患排查需求，构建四类yolov5目标检测模型，配置模型参数并存储于模型配置数据库；

4、s2、实时采集监控摄像头影像，收集图像样本数据，根据图像样本数据场景更新模型参数配置，分别传输至加载四类yolov5目标检测模型的docker容器；

5、s3、在yolov5目标检测模型中，通过置信度调节和自比对校正，收集漏识别、误识别的图像样本数据；

6、s4、增补优化图像样本数据，并进行自动标注和审核；

7、s5、对yolov5目标检测模型进行自动训练，得到优化的目标检测模型，自动部署优化后目标检测模型，进行危废工厂安全隐患检测。

8、进一步地，步骤s1中，根据危废处置工厂不同安全隐患排查需求，预置人员昏迷、人员落井、人员违规操作、人员未佩戴安全帽、人员吸烟、冒烟与起火至初始第一、二、三、四类yolov5目标检测模型，配置模型参数并存储于模型配置数据库，并通过docker-compose批量启动模型容器；

9、模型参数，包括：yolov5目标检测模型的版本号、路径、置信度、交并比iou。

10、进一步地，步骤s1中，四类yolov5目标检测模型，第一类yolov5目标检测模型用于生产环境预警；第二类yolov5目标检测模型用于自动化收集潜在漏识别安全隐患图片样本数据；第三类yolov5目标检测模型用于自动化收集潜在误识别安全隐患图片样本数据；第四类yolov5目标检测模型用于对自动化收集到的潜在漏识别、误识别图片样本数据的自动标注。

11、进一步地，步骤s3中收集漏识别的图像样本数据，在加载第二类模型的docker容器中，使用roc曲线和auc值性能指标，降低置信度参数，收集漏识别图像样本数据，所述roc曲线上每一个点代表一个特定的置信度阈值下的漏报率和误报率，所述auc值是roc曲线下的面积，表示模型的整体性能；基于roc曲线，通过线性插值或拟合曲线调整置信度阈值，找到漏报率低于l和误报率低于w的置信度阈值的最小值cmin。

12、对于roc曲线上两个点(x1,y1)和(x2,y2)，如果roc曲线在x1和x2之间的部分是线性的，通过以下公式估算置信度阈值的最小值cmin：

13、

14、其中，x1和x2对应漏报率，且x1<x2，y1和y2对应误报率，且y1>y2，l为漏报率最高阈值；

15、如果roc曲线在x1和x2之间的部分非线性的，使用二分查找数值方法，拟合曲线，估算置信度阈值的最小值cmin。

16、进一步地，步骤s3，在加载第三类模型的docker容器中，使用配置自比对校正方法，收集误识别图像样本数据，包括如下子步骤：

17、s3.1、收集图片库，包括：正确识别图片库和潜在误报图片库；

18、所述正确识别图片库，图片为正确识别并进行分类的图片，作为参考集；所述潜在误报图片库，包括：类别难以区分的图片、与多个类别相似的图片、将背景误识别为目标的图片；

19、s3.2、特征提取：使用卷积神经网络cnn图像处理方法，提取每张图片的特征信息，代表图片的关键信息，且对于同类图片具有一致性，对于不同类图片具有差异性；

20、s3.3、建立自对比数据库：将提取的特征存储于自对比数据库，每张图片与其对应的特征信息相关联，对于正确识别图片库，每个类别的图片样本充足，代表该类别的多样性；对于潜在误报图片库，标记被误报的特征，并体现在自对比数据库中；

21、s3.4、构建自对比策略：对新图片识别时，提取该图片的特征，将新图片特征与自对比数据库中的图片特征进行比对，如果新图片的特征与正确识别图片库中的某个特征类别匹配，则对新图片进行高置信度的分类，如果新图片的特征与潜在误报图片库中的图片相似，归入增补优化数据集；

22、s3.5、反馈和调整：不断收集新图片，更新正确识别图片库和潜在误报图片库，根据实际应用中的误报，调整比对策略和置信度阈值，进行再训练，提高对潜在误报图片的识别能力。

23、进一步地，步骤s4中，增补优化图像样本数据，将步骤s3收集的漏识别、误识别图像样本数据，通过ftp协议传输至第四类yolov5目标检测模型的容器中，进行自动标注，在标注配置数据库中更新标注结果及存储路径，通过http协议，在web端对增补优化数据集的自动标注进行审核。

24、进一步地，步骤s5中，优化目标检测模型，包括如下子步骤：

25、s5.1、通过tcp协议通知yolov5目标检测模型训练程序的容器；

26、s5.2、通过file协议加载审核无误的增补优化的图像样本数据及标注；

27、s5.3、采用pytorch实现yolov5目标检测模型的自动训练，得到优化的目标检测模型；

28、s5.4、通过file协议，存储优化的目标检测模型，并同步更新模型配置数据库中的模型参数信息，得到优化的目标检测模型。

29、当yolov5目标检测模型完成自动训练后，通过tcp协议通知加载第一类yolov5目标检测模型的容器终止，通过docker-compose的设置实现终止容器的自动重启，重启后加载第一类yolov5目标检测模型的容器，通过http协议读取最新的模型配置数据库中的模型加载路径信息，根据该路径，通过file协议读取自动优化后的模型运行，自动部署优化后的目标检测模型，进行危废工厂安全隐患检测。

30、本发明技术方案还提供了一种基于目标检测模型的危废工厂安全隐患检测系统，用于实施上述任一项方法，进行危废工厂安全隐患检测，包括：数据层、接口层和容器层，

31、数据层，包括：模型配置数据库、模型数据库、图片数据库、标注数据库、及n个摄像头，用于采集原始视频流；

32、接口层，包括file协议接口、rtsp协议接口、http协议接口，用于模型数据、原始视频流数据及图片数据的传输；

33、容器层，包括加载第一、二、三、四类yolov5目标检测模型的docker容器、模型训练容器、web端人工审核容器，对目标检测模型采集数据的处理，在加载第二类模型的docker容器中降低置信度参数，收集漏识别图像样本数据，在加载第三类模型的docker容器中，使用配置自比对校正方法，收集误识别图像样本数据，在第四类yolov5目标检测模型的容器中，进行自动标注及目标检测模型的优化。

34、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

35、1、本发明基于目标检测模型的危废工厂安全隐患检测方法，使用目标检测图像识别技术，通过构建四类yolov5目标检测模型，自动化收集实际发生的偶发性安全隐患图像样本数据，并用于自动优化目标检测模型。

36、2、本发明基于目标检测模型的危废工厂安全隐患检测方法，自动化收集实际发生的误识别安全隐患图像样本数据，对误识别图片进行重新标注后作为补充训练集，优化目标检测模型，有效降低了模型误报率。

37、3、本发明基于目标检测模型的危废工厂安全隐患检测方法，基于危废处置工厂不同安全隐患排查场景下，目标检测模型具有识别目标不同、基础参数配置不同的特点，实现了全厂级上百路不同场景下的自动优化后的目标检测模型版本迭代管理和自动部署。