一种基于图形组态的安全隐患排查及事故预警方法和系统与流程

本发明涉及计算机视觉和图像处理，特别涉及一种基于图形组态的安全隐患排查及事故预警方法和系统。

背景技术：

1、时序多帧图像识别技术通过对连续的图像或视频进行识别和分析，提取出其中的有用信息，并综合这些信息得出更全面、准确的结论。该领域的研究和应用广泛，包括但不限于目标检测和跟踪、行为识别、场景理解、医学影像分析及智能监控。

2、中国发明专利申请cn116580353a提出了一种热电厂安全隐患自动预警方法及系统，以输煤智能巡检和安全工作常态化开展为基础，通过深度学习，多模态数据融合、强化学习等先进技术配合人防、物防、技防，形成多维度立体化的安全防护，实现利用视频ai智能分析在输煤皮带状态监测预警、输煤人员反违章自动管理等方面建立智能应用。但是，该方法仅能通过图像识别相关技术来发现安全隐患，不能解决成因复杂、需多级策略判定的安全隐患识别问题。此外，它没有涉及将变化的国家行业标准和安全规范、公司作业规定和安全措施灵活的配置到系统这一功能。

3、中国发明专利申请cn115877810a提出了一种化工车间安全运行监控方法以及系统，包括信息录入单元、人员岗位图库单元、人脸识别单元、着装规范识别单元、行为分析单元、设备监测单元和热成像测温单元，通过图像识别和设备监测技术，实现对化工设备泄漏监测数据的实时获取、对在工作区域内工作人员脱岗、工作着装不规范、工作操作违规的实时识别，加强事故预警以及事故发生后的快速应急处理。但是，对在工作区域内工作人员脱岗、工作着装不规范、工作操作违规判定方面仅使用单帧图像作为依据，容易造成较高的预警误报率，例如：工作人员仅在短时间内被工作区域内的设备遮挡，便被判定为脱岗。

4、因此，工厂车间内部各种安全隐患及事故成因复杂，需要根据现场情况，制定多级策略判，综合各种因素，进行安全隐患排查和安全事故预警。

技术实现思路

1、本发明所要解决的问题是：提供一种基于图形组态的安全隐患排查及事故预警方法和系统，进行危废处置工厂成因复杂、需多级策略判定的安全隐患排查和安全事故预警，对时序多帧图像进行识别得到综合性结论，降低误报率，同时将变化的国家行业标准和安全规范、公司作业规定和安全措施灵活的配置到系统中，应用于实际生产过程的实践。

2、本发明采用如下技术方案：一种基于图形组态的安全隐患排查及事故预警方法，包括如下步骤：

3、s1、录入监控摄像头信息：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址；

4、s2、新建应用场景并构建图形组态化控制模块：将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，构建深度学习模型进行单帧图像检测，基于时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件；

5、s3、基于图形组态化控制模块，新建应用场景下的多级安全隐患排查策略及安全事故预警策略，进行相应的行为或事件检测及播报。

6、进一步地，步骤s2中，将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，包括如下子步骤：

7、s2.1.1、根据安全隐患排查或事故预警需要，新建检测区域的若干个应用场景，分别将s1中与各应用场景相关的监控视频流地址关联到应用场景，形成视频输入。

8、s2.1.2、基于内置的目标检测模型库，在新建应用场景中指定需要检测的基础目标标签，将与应用场景相关的目标检测模型库关联到该场景，形成目标检测范围，进行存在性判断；

9、目标检测模型库中包含所有潜在的基础目标标签，包括但不限于：人员、人员倒地姿态、人员抽烟姿态、火焰、电火花、已戴安全帽头部、未戴安全帽头部、水位计、堆料、叉车、货车、扬尘、已束口卸灰口、未束口卸灰口。

10、s2.1.3、在新建应用场景中配置检测区域，当目标检测识别结果锚框坐标不在该区域内，滤除该目标检测识别结果，形成区域约束，进行空间范围判断。

11、s2.1.4、在新建场景中配置检测时间段，若当前时间不在检测时间段内，不执行目标检测识别算法，形成时间段约束，进行时间范围判断。

12、进一步地，步骤s2中，构建图形组态化控制模块，以图形的方式独立实现特定的功能，根据危废行业标准和安全规范、公司作业规定和安全措施，基于新建的应用场景构建若干图形组件，通过逻辑模块连接若干个图形组件以定义数据流和控制逻辑，通过拖取图形组态化控制模块、箭头连线、框选组合，以图形的方式自主构建满足特定应用场景的判定策略或预警模型。

13、图形组态化控制模块包括：数据输入模块、基础逻辑模块、高级逻辑模块、图像处理模块、输出模块；还包括计时器模块，对输入模块及逻辑模块的判断设置检测时间，以连续图像为依据，进行连续行为检测判断。

14、箭头连接，用于定义判定逻辑和预警触发的条件，将视频输入、目标检测范围、区域约束及时间约束多个判定条件连接起来，进行行为识别，当所有条件都满足时，触发相应的判定结果或预警动作。

15、框选组合，用于将一组相关的图形组件，包括多个判定流程或预警模型，组合成一个整体，进行具体行为判断，输出综合结果。

16、进一步地，步骤s2中构建深度学习模型进行单帧图像检测，方法包括：

17、s2.3.1、建立深度学习模型，基于python语言中pytorch框架，使用yolov5目标检测方法，对监控摄像头采集的图像帧进行单帧图像检测；

18、s2.3.2、深度学习模型优化，使用梯度下降优化算法调整模型参数，加速收敛速度并减少训练过程中的震荡；使用模型正则化，包括l1正则化、l2正则化及dropout，防止模型过拟合；使用批标准化，对每一批输入数据进行标准化处理，减少内部协变量偏移。

19、进一步地，步骤s2中，通过时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件，对图像序列中的对象、动作和场景进行建模和分析，包括如下子步骤：

20、s2.2.1、数据收集和预处理：从监控摄像头信息库模块的视频输入采集连续的图像帧，对图像进行预处理，包括去噪、归一化、缩放，消除图像中与基础目标标签无关的因素；

21、s2.2.2、特征提取：对于每个图像帧，进行特征提取，所述特征包括图像的光影、模糊程度、目标位置与形状、目标与摄像头距离，特征提取方法包括基于sift、surf、hog的计算机视觉，和卷积神经网络cnn深度学习；

22、s2.2.3、时序建模：基于循环神经网络中长短时记忆网络或门控循环单元，处理序列数据并学习时间依赖性，建立时序模型，捕捉时间上的依赖性和动态变化；进行动态时间规整，对不同长度和速度的行为序列，通过非线性调整时间序列的时间尺度，计算两个序列之间的最佳对齐方式，度量行为序列之间的相似性；

23、s2.2.4、训练与分类：使用反向传播算法优化时序模型参数，进行模型训练，训练过程中，时序模型从图像序列中提取判别性特征，并根据判别性特征进行分类或回归；

24、s2.2.5、后处理与结果展示：对时序模型输出的结果进行阈值处理和平滑滤波，将结果以通过绘制边界框、标注文本的可视化方式展示；

25、s2.2.6、评估与优化：评估时序模型性能，评估指标包括准确率、召回率、f1分数、map，根据评估结果对模型进行优化，包括调整模型结构、优化超参数、增加数据增强。

26、进一步地，步骤s3中，安全隐患排查判定策略及安全事故预警的策略有多个，通过多个图形组态化控制模块及箭头连线、框选组合设置分层的判定策略，并设置优先级；

27、行为检测中还包括图像缓存队列，用于存储各级策略指定取证的图片，以及语音报警，对检测到的安全隐患排查及事故预警，通过中控室广播设备、安环部门广播设备或现场音柱设备进行实时播报。

28、本发明技术方案还提供了一种基于图形组态的安全隐患排查及事故预警系统，用于实施上述任一项所述的方法，进行安全隐患排查、事故预警，包括：

29、监控摄像头信息库模块：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址，新建场景并于监控视频流地址关联，形成视频输入；

30、目标检测模型库，包含所有潜在的目标检测模型，基于基础目标标签，在新建场景中指定需要检测的基础目标标签，将与该场景相关的目标检测模型库关联到应用场景，进行存在性判断；

31、区域约束及时间段约束模块：在新建场景中配置检测区域和检测时间段，当目标检测识别结果锚框坐标不在该区域内或检测时间段内，滤除该目标检测识别结果，进行空间及时间范围判断；

32、实时视频流目标检测结果库模块：用户存储各摄像头目标检测结果及指定取证的图片；

33、图形组态化策略库模块：用于配置及存储各级场景的安全隐患排查及事故预警策略；

34、多级策略判定结果库模块：用于输出各级安全隐患排查及事故预警结果，并对检测到的安全隐患排查及事故预警进行实时播报。

35、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

36、1、本发明通过图形组态化的方式，配置危废处置工厂的安全隐患排查和安全事故预警策略，使不了解编程的危废处置工厂工作人员也可以基于该系统进行策略开发。

37、2、本发明通过一种解耦的架构，组合衍生出多种多样的危废处置工厂安全隐患排查和安全事故预警策略，以应对动态变化的危废行业标准和安全规范、差异化的公司作业规定和安全措施。

38、3、本发明通过图像缓存队列特征识别和多种图像处理技术融合，实现对时序多帧图像的分析方法，进而得到综合性结论，降低误报率。