一种安全通道堵塞检测方法、装置、设备及存储介质与流程

本发明涉及工厂安全管控，特别是涉及一种适用于工厂环境中使用的安全通道堵塞检测方法、装置、设备及存储介质。

背景技术：

1、近来，工厂场景中安全事故频发，其中包括不限于安全通道堵塞造成的人员拥挤，火焰发生无法通过安全通道逃生等情况。因此，可以看出安全通道的通畅对于人群疏散，火焰逃生是非常重要的前提，也是安全逃生的重要一环，因此对于安全通道堵塞时及时报警，及时清理堵塞尤为重要。

2、对于安全通道堵塞的检测有过多种尝试，最初采用人为查看监控视频，实时关注的方案为主，这种方案需要监控人员长时间，高强度的保持注意力集中，工厂无法大面积铺开这种方案，具有费时费力消耗人力成本等缺点，因此这种方式基本被取消。随着图像检测技术的发展，利用目标检测技术对于堵塞进行检测的方案应运而生，此方案通过对通道是否存在物体进行检测，从而实现堵塞检测。

3、但是由于工厂环境复杂，堵塞物体种类繁多，且没有固定的类别限制，利用传统的目标检测的方案来进行安全通道堵塞检测，会出现无法全方位覆盖的情况。例如，行人以及行驶中的车辆等可以移动物体作为非堵塞物，一旦被检测到经常出现误判。

4、因此，如何提供一种适用于工厂环境中安全通道堵塞检测方法，可以对工厂中不同环境下的通道堵塞问题进行准确检测，是迫切需要本领域技术人员解决的技术问题。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种安全通道堵塞检测方法、装置、设备及存储介质。可以很好的对工厂中不同环境下的通道堵塞问题进行检测，同时具备扩展能力，根据不同的工厂环境还可以对特征提取网络进行定制，具有很强的泛化能力。

2、本发明提供了如下方案：

3、一种安全通道堵塞检测方法，包括：

4、获取待测图片，所述待测图片为通过图像摄取设备获取到的目标区域的图片；

5、利用训练后的目标检测网络对所述待测图片进行检测确定包含目标对象；所述目标对象包括人员以外的可移动对象；

6、连续采集包含所述目标对象的多帧采样图片，并利用所述目标检测网络分别对多帧所述采样图片进行检测获得多个目标检测框；

7、采用卡尔曼滤波预测每个所述目标检测框的位置，采用匈牙利算法进行相似度匹配，得到所述目标对象的行动轨迹；

8、根据所述行动轨迹判断此时所述目标对象是否移动；

9、确定所述目标对象处于移动状态，利用训练完成的度量学习基础网络将所述待检测图片中的所述目标对象进行涂黑处理获得目标图片；

10、利用度量学习方法将所述目标图片与非堵塞库中的图片进行特征比较，利用余弦距离计算两张图片相似度，根据相似度计算结果，判断是否存在堵塞情况。

11、优选地：所述目标检测网络包括yolov5目标检测网络；所述yolov5目标检测网络的基网络采用cspdarknet53用于提取目标图像不同层的特征；所述yolov5目标检测网络的融合网络采用spp模块配合fpn和pan结构，用于进行特征融合；所述yolov5目标检测网络的损失函数采用c i ou_loss。

12、优选地：通过gan数据生成技术学习工厂光照特点，对采集样本进行针对不同光照和环境性的扩张，模拟生成不同光照条件下的图片；

13、对部分遮挡和模糊样本作为困难样本进行增加；

14、利用图像标注工作，按voc2007数据集的标记格式对其中可移动对象类样本进行样本标记，以便获得检测样本数据集；所述样本数据集用于所述目标检测网络的训练。

15、优选地：连续采集包含所述目标对象的30帧采样图片；并利用所述目标检测网络分别对30帧所述采样图片进行检测获得30个目标检测框；

16、根据所述行动轨迹判断此时所述目标对象是否移动；包括：

17、将第一帧结果与随后每一帧结果进行bbox匹配，直至最后一帧结果；

18、若bbox的重心均为发生20个像素内的偏移，确定所述目标对象为静止状态；

19、若重心在30帧结果中出现偏移，且呈一条运动轨迹行进，确定所述目标对象为移动状态。

20、优选地：所述度量学习基础网络包括resnet网络配合arcface loss函数的网络架构。

21、优选地：利用所述度量学习基础网络对ga l l ery库中图片进行特征提取，选择自适应平均池化层后的向量，作为特征向量emb_g存入向量ga l l ery库中。

22、优选地：将所述相似度计算结果归一化到百分制，当相似度超过90％时，确定通道为非堵塞状态；当相似度小于90％，确定为安全通道堵塞状态。

23、一种安全通道堵塞检测装置，所述装置包括：

24、图片获取单元，用于获取待测图片，所述待测图片为通过图像摄取设备获取到的目标区域的图片；

25、目标对象确定单元，用于利用训练后的目标检测网络对所述待测图片进行检测确定包含目标对象；所述目标对象包括人员以外的可移动对象；

26、目标检测框获取单元，用于连续采集包含所述目标对象的多帧采样图片，并利用所述目标检测网络分别对多帧所述采样图片进行检测获得多个目标检测框；

27、行动轨迹获取单元，用于采用卡尔曼滤波预测每个所述目标检测框的位置，采用匈牙利算法进行相似度匹配，得到所述目标对象的行动轨迹；

28、是否移动判断单元，用于根据所述行动轨迹判断此时所述目标对象是否移动；

29、目标图片获取单元，用于确定所述目标对象处于移动状态，利用训练完成的度量学习基础网络将所述待检测图片中的所述目标对象进行涂黑处理获得目标图片；

30、堵塞情况判断单元，用于利用度量学习方法将所述目标图片与非堵塞库中的图片进行特征比较，利用余弦距离计算两张图片相似度，根据相似度计算结果，判断是否存在堵塞情况。

31、一种检测设备，所述设备包括处理器以及存储器：

32、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

33、所述处理器用于根据所述程序代码中的指令执行上述的安全通道堵塞检测方法。

34、一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的安全通道堵塞检测方法。

35、根据本发明提供的具体实施例，本发明公开了以下技术效果：

36、本申请实施例提供的一种安全通道堵塞检测方法、装置、设备及存储介质，利用图像目标检测技术对非阻塞物体和行人进行筛除，然后利用图像跟踪算法，判断运动物体是否为堵塞，最后采用度量学习算法来完成最后的堵塞图片与非堵塞图片进行相似度比较，确定是否为安全通道堵塞，该方法具有非接触式，间接检测的特点，同时具有适应性强，泛化能力高的特点。可以无缝部署在不同的工厂中。

37、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种安全通道堵塞检测方法，其特征在于，包括：

2.根据权利要求1所述的安全通道堵塞检测方法，其特征在于，所述目标检测网络包括yolov5目标检测网络；所述yolov5目标检测网络的基网络采用cspdarknet53用于提取目标图像不同层的特征；所述yolov5目标检测网络的融合网络采用spp模块配合fpn和pan结构，用于进行特征融合；所述yolov5目标检测网络的损失函数采用ciou_loss。

3.根据权利要求2所述的安全通道堵塞检测方法，其特征在于，通过gan数据生成技术学习工厂光照特点，对采集样本进行针对不同光照和环境性的扩张，模拟生成不同光照条件下的图片；

4.根据权利要求1所述的安全通道堵塞检测方法，其特征在于，连续采集包含所述目标对象的30帧采样图片；并利用所述目标检测网络分别对30帧所述采样图片进行检测获得30个目标检测框；

5.根据权利要求1所述的安全通道堵塞检测方法，其特征在于，所述度量学习基础网络包括resnet网络配合arcface loss函数的网络架构。

6.根据权利要求5所述的安全通道堵塞检测方法，其特征在于，利用所述度量学习基础网络对gallery库中图片进行特征提取，选择自适应平均池化层后的向量，作为特征向量emb_g存入向量gallery库中。

7.根据权利要求1所述的安全通道堵塞检测方法，其特征在于，将所述相似度计算结果归一化到百分制，当相似度超过90％时，确定通道为非堵塞状态；当相似度小于90％，确定为安全通道堵塞状态。

8.一种安全通道堵塞检测装置，其特征在于，所述装置包括：

9.一种检测设备，其特征在于，所述设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的安全通道堵塞检测方法。

技术总结
本发明公开了一种安全通道堵塞检测方法、装置、设备及存储介质，该方法利用图像目标检测技术对非阻塞物体和行人进行筛除，然后利用图像跟踪算法，判断运动物体是否为堵塞，最后采用度量学习算法来完成最后的堵塞图片与非堵塞图片进行相似度比较，确定是否为安全通道堵塞，该方法具有非接触式，间接检测的特点，同时具有适应性强，泛化能力高的特点。可以无缝部署在不同的工厂中。

技术研发人员：牟骏杰,蔡华闽,陈昌金,罗凡程,肖杰,王鑫,李小兰
受保护的技术使用者：中国兵器装备集团自动化研究所有限公司
技术研发日：
技术公布日：2024/1/12