基于多传感器融合抽烟行为检测方法、系统及存储介质与流程

本发明属于图像识别，具体涉及一种基于多传感器融合的抽烟行为检测方法、系统及存储介质。

背景技术：

1、油气站属于危化单位，在油气站内的抽烟行为易导致危险事故发生。现有各油气站智能平台的员工识别方案中，采用大量采集、标注、清洗油气站员工数据，对不同的深度模型进行训练，通过测试后上线部署运行。

2、当前针对油气站内抽烟行为的识别方法主要分为两类：1.安保人员在监控室查看现场实时监控画面，基于经验判断是否存在抽烟行为；2.智能平台分析监控视频判断，这类方法主要通过对抽烟行为进行数据采集、标注、清洗后，对深度模型进行训练，完成训练后部署运行。

3、这两种识别方法存在三个方面的问题：

4、1.人力成本高。安保人员实时监察监控视频需要高度集中注意力，成本高、效率低，抽烟行为属于小概率时间，极容易由于疏忽导致遗漏而造成危险事故。

5、2.识别精度低，烟属于场景中的小目标，现有纯依赖于视觉的算法在识别抽烟行为时容易和“摘口罩”、“扶眼镜”等手与脸交互的动作相混淆，造成极大误识别。

6、3.多维信息挖掘不充分，抽烟过程中，烟头的热量是明显高于周围环境的，现有方法忽略了这一重要特性，导致识别结果只能达到次优准确率。

7、快速并精确的识别油气站内的抽烟行为对保障油气站安全运营具有重要作用。本发明旨在利用多传感器融合技术和计算机视觉技术，实现油气站内抽烟行为正确、高效检测。

技术实现思路

1、为了解决目前油气站内纯依赖视觉算法在识别抽烟行为时容易造成误识别的技术问题，本发明实施例提出一种基于多传感器融合的抽烟行为检测方法、系统及存储介质，本发明实施例能够快速并且具有较高置信度地识别吸烟行为。

2、第一方面，本发明实施例提供一种基于多传感器融合的抽烟行为检测方法，包括：

3、获取图像数据，其中，所述图像数据包括光学图像数据和红外图像数据；

4、对所述光学图像数据进行元素分割，得到第一行人所在区域；

5、基于所述第一行人所在区域，获取所述红外图像数据中的行人所在区域，所述红外图像数据中的行人所在区域为第二行人所在区域；

6、将所述第一行人所在区域和所述第二行人所在区域进行图像拼接，得到拼接结果；并基于所述拼接结果得到行人的抽烟概率；

7、将所述第二行人所在区域进行二值化处理，提取大于特定阈值的区域，所述大于特定阈值的区域为前景区域；

8、获取前景区域与行人手的位置关系；

9、基于所述位置关系以及所述抽烟概率，确定所述行人的抽烟行为状态。

10、进一步的，所述基于所述第一行人所在区域，获取所述红外图像数据中的行人所在区域，包括：

11、对产生光学图像数据的设备和产生红外图像数据的设备进行设备间标定；

12、基于所述设备间标定，实现所述光学图像数据和所述红外图像数据的对齐；

13、基于所述光学图像数据和所述红外图像数据的对齐关系以及所述第一行人所在区域，从所述红外图像数据中获取与所述第一行人所在区域相对应位置的区域，所述与所述第一行人所在区域相对应位置的区域为所述第二行人所在区域。

14、进一步的，将光学视图行人图像和红外视图行人图像拼接，并通过深度模型得到行人的抽烟概率，具体包括以下步骤：

15、将光学视图行人图像和红外视图行人图像合并，得到合并之后的图像ifuse(i，j)＝[ibgr(i，j)，ihong(i，j)],其中i∈[1，w]，j∈[1，h],w和h分别为光学图像和红外图像的分辨率；

16、所述基于所述拼接结果得到行人的抽烟概率，包括：

17、对所述拼接结果进行特征提取处理，得到图像特征编码；

18、输入至深度神经网络中，进行联合图像特征编码f1；

19、利用长短时记忆网络将多帧图像特征f＝{f1,f2...，fn}进行特征融合；

20、基于监督学习策略学习抽烟行为，得到抽烟概率。

21、进一步的，所述基于所述位置关系以及所述抽烟概率，确定所述行人的抽烟行为状态，包括：

22、若所述前景区域和行人手的像素距离在预设距离阈值内、且所述抽烟概率大于预设概率阈值，则确定所述行人的抽烟行为状态为具备抽烟行为。

23、进一步的，所述基于所述位置关系以及所述抽烟概率，确定所述行人的抽烟行为状态，包括：

24、基于所述位置关系、所述位置关系对应的持续时长以及所述抽烟概率，确定所述行人的抽烟行为状态。

25、进一步的，所述基于所述位置关系、所述位置关系对应的持续时长以及所述抽烟概率，确定所述行人的抽烟行为状态，包括：

26、若所述前景区域和行人手的像素距离在预设距离阈值内、且所述前景区域和行人手的像素距离在预设距离阈值内的持续时长超过预设时间阈值、且所述抽烟概率大于预设概率阈值，则确定所述行人的抽烟行为状态为具备抽烟行为。

27、第二方面，本发明实施例提供一种基于多传感器融合的抽烟行为检测装置，包括：

28、行人检测和提取部，获取光学成像仪拍摄的监控图像或视频数据，对光学视图进行动静元素分割，提取行人所在区域；

29、红外剪裁部，基于光学视图中行人所在的区域，裁剪红外热成像视图中行人所在的区域；

30、视图拼接部，将光学视图行人图像和红外视图行人图像拼接；

31、抽烟概率计算部，对拼接后的图像通过深度模型得到行人的抽烟概率；

32、二次校验部，将剪裁后的红外热成像视图进行二值化处理，提取大于特定阈值的区域，并基于手的区域空间关系判断行人是否符合抽烟行为；

33、结果判断部，判断得出行人是否存在抽烟行为。

34、第三方面，本发明实施例提供一种计算机存储介质，其中存储有基于多传感器融合的抽烟行为检测程序，当执行所述程序时，执行所述的抽烟行为检测方法的步骤。

35、技术效果

36、本发明实施例通过结合可见光和红外视图联合检测抽烟行为，通过联合编码，以利用行人区域来大幅度降低信息的冗余区域，带来如下有益的效果:

37、(1)本发明实施例首次将热成像仪传感器结合光学摄像机成像内容用于识别油气站内抽烟行为，以解决现有方法识别抽烟行为时需要依赖高人力成本监控以及识别精度低的不足。

38、(2)本发明实施例以深度学习模型为基础，输出行人存在抽烟行为的概率，并在实时视频监控中，基于热成像仪热力图二次校验是否存在抽烟行为，能极大提高油气站内抽烟行为的识别精度。

39、(3)本发明实施例考虑基于行人区域可以大幅度降低信息冗余区域，降低算法的负荷，提高算法的准确度和运算效率。

40、(4)本发明实施例结合抽烟的时序动的特点，考虑了时间信息，可以大幅度提高准确性降低误判。

41、(5)本发明实施例可以及时的通过声、激光的方式报警，提高油气站内的安全。