基于深度学习的烟雾检测方法、装置、介质及设备

本发明涉及烟雾图像识别，特别涉及一种基于深度学习的烟雾检测方法、装置、介质及设备。

背景技术：

1、在工业生产中，一些生产原料(如钕铁硼粉)在空气中具有自燃特性，环境温度稍高后其浓度达到一定程度时就会发生自燃，而一旦自燃后很难快速扑灭，极易发生重大事故，造成重大损失，因此及早发现火灾的预兆，提前采取措施至关重要。

2、烟雾、温度、气体作为火灾发生前期的重要特征，都可以作为火灾预警的依据。传统火灾预警系统主要依靠烟雾传感器来检测烟雾，这种检测方式一般受限于空间、烟雾浓度的制约，特别是在复杂的工艺生产环境下，很难起到有效的预警作用。

3、针对传统烟感检测烟雾所存在的问题，研究者们提出通过图像或视频来识别烟雾进而预警火灾。目前，基于图像的烟雾检测方法包括有局部二值模式、小波变换、光流法等，这些方法通过提取烟雾的纹理、颜色等特征来检测烟雾。然而这些方法普遍存在以下问题，由于烟雾会经历聚集、升腾、随风扩散直至消散的动态变化过程，在动态变化过程中烟雾的纹理、颜色等特征也在变化，由于这些烟雾检测方法采用固定算法，按固定的烟雾纹理、颜色特征进行烟雾检测，因此这些烟雾检测方法不能准确地检测动态变化的烟雾，对烟雾的跟踪效果较差。

技术实现思路

1、有鉴于此，本发明提供了一种基于深度学习的烟雾检测方法、装置、介质及设备，主要目的在于解决目前烟雾检测方法不能准确地检测动态变化的烟雾，对烟雾的跟踪效果较差的问题。

2、根据本技术的一个方面，提供了一种基于深度学习的烟雾检测方法，该方法包括：

3、实时获取连续拍摄的目标区域的多帧待检测图像，分别对每帧待检测图像进行灰度处理，得到多个灰度图，按所述灰度图对应的待检测图像的拍摄次序，将第一预设数量的灰度图作为一个灰度图像集，得到多个灰度图像集；

4、分别对每个灰度图像集进行帧差处理，得到每个灰度图像集对应的帧差掩码图，按所述帧差掩码图对应的灰度图像集的先后次序将第二预设数量的帧差掩码图作为一个掩码图集，得到多个掩码图集，并获取每个掩码图集对应的多个待检测图像；

5、计算每个掩码图集中每个帧差掩码图的移动物体区域面积，基于每个掩码图集中的多个移动物体区域面积，判断所述每个掩码图集对应的多个待检测图像中是否存在潜在烟雾区域；

6、当任一掩码图集对应的多个待检测图像中存在潜在烟雾区域时，对所述任一掩码图集对应的多个待检测图像进行烟雾特征提取，得到多个烟雾特征图；

7、基于所述多个烟雾特征图和预设的深度学习模型计算所述任一掩码图集对应的每帧待检测图像的烟雾置信度，根据所述烟雾置信度，确定烟雾检测结果。

8、可选地，所述分别对每个灰度图像集进行帧差处理，得到每个灰度图像集对应的帧差掩码图，包括：

9、基于所述灰度图像集中第一个灰度图和最后一个灰度图，计算每个像素点的像素值差值；

10、基于所述每个像素点的像素值差值和像素阈值，生成帧差掩码图，其中，在所述帧差掩码图中，所述像素值差值大于所述像素阈值的像素点设置为白色，所述像素值差值小于或等于所述像素阈值的像素点设置为黑色。

11、可选地，所述计算每个掩码图集中每个帧差掩码图的移动物体区域面积，基于每个掩码图集中的多个移动物体区域面积，判断所述每个掩码图集对应的多个待检测图像中是否存在潜在烟雾区域，包括：

12、基于所述帧差掩码图中像素点的颜色，计算所述每个掩码图集中每个帧差掩码图中移动物体区域的面积；

13、基于所述每个掩码图集中多个移动物体区域的面积，获取每个掩码图集中移动物体区域的面积属于面积范围的帧差掩码图数量；

14、根据所述帧差掩码图数量确定所述每个掩码图集对应的多个待检测图像是否存在潜在烟雾区域

15、可选地，所述根据所述帧差掩码图数量确定所述每个掩码图集对应的多个待检测图像是否存在潜在烟雾区域，包括：

16、当所述帧差掩码图数量大于或等于数量阈值时，则所述掩码图集对应的多个待检测图像存在潜在烟雾区域；

17、当所述帧差掩码图数量小于数量阈值时，则所述掩码图集对应的多个待检测图像不存在潜在烟雾区域。

18、可选地，所述对所述任一掩码图集对应的多个待检测图像进行烟雾特征提取，得到多个烟雾特征图，包括：

19、基于二维卷积对所述待检测图像进行卷积处理，得到第一烟雾特征图；

20、基于第一空洞卷积对所述第一烟雾特征图进行卷积处理，得到第二烟雾特征图，基于通道注意力机制对所述第二烟雾特征图进行处理，得到通道注意特征图；

21、基于第二空洞卷积对所述第一烟雾特征图进行卷积处理，得到第三烟雾特征图，基于空间注意力机制对所述第三烟雾特征图进行处理，得到空间注意特征图，其中，所述第一空洞卷积与所述第二空洞卷积的通道数不同；

22、将所述通道注意特征图和所述空间注意特征图进行融合，得到烟雾特征图。

23、可选地，所述根据所述烟雾置信度，确定烟雾检测结果，包括：

24、当所述待检测图像的烟雾置信度大于或等于置信度阈值时，确定所述待检测图像中存在烟雾。

25、可选地，在确定所述待检测图像中存在烟雾之后，所述烟雾检测方法还包括：

26、获取所述待检测图像对应的感兴趣区域和帧差掩码图，基于对应的感兴趣区域和帧差掩码图，对所述待检测图像中的烟雾区域进行增强处理。

27、可选地，所述分别对每帧待检测图像进行灰度处理，得到多个灰度图，包括：

28、分别对每帧待检测图像进行初步烟雾检测，得到每帧待检测图像对应的感兴趣区域；

29、分别对每个感兴趣区域进行灰度变换，得到每个感兴趣区域对应的灰度图。

30、根据本技术的另一个方面，提供了一种基于深度学习的烟雾检测装置，包括：

31、灰度图像集获取模块，用于实时获取连续拍摄的目标区域的多帧待检测图像，分别对每帧待检测图像进行灰度处理，得到多个灰度图，按所述灰度图对应的待检测图像的拍摄次序，将第一预设数量的灰度图作为一个灰度图像集，得到多个灰度图像集；

32、掩码图集获取模块，用于分别对每个灰度图像集进行帧差处理，得到每个灰度图像集对应的帧差掩码图，按所述帧差掩码图对应的灰度图像集的先后次序将第二预设数量的帧差掩码图作为一个掩码图集，得到多个掩码图集，并获取每个掩码图集对应的多个待检测图像；

33、烟雾区域判断模块，用于计算每个掩码图集中每个帧差掩码图的移动物体区域面积，基于每个掩码图集中的多个移动物体区域面积，判断所述每个掩码图集对应的多个待检测图像中是否存在潜在烟雾区域；

34、烟雾特征图获取模块，用于当任一掩码图集对应的多个待检测图像中存在潜在烟雾区域时，对所述任一掩码图集对应的多个待检测图像进行烟雾特征提取，得到多个烟雾特征图；

35、检测结果确定模块，用于基于所述多个烟雾特征图和预设的深度学习模型计算所述任一掩码图集对应的每帧待检测图像的烟雾置信度，根据所述烟雾置信度，确定烟雾检测结果。

36、可选地，所述掩码图集获取模块还用于：

37、基于所述灰度图像集中第一个灰度图和最后一个灰度图，计算每个像素点的像素值差值；

38、基于所述每个像素点的像素值差值和像素阈值，生成帧差掩码图，其中，在所述帧差掩码图中，所述像素值差值大于所述像素阈值的像素点设置为白色，所述像素值差值小于或等于所述像素阈值的像素点设置为黑色。

39、可选地，所述烟雾区域判断模块还用于：

40、基于所述帧差掩码图中像素点的颜色，计算所述每个掩码图集中每个帧差掩码图中移动物体区域的面积；

41、基于所述每个掩码图集中多个移动物体区域的面积，获取每个掩码图集中移动物体区域的面积属于面积范围的帧差掩码图数量；

42、根据所述帧差掩码图数量确定所述每个掩码图集对应的多个待检测图像是否存在潜在烟雾区域。

43、可选地，所述烟雾区域判断模块还用于：

44、当所述帧差掩码图数量大于或等于数量阈值时，则所述掩码图集对应的多个待检测图像存在潜在烟雾区域；

45、当所述帧差掩码图数量小于数量阈值时，则所述掩码图集对应的多个待检测图像不存在潜在烟雾区域。

46、可选地，所述烟雾特征图获取模块还用于：

47、基于二维卷积对所述待检测图像进行卷积处理，得到第一烟雾特征图；

48、基于第一空洞卷积对所述第一烟雾特征图进行卷积处理，得到第二烟雾特征图，基于通道注意力机制对所述第二烟雾特征图进行处理，得到通道注意特征图；

49、基于第二空洞卷积对所述第一烟雾特征图进行卷积处理，得到第三烟雾特征图，基于空间注意力机制对所述第三烟雾特征图进行处理，得到空间注意特征图，其中，所述第一空洞卷积与所述第二空洞卷积的通道数不同；

50、将所述通道注意特征图和所述空间注意特征图进行融合，得到烟雾特征图。

51、可选地，所述检测结果确定模块还用于：

52、当所述待检测图像的烟雾置信度大于或等于置信度阈值时，确定所述待检测图像中存在烟雾。

53、可选地，所述检测结果确定模块还用于：

54、在确定所述待检测图像中存在烟雾之后，获取所述待检测图像对应的感兴趣区域和帧差掩码图，基于对应的感兴趣区域和帧差掩码图，对所述待检测图像中的烟雾区域进行增强处理。

55、可选地，所述灰度图像集获取模块还用于：

56、分别对每帧待检测图像进行初步烟雾检测，得到每帧待检测图像对应的感兴趣区域；

57、分别对每个感兴趣区域进行灰度变换，得到每个感兴趣区域对应的灰度图。

58、根据本技术的另一个方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述基于深度学习的烟雾检测方法对应的操作。

59、根据本技术的另一个方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

60、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于深度学习的烟雾检测方法对应的操作。

61、借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

62、本技术提供的一种基于深度学习的烟雾检测方法、装置、设备及介质，对连续拍摄的目标区域的多帧待检测图像分别进行灰度处理，获得多个灰度图像集，利用帧差法生成每个灰度图像集对应的帧差掩码图，帧差掩码图能够反映移动物体区域，将多个帧差掩码图划分为多个掩码图集，计算掩码图集中每个帧差掩码图的移动物体区域面积，基于每个掩码图集中多个移动物体区域面积，判断掩码图集对应的待检测图像是否存在潜在烟雾区域，当任一掩码图集对应的待检测图像存在潜在烟雾区域时，对任一掩码图集对应的多个待检测图像进行烟雾特征提取，得到多个烟雾特征图，将每个烟雾特征图输入至预设的深度学习模型计算每帧待检测图像的烟雾置信度，根据烟雾置信度，确定每帧待检测图像的烟雾检测结果，由于帧差掩码图能够反映移动物体区域，能够捕获并跟踪包括烟雾在内的具有动态特征的区域，因此根据多个帧差掩码图的移动物体区域的面积判定存在潜在烟雾区域，将存在烟雾区域的待检测图像进行烟雾特征提取和烟雾检测，能够准确地检测动态变化的烟雾，对烟雾进行有效跟踪。

63、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。