一种抽烟识别方法、系统、设备及存储介质与流程

1.本发明涉及图像处理领域，更具体地，涉及一种抽烟识别方法、系统、设备及存储介质。


背景技术：

2.在人类面临的健康问题中，吸烟无疑是全世界公认最为有害的一个问题。它不仅会危害自身的身心健康，同时对吸入二手烟的人群也会有较大的健康影响，直接或者间接的导致很多疾病的发生。在通风不良的办公区域中，会导致员工被迫吸二手烟，对员工的健康具有很大的影响，这种情况尤为严重。此外，吸烟也有可能导致火灾的发生，造成重大财产损失跟人员伤亡。
3.如果仅仅依赖人工来监控视频来查找吸烟人员，这种方式费时费力，同时监控视频数据量大，时间较长，容易造成人员疲劳，不能够对异常情况进行及时准确的判断。因此，有必要采用监控技术进行无烟区域的抽烟检测，减少人力物力的浪费，这时基于计算机视觉的抽烟识别检测技术就显得尤为重要。
4.传统基于图像分割、人工设计的算法进行特征提取，可以通过对吸烟烟雾进行检测推理吸烟行为，但是准确率较低，只能对特定情况下的吸烟进行检测。随着深度学习的发展，基于目标检测的吸烟识别算法得到了快速的发展，但有些检测是直接基于整张图片进行吸烟检测，且烟部存在目标占比比较小，存在模糊不清的情况，导致大量的误检跟漏检。


技术实现要素：

5.本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种抽烟识别方法、系统、设备及存储介质，用于提高抽烟识别的准确率。
6.本发明采取的技术方案是一种抽烟识别方法，所述方法包括：
7.获取待检测图像；
8.对待检测图像进行处理提取人脸区域；
9.利用yolov5模型框架对人脸区域进行抽烟检测得到抽烟检测结果；
10.其中，yolov5模型框架中的骨架特征提取网络backbone和颈部网络neck之间通过若干个并联的通道空间注意力模块连接。
11.进一步的，所述待检测图形进行人脸区域提取后还进行超分辨率增强处理，经过超分辨率增强处理后再输入到yolov5目标检测模型中进行抽烟检测。
12.进一步的，所述超分辨率增强处理采用的是基于生成对抗网络esrgan模块实现。
13.进一步的，所述基于生成对抗网络esrgan模块包括依次连接的第一rrdb模块组、第一卷积层、第二rrdb模块组、第二卷积层、upsample模块、第三卷积层、第四卷积层，第一rrdb模块组和第二rrdb模块之间采用shortcut的连接方式。
14.进一步的，所述第一rrdb模块组和第二rrdb模块组分别包括依次连接的8个rrdb模块和第五卷积层。
15.进一步的，骨架特征提取网络backbone包括顺次连接的第六卷积层、第七卷积层、3个c3模块、第八卷积层、6个c3模块、第九卷积层、9个c3模块、第十卷积层、3个c3模块和sppf模块，其中，6个c3模块、9个c3模块和sppf模块分别通过一个通道空间注意力模块与颈部网络连接；
16.其中c3模块包括两条支路，第一条支路包括顺次连接的第十一卷积层和bottleneck模块，第二条支路包括第十二卷积层，两条支路通过张量拼接concat后再进入第十三卷积层。
17.进一步的，所述通道空间注意力模块包括相互并联的空间注意力模块和通道注意力模块，输入特征分别进入空间注意力模块和通道注意力模块处理后再进行融合输出。
18.一种抽烟识别系统，所述系统包括：
19.图像获取模块，用于获取待检测图像；
20.人脸区域提取模块，用于对待检测图像进行处理提取人脸区域；
21.检测模块，用于利用yolov5模型框架对人脸区域进行抽烟检测得到抽烟检测结果；
22.其中，yolov5模型框架中的骨架特征提取网络backbone和颈部网络neck之间通过若干个并联的通道空间注意力模块连接。
23.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行计算机程序时实现如上述所述的抽烟识别方法。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的抽烟识别方法。
25.与现有技术相比，本发明的有益效果为：
26.(1)本发明的抽烟识别方法和系统都是先进行人脸检测，然后利用改进后的超分辨模块对人脸图像进行放大增强，最后输入到添加了注意力机制模块的yolov5中进行吸烟检测的识别，通过级联检测的方式可以有效提高吸烟检测的召回率，同时在一定程度上又降低了误检率。
27.(2)本发明通过超分辨率增强的方式，将人脸部分进行图像增强，相比原始分辨率扩大了一定的倍数，能够为后续的吸烟识别提供高质量高分辨率的输入图片，更好的提取图像的特征。
28.(3)本发明中的超分辨率增强处理是基于生成对抗网络esrgan，将原始堆叠的rrdb模块分成两个阶段，通过shortcut的连接方式，可以让网络更好的训练学习，同时减少了rrdb模块，使网络更为轻量化，加快了模型的推理速度。
29.(4)本发明在yolov5模型的backbone与neck之间加入并联的通道空间自注意力模块cssa(channel spatial self-attention)，该模块中通道注意力和空间注意力通过并联的方式相结合，相比串联方式的注意力机制模块计算速度更快，可以更好地提取到图像的有用信息，提升小目标的检测率。
附图说明
30.图1为本发明一种抽烟识别方法的流程图。
31.图2为本发明改进后的esrgan模块架构图。
32.图3为本发明中rrdb模块的架构图。
33.图4为本发明中改进后的yolov5的架构图。
34.图5为本发明中通道空间注意力模块cssa的架构图。
35.图6为本发明中一种抽烟识别系统的架构图。
具体实施方式
36.本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
37.实施例1
38.如图1所示，本实施例一种抽烟识别方法的流程图。参照图1，本实施例一种抽烟识别方法的具体步骤包括：
39.s101.获取待检测图像；
40.s102.对待检测图像进行处理提取人脸区域；
41.为了提高识别的准确率，对待检测图像先对人脸进行检测，定位出人脸位置，然后在人脸区域再进行吸烟识别。具体实施过程中，可以采用centerface等的人脸检测算法进行。
42.s103.所述待检测图形进行人脸区域提取后进行超分辨率增强处理；
43.s104.利用yolov5模型框架对经超分辨率增强处理后的人脸区域进行抽烟检测得到抽烟检测结果；
44.其中，yolov5模型框架中的骨架特征提取网络backbone和颈部网络neck之间通过若干个并联的通道空间注意力模块连接。
45.在本具体实施例中，对待检测图像先进行人脸区域的提取，因为抽烟的行为是人为的，因此，先对人脸进行定位，可以更好地定位到抽烟行为。其次，对提取的人脸区域进行超分辨率增强处理，可以提升人脸图像的纹理信息，当人脸图像中存在抽烟行为时，也增强了烟的清晰度，有助于提升后续的抽烟识别的准确率；最后，本具体实施例利用通道注意力和空间注意力相结合的方式来改进yolov5模型，可以让特征更加有效地关注到待识别物体的部位，最终判别物体的概率也更高，提高对抽烟识别的准确率。
46.在具体实施过程中，如图2所示，所述超分辨率增强处理采用的是基于生成对抗网络esrgan模块实现，而且对esrgan模块进行了改进，具体的：
47.所述基于生成对抗网络esrgan模块包括依次连接的第一rrdb模块组、第一卷积层(conv)、第二rrdb模块组、第二卷积层(conv)、upsample模块、第三卷积层(conv)、第四卷积层(conv)，第一rrdb模块组和第二rrdb模块之间采用shortcut的连接方式；
48.其中所述第一rrdb模块组和第二rrdb模块组分别包括依次连接的8个rrdb模块和第五卷积层(conv)，所述的rrdb模块的组成如图3所示。
49.在安防监控场景下，通常所用的摄像头分辨率是1080p，烟的物体尺寸本身就比较小，同时又受现场各种光照环境的影响，使得拍摄到的烟的清晰度更为模糊不清。基于这一情况，在进行抽烟识别之前，先对人脸区域的图像进行超分辨率的增强，可以提高识别率。
50.现有的esrgan模块在进入upsample模块之前是采用了23个rrdb模块串联而成，考
虑到网络更好地收敛，同时也为了减少计算量，本具体实施例将现有技术中的23个rrdb模块修改成2个阶段的方式串联，每个阶段采用8个rrdb模块，同时采用shortcut的连接方式，加快网络的收敛。本发明将检测到的人脸图像经过改进的生成对抗网络esrgan后可以将人脸图像的分辨率放大4倍，提升人脸图像的纹理信息，当人脸图像中存在抽烟时，也增强了烟的清晰度，有助于提升后续的吸烟检测的准确率。
51.在具体实施过程中，所述并联的通道空间注意力模块包括相互并联的空间注意力模块和通道注意力模块，输入特征分别进入空间注意力模块和通道注意力模块处理后再进行融合输出。
52.在通道自注意力模块中，特征的每一个通道都代表着一个专门的检测器，它能够让模型更加关注到有用信息，起到增强作用，同时又弱化了无关通道信息，让网络对有用通道信息的关注度更强。
53.空间自注意力模块关注的是哪里的特征具有更强的代表意义。如图5所示，本具体实施例将通道自注意力模块(channel self-attention)跟空间自注意力模块(spatial self-attention)两者通过并联的方式结合，相比串联的方式计算更快，同时也可以让特征更加有效地关注到待识别物体的部位，最终判别物体的概率也更高，提高对吸烟的检测率。
54.具体的，如图4所示，骨架特征提取网络backbone包括顺次连接的第六卷积层、第七卷积层、3个串联的c3模块、第八卷积层、6个串联的c3模块、第九卷积层、9个串联的c3模块、第十卷积层、3个串联的c3模块和sppf模块，其中，6个串联的c3模块、9个串联的c3模块和sppf模块分别通过一个并联的通道空间注意力模块cssa与颈部网络连接；
55.其中c3模块包括两条支路，第一条支路包括顺次连接的第十一卷积层和bottleneck模块，第二条支路包括第十二卷积层，两条支路通过张量拼接concat后再进入第十三卷积层。
56.本发明的抽烟识别方法先进行人脸检测，然后利用改进后的超分辨模块对人脸图像进行放大增强，最后输入到添加了注意力机制模块的yolov5中进行吸烟检测的识别，通过级联检测的方式可以有效提高吸烟检测的召回率，同时在一定程度上又降低了误检率，提高了抽烟的识别率。
57.实施例2
58.如图6所示，本具体实施例提供一种抽烟识别系统，所述系统包括：
59.图像获取模块201，用于获取待检测图像；
60.人脸区域提取模块202，用于对待检测图像进行处理提取人脸区域；
61.为了提高识别的准确率，利用人脸区域提取模块202对待检测图像先对人脸进行检测，定位出人脸位置，然后在人脸区域再进行吸烟识别。具体实施过程中，可以采用centerface等的人脸检测算法进行。
62.超分辨率增强模块203，用于所述待检测图形进行人脸区域提取后进行超分辨率增强处理；
63.检测模块204，用于利用yolov5模型框架对人脸区域进行抽烟检测得到抽烟检测结果；
64.其中，yolov5模型框架中的骨架特征提取网络backbone和颈部网络neck之间通过若干个并联的通道空间注意力模块连接。
65.在本具体实施例中，利用人脸区域提取模块202对待检测图像先进行人脸区域的提取，因为抽烟的行为是人为的，因此，先对人脸进行定位，可以更好地定位到抽烟行为。其次，利用超分辨率增强模块203对提取的人脸区域进行超分辨率增强处理，可以提升人脸图像的纹理信息，当人脸图像中存在抽烟行为时，也增强了烟的清晰度，有助于提升后续的抽烟识别的准确率；最后，本具体实施例利用检测模块204基于通道注意力和空间注意力相结合的方式来改进yolov5模型，可以让特征更加有效的关注到待识别物体的部位，最终判别物体的概率也更高，提高对抽烟识别的准确率。
66.在具体实施过程中，超分辨率增强模块203的超分辨率增强处理采用的是基于生成对抗网络esrgan模块实现，而且对esrgan模块进行了改进，如图2所示，具体的：
67.所述基于生成对抗网络esrgan模块包括依次连接的第一rrdb模块组、第一卷积层(conv)、第二rrdb模块组、第二卷积层(conv)、upsample模块、第三卷积层(conv)、第四卷积层(conv)，第一rrdb模块组和第二rrdb模块之间采用shortcut的连接方式；
68.其中所述第一rrdb模块组和第二rrdb模块组分别包括依次连接的8个rrdb模块和第五卷积层(conv)，所述的rrdb模块的组成如图3所示。
69.在安防监控场景下，通常所用的摄像头分辨率是1080p，烟的物体尺寸本身就比较小，同时又受现场各种光照环境的影响，使得所拍摄的烟的清晰度更为模糊不清。基于这一情况，在进行抽烟识别之前，先对人脸区域的图像进行超分辨率的增强，可以提高识别率。
70.现有的esrgan模块在进入upsample模块之前是采用了23个rrdb模块串联而成，考虑到网络更好的收敛，同时也为了减少计算量，本具体实施例将23个rrdb模块修改成2个阶段的方式串联，每个阶段采用8个rrdb模块，同时采用shortcut的连接方式，加快网络的收敛。本发明将检测到的人脸图像经过改进的生成对抗网络esrgan后可以将人脸图像的分辨率放大4倍，提升人脸图像的纹理信息，当人脸图像中存在抽烟时，也增强了烟的清晰度，有助于提升后续的吸烟检测的准确率。
71.在具体实施过程中，检测模块204中的所述通道空间注意力模块包括相互并联的空间注意力模块和通道注意力模块，输入特征分别进入空间注意力模块和通道注意力模块处理后再进行融合输出。
72.在通道自注意力模块中，特征的每一个通道都代表着一个专门的检测器，它能够让模型更加关注到有用信息，起到增强作用，同时又弱化了无关通道信息，让网络对有用通道信息的关注度更强。
73.空间自注意力模块关注的是哪里的特征具有更强的代表意义。
74.如图5所示，本具体实施例将通道自注意力模块(channel self-attention)跟空间自注意力模块(spatial self-attention)两者通过并联的方式结合，相比串联的方式计算更快，同时也可以让特征更加有效的关注到待识别物体的部位，最终判别物体的概率也更高，提高对吸烟的检测率。
75.具体的，如图4所示，骨架特征提取网络backbone包括顺次连接的第六卷积层、第七卷积层、3个串联的c3模块、第八卷积层、6个串联的c3模块、第九卷积层、9个串联的c3模块、第十卷积层、3个串联的c3模块和sppf模块，其中，6个c3串联的模块、9个串联的c3模块和sppf模块分别通过一个通道空间注意力模块cssa与颈部网络连接；
76.其中c3模块包括两条支路，第一条支路包括顺次连接的第十一卷积层和
bottleneck模块，第二条支路包括第十二卷积层，两条支路通过张量拼接conact后再进入第十三卷积层。
77.本发明的抽烟识别系统先进行人脸检测，然后利用超分辨率增强模块203利用改进后的超分辨模块对人脸图像进行放大增强，最后输入到检测模块204中添加了注意力机制模块的yolov5中进行吸烟检测的识别，通过级联检测的方式可以有效提高吸烟检测的召回率，同时在一定程度上又降低了误检率，提高了抽烟的识别率。
78.显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。