烟雾检测方法、系统、介质及设备与流程

本发明属于视觉识别技术领域，尤其涉及一种烟雾检测方法、系统、介质及设备。

背景技术：

火灾是人们生产生活中易发的灾害之一，而烟雾是火灾发生的重要早期特征之一，通过对烟雾进行检测能够及时的预判火灾的发生，从而能够及时采取措施，降低对人民生命财产造成的损失。同时烟雾也是环保检测的重要指标之一，对烟雾进行检测能够辅助对空气质量的评估。

传统的烟雾检测方法主要是基于烟雾传感器等烟雾报警装置实现。但这种烟雾传感器需要在烟雾到达之后才能检测，而在大空间中烟雾扩散会被高度、气流等影响导致烟雾难以到达烟雾传感器，从而导致烟雾传感器不能检测到烟雾。同时在大空间中烟雾的浓度也是制约烟雾传感器工作的一个重要因素，往往在烟雾浓度达到触发烟雾传感器时，火势已经难以控制了，错过最佳的救援时间，造成较大的损失。

基于深度学习的烟雾检测算法能够解决传统烟雾检测的一些问题，且具有监控范围广、监控距离远、反应快速等显著的特点。但由于烟雾的形状不固定，变化较大，造成标注困难，导致基于深度学习的烟雾检测算法的准确度不高；同时受限于计算资源，基于深度学习的烟雾检测算法实时性也是制约相应算法落地的技术性问题之一。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决采用深度学习技术进行烟雾检测时存在的对大批量烟雾图像进行烟雾标注难度大以及在利用计算机等设备执行相应算法时对计算资源消耗较大的问题，本发明提供了一种烟雾检测方法，包括：

利用有标签数据的第一类烟雾图像样本训练得到第一检测模型，其中，所述标签数据包括烟雾区域；

采用所述第一检测模型对无标签数据的第二类烟雾图像样本进行烟雾检测，以获取每个所述第二类烟雾图像样本中的烟雾区域并且根据检测结果分别生成每个所述第二类烟雾图像样本的标签数据；

根据所述第一类烟雾图像样本、所述第二类烟雾图像样本以及各自对应的标签数据，构建烟雾图像训练集；

采用知识蒸馏算法，使所述第一检测模型指导第二检测模型使用所述烟雾图像训练集进行模型训练，得到烟雾检测模型；

采用所述烟雾检测模型对待检测图像进行烟雾检测。

在上述烟雾检测方法的一个可选技术方案中，在“采用所述烟雾检测模型对待检测图像进行烟雾检测”的步骤之后，所述方法还包括：

根据所述烟雾检测模型对待检测图像进行烟雾检测得到的烟雾检测结果，分别获取从相邻的多帧待检测图像中每帧待检测图像上检测到的烟雾区域以及相应的置信度；

对每帧所述待检测图像进行烟雾扩散分析，获得烟雾扩散分值；

根据所述烟雾扩散分值以及每帧所述待检测图像各自对应的烟雾区域的置信度，分析每帧所述待检测图像中是否出现烟雾并且根据相应的烟雾区域输出最终的烟雾检测结果。

在上述烟雾检测方法的一个可选技术方案中，“对每帧所述待检测图像进行烟雾扩散分析，获得烟雾扩散分值”的步骤具体为：

分别获取相邻两帧的所述待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组所述图像关键点分别包括所述相邻两帧的所述待检测图像中相互匹配的两个图像关键点；

分别计算每组所述图像关键点中相互匹配的两个图像关键点在预设的待检测图像的图像坐标系下形成的线段与所述图像坐标系中预设坐标轴的夹角；

根据每组所述图像关键点各自对应的夹角进行角度值分布分析，以确定夹角分布均衡程度；

根据所述夹角分布均衡程度获得所述烟雾扩散分值；

其中，所述烟雾扩散分值与所述夹角分布均衡程度成正相关关系；

或者，“对每帧所述待检测图像进行烟雾扩散分析，获得烟雾扩散分值”的步骤具体为：

分别获取相邻两帧的所述待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组所述图像关键点分别包括所述相邻两帧的所述待检测图像中相互匹配的两个图像关键点；

根据所述相互匹配的两个图像关键点在预设的待检测图像的图像坐标系中垂直方向上的坐标值，计算得到关键点位移；

根据每组所述图像关键点各自对应的关键点位移，确定烟雾上升程度；

根据所述烟雾上升程度获得所述烟雾扩散分值；

其中，所述烟雾扩散分值与所述烟雾上升程度成正相关关系；

或者，“对每帧所述待检测图像进行烟雾扩散分析，获得烟雾扩散分值”的步骤具体为：

确定相邻两帧的所述待检测图像的烟雾浓度信息；

比对相邻两帧的所述待检测图像的烟雾浓度信息；

根据所述烟雾浓度信息的比对结果，确定所述烟雾扩散分值。

在上述烟雾检测方法的一个可选技术方案中，“根据所述烟雾扩散分值以及每帧所述待检测图像各自对应的烟雾区域的置信度，分析每帧所述待检测图像中是否出现烟雾并且根据相应的烟雾区域输出最终的烟雾检测结果”的步骤具体为：

分别对每帧所述待检测图像各自对应的烟雾区域的置信度与所述烟雾扩散分值进行加权计算或相乘计算，得到每帧所述待检测图像各自对应的烟雾分数；

判断所述烟雾分数是否大于等于预设阈值；若是，则判定所述烟雾分数对应的待检测图像中出现烟雾。

本发明还提供了一种烟雾检测系统，包括：

第一训练模块，其用于利用有标签数据的第一类烟雾图像样本训练得到第一检测模型，其中，所述标签数据包括烟雾区域；

第二训练模块，其用于采用所述第一检测模型对无标签数据的第二类烟雾图像样本进行烟雾检测，以获取每个所述第二类烟雾图像样本中的烟雾区域并且根据检测结果分别生成每个所述第二类烟雾图像样本的标签数据；

训练集模块，其用于根据所述第一类烟雾图像样本、所述第二类烟雾图像样本以及各自对应的标签数据，构建烟雾图像训练集；

知识蒸馏模块，其用于采用知识蒸馏算法，使所述第一检测模型指导第二检测模型使用所述烟雾图像训练集进行模型训练，得到烟雾检测模型；

烟雾检测模块，其用于采用所述烟雾检测模型对待检测图像进行烟雾检测。

在上述烟雾检测系统的一个可选技术方案中，所述系统还包括：

置信度获取模块，其用于根据所述烟雾检测模型对待检测图像进行烟雾检测得到的烟雾检测结果，分别获取从相邻的多帧待检测图像中每帧待检测图像上检测到的烟雾区域以及相应的置信度；

扩散分析模块，其用于对每帧所述待检测图像进行烟雾扩散分析，获得烟雾扩散分值；

检测结果模块，其用于根据所述烟雾扩散分值以及每帧所述待检测图像各自对应的烟雾区域的置信度，分析每帧所述待检测图像中是否出现烟雾并且根据相应的烟雾区域输出最终的烟雾检测结果。

在上述烟雾检测系统的一个可选技术方案中，所述扩散分析模块包括：

第一关键点单元，其用于分别获取相邻两帧的所述待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组所述图像关键点分别包括所述相邻两帧的所述待检测图像中相互匹配的两个图像关键点；

夹角计算单元，其用于分别计算每组所述图像关键点中相互匹配的两个图像关键点在预设的待检测图像的图像坐标系下形成的线段与所述图像坐标系中预设坐标轴的夹角；

均衡程度分析单元，其用于根据每组所述图像关键点各自对应的夹角进行角度值分布分析，以确定夹角分布均衡程度；

第一扩散分值分析单元，其用于根据所述夹角分布均衡程度获得烟雾扩散分值；其中，所述烟雾扩散分值与所述夹角分布均衡程度成正相关关系；

并且/或者，所述扩散分析模块包括：

第二关键点单元，其用于分别获取相邻两帧的所述待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组所述图像关键点分别包括所述相邻两帧的所述待检测图像中相互匹配的两个图像关键点；

位移计算单元，其用于根据所述相互匹配的两个图像关键点在预设的待检测图像的图像坐标系中垂直方向上的坐标值，计算得到关键点位移；

上升程度分析单元，其用于根据每组所述图像关键点各自对应的关键点位移，确定烟雾上升程度；

第二扩散分值分析单元，其用于根据所述烟雾上升程度获得烟雾扩散分值；其中，所述烟雾扩散分值与所述烟雾上升程度成正相关关系；

并且/或者，所述扩散分析模块包括：

浓度获取单元，其用于确定相邻两帧的所述待检测图像的烟雾浓度信息；

浓度比对单元，其用于比对相邻两帧的所述待检测图像的烟雾浓度信息；

第三扩散分值分析单元，其用于根据所述烟雾浓度信息的比对结果，确定所述烟雾扩散分值。

在上述烟雾检测系统的一个可选技术方案中，所述检测结果模块包括：

烟雾分数获取单元，其用于分别对每帧所述待检测图像各自对应的烟雾区域的置信度与所述烟雾扩散分值进行加权计算或相乘计算，得到每帧所述待检测图像各自对应的烟雾分数；

烟雾分数比较单元，其用于判断所述烟雾分数是否大于等于预设阈值；若是，则判定所述烟雾分数对应的待检测图像中出现烟雾。

本发明还提供了一种计算机可读存储介质，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行上述烟雾检测方法的技术方案中任一项所述的烟雾检测方法。

本发明还提供了一种计算机设备，包括处理器和存储器，所述存储器适用于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述烟雾检测方法的技术方案中任一项所述的烟雾检测方法。

本领域人员能够理解的是，在实施本发明的技术方案中，烟雾检测方法包括：利用有标签数据的第一类烟雾图像样本训练得到第一检测模型，其中，标签数据包括烟雾区域；采用第一检测模型对无标签数据的第二类烟雾图像样本进行烟雾检测，以获取每个第二类烟雾图像样本中的烟雾区域并且根据检测结果分别生成每个第二类烟雾图像样本的标签数据；根据第一类烟雾图像样本、第二类烟雾图像样本以及各自对应的标签数据，构建烟雾图像训练集；采用知识蒸馏算法，使第一检测模型指导第二检测模型使用烟雾图像训练集进行模型训练，得到烟雾检测模型；采用烟雾检测模型对待检测图像进行烟雾检测。

通过上述实施方式可知，根据本发明实施例的烟雾检测方法可以应用有标签数据的第一类烟雾图像样本训练大型的基于深度学习的检测模型，获得第一检测模型，并应用第一检测模型对更多未进行标注的数据样本(第二类烟雾图像样本)进行标注，生成第二类烟雾图像样本的标签数据，克服了现有技术中无法对大批量烟雾图像进行快速且准确地标签数据标注的缺陷。进一步，在根据本发明实施例的烟雾检测方法中可以将第一检测模型作为教师网络，应用第一类烟雾图像样本、第二类烟雾图像样本及其对应的标签数据，并使用知识蒸馏算法，对一个小型的学生网络(第二检测模型)进行训练，获得烟雾检测模型。获得该烟雾检测模型过程中，减少了对烟雾图像样本标注的工作量，并且该烟雾检测模型为利用知识蒸馏技术获得的小型学生网络，对计算资源的要求更低，同时由于在训练第二检测模型的过程是基于大量标注了正确的标签数据的烟雾图像样本实现的，因而该烟雾检测模型具有较高的烟雾检测的准确率。

此外，在根据本发明实施例的烟雾检测方法中除了可以应用烟雾检测模型对待检测图像进行烟雾检测，获得待检测图像中烟雾区域及其置信度以外，还可以对每帧待检测图像进行烟雾扩散分析，获得烟雾扩散分值，然后基于烟雾扩散分值和置信度获得相应图像中的烟雾分数，基于烟雾分数判断对应的待检测图像中是否出现烟雾。基于上述实施方式可知，根据本发明实施例的烟雾检测方法考虑到烟雾扩散特性，结合烟雾扩散分值和置信度，综合判断图像中是否出现烟雾，进一步提升了烟雾检测的准确性，增强了烟雾检测的抗干扰能力，降低误报率。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1为根据本发明一个实施例的烟雾检测方法的主要步骤流程示意图；

图2为根据本发明另一个实施例的烟雾检测方法的整体步骤流程示意图；

图3为根据本发明一个实施例的烟雾检测方法中步骤s700的详细流程图；

图4为根据本发明另一个实施例的烟雾检测方法中步骤s700的详细流程图；

图5为根据本发明再一个实施例的烟雾检测方法中步骤s700的详细流程图；

图6为根据本发明一个实施例的烟雾检测方法中步骤s800的详细流程图；

图7为根据本发明一个实施例的烟雾检测系统的主要结构框图；

图8为根据本发明一个实施例的烟雾扩散分析的示例图；

图9为根据本发明一个实施例的一种刚性物体的运动角度分布示例图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。

下面参照图1对根据本发明的一个实施例的烟雾检测方法进行描述，在本实施例中烟雾检测方法可以包括如下步骤：

步骤s100，利用有标签数据的第一类烟雾图像样本训练得到第一检测模型。

在本实施例中可以，首先将获取到的烟雾图像样本应用矩形框标注的方式将每个图像样本中的烟雾区域标注出来，然后对标注出来的图像区域进行尺度调整，调整成第一检测模型需要的大小，再进行归一化处理，将图像区域调整为目标检测神经网络所支持的格式。利用已经标注的第一类烟雾图像样本对第一检测模型进行训练。

在一种可能的实施方式中，由于所标注的第一烟雾图像样本数量不大，因而可以采用数据增强技术，对各个图像样本进行位置、视角、光照等参数的变化，以获得更多参数不同的烟雾图像样本，对第一检测模型进行训练，能够得到泛化能力(从位置、视角、光照等条件不同的图像中准确检测烟雾的能力)更强的模型，更好的适应更多的应用场景。需要说明的是，归一化处理和数据增强技术均是图像处理技术领域中常规技术，为了描述简洁，在此不再赘述。

步骤s200，采用第一检测模型对无标签数据的第二类烟雾图像样本进行烟雾检测，以获取每个第二类烟雾图像样本中的烟雾区域并且根据检测结果分别生成每个第二类烟雾图像样本的标签数据。

在本实施例中，可以应用已经被训练的第一检测模型对大规模的第二类烟雾图像样本进行检测，生成第二类烟雾图像样本的伪标签。即，应用已训练的第一检测模型对第二类烟雾图像样本进行烟雾检测，根据烟雾检测的结果对第二类烟雾图像样本进行标签数据的标注。由于第一检测模型是根据标注了正确的标签数据的第一类烟雾图像样本训练得到的，因此第一检测模型具备较高的烟雾检测能力，当利用第一检测模型对第二类烟雾图像样本进行烟雾检测时可以得到较为准确的烟雾检测结果，进而根据这些较为准确的烟雾检测结果生成的标签数据同样是比较准确的标签数据。在本发明实施例的一个实施方式中，为了确保第一类烟雾图像样本的标签数据的准确性，可以采用人工标注的方式对少量的第一类烟雾图像样本进行标签数据标注，然后使用经第一类烟雾图像样本训练得到的第一检测模型对大批量的第二类烟雾图像样本进行烟雾检测，根据烟雾检测结果生成标签数据，即使用第一检测模型对大批量的第二类烟雾图像样本自动进行快速且准确的标签数据标注，极大地提高了图像样本标签标注工作的效率和准确性。

进一步，根据前述步骤s100可知，在获取第一检测模型之前可以先对标签数据中的图像区域进行尺寸调整和归一处理等操作以形成新的标签数据，再使用这些新的标签数据训练得到第一检测模型。对此，在步骤s200的一个实施方式中，当生成每个第二类烟雾图像样本的标签数据之后，也可以采用与前述步骤s100中类似的方法对第二类烟雾图像样本的标签数据中的图像区域进行尺寸调整和归一处理等操作以形成新的标签数据，也就是说，通过上述操作使第一类烟雾图像样本与第二类烟雾图像样本的标签数据中的图像区域具备相同的格式，以便于后续步骤s300能够同时使用这些标签数据更好地训练第二检测模型。

步骤s300，根据第一类烟雾图像样本、第二类烟雾图像样本以及各自对应的标签数据，构建烟雾图像训练集。

在本实施例中，可以将已经标注了标签数据的第一类烟雾图像样本和第二类烟雾图像样本生成新的烟雾图像训练集。

步骤s400，采用知识蒸馏算法，使第一检测模型指导第二检测模型使用烟雾图像训练集进行模型训练，得到烟雾检测模型。

知识蒸馏算法(knowledgedistillationalgorithm)是机器学习技术领域中一种常规的机器学习算法，该算法通过构建教师模型-学生模型框架，由教师模型指导学生模型的训练，将模型结构复杂、参数量大的教师模型所学到的关于特征表示的“知识”蒸馏出来，将这些“知识”迁移到模型结构简单、参数量少，学习能力弱的学生模型中。

在本实施例中，可以应用上述烟雾图像训练集，以具有较高准确率的第一检测模型作为教师网络，以及一个轻量级的第二检测模型作为学生网络，采用知识蒸馏算法，使第一检测模型指导第二检测模型使用上述烟雾图像训练集进行模型训练，而经过模型训练后的第二检测模型就是上述要获取的烟雾检测模型。

需要说明的是，在本发明实施例中可以采用机器学习技术领域中常规的模型结构构建第一检测模型和第二检测模型，其中，第一检测模型和第二检测模型可以为基于yolo、ssd及各种衍生模型构建的检测模型，本领域技术人员可以根据实际需求灵活选择要使用的模型结构，构建第一检测模型和第二检测模型。在一个可能的实施方式中，第一检测模型可以为基于yolov5s网络构建的检测模型，第二检测模型可以为基于yolov4-tiny网络构建的检测模型。

步骤s500，采用烟雾检测模型对待检测图像进行烟雾检测。

在本实施例中可以应用经步骤s100-步骤s400得到的烟雾检测模型对待检测图像进行检测，确定待检测图像上是否存在烟雾。

基于上述步骤s100-步骤s500所述的烟雾检测方法实施例可知，应用有标签数据的第一类烟雾图像样本训练大型的基于深度学习的检测模型，获得第一检测模型，并应用第一检测模型对更多未进行标注的数据样本(第二类烟雾图像样本)进行标注，生成第二类烟雾图像样本的标签数据，克服了现有技术中无法对大批量烟雾图像进行快速且准确地标签数据标注的缺陷。进一步，在根据本发明实施例的烟雾检测方法中可以将第一检测模型作为教师网络，应用第一类烟雾图像样本、第二类烟雾图像样本及其对应的标签数据，并使用知识蒸馏算法，对一个小型的学生网络(第二检测模型)进行训练，获得烟雾检测模型。获得该烟雾检测模型过程中，减少了对烟雾图像样本标注的工作量，并且该烟雾检测模型为利用知识蒸馏算法获得的小型学生网络，对计算资源的要求更低，同时由于在训练第二检测模型的过程是基于大量标注了正确的标签数据的烟雾图像样本实现的，因而该烟雾检测模型具有较高的烟雾检测的准确率。

进一步，如图2所示在根据本发明的另一个烟雾检测方法的实施例中，烟雾检测方法除了可以包括图1所示烟雾检测方法实施例所述的步骤s100-步骤s500，还可以包括下列步骤s600-步骤s800。

步骤s600，根据烟雾检测模型对待检测图像进行烟雾检测得到的烟雾检测结果，分别获取从相邻的多帧待检测图像中每帧待检测图像上检测到的烟雾区域以及相应的置信度。其中，烟雾检测模型是经前述s100-步骤s500得到的烟雾检测模型。

烟雾区域指的是待检测图像中烟雾出现的区域。

烟雾区域的置信度指的是待检测图像中检测出的烟雾出现区域的可信程度，即为检测出的区域为真实的烟雾区域的概率。

在本实施例中，可以根据步骤s500中的烟雾检测模型，获得烟雾检测结果，即获得待检测图像中的烟雾的位置和烟雾置信度。

步骤s700，对每帧待检测图像进行烟雾扩散分析，获得烟雾扩散分值。

如图8-9所示，在本实施例中，可以根据烟雾的扩散特性，对待检测图像进行烟雾扩散分析，以获得烟雾扩散分值。其中图8为根据本发明一个实施例的烟雾扩散分析的示例图，图9为一种刚性物体的运动角度分布示例图。烟雾扩散分值表征了相邻两帧图像的烟雾扩散程度，获得的分值。其中，烟雾扩散程度可以由烟雾扩散角度、烟雾上升位移以及烟雾浓度变化量等参数进行表征。烟雾扩散分值与烟雾扩散程度成正相关关系，若烟雾扩散分值越大则烟雾扩散程度越大，若烟雾扩散分值越小则烟雾扩散程度越小。

进一步，如图3所示，在本实施例的一种可能的实施方式中，步骤s700可以进一步包括：

步骤s711，分别获取相邻两帧的待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点。

在本实施方式中，如图8-9所示，可以分别获得相邻两帧的烟雾图像中的关键点信息，计算出相邻两帧的待检测图像关键点的匹配关系。其中关键点可以是指待检测图像的特征点。

在一种可能的实施方式中，应用opencv模型提取相邻两帧图像的关键点，对相邻两帧图像的关键点进行匹配，即连接相邻两帧的对应关键点。其中，关键点提取算法包括但不限于orb、sift算法，opencv模型为常规的关键点检测模型，此处不再赘述。

步骤s712，分别计算每组图像关键点中相互匹配的两个图像关键点在预设的待检测图像的图像坐标系下形成的线段与图像坐标系中预设坐标轴的夹角。

在本实施方式中，可以计算相邻两帧待检测图像的关键点的匹配关系形成的线段与图像坐标系中某一条坐标轴之间的夹角。

在一种可能的实施方式中，计算相邻两帧匹配的关键点与x轴的夹角，作为关键点的运动角度。

步骤s713，根据每组图像关键点各自对应的夹角进行角度值分布分析，以确定夹角分布均衡程度。

在本实施方式中，可以根据每组图像中各组匹配关键点所对应的夹角，分析出夹角分布的均衡程度。

步骤s714，根据夹角分布均衡程度获得烟雾扩散分值。

在本实施方式中，可以依据各组关键点所对应的夹角均衡程度来确定烟雾的扩散分值，即烟雾在两帧之间的扩散情况。

在一种可能的实施方式中，烟雾扩散分值计算方法为，首先分别获取最小夹角和最大夹角，并且将由最小夹角和最大夹角形成的角度区间，等比例划分成多个角度子区间。然后分别统计每个角度子区间内夹角的夹角数量并且获取最大的夹角数量xmax。最后根据下式所示的扩散分值的计算公式计算扩散分值：

扩散分值＝1-xmax/total。其中，total是夹角的总数。

由于烟雾的扩散特性，因而烟雾的关键点的运动角度(夹角)分布是相对均衡的，而刚性物体的关键点的运动角度(采用与上述步骤s711-步骤s714类似的方法对刚性物体的相邻两帧图像进行处理得到的关键点在图像坐标系下形成的线段与图像坐标系中预设坐标轴的夹角)分布则会相对集中。所以当关键点的运动角度(夹角)分布越均衡，则对应的烟雾图像的扩散分值越高，反之当关键点的变化角度分布越集中，则对应的烟雾图像的扩散分值越低。换言之，在本发明实施例中烟雾扩散分值与夹角分布均衡程度成正相关关系。

进一步，如图4所示，在本实施例的另一种可能的实施方式中，步骤s700可以进一步包括：

步骤s721，分别获取相邻两帧的待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；

步骤s722，根据相互匹配的两个图像关键点在预设的待检测图像的图像坐标系中垂直方向上的坐标值，计算得到关键点位移；

步骤s723，根据每组图像关键点各自对应的关键点位移，确定烟雾上升程度；

步骤s724，根据烟雾上升程度获得烟雾扩散分值。

具体地，与角度值分布相似，获得相邻两帧的图像中的图像关键点，并进行匹配，进一步计算每组匹配关键点在垂直方向上的位移，根据每组匹配关键点在垂直方向上的位移，确定烟雾的上升程度。一般而言，根据烟雾扩散特性，其运动过程会存在上升的运动分量，因而匹配关键点垂直方向的位移为正值且大于设定阈值时，则能够确定图像中目标处于上升状态。根据烟雾上升程度，计算每组图像中匹配关键点处于上升状态关键点的比例作为烟雾扩散分值。

进一步，如图5所示，在本实施例的再一种可能的实施方式中，步骤s700可以进一步包括：

步骤s731，确定相邻两帧的待检测图像的烟雾浓度信息；

步骤s732，比对相邻两帧的待检测图像的烟雾浓度信息；

步骤s733，根据烟雾浓度信息的比对结果，确定烟雾扩散分值。

具体地，根据烟雾的扩散特性，可以识别待检测图像中的图像颜色确定烟雾浓度信息，并根据比对相邻两帧的烟雾浓度确定烟雾扩散分值。

在一种可能的实施方式中，应用申请号为cn201911127988.7的专利申请公开的烟雾浓度量化方法进行烟雾浓度识别，获得烟雾浓度信息，根据烟雾的扩散特性，其浓度会在扩散过程中逐渐减小。将相邻两帧图像中，前一帧烟雾图像的烟雾浓度为x1，后一帧烟雾图像的烟雾浓度为x2，其烟雾扩散分值的计算公式为：

扩散分值＝1-x2/x1。

步骤s800，根据烟雾扩散分值以及每帧待检测图像各自对应的烟雾区域的置信度，分析每帧待检测图像中是否出现烟雾并且根据相应的烟雾区域输出最终的烟雾检测结果。

在本实施例中，通过结合烟雾扩散分值以及烟雾的置信度来综合判断待检测图像中是否出现烟雾，能够获得更为准确的烟雾检测结果。

在本实施例的一个实施方式中，如图5所示，步骤s800可以进一步包括：

步骤s810，分别对每帧待检测图像各自对应的烟雾区域的置信度与烟雾扩散分值进行加权计算或相乘计算，得到每帧待检测图像各自对应的烟雾分数；

步骤s820，判断烟雾分数是否大于等于预设阈值；若是，则判定所述烟雾分数对应的待检测图像中出现烟雾。

在本实施方式中，可以将烟雾置信度和烟雾扩散分值进行融合，获得每个烟雾区域对应的烟雾分数。然后设定相应的阈值，将烟雾分数与阈值进行比较，当烟雾分数大于阈值时，判断待检测图像中出现烟雾。

当待检测图像中不存在烟雾时，则将无烟雾出现的结果输出；当待检测图像中存在烟雾时，则将出现烟雾的结果以及烟雾存在的区域调整为固定格式输出。该固定格式可根据实际应用场景进行选择。

在一种可能的实施方式中，将烟雾置信度和烟雾扩散分值进行加权计算，获得对应的烟雾分数，其中烟雾置信度和扩散分数的权重可以根据实际应用过程中的需要进行设定。在另一种可能的实施方式中，将烟雾置信度和烟雾扩散分值进行相乘计算，获得对应的烟雾分数。

根据上述步骤s100至s800所述的烟雾检测方法实施可知，根据本发明实施例的烟雾检测方法能够对小数量的烟雾图像样本进行标注，并训练第一检测模型，并应用第一检测模型对大规模的未标注的烟雾图像样本进行标注生成相应的标签，进一步应用小数量的标注的烟雾图像样本和大规模烟雾图像样本及各自对应的标签数据，使用第一检测模型指导训练第二检测模型，生成烟雾检测模型。烟雾检测模型生成过程中，减少了图像样本标注的工作量，同时由于应用知识蒸馏算法使用具有较高准确率的大模型(第一检测模型)，基于大批量的数据样本训练小型学生网络(第二检测模型)，获得烟雾检测模型，从而使烟雾检测模型能够实现准确率和实时性的良好权衡。在烟雾检测过程中，融入了扩散运动分析，降低误报率，能够进一步提升烟雾检测的准确性，使烟雾检测模型更为真实可靠。

进一步，本发明还提供了一种烟雾检测系统。

参照附图7，图7是根据本发明的一个实施例的烟雾检测系统的主要结构框图。如图7所示，在本实施例中烟雾检测系统可以包括第一训练模块，其用于利用有标签数据的第一类烟雾图像样本训练得到第一检测模型，其中，标签数据包括烟雾区域；第二训练模块，其用于采用第一检测模型对无标签数据的第二类烟雾图像样本进行烟雾检测，以获取每个第二类烟雾图像样本中的烟雾区域并且根据检测结果分别生成每个第二类烟雾图像样本的标签数据；训练集模块，其用于根据第一类烟雾图像样本、第二类烟雾图像样本以及各自对应的标签数据，构建烟雾图像训练集；知识蒸馏模块，其用于采用知识蒸馏算法，使第一检测模型指导第二检测模型使用烟雾图像训练集进行模型训练，得到烟雾检测模型；烟雾检测模块，其用于采用烟雾检测模型对待检测图像进行烟雾检测；置信度获取模块，其用于根据烟雾检测模型对待检测图像进行烟雾检测得到的烟雾检测结果，分别获取从相邻的多帧待检测图像中每帧待检测图像上检测到的烟雾区域以及相应的置信度；扩散分析模块，其用于对每帧待检测图像进行烟雾扩散分析，获得烟雾扩散分值；检测结果模块，其用于根据烟雾扩散分值以及每帧待检测图像各自对应的烟雾区域的置信度，分析每帧待检测图像中是否出现烟雾并且根据相应的烟雾区域输出最终的烟雾检测结果。

在一个实施方式中，扩散分析模块可以包括第一关键点单元，其用于分别获取相邻两帧的待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组图像关键点分别包括相邻两帧的待检测图像中相互匹配的两个图像关键点；夹角计算单元，其用于分别计算每组图像关键点中相互匹配的两个图像关键点在预设的待检测图像的图像坐标系下形成的线段与图像坐标系中预设坐标轴的夹角；均衡程度分析单元，其用于根据每组图像关键点各自对应的夹角进行角度值分布分析，以确定夹角分布均衡程度；第一扩散分值分析单元，其用于根据夹角分布均衡程度获得烟雾扩散分值；其中，烟雾扩散分值与夹角分布均衡程度成正相关关系。

在一个实施方式中，扩散分析模块可以包括第二关键点单元，其用于分别获取相邻两帧的待检测图像的图像关键点并且进行图像关键点匹配，获得一组或多组图像关键点；其中，每组图像关键点分别包括相邻两帧的待检测图像中相互匹配的两个图像关键点；位移计算单元，其用于根据相互匹配的两个图像关键点在预设的待检测图像的图像坐标系中垂直方向上的坐标值，计算得到关键点位移；上升程度分析单元，其用于根据每组图像关键点各自对应的关键点位移，确定烟雾上升程度；第二扩散分值分析单元，其用于根据烟雾上升程度获得烟雾扩散分值；其中，烟雾扩散分值与烟雾上升程度成正相关关系。

在一个实施方式中，扩散分析模块可以包括浓度获取单元，其用于确定相邻两帧的待检测图像的烟雾浓度信息；浓度比对单元，其用于比对相邻两帧的待检测图像的烟雾浓度信息；第三扩散分值分析单元，其用于根据烟雾浓度信息的比对结果，确定烟雾扩散分值。

在一个实施方式中，检测结果模块包括烟雾分数获取单元，其用于分别对每帧待检测图像各自对应的烟雾区域的置信度与烟雾扩散分值进行加权计算或相乘计算，得到每帧待检测图像各自对应的烟雾分数；烟雾分数比较单元，其用于判断烟雾分数是否大于等于预设阈值；若是，则判定烟雾分数对应的待检测图像中出现烟雾。

上述烟雾检测系统以用于执行图1所示的烟雾检测方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，烟雾检测系统的具体工作过程及有关说明，可以参考烟雾检测方法的实施例所描述的内容，此处不再赘述。

特别地，上述烟雾检测方法主要是基于深度学习的目标检测算法来实现模型训练和烟雾检测的，也可以应用语义分割算法来实现模型训练和烟雾检测。

本发明的烟雾检测方法能够及时对火灾发生进行早期预警，从而有助于消防人员的及时救援。同时本发明的烟雾检测方法还能够检测环境中烟雾的出现情况，以辅助评估空气质量。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述烟雾检测方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述烟雾检测方法实施例的程序，该程序可以由处理器加载并运行以实现上述烟雾检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种计算机设备。在根据本发明的一个计算机设备实施例中，计算机设备可以包括处理器和存储装置，存储装置可以被配置成存储执行上述烟雾检测方法实施例的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述烟雾检测方法实施例的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机设备可以是包括各种电子设备形成的设备。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。