一种烟火识别标记方法、系统、终端及存储介质与流程

本发明涉及图像处理技术领域，具体涉及一种烟火识别标记方法、系统、终端及存储介质。

背景技术：

烟火检测系统在众多领域都有广泛应用，比如工厂仓库，工业园区，公园自然保护区，田地等。不同于传统基于特殊传感器的烟火识别，基于视频的智能烟火检测算法在近期得到了广泛的发展。尤其是近两年，由于ai神经网络算法的快速发展，基于神经网络深度学习的烟火识别算法被提出。但是深度学习技术应用需要高质量的数据库，其中包括大量图像数据，并且需要对这些图像进行高质量的人工标记。如何自动采集录制烟火数据，以及如何进行高质量的人工标记就成了急需解决的问题。

同时目前的基于视频的烟火检测的图像标记工作有两大问题：

由于火焰和烟雾没有固定的形状，同一个火焰的形态千变万化，同时火焰的颜色也有红、黄、蓝等。烟雾的轮廓同样变化多，也有白，灰多个颜色。同时还有不同的烟雾浓度不同透明度的问题。导致火和烟标记的时候不容易确定标记的边缘。

车灯，红绿灯，屏幕，太阳等发光物体和火焰有一定的相似度。容易造成火焰的误报。云和烟雾有很大的相似度，雾天，雨天，空气能见度下降，或者镜头有污渍的情况和烟雾在视觉上有很高的相似度。这些物体在标记的时候如何与烟雾做区分。

技术实现要素：

针对现有技术的上述不足，本发明提供一种烟火识别标记方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种烟火识别标记方法，包括：

利用红外探测仪器扫描环境温度；

若环境温度超过预设温度阈值，则启动图像采集装置采集环境图像；

利用预先训练好的神经网络模型对所述环境图像进行烟火识别；

对识别出的烟火图像进行轮廓标记。

进一步的，所述若环境温度超过预设温度阈值，则启动图像采集装置采集环境图像，包括：

利用可见光和热成像双波段设备对周围环境进行热成像扫描；

若检测到热像视频中存在高于所述温度阈值的高温物体，则触发可见光录像。

进一步的，所述神经网络模型的训练方法，包括：

收集历史环境图像和烟火图像，生成训练集；

收集干扰图像，所述干扰图像包括太阳图像、灯光图像、反光物图像，将干扰图像保存至所述训练集；

利用所述训练集对神经网络模型进行训练。

进一步的，所述对识别出的烟火图像进行轮廓标记，包括：

将被识别为存在烟火的环境图像转换为灰度图；

根据烟火透明度标定需求设定锐化参数，并根据所述锐化参数对所述灰度图进行锐化处理，得到锐化图；

利用边缘检测算法标定所述锐化图中烟火区域的轮廓。

第二方面，本发明提供一种烟火识别标记系统，包括：

温度扫描单元，配置用于利用红外探测仪器扫描环境温度；

图像采集单元，配置用于若环境温度超过预设温度阈值，则启动图像采集装置采集环境图像；

图像识别单元，配置用于利用预先训练好的神经网络模型对所述环境图像进行烟火识别；

图像标记单元，配置用于对识别出的烟火图像进行轮廓标记。

进一步的，所述图像采集单元包括：

热像扫描模块，配置用于利用可见光和热成像双波段设备对周围环境进行热成像扫描；

录像触发模块，配置用于若检测到热像视频中存在高于所述温度阈值的高温物体，则触发可见光录像。

进一步的，所述神经网络模型的训练方法，包括：

收集历史环境图像和烟火图像，生成训练集；

收集干扰图像，所述干扰图像包括太阳图像、灯光图像、反光物图像，将干扰图像保存至所述训练集；

利用所述训练集对神经网络模型进行训练。

进一步的，所述图像标记单元包括：

灰度转化模块，配置用于将被识别为存在烟火的环境图像转换为灰度图；

锐化处理模块，配置用于根据烟火透明度标定需求设定锐化参数，并根据所述锐化参数对所述灰度图进行锐化处理，得到锐化图；

轮廓标定模块，配置用于利用边缘检测算法标定所述锐化图中烟火区域的轮廓。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的烟火识别标记方法、系统、终端及存储介质，通过红外测温的方式检测高温物体实现自动烟火数据采集，烟火目标标记时通过对烟雾分级标记以及策略标记，实现高质量烟火标记。本发明提高了烟火识别准确率，降低了火情误报率，同时能够准确对烟火目标进行标记。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的方法的另一示意性流程图。

图3是本发明一个实施例的系统的示意性框图。

图4为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种烟火识别标记系统。

如图1所示，该方法包括：

步骤110，利用红外探测仪器扫描环境温度；

步骤120，若环境温度超过预设温度阈值，则启动图像采集装置采集环境图像；

步骤130，利用预先训练好的神经网络模型对所述环境图像进行烟火识别；

步骤140，对识别出的烟火图像进行轮廓标记。

具体的，请参考图2，所述烟火识别标记方法包括：

s1、红外探测高温：使用可见光和热成像双波段设备，对安装摄像头的周围的环境进行扫描。热像视频可以检测到高温物体，如果检测到高于一定阈值的高温物体，则触发可见光录像。采集到的可疑烟火数据保存在视频存储服务器。

s2、利用预先训练好的神经网络模型对所述环境图像进行烟火识别。

构建神经网络模型，收集历史环境图像和烟火图像，生成训练集。不断收集干扰图像，干扰图像包括太阳图像、灯光图像、反光物图像，将干扰图像保存至训练集。用训练好的神经网络模型对环境图像进行识别，把出现的误报的物体标记为干扰类，再对神经网络模型进行训练，从而降低误报率。

若神经网络模型识别出环境图像中存在烟火目标，则生成火情告警，并将告警推送至人工监管平台。

s3、利用所述训练集对神经网络模型进行训练。

对火焰目标进行标记：对火焰目标进行标记的时候需要注意火焰的边缘，标记框卡到火焰的边缘；注意区分火周围的烟雾，因为火周围的烟雾也表现为橙色，标记火的时候不要把这部分烟划定在标记框内；对于满画面的火，因为火势均由小到大发展，占画面比例太大的烟雾对真实场景意义不大，反而会影响正常火的判断，此部火应不标记；对于零散的火焰，距离很近的火和可以集体标注，但如果两个火焰中间有一定距离需要分别标记；对于呈条状的火带，应分段标记，减少背景被划入标记框中的面积。如果是倾斜的带状烟火。

对烟雾目标进行标记：对烟雾的检测目的，也是为了通过烟雾确定着火点，所以检测着火点附近的烟雾尤为重要。首先对烟雾进行分级，浓烟：离着着火点最近的完全不透明的烟雾，这部分烟雾为最浓的烟雾区域，同时也距离着火点最近，部分呈现灰色，白色，也有部分因火光影响呈现橙色或红色。此类烟雾的识别可以同时对火点进行定位。烟：着火点附近所有不透明到透明度较低的有明显纹理特征有明显边缘的烟雾。薄烟：透明度高的，没有明显的纹理特征的，并且距离着火点远的烟雾。烟雾因其形状各异，并且透明度不同给标记造成了极大的困难。火灾现场的烟雾经常因为扩散，导致满画面都被烟雾占据，这种情况下，应对起火点周边的浓烟和烟目标进行标记。为区分雾天雨天和烟目标，已经扩散的无烟雾纹理或透明度较高的半透明薄烟目标应不进行标记。同时薄烟对火点的定位意义不大，不标记薄烟目标不影响火点定位。为区分各种形态的云和烟雾，半透明的烟目标仅标记地平线以下的部分。天空为背景的烟目标不进行标记。不透明的浓烟标记地平线下以及地平线以上的所有部分。对烟雾目标进行标记的时候需要注意烟雾的边缘，标记框卡到烟雾的边缘。火焰周围的烟雾表现为橙色，在标记的时候烟雾应该包含这一部分。着火点之上的烟雾常常呈现倾斜带状，可以适当分段标记，剔除背景。如果着火点很近的情况下，烟雾已经扩散到满屏，切没有厌恶纹理，应不对烟进行标记。

具体的烟火图像轮廓标记方法包括：

(1)将步骤s2中被识别为存在烟火的环境图像转换为灰度图；

(2)根据烟火透明度标定需求(火焰标定透明度和浓烟标定透明度)设定锐化参数，并根据所述锐化参数对所述灰度图进行锐化处理，得到锐化图；

(3)利用边缘检测算法(如sobel算法)标定所述锐化图中烟火区域的轮廓，将标定后的图片发送发送至人工监管平台的火情告警下。

如图3所示，该系统300包括：

温度扫描单元310，配置用于利用红外探测仪器扫描环境温度；

图像采集单元320，配置用于若环境温度超过预设温度阈值，则启动图像采集装置采集环境图像；

图像识别单元330，配置用于利用预先训练好的神经网络模型对所述环境图像进行烟火识别；

图像标记单元340，配置用于对识别出的烟火图像进行轮廓标记。

可选地，作为本发明一个实施例，所述图像采集单元包括：

热像扫描模块，配置用于利用可见光和热成像双波段设备对周围环境进行热成像扫描；

录像触发模块，配置用于若检测到热像视频中存在高于所述温度阈值的高温物体，则触发可见光录像。

可选地，作为本发明一个实施例，所述神经网络模型的训练方法，包括：

收集历史环境图像和烟火图像，生成训练集；

收集干扰图像，所述干扰图像包括太阳图像、灯光图像、反光物图像，将干扰图像保存至所述训练集；

利用所述训练集对神经网络模型进行训练。

可选地，作为本发明一个实施例，所述图像标记单元包括：

灰度转化模块，配置用于将被识别为存在烟火的环境图像转换为灰度图；

锐化处理模块，配置用于根据烟火透明度标定需求设定锐化参数，并根据所述锐化参数对所述灰度图进行锐化处理，得到锐化图；

轮廓标定模块，配置用于利用边缘检测算法标定所述锐化图中烟火区域的轮廓。

图4为本发明实施例提供的一种终端400的结构示意图，该终端400可以用于执行本发明实施例提供的烟火识别标记方法。

其中，该终端400可以包括：处理器410、存储器420及通信单元430。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器420可以用于存储处理器410的执行指令，存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。当存储器420中的执行指令由处理器410执行时，使得终端400能够执行以下上述方法实施例中的部分或全部步骤。

处理器410为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integratedcircuit，简称ic)组成，例如可以由单颗封装的ic所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说，处理器410可以仅包括中央处理器(centralprocessingunit，简称cpu)。在本发明实施方式中，cpu可以是单运算核心，也可以包括多运算核心。

通信单元430，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：rom)或随机存储记忆体(英文：randomaccessmemory，简称：ram)等。

因此，本发明通过红外测温的方式检测高温物体实现自动烟火数据采集，烟火目标标记时通过对烟雾分级标记以及策略标记，实现高质量烟火标记。本发明提高了烟火识别准确率，降低了火情误报率，同时能够准确对烟火目标进行标记，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。