基于图像识别的智能火灾监控系统的制作方法

本发明涉及火灾监控的，尤其涉及基于图像识别的智能火灾监控系统。

背景技术：

1、在社会生活中，火灾严重威胁公共安全，损害人类财产和生命安全。火灾发生时如何尽早发现以及预警,一直是人们所研究的重点问题。传统基于图像处理的火灾图像识别是通过对火焰或者烟雾图像进行特征分析与提取来识别火灾，人工设计的特征提取算法对于多背景复杂图像难以准确提取特征，算法也存在识别准确度低、实时性差等问题。且当前基于深度学习的火灾图像识别是通过深度神经网络对火灾烟火数据集进行样本学习，训练出能识别火焰或烟雾的网络来达到识别火灾的目的。但此方法也存在数据集少、训练耗时大等问题。本专利提出一种基于图像识别的智能火灾监控系统。

技术实现思路

1、有鉴于此，本发明提供基于图像识别的智能火灾监控系统，目的在于1）设计火灾图像生成模型，在火灾图像数据较少且较难获取的情况下，自动生成火灾图像数据，且所设计火灾图像生成模型能够基于火灾描述文本生成特定的火灾图像，利用所生成的火灾图像样本训练得到基于图像的火灾识别模型，利用火灾识别模型进行基于火灾图像的火灾智能监控识别；2）构建两阶段的火灾图像生成模型优化策略，在第一阶段的优化过程中，基于文本编码结果的语义信息实现火灾描述文本中描述物品的结构确定以及位置定位，得到涵盖背景以及物品轮廓的场景粗略图像，进而在第二阶段优化过程中对场景粗略图像进行细化，使得细化后的图像更加接近真实火灾图像；3）利用基于每轮迭代最优解的参数迭代方向控制策略进行火灾图像生成模型优化，快速得到最优模型参数。

2、为实现上述目的，本发明提供的基于图像识别的智能火灾监控系统，包括以下系统流程：

3、s1：构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块；

4、s2：构建火灾描述文本编码模块结构，将输入的火灾描述文本数据进行预处理并输入到火灾描述文本编码模块，得到向量化编码后的火灾描述向量数据；

5、s3：构建火灾图像解码模块结构，以向量化编码后的火灾描述向量数据为输入，以所生成的火灾图像数据为输出；

6、s4：根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数；

7、s5：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；

8、s6：基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。

9、作为本发明的进一步改进流程：

10、可选地，所述s1步骤中构建自适应火灾图像生成模型，包括：

11、构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。

12、可选地，所述s2步骤中构建火灾描述文本编码模块结构，包括：

13、构建火灾描述文本编码模块结构，其中所述火灾描述文本编码模块结构包括词向量编码层、卷积层、池化层以及卷积融合层；

14、词向量编码层用于接收火灾描述文本并进行词向量表示，卷积层用于提取词向量表示结果的语义特征，池化层用于提取语义特征中的重要语义信息，卷积融合层用于对重要语义信息进行扩展，得到火灾描述向量数据；

15、所述基于火灾描述文本编码模块的火灾描述文本编码流程为：

16、s21：火灾描述文本编码模块中的词向量编码层接收火灾描述文本，并基于预设的分词词典对火灾描述文本进行分词处理，所述分词处理流程为：将火灾描述文本中任意连续的若干字符在分词词典中进行匹配，若匹配成功则表示该连续字符为分词结果；

17、s22：利用独热编码法对分词结果进行编码处理，使用符号向量在两个句子间插入分隔符，并为编码后的分词结果添加分段向量以及位置向量，得到火灾描述文本中每个分词结果的词向量表示结果，则任意第i个分词结果的词向量表示结果为：

18、；

19、其中：

20、表示第i个分词结果的独热编码表示向量，为第i个分词结果的分段向量，表示第i个分词结果处于火灾描述文本的第句话，表示分词结果的位置向量，；

21、s23：将所有分词结果的词向量表示结果进行拼接，得到火灾描述文本的编码结果e：

22、；

23、其中：

24、t表示转置，表示拼接操作，n表示火灾描述文本的分词结果总数；

25、s24：将火灾描述文本的编码结果输入到卷积层中，得到火灾描述文本的语义特征，所述卷积层中包括n个卷积核，每个卷积核的尺寸不同，其中第i个分词结果的语义特征为：

26、；

27、其中：

28、表示第i个分词结果经第j个卷积核输出的语义特征；

29、s25：将火灾描述文本的语义特征输入到池化层中，池化层提取每个分词结果所对应语义特征的重要语义信息，其中第i个分词结果所对应语义特征的重要语义信息为：

30、；

31、构建长为m的滑动窗口，其中滑动窗口每次滑动的距离为m/2，将滑动窗口沿n个卷积核输出的语义特征进行滑动，得到段滑动窗口表示结果，取每段滑动窗口内的最大语义特征作为该段滑动窗口的重要语义信息，其中表示第i个分词结果所对应第段滑动窗口表示结果的重要语义信息；

32、s26：将火灾描述文本的重要语义特征输入到卷积融合层，卷积融合层对每个分词结果的重要语义信息进行扩展，选取上下文语义相似度最高的扩展语义向量作为该分词结果的最终编码表示结果；

33、利用二维反卷积操作对每个分词结果的重要语义信息进行反卷积操作，扩大重要语义信息的空间分辨率，得到重要语义信息的语义信息矩阵，并计算当前分词结果前后两个分词结果的平均语义向量，计算语义信息矩阵中每一列语义向量与平均语义向量的余弦相似度，将相似度最高的语义向量作为当前分词结果的最终编码表示，其中平均语义向量的计算方法为计算语义信息矩阵的列均值；

34、将所有分词结果的最终编码表示结果进行拼接，得到火灾描述文本的火灾描述向量数据f。

35、可选地，所述s3步骤中构建火灾图像解码模块结构，包括：

36、构建火灾图像解码模块结构，所述火灾图像解码模块包括场景图像初始化层以及火灾图像生成层，其中场景图像初始化层用于根据火灾描述向量数据生成场景粗略图像，所述场景图像包括图像中的背景以及物体位置，火灾图像生成层用于对所生成的场景粗略图像进行深层细化，得到火灾图像；

37、基于火灾图像解码模块的火灾图像生成流程为：

38、s31：场景图像初始化层提取火灾描述向量中不同分词结果的最终编码表示结果，并对所提取的最终编码表示结果进行结构化处理，生成不同最终编码表示结果的结构向量，所述结构向量生成的损失函数为结构向量与对应最终编码表示结果的余弦相似度；

39、s32：将所生成的结构向量重构为图像，并基于火灾描述向量中不同分词结果的语义关系确定所生成的对应图像区域的位置关系，基于所确定的位置关系将重构得到的图像拼接为场景粗略图像；

40、s33：火灾图像生成层接收火灾描述向量以及场景粗略图像，利用编码器对场景粗略图像进行编码处理，其中编码器包含若干卷积层以及批归一化层，得到场景粗略图像的图像编码特征；将火灾描述向量与图像编码特征进行融合，并将融合特征输入到残差网络中生成火灾图像，所述残差网络由四个残差块组成，每个残差块包括一个block和激活函数relu，其中block由两对卷积层和批归一化层组成。

41、可选地，所述s4步骤中确定自适应火灾图像生成目标函数，包括：

42、确定所构建自适应火灾图像生成模型的自适应火灾图像生成目标函数，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：

43、；

44、；

45、其中：

46、表示火灾描述文本第u个分词结果的最终编码表示结果，表示场景图像初始化层生成的对应图像区域，表示余弦相似度计算方法；

47、表示基于火灾描述向量数据f所生成的场景粗略图像，表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；

48、表示火灾描述向量数据f的分布符合预设置的火灾描述向量分布；

49、e表示期望计算。

50、可选地，所述s5步骤中对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，包括：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数以及火灾图像生成层中的参数，通过求解目标函数得到参数，求解目标函数得到参数，其中模型参数的优化求解流程为：

51、s51：初始化u组参数，其中v=1，2，表示参数的初始化参数，表示参数的初始化参数，；s52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为max；

52、s53：将第h-1次迭代结果构建为u组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值；若v=1，则选取使得目标函数值达到最大的迭代结果作为第h次迭代的期望参数，否则选取使得目标函数值达到最小的迭代结果作为第h次迭代的期望参数；

53、s54：判断算法的当前迭代次数是否满足，若不满足，则利用下式对第h-1次迭代结果进行更新：

54、；

55、其中：

56、i表示单位矩阵；

57、表示0-1之间的随机向量；

58、并令h=h+1，返回步骤s53；

59、若满足，则将作为求解得到的最优自适应火灾图像生成模型参数。

60、可选地，所述s6步骤中基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，包括：

61、最优自适应火灾图像生成模型接收若干组火灾描述文本，利用火灾描述文本编码模块对所接收的火灾描述文本进行编码表示，基于编码表示结果，利用火灾图像解码模块生成对应多组的火灾图像。

62、可选地，所述s6步骤中构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，包括：

63、构建火灾识别模型，其中所述火灾识别模型包含输入层、特征提取层以及火灾识别层，输入层用于接收火灾图像，特征提取层用于提取火灾图像的图像特征，火灾识别层用于识别判断图像中是否存在火灾；

64、所述基于火灾识别模型的火灾识别流程为：

65、输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为像素；

66、特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；

67、火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：

68、；

69、其中：

70、q表示图像特征，表示高维的非线性映射；

71、表示权重向量，b表示偏置向量；

72、表示对图像特征q所对应的图像的火灾识别结果，，表示识别到火灾，表示未识别到火灾；

73、利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。

74、为了解决上述问题，本发明提供一种基于图像识别的智能火灾监控系统，所述系统结构包括：

75、火灾图像生成装置，用于构建自适应火灾图像生成模型，根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数，对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；

76、图像接收模块，用于实时接收待火灾识别的图像；

77、火灾识别装置，用于基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。

78、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

79、存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的智能火灾监控系统。

80、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的智能火灾监控系统。

81、相对于现有技术，本发明提出基于图像识别的智能火灾监控系统，该技术具有以下优势：

82、首先，本方案提出一种自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。所述基于火灾识别模型的火灾识别流程为：输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为像素；特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：；

83、其中：

84、q表示图像特征，表示高维的非线性映射；

85、表示权重向量，b表示偏置向量；

86、表示对图像特征q所对应的图像的火灾识别结果，，表示识别到火灾，表示未识别到火灾；

87、本方案通过设计火灾图像生成模型，在火灾图像数据较少且较难获取的情况下，自动生成火灾图像数据，且所设计火灾图像生成模型能够基于火灾描述文本生成特定的火灾图像，利用所生成的火灾图像样本训练得到基于图像的火灾识别模型，利用火灾识别模型进行基于火灾图像的火灾智能监控识别。

88、因此，本方案提出一种自适应火灾图像生成模型的快速优化求解方法，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：

89、；

90、；

91、其中：

92、表示火灾描述文本第u个分词结果的最终编码表示结果，表示场景图像初始化层生成的对应图像区域，表示余弦相似度计算方法；

93、表示基于火灾描述向量数据f所生成的场景粗略图像，表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；

94、表示火灾描述向量数据f的分布符合预设置的火灾描述向量分布；

95、e表示期望计算。

96、对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数以及火灾图像生成层中的参数，通过求解目标函数得到参数，求解目标函数得到参数，其中模型参数的优化求解流程为：初始化u组参数，其中v=1，2，表示参数的初始化参数，表示参数的初始化参数，；s52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为max；将第h-1次迭代结果构建为u组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值；若v=1，则选取使得目标函数值达到最大的迭代结果作为第h次迭代的期望参数，否则选取使得目标函数值达到最小的迭代结果作为第h次迭代的期望参数；判断算法的当前迭代次数是否满足，若不满足，则利用下式对第h-1次迭代结果进行更新：

97、；

98、其中：

99、i表示单位矩阵；表示0-1之间的随机向量；并令h=h+1，返回上述步骤；若满足，则将作为求解得到的最优自适应火灾图像生成模型参数。

100、本方案构建两阶段的火灾图像生成模型优化策略，在第一阶段的优化过程中，基于文本编码结果的语义信息实现火灾描述文本中描述物品的结构确定以及位置定位，得到涵盖背景以及物品轮廓的场景粗略图像，进而在第二阶段优化过程中对场景粗略图像进行细化，使得细化后的图像更加接近真实火灾图像，并在算法迭代过程中，利用基于每轮迭代最优解的参数迭代方向控制策略进行火灾图像生成模型优化，可以快速得到最优模型参数。