一种可自动识别布放区域的防山火热成像方法与流程

1.本发明涉及图像识别处理的技术领域，尤其涉及一种可自动识别布放区域的防山火热成像方法。


背景技术：

2.电力现在山火事故在线路事故中占有很大的比例，山火导致电网遭受重大的安全威胁。山区配电线路不可避免会经过山火易发地区，如何有效的预防和发现、识别山火隐患，已经成为国网线路安全的重要研究方向。
3.现有技术的热成像相机一般都是固定视角，只能对固定画面的图像进行采集和分析，这样就大大降低了预防山火的覆盖性和及时性。传统热成像相机不能自动识别布放区域，只能根据预设的位置进行定点巡航，识别的冗余度增大，准确度大幅降低。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明解决的技术问题是：现有技术的热成像相机一般都是固定视角，只能对固定画面的图像进行采集和分析，大大降低了预防山火的覆盖性和及时性，另外，传统热成像相机不能自动识别布放区域，只能根据预设的位置进行定点巡航，识别的冗余度增大，准确度大幅降低。
7.为解决上述技术问题，本发明提供如下技术方案：采集热成像图像信息和可见光图像信息，提取其图像信息特征并进行融合处理，形成新的特征，采集的两种图像信息区域一致；利用深度学习网络对所述图像信息区域的异常热源进行算法识别，判断所述异常热源是否为山火，实现山火的自动识别。
8.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：所述热成像图像信息和可见光图像信息的采集包括，同步运行热成像相机和可见光相机；利用所述可见光相机对360度位置进行全景取景，通过识别算法识别出山木、草丛或其他易燃地区的图像信息，形成布防区域，即可见光图像信息；利用所述热成像相机按周期对所述布防区域自动巡检，并拍摄自动巡检过程中的异常热源，生成热成像图像信息；提取所述可见光图像信息和所述热成像图像信息的特征，将二者特征相结合，以拼接的方式在通道上重新生成新的特征。
9.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：所述深度学习网络包括firecrossnet网络和lstm网络：所述firecrossnet网络以卷积神经网络为基础架构，提取图像的浅层以及深层的语义特征，以fpn网络为特征融合的基础网络，结合使用场景，目标的远近、大小以及分布情况，将原始卷积操作替换为深度可分离
卷积，并裁剪一部分，且在该网络基础上，引入跨阶段传输的机制。
10.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：还包括，所述firecrossnet网络的基本单元为卷积层+批量归一化处理+激活层；网络层数为62层，层与层之间采用残差连接方式、模块与模块之间采用跨阶段信息传递连接方式；利用摄像头采集的山火数量达到预设标准的图像数据对所述firecrossnet网络进行训练，得到训练好的firecrossnet网络；所述训练好的firecrossnet网络以时间提取所述重新生成新的特征的序列图像特征，生成时间序列图像语义特征。
11.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：还包括，利用所述时间序列图像语义特征训练所述lstm网络，采用训练好的lstm网络预测序列帧关于山火短时语义特征；所述lstm网络包括一个两层的rnn和一个线性lr层。
12.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：采用训练好的lstm网络预测序列帧关于山火短时语义特征的过程包括，将所述布防区域的连续变化，定义为异常事件，通过计数划分策略检测所述异常事件；定义当前15帧作为一个短时序列，则相机判断的间隔时间为1秒，基于投票机制定义连续的异常帧是否为符合预设标准的异常段视频；通过设定阈值判断所述异常帧，当lstm预测的分值低于阈值时定义为异常，通过roc曲线查找得出所述阈值，从而判断是否出现山火燃烧情况。
13.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：根据所述firecrossnet网络的分类能力以及测试数据集作出所述roc曲线，将所述roc曲线面积最大的情况下对应的阈值选定为目标值。
14.作为本发明所述的可自动识别布放区域的防山火热成像方法的一种优选方案，其中：所述测试数据集数据选取的阈值范围为0.5～0.95。
15.本发明的有益效果：本发明通过运用热成像和可见光相机，云台转动，自动区域识别算法，自动巡检等技术融合，实现了对山火的追踪和有效识别。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
17.图1为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的基本流程示意图；
18.图2为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的深度神经网络整体结构示意图；
19.图3为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的特征提取网络结构示意图；
20.图4为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的cbl结构示意图；
21.图5为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的cbm结构示意图；
22.图6为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的残差单元示意图；
23.图7为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的csp_x跨阶段网络连接形式示意图；
24.图8为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的tbbtfpn示意图；
25.图9为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的夜晚山上正常视频序列示意图；
26.图10为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的山上起火燃烧的视频帧序列示意图；
27.图11为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的lstm对于图10对应视频的响应示意图；
28.图12为本发明一个实施例提供的一种可自动识别布放区域的防山火热成像方法的山火燃烧视频序列的响应示意图。
具体实施方式
29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
30.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
31.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
32.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
33.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
34.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
35.实施例1
36.参照图1～8，为本发明的一个实施例，提供了一种可自动识别布放区域的防山火热成像方法，包括：
37.s1：采集热成像图像信息和可见光图像信息，提取其图像信息特征并进行融合处理，形成新的特征，采集的两种图像信息区域一致。
38.需要说明的是，采用带有热成像相机和可见光相机的装置进行图像信息的采集，且两个相机并列，采集的图像区域一致，该装置上带有云台，云台可带动热成像相机和可见光相机同步运动。
39.进一步的，热成像图像信息和可见光图像信息的采集包括：
40.同步运行热成像相机和可见光相机；
41.利用可见光相机对360度位置进行全景取景，通过识别算法识别出山木、草丛或其他易燃地区的图像信息，形成布防区域，即可见光图像信息；
42.利用热成像相机按周期对布防区域自动巡检，在巡检过程中如果发现异常热源，则自动调整云台位置，将热源置于热成像图像中心并拍照，生成热成像图像信息；
43.提取可见光图像信息和热成像图像信息的特征，将二者特征相结合，以拼接的方式在通道上重新生成新的特征，引入热成像特征与可见光特征相结合，以拼接的方式在通道上重新成新的特征，这样的特征组合保留了热源变化特征，同时又包含了可见光的信息，使得特征的语义信息更加丰富。
44.其中，相机自动记录可见光相机识别出的图像信息，包括记录云台位置信息、图像识别区域。
45.s2：利用深度学习网络对图像信息区域的异常热源进行算法识别，判断异常热源是否为山火，实现山火的自动识别。
46.需要说明的是，如图2～7所示，深度学习网络包括firecrossnet网络和lstm网络。
47.其中，firecrossnet网络以卷积神经网络为基础架构，提取图像组合的浅层以及深层的语义特征，以fpn网络为特征融合的基础网络，结合使用场景，目标的远近、大小以及分布情况，将原始卷积操作替换为深度可分离卷积，并裁剪一部分，且在该网络基础上，引入跨阶段传输的机制。
48.firecrossnet网络的基本单元为卷积层+批量归一化处理+激活层；
49.网络层数为62层，引入残差模块、跨阶段信息传递机制，使得卷积神经网络的各个阶段都能将当前阶段的数据特征信息都能很好的往后面的网络传递，前后特征信息联系更加紧密，提升网络的特征提取能力和表达能力，其中，层与层之间采用残差连接方式、模块与模块之间采用跨阶段信息传递连接方式；
50.利用摄像头采集的山火数量达到预设标准的图像数据对firecrossnet网络进行训练，得到训练好的firecrossnet网络；
51.训练好的firecrossnet网络以时间提取重新生成新的特征的序列图像特征，生成时间序列图像语义特征。
52.其中，相比于云端服务器上的骨干网络resnet50，本发明将一般的卷积操作替换为深度可分离卷积，并裁剪了一部分，并且在该网络基础上，引入了跨阶段传输的机制，这样的改造可以使得本发明的网络能够在没有特别大算力的机器上得到稳定的训练，收敛的更加迅速，同时网络的计算量大大降低，使得算法可以在一般的嵌入式平台上实时运行，在
网络提取完之后，本发明使用自研的tbbtfpn算法对特征进行融合，具体融合方案如图8所示，其中，a过程是将输入图像进行骨干网络firecrossne提取特征的过程，由下往上，网络提取的语义特征逐渐加深，进入b过程，将高层的特征信息通过上采样的方式往下进行传递融合，进入c过程，从底往上，本发明采用concate的连接方式将特征进行融合。
53.进一步的，对于上述步骤提取到的图像语义特征，为了解决类似阳光、路灯等短时间内变化大不明显大，但图像语义特征与山火类似的问题，本发明以时间提取序列图像特征，生成时间序列图像语义特征输入到一个新的lstm网络，利用时间序列特征来训练lstm网络，使用该网络来预测序列帧关于山火短时语义特征，其中，lstm模型的第一部分是一个两层的rnn，每一步模型接受前帧的输入作为特征，得到一个输出特征，接着通过第二部分的一个线性lr层将rnn的输出进行回归。
54.更进一步的，采用训练好的lstm网络预测序列帧关于山火短时语义特征的过程包括：
55.首先使用热成像相机捕捉到图像的roi区域，将该区域送入经过训练后的firecrossnet网络提取深度语义特征，将短时连续语义特征送入训练后的lstm网络进行预测，预测的过程如下：
56.将布防区域的连续变化，定义为异常事件，通过计数划分策略检测异常事件；
57.根据系统对于单帧处理的时间大概是60毫秒，定义当前15帧作为一个短时序列，则相机判断的间隔时间为1秒，基于投票机制定义连续的异常帧是否为符合预设标准的异常段视频；
58.通过设定阈值判断异常帧，当lstm预测的分值低于阈值时定义为异常，通过roc曲线查找得出阈值，从而判断是否出现山火燃烧情况。
59.其中，根据firecrossnet网络的分类能力以及测试数据集作出roc曲线，将roc曲线面积最大的情况下对应的阈值选定为目标值，测试数据集数据选取的阈值范围为0.5～0.95。
60.本发明两阶段山火预测算法在第一阶段可以提取图像关于山火的语义特征，第二阶段基于短时序列特征，lstm网络可以预测提取到山火燃烧关于时间变化的响应趋势变化特征，可以很好的解决太阳光、路灯、灯塔等短时变化不大的光源特征的干扰。
61.本发明在第一阶段，利用训练好的firecrossnet模型提到到相机送入的图像，生成图像语义特征，进入自研的tbbtfpn算法进行特征融合；第二阶段将短时连续的语义特征送入到训练后的lstm网络进行预测，本发明方法可以很好的排除太阳光、路灯、灯塔等非典型山火特征的目标，此外，本发明根据山火燃烧的情况，定义异常帧的判断逻辑，从而做出山火情况的准确判断。一阶段本发明在原有的firecrossnet网络上进行大量的卷积操作轻量化改造，以及跨阶段的模块连接设计，大大减少了参数量和计算量，使得算法可以在嵌入式平台运行。
62.实施例2
63.参照图9～12为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种可自动识别布放区域的防山火热成像方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用本发明方法进行测试，以科学论证的手段验证本方法所具有的真实效果。
64.如图9所示的是一段夜晚山上正常视频序列的图像，图10所示的是一段山上起火燃烧的视频帧序列；热成像相机根据热源的位置捕捉到远处宝塔的位置、山火燃烧的并进行可见光相机拍摄，经过firecrossnet网络提取特征后，以一定时间前后帧组成时间序列特征送给lstm网络，得到预测结果，本实施例经过可视化后如图11～12所示，图11是lstm对于图9对应视频的响应，比较平缓，没有很明显的激活响应，图12是山火燃烧视频序列的响应，高亮部分反映了lstm对于燃烧状态的判断，体现了本发明的有效性。
65.应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
66.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
67.进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
68.如在本技术所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/
或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
69.应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。