基于图像和热像深度学习的火灾检测系统与方法与流程

本发明涉及火灾防控，尤其涉及基于图像和热像深度学习的火灾检测系统与方法。

背景技术：

1、随着电动汽车技术的快速进步和国家政策的推动发展，新能源汽车的市场保有量正在快速提升。作为新能源汽车的基础配套设施，充电桩的建设成为了促进我国汽车转型升级，助力绿色交通的一项重要工作。电力线缆传导方式充电以其能量传输大、效率高、无辐射等优点成为目前最主要的充电方式。电池安全是阻碍电动汽车发展的关键因素，充电过程因其功率大、发热大等特点是引起电动汽车电池发生火灾的最主要因素。电池在发生故障的初期阶段，及时停止充电并对进行降温处理能够有效的减缓电池灾难的扩大。

2、目前对电池进行监控的主要手段还是依赖于电动汽车内部的电池管理系统（bms）。bms主要依靠采集电池电压、温度等信息作为判定电池状态标准，如果电池发生过充或冒烟情况，电池电压并没有明显异常，bms可能无法检测到电池处于物理危险状态，继续要求充电机充电，最终导致电池发生火灾危险。目前电动汽车充电装置无法直接采集电池状态，仅依靠bms的充电需求给汽车充电，在bms失效情况下不能及时停止充电或发出告警信息，导致灾难扩大。

3、因此，本方法提出基于图像和热像深度学习的火灾检测系统与方法可以有效解决上述不足。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点，而提出的基于图像和热像深度学习的火灾检测系统与方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于图像和热像深度学习的火灾检测系统，包括主控板、电动车充电桩，所述主控板与电动车充电桩电性连接，所述电动车充电桩的两侧均设置有摄像头、热成像传感器，所述主控板包括图像处理单元、热成像处理单元、485无线通讯模块、开关模块、电源接口、4g模块，所述图像处理单元与摄像头电性连接，所述热成像处理单元与热成像传感器电性连接。

4、优选的，所述主控板的外侧设置有云平台，所述4g模块与云平台电性连接。

5、优选的，所述主控板的外侧设置有报警灭火装置，所述报警灭火装置包括消防控制器、消防喷头、火灾报警器，所述485无线通讯模块与火灾报警器电性连接，所述消防控制器包括消防阀门、增压泵，所述开关模块与消防阀门、增压泵电性连接。

6、基于图像和热像深度学习的火灾检测方法，包括以下步骤：

7、s1、摄像头与热成像传感器平行安装，使热成像照片与常规照片拍摄范围一致，将图像与热成像图片重叠，分别通过图像识别电动车电池火焰、烟雾特征、热成像识别温度特征；

8、s2、采用yuv方式传送图像信息，摄像头主要作为视觉识别主体，摄像头将实时采集到的图像中亮度信息与色彩信息分离并传送至图像处理单元，根据摄像头与电动车车位角度，图像处理单元标识出图像中电动汽车区域、底盘电池区域以及人体识别，通过分析yuv图像结合深度学习方法对图像中烟雾、火焰等状态进行标识；

9、s3、热成像传感器将采集到的红外图像传送给热成像处理单元，热成像处理单元通过图像特征算法检测高温异常区域，判定温度和热图形是否符合火焰情况，判定范围是否在yuv图像标记的车辆区域内；

10、s4、当yuv图像中的火焰区域与热图像中的高温异常区域重合时则判定为着火，主控板触发报警灭火装置并通知后台工作人员；

11、优选的，所述步骤s1中，建立数据集，数据集包含典型火灾图片和人工标记出的火灾图片，其中包括电动汽车着火、锂电池、铅蓄电池、燃料电池等电池类着火以及香烟头、打火机及蜡烛火焰这类不构成火灾风险火焰，通过标注软件标注出图片中的异常火焰，正常火焰和烟雾，导出数据集。

12、优选的，述步骤s2中，通过数据增强方法增加小样本目标，在实现丰富数据集的同时提升网络的训练速度，在训练时通过自适应锚框计算得到最佳锚框值，将输入端输出的图像输入focus结构，采用切片操作，经过卷积操作，变为48层的特征图，在中采用csp2_2结构增加网络特征提取和特征融合能力；

13、将fpn和pan相结合，fpn自顶向下传递深层语义特征，pan自底向上传递目标的位置信息，增强了模型对小目标的敏感度，有利于模型更好地学习特征；

14、将经过图像增强的图像传入训练好的模型得到图像识别结果。

15、优选的，所述步骤s3中，将热成像传感器传来的一帧温度数据转换为矩阵，对应实际画面，并计算出该帧温度平均值，将该平均值与当前温度平均值进行比较，若温度差不超过1度则将该帧温度平均值与前一帧温度平均值求平均值得出新的当前温度平均值；

16、将温度矩阵中像素温度表示成亮度信息，由纯黑到纯白分为256个等级分别对应-56℃到200℃，描绘出温度图像。

17、将温度矩阵中超过设定温度值的像素赋值为1，其余像素赋值为0，转换成二值化图像，通过计算函数即可得出过温图像的区域和面积。

18、优选的，所述步骤s4中，为防止因夏日外来车辆温度过高和环境中外表类似火焰物体带来干扰引起的误判，将yuv图像火灾检测和热图像高温区域检测相结合，实现精准识别，避免浪费不必要的人力物力；

19、如yuv图像分辨率为640×480，热图像分辨率为320×240，将yuv图像和热图像分别划分为1200个区域，yuv图像每个区域为16×16个像素点的矩阵，热图像每个区域为8×8个像素点的矩阵；yuv图像中的点所在的区域号，热图像中的点所在的区域号为；当yuv图像或热成像图片识别为火焰状态时，控制器标识出火焰像素，与热成像像素进行实时比对，包括火焰区域范围重合度、火焰面积、温度与颜色（像素亮度）图形一致度；

20、动态跟踪yuv图像和热图像中火焰区域，如果多个连续时间点（同步帧）上两者判定保持一致，则判定为着火；

21、优选的，所述步骤s4中：

22、状态一：当主控板检测到摄像头传来的yuv图像中车辆底盘部位具有大量烟雾但没有火焰且热图像中有部分区域温度比常温高20-40度，若此状态持续3帧及以上，判定为环境异常，可能即将着火；

23、状态二：当主控板检测到yuv图像中车辆底盘部位有大面积火焰，排除烟头、打火机火焰，蜡烛火焰等，对应图形火焰区域的热成像温度比常温高20度以上，若此状态持续3帧及以上，判定为环境异常，已经着火；

24、状态三：当热图像中温度大面积比常温高40度以上，但yuv图像中没有识别出火焰或烟雾yuv采集此时图像并保存备用，若此状态持续3帧及以上，判定为环境异常，可能即将着火；

25、状态四：当主控板检测到yuv图像中车辆底盘部位有大面积火焰，排除烟头、打火机火焰，蜡烛火焰等，若此时热图像中区域温度比常温高40度以上，判定yuv图像火焰区域是否与热图像高温区域基本吻合，若吻合且此情况持续3帧及以上，则判定为已经着火。

26、优选的，所述步骤s4中，485无线通讯模块控制火灾报警器启动，开关模块控制消防阀门、增压泵工作，通过消防喷头灭火，通过主控板控制电动车充电桩断电并通知后台工作人员。

27、本发明的有益效果为：

28、1、本发明中，摄像头与热成像传感器平行安装，使热成像照片与常规照片拍摄范围一致，将图像与热成像图片重叠，分别通过图像识别电动车电池火焰、烟雾特征、热成像识别温度特征，提高火灾识别精度、降低误报、漏报等风险。

29、2、本发明中，yuv是颜色编码方法，将亮度信息（y）与色彩信息（uv）分离，没有uv信息一样可以显示完整的图像，采用yuv方式传送图像信息，相较于rgb格式，占用极少的频宽。

30、3、本发明中，通过摄像头与热成像传感器的双识别，yuv图像识别结合热图像识别防止误判，克服现有技术的不足，准确率高，实时性强。