一种多模式森林防火多路视频监控系统构建方法

本发明属于多媒体视频和图像识别，具体地说，是一种基于多模式森林防火多路视频监控系统构建方法。

背景技术：

1、中国是多森林的国家，森林资源在涵养水源、保持水土和提高人们生活等方面发挥着重要的作用，受全球气候变化、人类活动等因素影响，森林已经成为火灾的重灾区，因此对森林火险进行早期预警至关重要。针对上述需求，国内森林火灾预警系统已经逐渐实现图像化和智能化，主要基于卫星图像、红外线图像和地面塔台可见光图像进行检测，而这些检测方法对检测仪器的准确性和精密度都有比较严格的要求，且成本较高。根据检测目标的差异主要可以分为基于火焰的检测预警系统和基于烟雾检测的预警系统，而这些预警系统模式比较单一，在火灾预警的精度和效率上都有一定的缺陷，如基于火焰检测的预警系统速度比较慢，基于烟雾检测的预警系统在有雾天气时精度较低。

技术实现思路

1、本发明提供了一种多模式森林防火多路视频监控系统；致力于为森林防火监控提供一种集成不同环境条件下有效方案的视频监控系统。整个实现过程涉及到视频解码播放、火焰检测、烟雾检测领域的相关技术。视频解码播放涉及到ffmpeg拉流播放、图像色彩空间转换、图像渲染播放；火焰检测涉及到基于对火焰特征进行提取以进行林火检测；烟雾检测需要完成对烟雾特征进行提取作为判据检测林火。

2、本发明采用的具体技术方案如下：

3、一种多模式森林防火多路视频监控系统，基于注册表提供用户数据管理的注册和登录、基于ffmpeg实现rtsp流的拉流、h.264/h.265视频解码以及图像格式和彩空间转换。构建多路播放平台，包括了基于多线程的多路播放、页面及视频源任意切换、视频播放的打开与关闭、根据原始输入比例以及显示设备分辨率的自适应缩放调整、rtsp流视频的本地存储、基于多种光学运动特征融合识别烟雾的林火检测、基于火焰颜色和纹理特征融合识别火焰的林火检测。

4、具体包括如下步骤：

5、步骤1，通过读写注册表键值的方式构建用户管理部分，供用户进行注册和登录操作；

6、步骤2，通过嵌入ffmpeg多媒体库实现rtsp流的拉取以及h.264或h.265码流的自适应解码；

7、步骤3，对输入流进行解复用，并行解码以及同时播放多路视频信号；

8、步骤4，实现视频信号以及不同数量同屏播放页面的各种情形的任意开关和切换；

9、步骤5，实现视频播放以及页面以原始输入长宽比优先，基于显示器分辨率的自适应尺寸调整；

10、步骤6，在前述播放实现的基础上，提供对解码的rtsp流进行存储的功能；

11、步骤7，实现根据多种运动特征进行烟雾检测的森林火灾检测；

12、步骤8，实现根据纹理及颜色特征进行火焰检测的森林火灾检测。

13、本发明的进一步改进，步骤1中，在程序执行后创建注册表，写入默认用户名和密码，并可在用户修改后覆盖旧键值；同时，具备判断账号密码输入错误次数是否大于3，如果大于3，就强行退出程序的功能。

14、本发明的进一步改进，步骤2中，选择了rtsp实时流传输协议以得到低延时传输，并通过重构ffmpeg库中的avformatcontext、avpacket、avframe等结构体以及调用其方法进行拉流和解码。

15、本发明的进一步改进，步骤3中，继承qthread类以执行多线程任务，构建播放类结构体以进行编解码初始化以及编解码过程，通过connect把通过movetothread函数分配对应线程。

16、本发明的进一步改进，步骤4中，利用qstackedwidget的索引实现页面切换，并对不同播放情况构建条件变量，通过switch语句实现相应的画面在页面切换时的保留。

17、本发明的进一步改进，步骤4中，使用双线程，内部线程用来循环读取某个设备获取的帧，外部线程用来告诉内部线程开始读取哪个设备获取的帧，以及让内部线程结束读取帧。从而实现在同一位置打开新的视频的功能。

18、本发明的进一步改进，步骤5中，利用qlabel的特性参数和qimage的函数进行图像自适应缩放和原始比例的保留，并根据在不同分辨率下的坐标通过qpainter绘制以实现自适应缩放。

19、本发明的进一步改进，步骤6中，通过qt中的库实现输出文件的创建，并在读取视频流和解码帧的基础上，用av_interleaved_write_frame等函数进行写数据和文件尾以及关闭存储等操作，从而实现存储功能。

20、本发明的进一步改进，步骤7中，通过同构数据的特征迁移，有效提取出烟雾特征，并通过卷积神经网络进行特征融合并识别出可疑区域，最后通过数据融合进行林火烟雾的检测。

21、本发明的进一步改进，步骤8中，分别在yuv图像和灰度图上提取颜色特征以及纹理特征，其中纹理特征利用了空域和频域信息提取，并将形成的特征向量输入分类器进行林火检测。

22、本发明的进一步改进，步骤8中，通过opencv获取图像帧，输入到训练好的分类器进行识别，并在检测到火焰的区域标出。同时，还给出警报消息。

23、本发明利用多媒体视频技术实时显示控制区域，必要时保存现场图像到本地，同时基于数据融合算法和svm分类算法对捕捉到的图像进行烟雾识别或者火焰识别，并在识别到烟雾或者火焰后发出预警，是一个可以实现多路视频实时播放、视频本机存储和多模式森林防火预警的应用程序。

24、本发明达到的有益效果为：本发明致力于为森林防火监控提供一种集成不同环境条件下有效方案的视频监控系统，在低延时的视频软解码监控服务的基础上，充分考虑到不同的自然环境条件的限制，基于不同手段满足应用场景下的相应需求。

技术特征：

1.一种多模式森林防火多路视频监控系统构建方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤1中，在程序执行后创建注册表，写入默认用户名和密码，并可在用户修改后覆盖旧键值，具备判断账号密码输入错误次数是否大于3，如果大于3，就强行退出程序的功能。

3.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤2中，选择了rtsp实时流传输协议以得到低延时传输，并通过重构ffmpeg库中的avformatcontext、avpacket、avframe结构体以及调用其方法进行拉流和解码。

4.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤3中，继承qthread类以执行多线程任务，构建播放类结构体以进行编解码初始化以及编解码过程，通过connect把通过movetothread函数分配对应线程。

5.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤4中，利用qstackedwidget的索引实现页面切换，并对不同播放情况构建条件变量，通过switch语句实现相应的画面在页面切换时的保留。

6.根据权利要求5所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤4中，使用双线程，内部线程用来循环读取某个设备获取的帧，外部线程用来告诉内部线程开始读取哪个设备获取的帧，以及让内部线程结束读取帧，从而实现在同一位置打开新的视频的功能。

7.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤5中，利用qlabel的特性参数和qimage的函数进行图像自适应缩放和原始比例的保留，并根据在不同分辨率下的坐标通过qpainter绘制以实现自适应缩放。

8.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤6中，通过qt中的库实现输出文件的创建，并在读取视频流和解码帧的基础上，用av_interleaved_write_frame函数进行写数据和文件尾以及关闭存储等操作，从而实现存储功能。

9.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤7中，通过同构数据的特征迁移，有效提取出烟雾特征，并通过卷积神经网络进行特征融合并识别出可疑区域，最后通过数据融合进行林火烟雾的检测。

10.根据权利要求1所述的一种多模式森林防火多路视频监控系统构建方法，其特征在于，所述步骤8中，分别在yuv图像和灰度图上提取颜色特征以及纹理特征，其中纹理特征利用了空域和频域信息提取，并将形成的特征向量输入分类器进行林火检测；通过opencv获取图像帧，输入到训练好的分类器进行识别，并在检测到火焰的区域标出，同时，还给出警报消息。

技术总结
本发明属于多媒体视频技术领域和图像识别技术领域，具体地说，是一种多模式森林防火多路视频监控系统构建方法，基于libavcodec，libavformat等库实现摄像头拍摄画面的采集和视频格式的转换，帮助用户进行视频监控和视频本地存储，基于多种光学运动特征融合实现识别烟雾林火检测、基于火焰颜色和纹理特征融合实现识别火焰的林火检测，并在发现林火后向用户发出预警信号。构建的多路视频播放存储系统主要包括用户管理、多路视频采集、多路视频播放、视频存储、烟雾识别林火检测和火焰识别林火检测五部分。

技术研发人员：武婷婷,杜智颜,邹观哲,王清洁,曾铁勇
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/13