一种基于深度卷积神经网络的强天气目标识别方法与流程

1.本发明属于气象监测领域，特别涉及一种基于深度卷积神经网络的强天气目标识别方法。


背景技术：

2.近年来龙卷风、冰雹、雷电等强天气越发频繁，造成了大量人员伤亡和经济损失。目前的预报手段和天气雷达监测对这种小范围强天气均存在虚报和漏报率高，且无法精确定时定位，不能足够有效的获取这些突发性强、空间尺度小、时间持续短的强天气现象的发生，在现象发生很长一段时间后才能获取信息并做出相应的决策和救援，使得灾害损失在没有干预的情况下持续扩大。因此能够第一时间识别到强天气过程的发生并作出及时告警，可为决策服务提供最及时的可靠信息，第一时间为灾害发生进行人工干预，极大的减少人员伤亡和财产损失。
3.目前国内进行的一些基于神经网络的天气现象识别研究分为两种，第一种是基于卫星云图和实况图片的纹理特征提取，通过聚类算法进行分类研究，只需要判断样本数据的类别，例如云的种类，天气现象类别判断(晴天、雨天、阴天、雪天)，这些分类无法判断图片中具体单体事件的发生，而且依赖的样本数据环境相对单一简单；第二种是基于雷达拼图的强天气现象识别，这种识别也是基于提取雷达图中强回波的特征和路径进行神经网络学习，判断某个大的区域内可能发生大风和强降水，这种方法局限于雷达回波信息，且回波受到多种因素干扰，也存在较高的虚警率和漏报率，为此，本发明提出一种基于深度卷积神经网络的强天气目标识别方法。


技术实现要素：

4.为了解决现有技术存在的问题，本发明提供了一种基于深度卷积神经网络的强天气目标识别方法，本发明的基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标 (龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于深度卷积神经网络的强天气目标识别方法，具体步骤如下：
6.步骤一：数据集收集：强天气现象图像和视频在业务中主要来源于国家气象站摄像头，由于龙卷、冰雹等强天气现象出现频率和范围小，没有足够的观测样本，因此模型训练所用龙卷和冰雹图像均通过互联网收集获得，其样本大小、角度、清晰度存在较大差异，一定程度影响模型训练结果，但同时也使得模型训练结果具有更多样化的适应性，共计龙卷风图像500张，冰雹图像500张，雷电图像1000张进行模型学习训练；
7.步骤二：数据集构建：在模型训练前通过lableimg工具对所有数据集图像中强天
气目标对象进行人工框选标注，其中龙卷风目标个体明确，标注简单；闪电个体分支较多，存在一定标注歧义；冰雹个体存在冰雹数量多、相互覆盖、融化、破损等众多因素影响，存在标注目标个体差异大的问题，但不影响图像整体目标个体存在性问题的标注；
8.训练过程中所有数据集图像按9:1的比例随机划分为train、 test图像数据集分别用来模型训练和模型测试。另外在train数据集中随机划分60％数据集val用来在训练中进行模型验证，模型验证不影响模型训练结果；
9.步骤三：模型构建；yolov5模型结构主要包括输入端、backbone、 neck、prediction四部分组成，如下：
10.①
：输入端：输入端主要包括图像大小插值、mosaic数据增强、自适应锚框计算三个操作，图像大小插值：为保证模型训练的一致性，在模型训练前将所有图像插值为相同大小，mosaic数据增强：对图像进行随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好，自适应锚框计算：设置初始长宽的锚框，进行网络训练迭代训练，反复更新；
11.②
：backbone:该部分主要由focus+cspdarknet+spp结构实现，其中focus结构中比较关键的是切片操作，采用切片操作，先将 2m*2m*3大小的图像变成m*m*12的特征图，再经过一次80个卷积核的卷积操作，最终变成m*m*34的特征图，cspdarknet解决了卷积神经网络框架backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和flops数值，spp层即空间金字塔池化，可以增大感受野，有助于解决anchor 和feature map的对齐问题；
12.③
：neck：该部分由fpn+pan结构实现，其中fpn是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图,而pan则自底向上传达强定位特征，两种结构组合可以提升了大物体的检测效果；
13.④
：prediction：yolov5预测中主要损失bounding box采用 giou_loss函数，objectness目标检测采用beclogits损失函数， classification分类采用了交叉熵损失函数(bceclsloss)衡量损失；
14.yolov5模型训练效果的评价指标主要包括模型检测损失值和模型检测pr曲线相关指标，具体如下：
15.yolov5总的损失包括检测框bounding box的损失、objectness 目标检测损失以及classification分类损失三部分组成，三个损失值越小则模型训练结果越优，其中bounding box采用了giou loss 作为损失函数，作为距离的一种度量，对尺度不敏感；objectness 采用beclogits损失函数，classification采用了交叉熵损失函数 (bceclsloss)；
16.①
损失指标：
17.giou损失函数：
[0018][0019]
其中a为检测框，b为标记框，c为同时包括a和b的最小封闭框；
[0020]
多分类情况下交叉熵损失函数：
[0021][0022]
其中m为类别数量；yic表示图像样本i的预测类别和真实类别相同就是1，否则是0；pic表示图像样本i属于类别c的预测概率；
[0023]
②
pr曲线相关指标：
[0024]
intersection
‑
over
‑
union交并比(记为iou)：为系统预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于iou值则说明检测正确；
[0025]
precision精度(记为p)：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；
[0026]
recall召回率(记为r)：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
[0027][0028]
显然p值和r值越高检测效果越好，但单独以p值或r值定义模型检测性能存在片面性，p值和r值之间存在一定的矛盾关系，因此采用以precision和recall作为纵、横轴坐标的二维pr曲线来显示出模型在precision与recall之间的权衡关系，在pr曲线中通常用average precision(ap)和mean average precision(map)值来衡量整个曲线的性能指标,map为所有类ap的平均值，map@.5则为 iou＝0.5时map的值，是模型总体性能的一个重要指标；
[0029][0030][0031]
其中p代表precision，r代表recall，p是一个以r为参数的函数；n代表测试集中所有图片的个数，p(k)表示在能识别出k个图片的时候precision的值，而
△
(k)则表示识别图片个数从k
‑
1变化到k时recall值的变化情况；
[0032]
步骤四：模型训练与验证；为保证识别效果，采用yolov5x网络结构,具体步骤如下：
[0033]
①
：数据源接入，模型训练数据源为收集的train图像数据集；
[0034]
②
：模型训练：模型训练初始化权重参数文件为yolov5x.pt，网络结构参数文件为yolov5x.yaml训练，iou参数设置为0.5，迭代训练200次；
[0035]
③
：训练输出：输出训练后的强天气识别模型权重文件 weather.pt；
[0036]
④
：验证：采用训练所得的weather.pt权重文件和网络结构参数文件yolov5x.yaml进行目标检测验证，验证输入的数据集为收集的val图像数据集，并输出相关性能验证结果。
[0037]
步骤五：模型测试；模型训练结束后输出weather.pt权重文件，以weather.pt和yolov5x.yaml作为主要参数文件对test数据集和 50张无强天气目标图像进行测试目标检
测。
[0038]
①
：数据源接入，数据源可以是图像、视频文件或者是视频流，这里以test数据集和50张无强天气目标图像进行测试；
[0039]
②
：目标检测：目标检测中采用训练所得的weather.pt权重文件作为参数进行检测，根据业务需要和模型验证的性能结果设置置信度阈值confidence1，为保证高的检出率和低的漏检率，confidence1 设置较小；
[0040]
③
：输出检测结果文件,检测结果包括带检测框的图像或视频，检测到目标的个数和种类、目标在图像中的位置；
[0041]
④
：告警：当检测目标数大于1时,说明存在强天气现象，进行告警处理，在进行告警处理时根据检测的类别分别设置龙卷、冰雹、雷电置信度二次阈值，当所有检测目标的置信度低于二次阈值时进行人工判断，若有一个目标的置信度高于二次阈值则直接发出对应强天气现象的告警；
[0042]
作为本发明的一种优选实施方式，所述步骤五的
②
中置信度阈值 confidence1的范围为0
‑
1。
[0043]
作为本发明的一种优选实施方式，所述步骤一中，雷电图像从深圳大学可视计算研究中心下载。
[0044]
作为本发明的一种优选实施方式，所述步骤三的
①
中所有图像插值均为640*640。
[0045]
作为本发明的一种优选实施方式，所述步骤三中，iou值则默认取0.5。
[0046]
本发明的有益效果为：
[0047]
1、本发明的一种基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失。
[0048]
2、本发明的一种基于深度卷积神经网络的强天气目标识别方法能够融入全国气象部门天擎系统对国家气象观测站视频流数据进行强天气检测，未来随着5g甚至6g的快速发展，区域气象站设置摄像头获取实况视频流和图像数据将成为可能，获取强天气样本数将进一步增加，模型可进一步得到优化，同时也可实现区域气象站强天气识别的全覆盖。
附图说明
[0049]
图1为一种基于深度卷积神经网络的强天气目标识别方法的流程图。
具体实施方式
[0050]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0051]
请参阅图1，本发明提供一种技术方案：一种基于深度卷积神经网络的强天气目标识别方法，具体步骤如下：
[0052]
步骤一：数据集收集：强天气现象图像和视频在业务中主要来源于国家气象站摄像头，由于龙卷、冰雹等强天气现象出现频率和范围小，没有足够的观测样本，因此模型训
练所用龙卷和冰雹图像均通过互联网收集获得，其样本大小、角度、清晰度存在较大差异，一定程度影响模型训练结果，但同时也使得模型训练结果具有更多样化的适应性，共计龙卷风图像500张，冰雹图像500张，雷电图像1000张进行模型学习训练；
[0053]
步骤二：数据集构建：在模型训练前通过lableimg工具对所有数据集图像中强天气目标对象进行人工框选标注，其中龙卷风目标个体明确，标注简单；闪电个体分支较多，存在一定标注歧义；冰雹个体存在冰雹数量多、相互覆盖、融化、破损等众多因素影响，存在标注目标个体差异大的问题，但不影响图像整体目标个体存在性问题的标注；
[0054]
训练过程中所有数据集图像按9:1的比例随机划分为train、 test图像数据集分别用来模型训练和模型测试。另外在train数据集中随机划分60％数据集val用来在训练中进行模型验证，模型验证不影响模型训练结果；
[0055]
步骤三：模型构建；yolov5模型结构主要包括输入端、backbone、 neck、prediction四部分组成，如下：
[0056]
①
：输入端：输入端主要包括图像大小插值、mosaic数据增强、自适应锚框计算三个操作，图像大小插值：为保证模型训练的一致性，在模型训练前将所有图像插值为相同大小，mosaic数据增强：对图像进行随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好，自适应锚框计算：设置初始长宽的锚框，进行网络训练迭代训练，反复更新；
[0057]
②
：backbone:该部分主要由focus+cspdarknet+spp结构实现，其中focus结构中比较关键的是切片操作，采用切片操作，先将 2m*2m*3大小的图像变成m*m*12的特征图，再经过一次80个卷积核的卷积操作，最终变成m*m*34的特征图，cspdarknet解决了卷积神经网络框架backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和flops数值，spp层即空间金字塔池化，可以增大感受野，有助于解决anchor 和feature map的对齐问题；
[0058]
③
：neck：该部分由fpn+pan结构实现，其中fpn是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图,而pan则自底向上传达强定位特征，两种结构组合可以提升了大物体的检测效果；
[0059]
④
：prediction：yolov5预测中主要损失bounding box采用 giou_loss函数，objectness目标检测采用beclogits损失函数， classification分类采用了交叉熵损失函数(bceclsloss)衡量损失；
[0060]
yolov5模型训练效果的评价指标主要包括模型检测损失值和模型检测pr曲线相关指标，具体如下：
[0061]
yolov5总的损失包括检测框bounding box的损失、objectness 目标检测损失以及classification分类损失三部分组成，三个损失值越小则模型训练结果越优，其中bounding box采用了giou loss 作为损失函数，作为距离的一种度量，对尺度不敏感；objectness 采用beclogits损失函数，classification采用了交叉熵损失函数 (bceclsloss)；
[0062]
①
损失指标：
[0063]
giou损失函数：
[0064][0065]
其中a为检测框，b为标记框，c为同时包括a和b的最小封闭框；
[0066]
多分类情况下交叉熵损失函数：
[0067][0068]
其中m为类别数量；yic表示图像样本i的预测类别和真实类别相同就是1，否则是0；pic表示图像样本i属于类别c的预测概率；
[0069]
②
pr曲线相关指标：
[0070]
intersection
‑
over
‑
union交并比(记为iou)：为系统预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于iou值则说明检测正确；
[0071]
precision精度(记为p)：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；
[0072]
recall召回率(记为r)：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
[0073][0074]
显然p值和r值越高检测效果越好，但单独以p值或r值定义模型检测性能存在片面性，p值和r值之间存在一定的矛盾关系，因此采用以precision和recall作为纵、横轴坐标的二维pr曲线来显示出模型在precision与recall之间的权衡关系，在pr曲线中通常用average precision(ap)和mean average precision(map)值来衡量整个曲线的性能指标,map为所有类ap的平均值，map@.5则为 iou＝0.5时map的值，是模型总体性能的一个重要指标；
[0075][0076][0077]
其中p代表precision，r代表recall，p是一个以r为参数的函数；n代表测试集中所有图片的个数，p(k)表示在能识别出k个图片的时候precision的值，而
△
(k)则表示识别图片个数从k
‑
1变化到k时recall值的变化情况；
[0078]
步骤四：模型训练与验证；为保证识别效果，采用yolov5x网络结构,具体步骤如下：
[0079]
①
：数据源接入，模型训练数据源为收集的train图像数据集；
[0080]
②
：模型训练：模型训练初始化权重参数文件为yolov5x.pt，网络结构参数文件为yolov5x.yaml训练，iou参数设置为0.5，迭代训练200次；
[0081]
③
：训练输出：输出训练后的强天气识别模型权重文件 weather.pt；
[0082]
④
：验证：采用训练所得的weather.pt权重文件和网络结构参数文件
yolov5x.yaml进行目标检测验证，验证输入的数据集为收集的val图像数据集，并输出相关性能验证结果。
[0083]
步骤五：模型测试；模型训练结束后输出weather.pt权重文件，以weather.pt和yolov5x.yaml作为主要参数文件对test数据集和 50张无强天气目标图像进行测试目标检测。
[0084]
①
：数据源接入，数据源可以是图像、视频文件或者是视频流，这里以test数据集和50张无强天气目标图像进行测试；
[0085]
②
：目标检测：目标检测中采用训练所得的weather.pt权重文件作为参数进行检测，根据业务需要和模型验证的性能结果设置置信度阈值confidence1，为保证高的检出率和低的漏检率，confidence1 设置较小；
[0086]
③
：输出检测结果文件,检测结果包括带检测框的图像或视频，检测到目标的个数和种类、目标在图像中的位置；
[0087]
④
：告警：当检测目标数大于1时,说明存在强天气现象，进行告警处理，在进行告警处理时根据检测的类别分别设置龙卷、冰雹、雷电置信度二次阈值，当所有检测目标的置信度低于二次阈值时进行人工判断，若有一个目标的置信度高于二次阈值则直接发出对应强天气现象的告警；
[0088]
作为本发明的一种优选实施方式，所述步骤五的
②
中置信度阈值 confidence1的范围为0
‑
1。
[0089]
作为本发明的一种优选实施方式，所述步骤一中，雷电图像从深圳大学可视计算研究中心下载。
[0090]
作为本发明的一种优选实施方式，所述步骤三的
①
中所有图像插值均为640*640。
[0091]
作为本发明的一种优选实施方式，所述步骤三中，iou值则默认取0.5。
[0092]
作为本发明的一种优选实施方式，该基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失，能够融入全国气象部门天擎系统对国家气象观测站视频流数据进行强天气检测，未来随着5g 甚至6g的快速发展，区域气象站设置摄像头获取实况视频流和图像数据将成为可能，获取强天气样本数将进一步增加，模型可进一步得到优化，同时也可实现区域气象站强天气识别的全覆盖。
[0093]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0094]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员
可以理解的其他实施方式。