一种面向夜间海雾监测的伪可见光云图生成方法

1.本发明涉及人工智能技术领域，具体而言，涉及一种面向夜间海雾监测的伪可见光云图生成方法。


背景技术：

2.海雾是指发生在海上、岸滨和岛屿上空低层大气中，由于水汽凝结而产生的水滴或冰晶，使得水平能见度小于1000米的危险性天气现象。作为一种灾害性天气，海雾严重影响海洋及沿岸的活动安全，实现海雾的精准监测对航运、渔业及其它生产活动均具有重要意义。常规的海雾监测采用布设海雾观测站点的方法，但该方法受到站点密度及观测时间限制，无法实现对海雾的大范围长时间连续监测。卫星遥感监测资料具有覆盖范围广、时空分辨率高等诸多优势，能从宏观上对海雾的分布范围，特别是海雾的生消动态实施连续的监测，是其他各种常规监测方法无法替代的，正在成为海雾监测的重要手段。
3.从上世纪70年代开始，就有学者尝试利用云雾在辐射特性上的差异，开展利用卫星遥感进行雾监测的研究，阈值法是最常用的方法。但是由于阈值方法主要针对海雾的辐射特性，难于利用海雾的纹理特征，从而限制了海雾的监测精度。由于受太阳辐射的影响，对于白天或夜间需设计不同的海雾监测模型，难于建立全天时的海雾遥感探测算法；同时，由于低云和海雾在物理性质上没有本质的区别，它们的光谱特性极为相似，对于低云与海雾的识别主要依赖于它们纹理特性的差异，虽然在白天海雾监测中可以通过挖掘可见光波段所蕴含的丰富纹理特征，提高海雾与低云识别的准确率，但夜间受制于可见光波段的缺失，加之现有的夜间海雾监测方法多从像素级出发进行云分类，无法从整体上感知海雾的纹理特征，因此实现低云和海雾的区分仍然是一个难题。


技术实现要素：

4.本发明解决的问题是如何解决难于准确区分低云与海雾的问题，提高夜间海雾监测的精度。
5.为解决上述问题，本发明提供一种面向夜间海雾监测的伪可见光云图生成方法，包括步骤：
6.s1：基于himawari-8卫星云图并从中选取可见光波段与远红外波段数据构建训练数据集；
7.s2：基于pix2pix框架结合多尺度的特征融合网络，构建了注意力机制下多尺度特征融合生成对抗网络；
8.s3：采用图像翻译技术训练远红外波段云图到可见光波段云图的映射网络，以生成夜间伪可见光云图；
9.s4：通过伪可见光生成模型与海雾检测模型结合以验证模型对于夜间海雾监测的精度。
10.在上述方法中，基于深度学习模型，利用himawari-8卫星云图的多光谱信息开展
了面向夜间海雾监测的伪可见光云图生成研究。首先针对云雾特性在注意力机制下，提出了一种夜间伪可见光生成的多尺度特征融合生成对抗网络。该网络依据云图在不同成像通道的光谱特性，设计了多层次的网络模块，以提升网络对云图特征的挖掘能力，引入多尺度融合从而使得网络在捕获云图不同尺度的结构信息及细节信息，提高夜间海雾监测的精度。
11.进一步地，所述步骤s1包括：
12.s11：建立himawari-8卫星云图其它波段与可见光波段的映射关系，选取白天远红外各波段和可见光波段的数据训练网络，利用夜间的远红外波段数据反演伪可见云图。
13.进一步地，所述步骤s2中多尺度特征融合生成对抗网络由生成网络和判别网络组成；
14.其中，生成网络采用编码器和解码器结构；
15.编码器结构的编码阶段，输入云图经过多层第一组模块逐层提取云图特征；
16.解码器结构的解码阶段，第二组模块接收来自编码器以及解码器的特征图，统一特征图数量进行多尺度特征图的拼接，对拼接特征图通过卷积操作进行多尺度特征融合，生成伪可见光云图；
17.其中，判别网络采用马尔科夫patchgan结构，由五层卷积层构成，用于判别伪可见光云图与真实云图。
18.进一步地，第一组模块由两层卷积层和一层通道注意力模块组成；
19.每层卷积层由3
×
3的卷积核以及bn与relu构成，经过两层卷积层后，特征图输入到通道注意力层中；通道注意力模块通过感知不同通道的云图对模型训练过程的贡献，为不同通道赋予不同权值。
20.进一步地，第二组模块由多尺度特征拼接模块和多尺度特征融合模块组成；
21.特征拼接模块将来自不同编解码器不同层的云图特征进行拼接，特征融合模块对拼接云图特征进行融合处理。
22.进一步地，在第二组模块的多尺度拼接模块中，接收编码器同一层级的特征映射并利用卷积统一特征图数量；
23.对不同规模的编解码器层采用最大池化或双线性插值操作统一特征图分辨率，利用卷积统一特征数量，通过跳跃连接获取云图底层特征信息与高级语义信息；
24.在得到五个不同尺度的特征图后，对特征图进行拼接，在特征融合模块中，对拼接特征图进行卷积操作并融合特征减少冗余信息，特征图计算为：
[0025][0026]
其中a表示编码器第一组模块，b表示解码器第二组模块，n表示解码器第二组模块总数，c(
·
)表示卷积运算，h(
·
)表示卷积、批量归一化和relu激活函数实现特征融合机制，d(
·
)和u(
·
)分别表示下采样和上采样操作，[
·
]表示拼接操作。
[0027]
进一步地，生成对抗网络的训练中的目标函数由对抗损失与l1损失两部分构成；
[0028]
对抗损失公式为：
[0029]
l
cgan
(g,d)＝ey[logd(x,y)]+e
x
[log(1-d(x,g(x))]
[0030]
其中，x表示远红外云图作为生成器g的输入，得到生成图像g(x)；{x,y}和{x,g
(x)}作为判别器d的输入，其中y表示与x对应的可见光云图；
[0031]
获取云图低频信息，引入l1损失函数从整体像素上约束生成图像g(x)和真实图像y之间的差异，表示为：
[0032]
l
l1
(g)＝e
x,y
[||y-g(x)||1]
[0033]
模型的目标函数表示为：
[0034][0035]
进一步地，伪可见光生成模型采用白天可见光与远红外第十四至第十六波段数据作为训练样本；海雾检测模型采用白天海雾识别数据集为训练样本进行训练；
[0036]
模型训练后，将待检测的夜间远红外波段云图输入伪可见光生成模型，以生成夜间伪可见光云图；将伪可见光云图输入至海雾检测模型中，以生成夜间海雾识别结果。
[0037]
本发明采用上述技术方案包括以下有益效果：
[0038]
本发明针对目前卫星云图进行海雾监测时存在的困难，在分析云图成像光谱特性的基础上，通过构造多尺度融合生成对抗网络，提出一种面向夜间海雾监测的伪可见光云图生成方法，以解决传统方法难于准确区分低云与海雾的问题，提高夜间海雾监测的精度。
附图说明
[0039]
图1为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法流程图一；
[0040]
图2为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法流程图二；
[0041]
图3为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法的注意力机制下多尺度特征融合生成对抗网络结构图；
[0042]
图4为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法的组模块结构示意图；
[0043]
图5为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法的通道注意力模块网络结构示意图；
[0044]
图6为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法的组模块中第二组模块中b3的多尺度特征拼接与融合图；
[0045]
图7为本发明实施例提供的面向夜间海雾监测的伪可见光云图生成方法的夜间海雾检测方法流程图。
具体实施方式
[0046]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0047]
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
[0048]
实施例
[0049]
本实施例提供了一种面向夜间海雾监测的伪可见光云图生成方法，如图1和图2所示，本方法包括步骤：
[0050]
s1：基于himawari-8卫星云图并从中选取可见光波段与远红外波段数据构建训练数据集；
[0051]
s2：基于pix2pix框架结合多尺度的特征融合网络，构建了注意力机制下多尺度特征融合生成对抗网络；
[0052]
s3：采用图像翻译技术训练远红外波段云图到可见光波段云图的映射网络，以生成夜间伪可见光云图；
[0053]
s4：通过伪可见光生成模型与海雾检测模型结合以验证模型对于夜间海雾监测的精度。
[0054]
具体的，himawari-8(葵花8)是日本新一代静止气象卫星。该卫星搭载的可见光和红外扫描辐射计ahi(advanced himawari imager)具有16个通道，涵盖了可见光、近红外、中红外和远红外波段。
[0055]
具体的，为了在夜间海雾监测中可以利用可见光云图所蕴含的纹理特征，我们采用图像翻译技术训练一种远红外波段云图到可见光波段云图的映射网络，以生成夜间伪可见光云图。
[0056]
参阅图2，其中，步骤s1包括：
[0057]
s11：建立himawari-8卫星云图其它波段与可见光波段的映射关系，选取白天远红外各波段和可见光波段的数据训练网络，利用夜间的远红外波段数据反演伪可见云图。
[0058]
具体的，为了训练生成对抗网络以生成夜间伪可见光云图，需要建立卫星云图其它波段与可见光波段的映射关系，由于远红外波段在白天和夜间的辐射特性基本一致，因此选取白天远红外各波段和可见光波段的数据训练网络，以实现利用夜间的远红外波段数据反演伪可见云图的目标。
[0059]
其中，步骤s2中多尺度特征融合生成对抗网络由生成网络和判别网络组成；
[0060]
其中，生成网络采用编码器和解码器结构；
[0061]
编码器结构的编码阶段，输入云图经过多层第一组模块逐层提取云图特征；
[0062]
解码器结构的解码阶段，第二组模块接收来自编码器以及解码器的特征图，统一特征图数量进行多尺度特征图的拼接，对拼接特征图通过卷积操作进行多尺度特征融合，生成伪可见光云图；
[0063]
其中，判别网络采用马尔科夫patchgan结构，由五层卷积层构成，用于判别伪可见光云图与真实云图。
[0064]
参阅图3所示的注意力机制下多尺度特征融合生成对抗网络结构图，基于pix2pix(image-to-imagetranslation with conditional adversarial networks)框架结合多尺度的特征融合网络，构建了注意力机制下多尺度特征融合生成对抗网络(multi-scale feature fusion generating adversarial networks with attention mechanism,mfc-gan)。输入云图，经生成器(generator)的输入，其中，生成器(generator)包括多层第一组模块(encoder module group a)和第二组模块(decoder module group b)，得到伪可见光云图，伪可见光云图、输入云图和标签云图作为判别器(discriminator)的输入，以实现夜间伪可见光云图生成。
[0065]
其中，第一组模块由两层卷积层和一层通道注意力模块组成；
[0066]
每层卷积层由3
×
3的卷积核以及bn与relu构成，经过两层卷积层后，特征图输入
到通道注意力层中；通道注意力模块通过感知不同通道的云图对模型训练过程的贡献，为不同通道赋予不同权值。
[0067]
参阅图4所示的组模块结构，第一组模块(encoder module group a)由两层卷积层和一层通道注意力模块组成，每层卷积层由3
×
3的卷积核以及bn与relu构成，在经过两层卷积层后，特征图输入到通道注意力层中。通道注意力模块(channel attention module)能够通过感知不同通道的云图对模型训练过程的贡献，为不同通道赋予不同权值。第二组模块(decoder module group b)由多尺度特征拼接模块(multi-scale feature concat)和多尺度特征融合模块(feature fusion)组成，特征拼接模块将来自不同编解码器不同层的云图特征进行拼接，特征融合模块则实现对拼接云图特征的融合，从而减少网络采样过程中云图特征损失，深入挖掘云图特征。
[0068]
参阅图5所示的通道注意力模块网络结构，首先对深度特征图进行逐通道的最大池化和平均池化，得到两个一维向量，向量维数为通道数。然后分别将两个向量输入到共享权重的mlp(multilayer perceptron)中，将输出向量融合，经过激活函数后作为通道注意力权重，依次分配给各深度特征图。
[0069]
其中，第二组模块由多尺度特征拼接模块和多尺度特征融合模块组成；
[0070]
特征拼接模块将来自不同编解码器不同层的云图特征进行拼接，特征融合模块对拼接云图特征进行融合处理。
[0071]
其中，在第二组模块的多尺度拼接模块中，接收编码器同一层级的特征映射并利用卷积统一特征图数量；
[0072]
对不同规模的编解码器层采用最大池化或双线性插值操作统一特征图分辨率，利用卷积统一特征数量，通过跳跃连接获取云图底层特征信息与高级语义信息；
[0073]
在得到五个不同尺度的特征图后，对特征图进行拼接，在特征融合模块中，对拼接特征图进行卷积操作并融合特征减少冗余信息，特征图计算为：
[0074][0075]
其中a表示编码器第一组模块，b表示解码器第二组模块，n表示解码器第二组模块总数，c(
·
)表示卷积运算，h(
·
)表示卷积、批量归一化和relu激活函数实现特征融合机制，d(
·
)和u(
·
)分别表示下采样和上采样操作，[
·
]表示拼接操作。
[0076]
参阅图6所示的组模块中第二组模块中b3的多尺度特征拼接与融合图。由于第二组模块在不同解码层中，其多尺度特征拼接模块(multi-scale feature concat)所获取的特征来源以及对不同特征处理操作不同。为进一步展示第二组模块中多尺度特征拼接与融合模块结构及其特征拼接融合策略，以组模块中第二组模块中b3的多尺度特征拼接与融合过程为例进行说明。在解码器层组模块中第二组模块中b3的多尺度拼接模块中，其接收编码器同一层级的特征映射并利用卷积统一特征图数量。而对于不同规模的编解码器层则先采用最大池化(maxpooling)或双线性插值(bilinear up sample)操作统一特征图分辨率，利用卷积统一特征数量，通过跳跃连接获取云图底层特征信息与高级语义信息。最终在得到五个不同尺度的特征图后，对特征图进行拼接。在特征融合模块(feature fusion)中，则是对拼接特征图进行卷积等操作，进一步融合特征并减少冗余信息。
[0077]
其中，生成对抗网络的训练中的目标函数由对抗损失与l1损失两部分构成；
[0078]
对抗损失公式为：
[0079]
l
cgan
(g,d)＝ey[logd(x,y)]+e
x
[log(1-d(x,g(x))]
[0080]
其中，x表示远红外云图作为生成器g的输入，得到生成图像g(x)；{x,y}和{x,g(x)}作为判别器d的输入，其中y表示与x对应的可见光云图；
[0081]
获取云图低频信息，引入l1损失函数从整体像素上约束生成图像g(x)和真实图像y之间的差异，表示为：
[0082]
l
l1
(g)＝e
x,y
[||y-g(x)||1]
[0083]
模型的目标函数表示为：
[0084][0085]
具体的，g需要通过多次迭代训练使目标函数尽量最小化，而d则是想要使目标函数最大化。
[0086]
其中，伪可见光生成模型采用白天可见光与远红外第十四至第十六波段数据作为训练样本；海雾检测模型采用白天海雾识别数据集为训练样本进行训练；
[0087]
模型训练后，将待检测的夜间远红外波段云图输入伪可见光生成模型，以生成夜间伪可见光云图；将伪可见光云图输入至海雾检测模型中，以生成夜间海雾识别结果。
[0088]
具体的，基于远红外波段云图生成伪可见光云图，然后将生成的伪可见光云图用于海雾监测中，因此通过云图生成及海雾监测两方面对所提方法的性能进行评价。
[0089]
参阅图7，为了验证本文所提出模型对于夜间海雾监测的有效性，提出一种由伪可见光生成模型与海雾检测模型组成且结合伪可见光云图与模型迁移的夜间海雾识别方法。首先，伪可见光生成模型以白天可见光与远红外第十四至第十六波段数据作为训练样本，海雾检测模型以白天海雾识别数据集为训练样本进行训练。模型训练完成后，将待检测的夜间远红外波段云图输入伪可见光生成模型，以生成夜间伪可见光云图。最终，将伪可见光云图输入至海雾检测模型中，以生成夜间海雾识别结果。
[0090]
本方法基于深度学习模型，利用葵花卫星云图的多光谱信息开展了面向夜间海雾监测的伪可见光云图生成研究。首先针对云雾特性在注意力机制下，提出了一种夜间伪可见光生成的多尺度特征融合生成对抗网络。该网络依据云图在不同成像通道的光谱特性，设计了多层次的网络模块，以提升网络对云图特征的挖掘能力，引入多尺度融合从而使得网络在捕获云图不同尺度的结构信息及细节信息。提出一种面向夜间海雾监测的伪可见光云图生成方法，以解决传统方法难于准确区分低云与海雾的问题，提高夜间海雾监测的精度。
[0091]
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。