一种基于深度跨尺度外推融合的卫星云图预测方法与流程

1.本发明涉及气象技术领域，特别是一种基于深度跨尺度外推融合的卫星云图预测方法。


背景技术：

2.随着卫星遥感技术的快速发展，卫星云图在天气分析和预报中的作用日益增大。利用卫星云图可以观察不同尺度云系结构及其活动规律，跟踪大范围天气系统的演变，分析大气运动变化的趋势和状态，因此是气象预报员实时分析天气现象和进行天气预报的重要资料，也是灾害性天气预警和预报的重要手段之一。由于卫星云图是一种实时监测数据，在实际业务过程中只能获取过去临近时间点的卫星云图，且受卫星传输带宽和传输模式的限制，卫星数据的收集、整理和传输存在一定的时间滞后性，不能满足实时或预先气象服务的需要。因此对卫星云图的预测，尤其是预测2小时内的卫星云图产品对于预报员分析和预报短期临近时次的天气演变具有重要的指导意义。
3.卫星云图预测是将过去时次的卫星云图序列作为输入，获取未来若干时次的卫星云图产品，该问题本质上是一个时空序列预测问题，当前在这一研究领域中基于深度学习的方法取得了超过传统的基于光流等方法的效果，convlstm网络模型将用于空间特征提取的卷积神经单元与用于时序特征提取的循环神经网络相结合，将卷积操作融入循环神经网络的状态转移过程，用于天气雷达回波预测；时空长短期记忆网络(st
‑
lstm)模型使用折线记忆通道改进了convlstm网络模型，其后续的memory in memory(mim)网络模型在此基础上对序列数据进行了平稳化处理，在多个数据集上取得了较好的预测效果；生成对抗网络(gan)也被用于序列数据的生成和预测，虽然该类方法的时序建模能力较弱，但可生成具有较高清晰度的预测结果。
4.将现有convlstm或st
‑
lstm等时空序列预测方法直接应用于卫星云图预测存在两个尚未解决的问题。首先，基于计算资源和预测效果考虑，目前时空序列数据预测一般使用较低尺寸的序列数据，如将雷达回波图序列缩放至100
×
100进行预测，在本发明的实验实例设备配置下，最大仅能处理128
×
128尺寸的数据。而国内外新一代卫星云图均具有较高的分辨率，如风云4a地球静止卫星的特定通道产品可达500m分辨率，全通道产品为4km分辨率，则覆盖西北太平洋区域(北纬10
°
～51
°
，东经90
°
～131
°
)的4km全通道产品尺寸为1024
×
1024，覆盖范围更广和分辨率更高的云图产品尺寸更大，使用现有深度预测算法无法直接对全尺寸卫星云图进行预测处理,需要采用分块预测再拼接的方法进行处理。其次，目前各种基于深度循环神经网络的预测方法的预测结果均存在模糊的现象，而基于生成对抗网络的方法虽然能够生成清晰的结果，但对时序的建模能力不强，预测准确度较差。


技术实现要素：

5.本发明解决的技术问题是：克服现有技术的不足，提供了一种基于深度跨尺度外推融合的卫星云图预测方法。
6.为了解决上述技术问题，本发明实施例提供了一种基于深度跨尺度外推融合的卫星云图预测方法，包括：
7.获取历史观测云图构建训练集观测云图序列；
8.对每个所述训练集观测云图序列中的观测云图进行尺寸比例调整，得到训练集多尺度云图序列；
9.将所述训练集多尺度云图序列分别输入至对应的深度预测网络进行训练，获取多尺度深度预测模型参数；
10.再次将训练集观测云图序列作为输入，由所述多尺度深度预测模型输出训练集多尺度预测云图；
11.将所述训练集多尺度预测云图放大至所述观测云图对应的尺寸，得到训练集调整预测云图；
12.将所述训练集调整预测云图和对应的训练集观测云图输入深度条件生成对抗网络进行训练，获取多尺度预测云图融合模型参数；
13.将实时观测云图序列作为运行数据，顺序输入多尺度深度预测模型和多尺度预测云图融合模型，输出实时观测云图序列的预测结果云图。
14.可选地，所述对每个所述训练集观测云图序列中的观测云图进行尺寸比例调整，得到训练集多尺度云图序列，包括：
15.采用平均池化方法对每个所述观测云图序列中的观测云图进行降采样，得到训练集多尺度云图序列。
16.可选地，所述将所述训练集多尺度云图序列分别输入至对应的深度预测网络进行训练，获取多尺度深度预测模型参数，包括：
17.对每一个所述训练集多尺度云图序列中的云图按特定尺度进行分块，得到所述训练集多尺度云图序列对应的分块云图序列；
18.为每一个尺度的所述分块云图序列训练一个深度预测模型，输入该尺度所述分块云图序列进行训练，以获取所述多尺度深度预测模型参数。
19.可选地，再次将所述训练集观测云图序列作为输入，由所述多尺度深度预测模型输出训练集多尺度预测云图，包括：
20.将训练集观测云图序列作为输入，运行所述的训练后多尺度深度预测模型，得到各尺度分块预测产品；
21.将各尺度分块预测产品按原位置进行拼接，得到训练集多尺度预测云图产品。
22.可选地，采用插值方法将所述训练集多尺度预测云图放大至所述观测云图对应的尺寸，得到训练集调整预测云图。
23.可选地，将所述训练集调整预测云图和对应的训练集观测云图输入深度条件生成对抗网络进行训练，获取多尺度预测云图融合模型参数，包括：
24.将训练集调整预测云图和对应的训练集观测云图输入至所述多尺度预测云图融合模型；
25.调用所述生成器生成预测云图融合产品；
26.调用所述辨别器识别预测云图融合产品和对应的观测云图产品类型，以得到辨别概率；
27.根据所述辨别概率，计算得到所述生成器和辨别器损失值；
28.根据所述损失值对模型参数进行更新；
29.迭代上述过程直至完成训练。
30.可选地，所述将实时观测云图序列作为运行数据，顺序输入多尺度深度预测模型和多尺度预测云图融合模型，输出实时观测云图序列的预测结果云图，包括：
31.将实时观测云图序列作为输入；
32.顺序输入所述多尺度深度预测模型和多尺度预测云图融合模型；
33.获取最终的预测云图产品。
34.本发明与现有技术相比的优点在于：
35.本发明实施例提供了一种基于深度跨尺度外推融合的卫星云图预测方法，本发明可以实现对大尺度卫星云图序列的预测，且能够提高预测结果的清晰度和准确度。
附图说明
36.图1为本发明实施例提供的一种基于深度跨尺度外推融合的卫星云图预测方法的步骤流程图；
37.图2为本发明实施例提供的一种云图序列预测问题描述的示意图；
38.图3为本发明实施例提供的一种云图跨尺度外推融合预测方法示意图；
39.图4为本发明实施例提供的一种云图多尺度深度预测模型示意图；
40.图5为本发明实施例提供的一种多尺度预测云图融合模型的示意图；
41.图6为本发明实施例提供的一种云图降采样及分块的示意图。
具体实施方式
42.实施例一
43.参照图1，示出了本发明实施例提供的一种基于深度跨尺度外推融合的卫星云图预测方法的步骤流程图，如图1所示。在本发明实施例中，首先通过降采样方法将原始观测云图缩放到多个较小的尺度，再训练多个深度模型分别对多个不同尺度云图进行外推预测，以使外推模型能够在不同尺度上提取云图序列特征，再将多个尺度上的预测云图通过条件生成对抗网络进行结果融合并提升预测结果的清晰度。本发明所提的卫星云图预测方法分为两个阶段。第一阶段为多尺度外推预测阶段，为了提取云图在不同尺度上的分布与运动特征，首先将原尺度云图通过降采样方法缩小至多个较小尺度，通过对多个尺度的云图数据分别进行外推预测提取云图在不同尺度上的分布和运动特征；第二阶段将多尺度预测结果通过条件生成对抗网络进行融合得到原尺度预测结果产品，二阶段预测过程如图3所示。该卫星云图预测方法具体可以包括如下步骤：
44.步骤101：获取历史观测云图构建训练集观测云图序列。
45.首先，可以对本发明实施例的预测过程进行如下定义和描述：
46.预测过程中输入为包括当前时次在内的前j个连续时次的云图序列，输出为未来若干时次的云图(如图2所示)，令观测区域为m
×
n的格点区域，云图标识为向量v∈r
m
×
n
，一个观测云图序列记录为v1,v2,v3,
…
。则下一时次云图预测问题可定义为：
47.v
n+1
＝argmaxp(v
n+1
|v
n
‑
j+1
,v
n
‑
j+2
,...,v
n
)
48.对于后续时次的云图预测问题，可使用当前时次预测结果替换实际观测云图的方式迭代地进行：
49.v
n+2
＝argmaxp(v
n+2
|v
n
‑
j+2
,v
n
‑
j+3
,...,v
n+1
)
50.观测云图序列是指获取的原始尺寸的卫星云图序列，对于该过程可以结合下述内容进行详细描述。
51.可以通过fy
‑
4a地球静止卫星数据构建训练集观测云图序列，选择fy
‑
4a地球静止气象卫星红外12通道(波段:10.3～11.3μm)的4km分辨率的产品作为示例数据，所取数据范围为北纬10
°
～51
°
，东经90
°
～131
°
，则云图尺寸为1024
×
1024。训练集中的云图为从2018年3月12日0时至2019年6月30日21时的逐小时的整点产品，共有10664个，从开始时次逐个产品前推形成10657个长度为8的训练序列，每一个训练序列中前6个云图产品作为输入序列，第7，8个云图产品作为模型输出目标。测试集中的云图为从2019年7月1日0时至2019年7月31日23时的逐小时整点产品。测试集中共有727个云图产品，其中序列构成与训练集一致，共形成720个测试云图序列。
52.fy
‑
4a地球静止气象卫星是我国第二代静止轨道气象卫星的首发星，搭载了多通道扫描成像仪、干涉式大气垂直探测仪、闪电成像仪、空间环境监视仪器包等多种载荷，本实施例选择fy
‑
4a搭载的多通道扫描成像仪产品作为示例。多通道扫描成像仪是风云四号a星的主要载荷之一，主要任务是对地球表面和云物理状态参数的高频次、高精度、多光谱定量遥感,直接为天气分析和预报、短期气候预测以及环境和灾害监测服务。观测波段覆盖可见光、近红外、短波红外、中波红外和长波红外，既可观测到大尺度天气系统的全貌，又可观测到中、小尺度天气系统的迅速演变过程。多通道扫描成像仪共配备14个通道,包括7个可见光
‑
近红外通道、7个红外通道。14个通道中,500米地面分辨率通道1个，1km通道2个，2km通道4个，4km通道7个。全圆盘观测时间为15分钟。
53.实施例中选择红外12通道(波段:10.3～11.3μm)4km分辨率的逐小时的整点产品作为目标产品。
54.在获取历史观测云图构建训练集观测云图序列之后，执行步骤102。
55.步骤102：对每个所述训练集观测云图序列中的观测云图进行尺寸比例调整，得到训练集多尺度云图序列。
56.多尺度云图序列是指将观测云图序列中的观测云图的尺寸进行调整之后，得到的云图序列。
57.在获取到观测云图序列之后，可以对观测云图序列中的卫星云图进行尺寸比例调整，以得到多尺度云图序列，例如，实施例中在需要获取四个尺度的目标云图序列时，首先，可以将观测云图序列作为第一尺度云图，即尺寸为1024
×
1024，然后，将观测云图序列中的每幅观测云图通过降采样调整为第二尺寸的云图，即尺寸为512
×
512，继而，将观测云图序列中的每幅观测云图通过降采样调整为第三尺寸的云图，即尺寸为256
×
256，最后将观测云图序列中的每幅观测云图通过降采样调整为第四尺寸的云图，即尺寸为128
×
128，至此可以得到包含四个尺度的多尺度云图序列，如图6所示。
58.可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明实施例的唯一限制。
59.对于对每个初始云图序列中的卫星云图进行尺寸比例调整的方式可以结合下述
具体实现方式进行详细描述。
60.在本发明实施例的一种具体实现方式中，上述步骤102可以包括：
61.子步骤a1：采用平均池化方法对每个所述观测云图序列中的观测云图进行降采样，得到多尺度云图序列。
62.子步骤a2：实施例中降采样系数采用2的幂次函数，即对原尺度为1024
×
1024的云图产品，而最小目标尺度为128
×
128，则降采样处理后的调整云图尺寸分别为1024
×
1024、512
×
512、256
×
256以及128
×
128四个尺度。
63.在得到训练集多尺度云图序列之后，执行步骤103。
64.步骤103：将所述训练集多尺度云图序列分别输入至对应的深度预测网络进行训练，获取多尺度深度预测模型参数。
65.在得到训练集多尺度云图序列之后，可以将训练集多尺度云图序列输入至对应尺度的深度预测网络，通过迭代训练获取多尺度深度预测模型参数。具体地，可以对前述4个尺度的云图序列分别进行预测，本实施例限制深度预测网络可直接处理云图的尺度为128
×
128，则128
×
128尺度的云图序列可直接作为预测模型的输入，从而提取云图序列的整体特征，而256
×
256及以上尺度的云图序列无法直接作为预测模型的输入，因而采用分块的方法进行处理，分块大小根据处理能力均设定为128
×
128，则256
×
256尺度云图可切分为4块(左上、右上、左下、右下)，512
×
512尺度云图可切分为16块(横向4、纵向4)，1024
×
1024尺度云图可切分为64块(横向8、纵向8)，云图降采样及分块如图6所示。
66.在本发明实施例中，每一个特定尺度的预测均需训练一个深度预测网络(可选convlstm、st
‑
lstm、mim等深度时空序列预测网络)。具体训练过程中有两个因素可能对训练结果产生影响，一是云图的区域性特征，二是云图区块的训练数据量。云图在不同区域可能具有不同的演变和运动特征，因而可以针对不同区域独立训练预测网络，但考虑到不同区域的云团运动具有相似的物理特征，为增加训练数据量可将同一尺度下的所有区块均用于训练一个该尺度下的区块预测网络。本发明经过实验比较发现将同一尺度下的所有区块数据作为同一网络的输入得到的预测网络结果优于独立训练4个区域预测网络，说明云团运动主要体现了相似性特征，通过输入所有区块序列增加训练数据量可获得更好的预测效果，基于上述考虑，本发明采用将特定尺度下所有区块云图序列作为输入数据训练一个预测网络的策略。
67.通过输入前述数据进行训练，获取多尺度深度预测模型参数后，可执行步骤104。
68.步骤104：再次将训练集观测云图序列作为输入，由步骤103所述的多尺度深度预测模型输出训练集多尺度预测云图。
69.具体地，通过将训练集观测云图再次输入步骤103中训练后的多尺度深度预测模型，可获得各个尺度云图的分块预测结果，继而将各尺度分块预测结果按原位置进行拼接，可以得到训练集多尺度预测云图。
70.步骤105：将所述训练集多尺度预测云图放大至所述观测云图对应的尺寸，得到训练集调整预测云图。
71.具体地，可以通过平面双线性插值方法将训练集多尺度预测云图放大至观测云图对应的尺寸，得到训练集调整预测云图，如图4所示。
72.在得到训练集调整预测云图之后，执行步骤106。
73.步骤106：将所述训练集调整预测云图和对应的训练集观测云图输入深度条件生成对抗网络进行训练，获取多尺度预测云图融合模型参数。
74.为对多个尺度的预测结果进行融合，采用一个深度条件生成对抗网络进行跨尺度预测结果融合，用于提取训练集调整预测云图中的调整预测云图产品与实际云图产品间的对应信息。具体地，如图5所示，生成对抗网络模型需要训练两个不同的网络，分别为生成网络g和辨别网络d。实施例中选用u
‑
net结构的编码
‑
解码器构成生成网络g。u
‑
net结构是一种增加了跳跃连接的编码
‑
解码器网络，实施例中使用的u
‑
net为64层结构。实施例中辨别网络d为一个64层的卷积分类网络，通过计算其输入为实际观测云图产品的概率，辨别输入的是实际观测云图产品还是生成网络生成的融合预测云图产品。在模型训练过程中，判别器d尝试正确辨别真实观测云图产品与生成的预测云图产品，生成器g则尝试生成尽可能仿真的云图产品使辨别器d无法辨别真伪。令x表示调整预测云图，y表示对应预测时次的实际观测云图产品，表示生成的融合预测云图产品，为了提取输入的调整预测云图产品x与实际云图产品y的映射关系，使用条件生成对抗网络的结构作为辨别器的基本架构，即将x和实际观测云图产品y或生成的融合预测云图产品一起作为辨别器d的输入(常规生成对抗网络的辨别器仅使用y或或作为输入)。
75.令d(x,y)为辨别器准确识别真伪云图产品的概率，g(x,z)为由调整预测云图产品x生成融合预测云图产品的函数(z为随机噪声)，则对于辨别器d，目标函数为找到如下使d最大化的模型参数：
76.arg max x
d log(d(x,y))+log(1
‑
d(x,g(x,z)))
77.对于生成器g，目标函数为找到如下最优化参数：
78.arg max x
d log(d(x,g(x,z)))
79.模型具体实现中，使用二元交叉熵作为损失度量。即对于辨别器d而言，损失函数如下：l
d
＝l
bce
(d(x,y),1)+l
bce
(d(x,g(x,z)),0)
80.其中：
[0081][0082]
n为模型输入的一个批样本数量，a∈{0,1}表示输入数据的标签(0：生成的融合预测云图产品；1：实际观测云图产品)，是辨别器d输出的辨别值，该值靠近0表示辨别器认定输入是生成的融合预测云图产品的概率高，靠近1则表示辨别器认定输入是实际观测云图产品的概率高。
[0083]
对于生成器g而言，研究表明将生成对抗损失与传统的损失函数结合将得到更好的结果。因此令g的损失函数为生成对抗损失与l1损失的按比例合成，具体损失函数如下：
[0084]
l
g
＝λ1l
bce
(d(x,g(x,z)),1)+λ2|y
‑
g(x,z)|
[0085]
其中λ1和λ2为生成对抗损失和l1损失的比例系数。
[0086]
训练过程以迭代方式执行。首先对辨别器d进行训练，对d批量输入实际观测云图产品和生成器g生成的融合预测云图产品，利用损失l
d
通过反向传播的方式更新辨别器d的参数；继而冻结辨别器d的参数，对生成器g和辨别器d批量输入调整预测产品x和对应的实
际云图y，计算生成器损失l
g
，再通过反向传播的方式更新生成器g的参数。重复上述过程直至生成器g和辨别器d的能力达到平衡。
[0087]
具体的，上述步骤106可以包括：
[0088]
子步骤b1：将所述观测云图和所述训练集调整预测云图作为条件生成对抗网络的输入；
[0089]
子步骤b2：调用所述生成网络将所述调整预测云图进行融合处理，生成融合预测云图；
[0090]
子步骤b3：调用所述辨别器识别所述观测云图和所述融合预测云图对应的云图类型，以得到辨别概率；
[0091]
子步骤b4：根据所述辨别概率，计算得到所述生成网络及辨别器的损失值；
[0092]
子步骤b5：通过反向传播方式更新生成网络及辨别器参数
[0093]
子步骤b6：重复上述过程直至所述损失值处于预设范围内或达到目标循环次数的情况下，获取的生成网络参数及辨别器参数即为多尺度预测云图融合模型参数。
[0094]
在得到多尺度预测云图融合模型参数之后，执行步骤107。
[0095]
步骤107：将实时观测云图序列作为运行数据，顺序输入多尺度深度预测模型和多尺度预测云图融合模型，输出实时观测云图序列的预测结果云图。
[0096]
上述步骤107可以包括：
[0097]
子步骤c1：提取实时观测云图序列。
[0098]
子步骤c2：对实时观测云图序列中的观测云图按步骤102进行尺寸比例调整，得到实时多尺度云图序列。
[0099]
子步骤c3：将所述实时多尺度云图序列分别输入至步骤103所述的对应的深度预测网络，深度预测网络参数为步骤103所述训练后模型参数，按步骤104所述方法获得实时多尺度预测云图。
[0100]
子步骤c4：通过插值方法将所述实时多尺度预测云图放大至所述观测云图对应的尺寸，得到实时调整预测云图。
[0101]
子步骤c5：将所述实时调整预测云图和对应的观测云图输入步骤106所述的深度条件生成对抗网络，网络参数为步骤106所述训练后模型参数，输出即为实时观测云图序列的预测结果云图。
[0102]
具体地，可以选用2019年7月1日5时起的1小时预测、2小时预测作为个例进行示意，输入序列2019年7月1日0时至2019年7月1日5时的6个云图产品组成的逐小时观测云图序列，输出结果可以分别使用光流预测法、基于mim网络的深度学习的预测法和本发明所提的跨尺度融合外推预测法得到1小时(即2019年7月1日6时)及2小时(即2019年7月1日7时)预测结果。从实施例结果中可以明显看出本发明所提方法得到的预测产品边缘清晰，对有细节部分处理准确，总体效果上与真实云图产品更为接近。基于光流的预测方法则出现边缘空白，以及云团图像扭曲的现象，而基于mim网络的深度学习预测方法则由于分块拼接的原因而在视觉上出现了分块现象，且生成的预测产品较为模糊，且2小时预测产品较之1小时预测产品模糊程度更加严重。
[0103]
本发明实施例训练得到的模型，可以实现对大尺度云图的预测，且能够提高预测结果的清晰度和准确度。
[0104]
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
[0105]
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。