基于辐射传输模拟耦合机器学习技术的云霾探测方法

1.本发明涉及图像处理领域，尤其涉及一种基于辐射传输模拟耦合机器学习技术的云霾探测方法。


背景技术：

2.主流卫星的云掩模算法通常会将高气溶胶误认为云。zhang等2019年分别提出雾霾污染经常伴随着严重的气溶胶负荷，密集气溶胶的多次散射使雾霾和云具有相似的出射辐射特征，这严重干扰了云检测，并影响卫星遥感产品的质量。云和霾的错误分类影响了气溶胶和云辐射效应的估计精度，从而影响卫星数据在气象和气候学研究中的应用。卫星遥感准确的云和霾分类有利于大规模的霾监测、细颗粒物反演和空气污染预测。
3.目前可用的的云霾检测方法包括光谱阈值法、纹理特征法、其中最常用的方法是阈值法，然而，阈值法具有一些局限性。首先，在设定阈值之前，需要对云、霾和晴空图像数据集进行广泛筛选，但手动分类的数量有限，无法覆盖所有太阳和观测几何条件以及下垫面条件。其次，阈值的设置取决于专家经验和先验知识，因此阈值的选择很难掌握。第三，区域环境将影响阈值(如表面类型、太阳和观察几何、大气湿度等)，并具有区域限制。如果阈值选择不当，将影响检测结果。第四，随着对检测精度要求的提高，用于云检测的阈值逐渐从单一的固定阈值扩展到具有多种特征的动态阈值。过多的阈值组合可能会降低检测速度。此外，mahajan等认为阈值设置需要针对特定传感器，导致阈值方法的通用性较差。


技术实现要素：

4.为了针对以上技术问题，本发明提供一种基于辐射传输模拟耦合机器学习技术的云霾探测方法，包括以下步骤：
5.s1、根据电磁辐射在地-气系统中传输的辐射传输方程，模拟卫星传感器接受到的大气和地表辐射信息，获得不同可见光-近红外通道toa表观反射率和热红外通道亮度温度数据集；
6.s2、利用机器学习分类器，对获取的数据集样本进行训练和验证，得到训练好的机器学习分类器；
7.s3、将训练好的机器学习分类器应用于预处理后的待处理图像，获得云霾预测结果。
8.进一步地，步骤s1中，辐射传输方程如下式：
[0009][0010]
其中，θ是太阳天顶角；φ是相对方位角；τ是从大气上边界向下测量的垂直消光厚度，是单次散射反照率，p是描述散射场角分布的散射相函数；f0是大气顶部太阳辐照度，μ0为太阳天顶角的余弦；μ＝cosθ；i(τ,θ,φ)是波长λ处的漫射辐射；i(τ,ω
′
)为位于τ处、传播方向为ω'的辐射强度；式(1)右边第二项是太阳直射辐射对方向ω(θ,φ)的反射贡
献,第三项是大气多次散射贡献。
[0011]
进一步地，步骤s1中获得数据集的具体过程为：
[0012]
利用libradtran中的disort辐射传输方程解算法模拟表观反射率和亮度温度，获得不同可见光-近红外通道toa表观反射率和热红外通道亮度温度数据集；其中表观反射率和亮度温度分别由公式(2)和公式(3)计算：
[0013]
r＝π
·
i/f0cosθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0014]
tb＝(hc/kλ)
·
ln-1
(1+2hc2/m
λ
λ5)
ꢀꢀꢀꢀꢀꢀ
(3)
[0015]
其中，r为表观反射率；tb为亮度温度，m
λ
为辐射出射度，λ为波长；c为光速；h为普朗克常数，k为波尔茨曼常数。
[0016]
步骤s2中所述机器学习分类器包括：knn分类器、随机森林、人工神经网络和支持向量机。
[0017]
本发明提供的有益效果是：辐射传输模拟生成的数据集在通用性方面优于人工筛选的数据集；可以尽可能模拟所有可能的太阳/观测几何条件和下垫面条件，大大节省手动分类的时间和精力。此外，只需在模拟中调整传感器类型，即可将其应用于不同的传感器，提高了算法的适用性。
附图说明
[0018]
图1是本发明方法流程示意图；
[0019]
图2是本发明在没有霾发生情况下的掩膜效果，并与对应的caliop二级垂直特征掩膜产品(vfm)为基准做对比。
[0020]
图3是本发明在有霾发生情况下的掩膜效果。
具体实施方式
[0021]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
[0022]
请参考图1，图1是本发明方法的流程图；一种基于辐射传输模拟耦合机器学习技术的云霾探测方法，包括以下步骤：
[0023]
s1、根据电磁辐射在地-气系统中传输的辐射传输方程，模拟卫星传感器接受到的大气和地表辐射信息，获得不同可见光-近红外通道toa表观反射率和热红外通道亮度温度数据集；
[0024]
需要说明的是，步骤s1中，辐射传输方程如下式：
[0025][0026]
光在大气中传输时与大气分子和气溶胶粒子相互作用，当电磁波由方向ω0前进时，它被介质散射到方向ω的散射过程包括单次散射和多次散射过程。其中，式(1)表达波长λ处的漫射辐射i(τ,θ,φ)减去是减去单次散射与多次散射之和。θ是太阳天顶角；φ是相对方位角；τ是从大气上边界向下测量的垂直消光厚度，是单次散射反照率，p是描述散射场角分布的散射相函数，定义散射相函数p(ω,ω
′
)为方向ω
′
的电磁波被散射到方向ω的比例；f0是大气顶部太阳辐照度；μ0为太阳天顶角的余弦；μ＝cosθ；i(τ,θ,φ)是波长λ处的
漫射辐射；i(τ,ω
′
)为位于τ处、传播方向为ω'的辐射强度。式(1)右边第二项是太阳直射辐射对方向ω(θ,φ)的反射贡献,第三项是大气多次散射贡献。
[0027]
步骤s1中获得数据集的具体过程为：
[0028]
利用libradtran中的disort辐射传输方程解算法模拟表观反射率和亮度温度，获得不同可见光-近红外通道toa表观反射率和热红外通道亮度温度数据集；其中表观反射率和亮度温度分别由公式(2)和公式(3)计算：
[0029]
r＝π
·
i/f0cosθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0030]
tb＝(hc/kλ)
·
ln-1
(1+2hc2/m
λ
λ5)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0031]
其中，r为表观反射率；tb为亮度温度，m
λ
为辐射出射度，λ为波长；c为光速；h为普朗克常数，k为波尔茨曼常数。
[0032]
需要进一步地说明的是，大气参数如气溶胶/云光学厚度、太阳天顶角、太阳方位角、观测天顶角、观测方位角和igbp地表类型被认为是在实际范围内变化的自由参数。数据集中包含大量晴空、霾和多云情况，这些情况旨在覆盖尽可能多的地表类型和太阳/观测几何，以充分表示自然界中可能遇到的组合情况。对于任意给定的地表和天气条件，随机选取气溶胶、水/冰云光学厚度模拟云，霾，晴空条件下不同可见光-近红外通道toa表观反射率和热红外通道亮度温度数据集。
[0033]
s2、利用机器学习分类器，对获取的数据集样本进行训练和验证，得到训练好的机器学习分类器；
[0034]
需要说明的是，所述机器学习分类器包括：knn分类器、随机森林、人工神经网络和支持向量机。在本技术中，选取knn分类器作为一种实施例；当然，在其它一些实施例中，也可以采取其它类型的机器学习分类器；
[0035]
作为一种实施例而言，本技术利用knn算法，通过测量不同特征值之间的距离，从特征空间中的k个最邻近样本中选择与大多数类别相同的类别。利用下式对生成的3000万个模拟数据集样本进行训练和验证，其中75％用于训练，其余25％用于验证。
[0036][0037]
其中，x＝(x1,x2,x3,
……
xn)、y＝(y1,y2,y3,
……yn
)为n维空间中的两个点。
[0038]
由于k通常是不大于20的整数。在knn算法中，将k从1-20进行变化，根据精确率，召回率和f-measures选择最好的k值训练knn分类器。
[0039]
s3、将训练好的机器学习分类器应用于预处理后的待处理图像，获得云霾预测结果。
[0040]
需要说明的是，步骤3中图像处理对象不局限于modis l1b数据，通过更改步骤1中的模拟卫星数据参数，可以配置于其他卫星传感器上。
[0041]
作为一种实施例，请参考图2、3；
[0042]
图2为没有霾发生情况下的chm算法掩膜结果，以欧洲和南美为例，并与对应的caliop二级垂直特征掩膜产品(vfm)为基准做对比。
[0043]
图2中(a，c)在图像属性上属于modis真彩色影像(本技术中作灰度处理)；(b,d)在
图像属性上属于chm算法云掩膜图像；(e)为沿(a)中黑色线划出的轨道的calipso vfm剖面；(f)沿(b)中黑色轨道的卡利普索vfm剖面。
[0044]
(a、b)为2019年7月13日aqua modis在欧洲上空影像；(c,d)2009年7月21日在南美洲的aqua modis影像。云像素标记为白色，晴空标记为绿色。水域及以上标为蓝色(在本技术中均作了相应灰度处理)。其中，chm表示本发明所用的算法。
[0045]
图3为有霾发生情况下的chm算法掩膜结果。图3(a,e)在图像属性上属于modis数据真彩色影像。(b,f)在图像属性上属于chm算法云霾掩模图像(云像素标记为白色,霾标记为灰色,晴空标记为绿色(本技术中均作了相应灰度处理)；(c,g)modis气溶胶产品；(d,h)modis云掩膜产品。自上而下：2010年2月5日华北terra modis影像；2009年2月6日拍摄的华北terra modis影像。
[0046]
图3显示了chm算法在华北平原冬季雾霾发生时的识别效果，并将其与相应的真彩色图像(本技术中作了灰度处理)和mod35云掩膜结果以及modis气溶胶标准产品(mod04_l2 v6.1，aot在0.55微米处用于所有质量数据(质量标志＝1,2,3))获得的aod空间分布结果进行了比较。从图3可以看出，chm算法的霾识别区域与真彩色图像的灰度区域很好地对应。然而，modis云掩膜产品(mod35)很容易将霾识别为云，云检测的准确性大大降低。此外，华北平原上空的霾分布与modis aod观测到的模式相似，但modis气溶胶标准产品存在某些反演空缺(如方框标记出来的所示)，说明在气溶胶浓度高的霾地区，aod产品的准确性和可用性有限。因此，无论在有霾或是无霾条件下，本发明的云霾掩膜算法都表现出令人满意的结果。
[0047]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0048]
本发明的有益效果是：本发明只选取少数敏感卫星通道进行无阈值的云霾检测，避免了对先验知识的依赖和多个阈值的设置带来的测试逻辑复杂、检测速度慢等问题。机器学习的训练数据来源于模拟数据，避免了训练样本区域与测试区域不一致造成的时空限制。由于算法训练完全依赖于仿真数据，因此通过改变仿真参数设置可以方便地配置其他传感器。本发明采用易训练且实现knn模型进行多云/雾霾/晴空判断，除此之外，还可以利用多种机器学习模型进行比较，如决策树、人工神经网络、支持向量机等，通过比较选择精度较高的算法来提高算法的性能。
[0049]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。