1.本技术涉及应用电子设备进行识别的方法或装置技术领域,特别涉及一种非线性混合效应变系数降尺度方法和系统。
背景技术:2.降水是描述某地区乃至全球气候系统变化的关键指标,是全球水分和能量循环的核心组成部分。作为流域生态水文过程的关键输入参数,降水分布的准确估算直接影响着流域内水文水资源分析、水资源规划与管理及生态环境治理等。高精度高分辨率的空间化降水信息对认识流域生态系统与水文过程及其相互作用的途径和机理,建立流域生态水文过程模拟模型和水资源决策支持系统,提高流域水-生态-经济耦合系统演变的综合分析与预测能力等方面具有重要的科学意义和应用价值。
3.传统的降水获取方式主要基于站点数据采用一定的插值方法进行计算。然而,基于站点的插值方法往往受限于站点的分布及密度限制,使得插值方法具有很大的不确定性。随着遥感卫星事业的快速发展及现代获取空间数据技术手段的进步,当前出现了大量的卫星遥感数据产品,这些数据为站点系数、地形复杂地区提供了连续的降水分布信息,能一定程度上弥补缺测资料地区地面观测信息的不足,已被广泛应用于不同研究领域。然而受到传感器性能、云层特性、反演算法等所限,其定量误差比较突出。此外,遥感数据往往空间分辨率较低,不能满足精细尺度局地模拟的需求。
4.将低分辨率信息通过一定技术手段得到高分辨率数据信息并同时提高其精度的过程被称之为降尺度(downscaling)。降尺度方法大体上可以分为动力降尺度和统计降尺度两大类,相对于动力降尺度方法,统计降尺度因其具有计算量小节省时间、方法众多形式灵活、更易于操作等优点而被广泛应用于卫星遥感降水产品的降尺度研究中。在以往统计降尺度方法中,地理加权回归模型是最具代表性应用最为广泛的降尺度方法之一。地理加权回归作为局部空间变系数回归方法能够解析地理环境要素的空间异质性及空间变化的依赖关系,但其受共线性影响显著,并且该方法要求回归系统具有一致的平滑度。而实际问题中,降水与环境变量的关系并不一定是空间非平稳,这使得回归系数的变异程度有所差异。
5.因此,需要提供一种针对上述现有技术不足的全新技术方案。
技术实现要素:6.本技术的目的在于提供一种非线性混合效应变系数降尺度方法和系统,以解决或缓解上述现有技术中存在的问题。
7.为了实现上述目的,本技术提供如下技术方案:本技术提供了一种非线性混合效应变系数降尺度方法,包括:获取降水影响因素数据集和第一分辨率降水遥感数据;基于非线性混合效应变系数模型和随机森林模型,根据所述第一分辨率降水遥感
数据,构建降水空间降尺度模型;其中,所述随机森林模型用于从所述降水影响因素数据集中确定降水关键主控要素;所述降水关键主控要素用于组成所述降水空间降尺度模型的解释变量;所述非线性混合效应变系数模型是在空间变系数回归模型引入随机效应,并将所述空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征得到的;基于所述降水空间降尺度模型对所述第一分辨率降水遥感数据进行降尺度,得到第二分辨率降水遥感数据;其中,所述第二分辨率降水遥感数据的空间分辨率高于所述第一分辨率降水遥感数据的空间分辨率。
8.优选地,所述非线性混合效应变系数模型的表达式如下:式中,y为待求变量;x
p
为第p个解释变量;α
p
为第p个回归系数;p为解释变量的个数;xi为第i个解释变量;xj为第j个解释变量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向量构成的矩阵;为常数项;为变化项;控制第个回归系数的空间平滑度,控制回归系数的变异程度。
9.优选地,所述非线性混合效应变系数模型是在空间变系数回归模型引入随机效应,并将所述空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征得到的;所述空间变系数回归模型的表达式如下:式中:y为待求变量;x
p
为第p个解释变量;p为解释变量的个数;为空间变异系数构成的向量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向量构成的矩阵;为常数项;为变化项。
10.优选地,所述空间变系数回归模型为基于特征向量分解的空间滤波模型构建的;所述基于特征向量分解的空间滤波模型的表达式如下:,其中式中:y为待求变量;为解释变量构成的矩阵,α为回归系数,d为特征向量构成的矩阵,并基于莫兰系数中地理连接矩阵求解得到,β为对应系数,ε为残差,为方差,n表示正态分布。
11.优选地,所述降水影响因素数据集至少包括:地理地形要素、天气系统要素、第一分辨率降水遥感数据,以及由所述地理地形要素、所述天气系统要素、所述第一分辨率降水
遥感数据形成的数据集中两两组合得到的交互项影响因素。
12.优选地,所述基于所述降水空间降尺度模型对所述第一分辨率降水遥感数据进行降尺度,得到第二分辨率降水遥感数据,具体为:将所述降水空间降尺度模型进行变换处理,得到降水空间降尺度模型变换表达式:其中,;式中:y为待求变量,为解释变量构成的矩阵,d为特征向量构成的矩阵,x
p
为第p个解释变量,p为解释变量的个数,α为回归系数,ε为残差,为哈达玛积,0
lp
为值为0的向量,为哈达玛积,i
lp
为阶单位矩阵,为对角矩阵,其第个对角线元素为;为方差;基于残差最大似然方法,对降水空间降尺度模型变换表达式中的参数进行求解,以得到第二分辨率降水遥感数据。
13.优选地,还包括:基于气象站点观测数据,对所述第二分辨率降水遥感数据进行交叉验证,以检验所述第二分辨率降水遥感数据的精度。
14.本技术实施例还提供一种非线性混合效应变系数降尺度系统,包括:获取单元,配置为获取降水影响因素数据集和第一分辨率降水遥感数据;构建单元,配置为基于非线性混合效应变系数模型和随机森林模型,根据所述第一分辨率降水遥感数据,构建降水空间降尺度模型;其中,所述随机森林模型用于从所述降水影响因素数据集中确定降水关键主控要素;所述降水关键主控要素用于组成所述降水空间降尺度模型的解释变量;所述非线性混合效应变系数模型是在空间变系数回归模型引入随机效应,并将所述空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征得到的;降尺度单元,配置为基于所述降水空间降尺度模型对所述第一分辨率降水遥感数据进行降尺度,得到第二分辨率降水遥感数据;其中,所述第二分辨率降水遥感数据的空间分辨率高于所述第一分辨率降水遥感数据的空间分辨率。
15.有益效果:本技术提供的技术方案中,通过在空间变系数回归模型引入随机效应,并将空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征,得到非线性混合效应变系数模型,使得所得到的非线性混合效应变系数模型中各回归系数具有不同程度的空间变异特征及光滑性,能够很好地刻画出由于区域差异导致的变量空间异质性,同时降低了局部线性特征对非线性混合效应变系数模型的影响,能够很好地刻画随环境要素的非线性响应特征,进而提高了降尺度的精度;在此基础上,结合随机森林模型筛选降水关键主控要素,构建基于非线性混合效应变系数模型和随机森林模型的降水空间降尺度模型;通
过该降水空间降尺度模型对低分辨率的降水遥感数据进行降尺度处理,得到高分辨率的降水遥感数据。
附图说明
16.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。其中:图1为根据本技术的一些实施例提供的非线性混合效应变系数降尺度方法的逻辑示意图;图2为根据本技术的一些实施例提供的非线性混合效应变系数降尺度方法的流程示意图;图3为根据本技术的一些实施例提供的基于随机森林方法筛选主控要素的逻辑示意图;图4为根据本技术的一些实施例提供的非线性混合效应变系数降尺度系统的结构示意图。
具体实施方式
17.下面将参考附图并结合实施例来详细说明本技术。
18.在以下描述中,所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表对对象的特定排序。
19.除另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的,不是旨在限制本公开。
20.为了便于理解本技术的技术方案,下面对相关技术进行简要说明。
21.如背景技术所述,降尺度能够提高气候要素的空间分辨率。动力降尺度法是建立在区域气候模式(regional climate model,rcm)的基础之上的,使用全球模式(global climate model,gcm)为区域气候模式提供初始和边界条件,通过高分辨率区域气候模式的数值积分获得高分辨率降尺度结果。其中,区域气候模式采用数学物理方程描述气候系统内部的各种动力和热力学过程。虽然动力降尺度方法能够较好地保持气候要素各个变量之间的依赖关系,但是其需要大量的计算资源,随着模式分辨率的提高,计算量呈指数形式增长。统计降尺度方法是通过转换函数,建立大尺度(低分辨率/粗分辨率)降水因子与区域尺度气候预报变量之间的统计函数关系。其计算量小,方法众多形式灵活、更易于操作,能够节约大量的时间。
22.为了克服背景技术所述的传统空间变系数回归模型(比如地理加权回归模型,geographically weighted regression,gwr)受共线性影响显著以及不能反映区域差异导致的变量空间异质性的缺陷,本技术实施例提供一种非线性混合效应变系数降尺度方法和系统,通过在空间变系数回归模型引入随机效应,并将空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征,构建非线性混合效应变系数模型(nmsvc),从而使得nmsvc模型中各回归系数具有不同程度的空间变异特征及光滑性,能够精准刻画区域差异造成的地理环境异质性,同时能很好的刻画随环境要素的非线性响应特征,从而有效
地提高建模精度。在此基础上,结合随机森林(randomforest,rf)模型筛选关键主控要素,构建基于rf和nmsvc的降水空间降尺度模型,并基于该降水空间降尺度模型,以低分辨率降水遥感数据作为输入得到高分辨率降水遥感数据,极大提高了降水数据降尺度结果的精度。
23.示例性方法本技术实施例提供一种非线性混合效应变系数降尺度方法,如图1至图3所示,该方法包括:步骤s101、获取降水影响因素数据集和第一分辨率降水遥感数据。
24.基于前述说明可知,降尺度是将低分辨率信息通过一定技术手段得到高分辨率数据信息并同时提高其精度的过程,本技术实施例所提供的方法,能够应用于各种低分辨率(也称为粗分辨率)地理环境要素的降尺度模拟,为地学环境要素模拟提供新的方案参考。为了便于理解,以将低分辨率降水数据降尺度为高精度降水数据为例,对本技术提供的方法进行详细说明。
25.为了便于描述,将低分辨率的降水遥感数据称为第一分辨率降水遥感数据,将精度提高后得到的高分辨率降水遥感数据称为第二分辨率降水遥感数据。
26.考虑到时间尺度以及各个遥感卫星的表现性能差异,本技术实施例选择gsmap逐日降水产品作为低分辨率降水遥感数据(即第一分辨率降水遥感数据),对其进行降尺度,以得到高分辨率降水遥感数据。
27.需要说明的是,gsmap逐日降水产品是全球降水观测计划(global precipitation measurement mission,gpm)提供的数据产品。其中,gpm携带多种卫星传感器,能够为遥感水文科学社区提供高时空分辨率(1-hour,10-km)和更高精度的全球卫星降水观测。gsmap逐日降水产品是利用多传感器多卫星多算法结合卫星网络和雨量计反演得到的降水数据产品。
28.在对粗分辨率降水数据进行降尺度之前,需要先确定模型的解释变量的备选集合,即降水影响因素,为此,一些实施例中,降水影响因素数据集至少包括:地理地形要素、天气系统要素、第一分辨率降水遥感数据,以及由地理地形要素、天气系统要素、第一分辨率降水遥感数据形成的数据集中两两组合得到的交互项影响因素。
29.具体地,以逐日降水的降尺度模拟为例进行说明。传统的降尺度方法中,降水影响因素(即解释变量)的选取主要集中在地理地形等要素,例如经度、纬度、海拔、坡度等。而经度、纬度、海拔、坡度等地理地形特征往往与长时间尺度(年尺度甚至更长时间)气候特征有关,很难精确刻画天气尺度现象,不足以反应局地尺度降水与陆表、大气之间的交互特征。特别针对日尺度降水,由于受大气环流特征影响显著,逐日降水的降尺度模拟需要在以往降尺度研究基础上考虑其他的天气层面影响因素。为此,本技术实施例中,针对逐日降水影响因素,在传统降水影响因素(解释变量)基础上增加了天气系统层面因素、粗分辨率降水数据(即第一分辨率降水遥感数据),以及各要素交互项,以构成本技术实施例的解释变量的备选集合。
30.图3示出了本技术实施例中降水影响因素的筛选过程,参见图3,对于降水而言,传统影响因素包括地理、地形要素,本技术实施例新增天气系统要素、粗分辨率降水数据以及各要素交互项,作为降水影响因素。应当理解,每一种降水影响因素均包括一种或多种降水
影响要素,比如降水影响因素为地理、地形,其又具体包括经纬度、海拔、坡度等;天气系统要素包括:云量、云光学厚度、云粒子有效半径、云顶温度、云顶气压、云水路径、对流层中下层500hpa、600 hpa、700 hpa、800 hpa、850 hpa、900 hpa、950 hpa及1000 hpa的位势高度、空气温度、潜热通量、感热通量、短波辐射、长波辐射、相对湿度、最大相对湿度、最小相对湿度、比湿、海平面气压、风速、高程、坡度、经度、纬度、到海岸线的距离等;粗分辨率降水数据包括叶面积指数ndvi、粗分辨率网格的降水值及其周边网格的降水值等。将上述多种降水影响要素组成初始降水影响因素数据集。此外,本技术还引入上述多种降水影响要素相互之间的交互项,用于反应局地尺度降水与陆表、大气之间的交互特征,以进一步提高降尺度的精度。
31.其中,多种降水影响要素相互之间的交互项通过地理地形要素、天气系统要素、粗分辨率降水数据组成的初始降水影响因素数据集中的要素两两组合得到。在此基础上,将降水影响因素数据集中各个降水影响要素作为备选解释变量,用于后续步骤中构建降水空间降尺度模型。
32.步骤s102、基于非线性混合效应变系数模型和随机森林模型,根据第一分辨率降水遥感数据,构建降水空间降尺度模型。
33.其中,随机森林模型用于从降水影响因素数据集中确定降水关键主控要素;降水关键主控要素用于组成降水空间降尺度模型的解释变量;非线性混合效应变系数模型是在空间变系数回归模型引入随机效应,并将空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征得到的。
34.下面对本技术的非线性混合效应变系数模型进行详细说明。
35.本技术实施例中,非线性混合效应变系数模型是在空间变系数回归模型的基础上构建的,一些实施例中,空间变系数回归模型为基于特征向量分解的空间滤波模型构建的。
36.具体地,特征向量空间滤波是将空间自相关的变量通过移除空间模式转化为空间无关的变量的方法,使用地理连接矩阵特征向量的线性组合,可以将原变量分为两个合成部分,一个空间相关部分和一个非空间相关部分。这样,这个变量可以独立于观察相邻区域的影响进行研究。基于特征向量分解的空间滤波模型的表达式如下:,其中(1)式中:y为待求变量;为解释变量构成的矩阵,α为回归系数,d为特征向量构成的矩阵,并基于莫兰系数中地理连接矩阵求解得到,β为对应系数,ε为残差,为方差,n表示正态分布。
37.进一步地,上述方法可发展为一种空间变系数回归模型:(2)对式(2)进行变换处理,可以得到最终的空间变系数回归模型,表达式如下:(3)式中:y为待求变量;x
p
为第p个解释变量;p为解释变量的个数;为空间变异系
数构成的向量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向量构成的矩阵;为常数项;为变化项。
38.然而,上述公式(3)所表达的空间变系数回归模型中,特征向量分解模型为固定效应模型,不能很好的刻画由于区域差异所导致的变量空间异质性,为此申请实施例将随机效应引入上述公式(3)所表达的空间变系数回归模型,构建混合效应变系数模型,以精准刻画区域差异造成的地理环境异质性。同时,考虑到当前空间变系数回归模型的局部线性特征,并不能很好的刻画随环境要素的非线性响应特征,进一步的将所构建的混合效应变系数模型扩展为非线性混合效应变系数模型,最终构建了基于特征向量分解的非线性混合效应变系数模型(nmsvc),以有效提高建模精度:本技术实施例的非线性混合效应变系数模型用公式(4)表示,公式(4)如下:(4)式中,y为待求变量;x
p
为第p个解释变量;α
p
为第p个回归系数;p为解释变量的个数;xi为第i个解释变量;xj为第j个解释变量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向量构成的矩阵;为常数项;为变化项;控制第个回归系数的空间平滑度,用于控制回归系数的变异程度。
39.下面对从解释变量的备选集合中筛选降水关键主控要素的过程进行详细说明。
40.本技术实施例中,随机森林模型用于从地理地形、天气系统、粗分辨率降水遥感数据等包含的降水影响要素以及各要素两辆之间的交互项组成的降水影响因素数据集中确定降水关键主控要素;降水关键主控要素用于组成降水空间降尺度模型的解释变量。
41.其中,随机森林是一种利用自助法重抽样方法从原始样本中抽取多个样本,组合很多个相对独立的决策树,建立决策树“森林”,进行“投票”决定最终预测结果的统计学习方法。本技术实施例中,降水影响因素由多个数据集组成,每个数据集对应一个解释变量(即降水影响要素),为了减少特征维度,采用随机森林对降水影响因素数据集进行筛选,以确定对模型影响较大的解释变量,以此来减少降水空间降尺度模型的计算量。
42.具体的,基于随机森林模型对降水影响因素数据集进行筛选可以包括以下步骤:将降水影响因素数据集输入随机森林模型,并判断降水影响因素数据集中每个降水影响要素在随机森林中每棵决策树上的贡献度,接着基于每个降水影响要素对每棵决策树的贡献度,计算贡献度均值,随后对降水影响要素的贡献度均值进行对比,选取贡献度均值降序排序后得到的排序列表中位置处于靠前的降水影响要素作为降水关键主控要素。
43.示例性地,可以采用随机森林模型对降水影响因素数据集中每个降水影响要素进行重要性评估,并量化每个降水影响要素对各个决策树分类性能的贡献度,然后对贡献度进行排序,筛选出降序排序后前10的降水影响要素作为降水关键主控要素,并由该10个降水关键主控要素组成降水空间降尺度模型的解释变量。
44.其中,贡献度可以采用基尼指数或袋外(outofbag,oob)数据错误率作为评估指标,或者其他的评估指标,本技术对贡献度评估指标的选择不作限定。
45.步骤s103、基于降水空间降尺度模型对第一分辨率降水遥感数据进行降尺度,得到第二分辨率降水遥感数据。
46.其中,第二分辨率降水遥感数据的空间分辨率高于第一分辨率降水遥感数据的空间分辨率。
47.具体地,在进行降尺度时,基于降水空间降尺度模型对第一分辨率降水遥感数据进行降尺度得到第二分辨率降水遥感数据可以包括模型变换的步骤和模型求解的步骤。详细步骤如下:首先对公式(4)所表达的降水空间降尺度模型进行改写,得到公式(5),公式(5)如下:(5)其中,,然后,将降水空间降尺度模型进行进一步变换处理,得到降水空间降尺度模型变换表达式:(6)其中,;式中:y为待求变量,为解释变量构成的矩阵,d为特征向量构成的矩阵,x
p
为第p个解释变量,p为解释变量的个数,α为回归系数,ε为残差,0
lp
为值为0的向量,为哈达玛积,i
lp
为阶单位矩阵,为对角矩阵,其第个对角线元素为;为方差。
48.最后,基于残差最大似然方法,对变换后表达式(6)中的参数进行求解,以得到第二分辨率降水遥感数据。具体可以由公式(7)求解得到,公式(7)如下:(7)(8)(9)(10)
式中,,由公式9定义给出并作为中间计算过程变量值带入公式8,、表示、x的转置矩阵,表示所求变量y的长度,为方差。
49.一些实施例中,该方法还包括:基于气象站点观测数据,对第二分辨率降水遥感数据进行交叉验证,以检验第二分辨率降水遥感数据的精度。
50.具体地,基于上述降水空间降尺度模型,对gsmap降水产品进行降尺度,并基于交叉验证方法将降尺度结果与气象站点观测数据进行比较,同时与经典的基于地理加权回归的降尺度方法进行对比。实验表明,本技术提供的方法能够大幅度提高降尺度精度,从而为地理环境要素降尺度以及地学要素的建模提供了一种更有效的、全新的局部回归方法。
51.综上所述,本技术实施例中,通过在空间变系数回归模型引入随机效应,并将空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征,得到非线性混合效应变系数模型,使得所得到的非线性混合效应变系数模型中各回归系数具有不同程度的空间变异特征及光滑性,能够很好地刻画出由于区域差异导致的变量空间异质性,同时降低了局部线性特征对非线性混合效应变系数模型的影响,能够很好地刻画随环境要素的非线性响应特征,进而提高了降尺度的精度;在此基础上,结合随机森林模型筛选降水关键主控要素,构建基于非线性混合效应变系数模型和随机森林模型的降水空间降尺度模型;通过该降水空间降尺度模型对低分辨率的降水遥感数据进行降尺度处理,得到高分辨率的降水遥感数据,该方法是一种更有效的、全新的局部回归方法,能够应用于地理环境要素降尺度以及地学要素的建模,并能提高降尺度和地学要素的建模精度。
52.示例性系统本技术实施例提供一种非线性混合效应变系数降尺度系统,如图4所示,该系统包括:获取单元401、构建单元402和降尺度单元403。其中:获取单元401,配置为获取降水影响因素数据集和第一分辨率降水遥感数据。
53.构建单元402,配置为基于非线性混合效应变系数模型和随机森林模型,根据第一分辨率降水遥感数据,构建降水空间降尺度模型;其中,随机森林模型用于从降水影响因素数据集中确定降水关键主控要素;降水关键主控要素用于组成降水空间降尺度模型的解释变量;非线性混合效应变系数模型是在空间变系数回归模型引入随机效应,并将空间变系数回归模型中的局部线性特征扩展为随环境要素的非线性响应特征得到的。
54.降尺度单元403,配置为基于降水空间降尺度模型对第一分辨率降水遥感数据进行降尺度,得到第二分辨率降水遥感数据;其中,第二分辨率降水遥感数据的空间分辨率高于第一分辨率降水遥感数据的空间分辨率。
55.一些实施例中,非线性混合效应变系数模型的表达式如下:系数模型的表达式如下:式中,y为待求变量;x
p
为第p个解释变量;α
p
为第p个回归系数;p为解释变量的个数;xi为第i个解释变量;xj为第j个解释变量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向
量构成的矩阵;为常数项;为变化项;控制第个回归系数的空间平滑度,控制回归系数的变异程度。
56.一些实施例中,空间变系数回归模型的表达式如下:式中:y为待求变量;x
p
为第p个解释变量;p为解释变量的个数;为空间变异系数构成的向量;为哈达玛积;为空间变异系数构成的向量;ε为残差;n表示正态分布;为方差;i为单位矩阵;为系数向量;为个特征向量构成的矩阵;为常数项;为变化项。
57.本技术实施例提供的非线性混合效应变系数降尺度系统能够实现上述任一实施例提供的非线性混合效应变系数降尺度方法的流程、步骤,并达到相同的技术效果,在此不做一一赘述。
58.以上所述仅为本技术的优选实施例,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。