一种基于时序遥感影像的作物分类方法与流程

10.1109/igarss47720.2021.9553603。
6.引用文献3，ziqiao wang, hongyan zhang, wei he, and liangpei zhang. phenology alignment network: a novel framework for crossregional time series crop classifification. in proceedings ofthe ieee/cvf conference on computer vision and pattern recognition, pages 2940
–
2949, 2021. 2。
7.引用文献4，joachim nyborg, charlotte pelletier, sebastien lefevre, and ira assent. timematch: unsupervised cross-regionadaptation by temporal shift estimation.arxiv preprint, abs/2111.02682, 2021. 1, 2, 4, 6, 7, 8。
8.引用文献5，nyborg, joachim, charlotte pelletier, and ira assent. "generalized classification of satellite image time series with thermal positional encoding." proceedings of the ieee/cvf conference on computer vision and pattern recognition. 2022。


技术实现要素：

9.针对基于多时域遥感影像的作物分类技术领域，现有数据集上的训练结果无法直接应用于跨域的感兴趣的区域的技术问题，本发明提供一种基于可学习位置编码的半监督作物分类算法，以提高作物分类精度。
10.本发明提供一种作物分类模型，包括可学习位置编码模块、空域编码模块、时域编码模块和分类解码器；所述可学习位置编码模块用于对日历时间做编码，得到与作物生长相关的时间维度；所述空域编码模块用于对哨兵2的单幅多光谱遥感影像进行特征提取，得到空域特征；所述时域编码模块用于将空域特征和时间维度糅合起来，提取得到时域特征；所述分类解码器用于根据时域特征得出作物分类结果。
11.进一步的，所述可学习位置编码模块由gru模块与全连接层构成；所述空域编码模块采用cnn模块或像素编码器pse；所述时域编码器采用gru模块、rnn模块、lstm模块、时域注意力编码器tae中的一种；所述分类解码器采用cnn模块或支持向量机svm。
12.本发明还提供上述作物分类模型的训练方法，在源数据集上通过时间偏移增强的方式训练作物分类模型m，得到初步训练后的作物分类模型 ms；在源域和目的域上以半监督的方式继续训练作物分类模型ms，训练时时移增强随着训练次数的增加而衰减，直至交互熵损失和平方差损失之和达到最小，得到最终作物分类模型msd。
13.本发明公开的基于时序遥感影像的作物分类方法，将时序多光谱遥感影像输入上述作物分类模型msd，得到作物分类结果。
14.本发明提出对日历时间进行编码，与空域特征进行糅合，利用跨域时间编码消除源数据集和目的数据集时间分布不一致的问题；再通过带时移增强衰减的半监督方法充分挖掘目的数据集的空间几何信息，以提高作物分类精度。
附图说明
15.图1为实施例1中的作物分类模型示意图；图2为实施例1中的可学习位置编码模块的结构框图；图3为实施例2中半监督学习示意图；
图4为实施例3中的四组作物分类方法准确率对比图。
具体实施方式
16.下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
17.实施例1一种作物分类模型，如图1所示，包括可学习位置编码模块、空域编码模块、时域编码模块和分类解码器。
18.所述可学习位置编码模块用于对日历时间做编码，得到与作物生长相关的时间维度。本实施例中，可学习位置编码模块由gru模块与全连接层构成，如图2所示，将以天为单位的日历时间t[nt]输入可学习位置编码模块，得到编码后的时间e[ntc1]。
[0019]
所述空域编码模块用于对哨兵2的单幅多光谱遥感影像x[ntc0s]进行特征提取，得到空域特征f1[ntc1]。哨兵2号（sentinel-2）是欧洲空间局哥白尼计划下的一个地球观测任务，该任务主要对地球表面进行观测以提供相关遥测服务，例如森林监测、土地覆盖变化侦测、天然灾害管理。此部分为作物分类的常规操作，可采用提取图像特征的cnn模块，也可采用像素编码器pse提取一些统计特征，例如目标像素的均值、均方差、最大值、最小值等。
[0020]
所述时域编码模块用于将空域特征f1[ntc1]和时间维度e[ntc1]糅合起来，提取得到时域特征f2[ntc2]。本领域常用的时域编码器有gru、rnn、lstm、时域注意力编码器tae等。
[0021]
所述分类解码器用于根据时域特征f2[ntc2]得出作物分类结果yp[nc]，可以用cnn模块，也可以用支持向量机svm等。
[0022]
值得说明的是，本实施例并不旨在提出如何进行空域编码、时域编码和分类解码，这些基于现有技术皆可实现，而在于将可学习位置编码融入作物分类模型中，建模与作物生长相关的时间维度，再与空域特征糅合，以解决引用文献3没有解决的时间偏移问题，以及引用文献4、5操作过于复杂，不便于推广应用的问题。
[0023]
实施例2实施例1所述作物分类模型的训练方法，在源数据集上通过时间偏移增强的方式训练作物分类模型m，得到初步训练后的作物分类模型ms。
[0024]
在源域和目的域上以半监督的方式继续训练作物分类模型ms，如图3所示，训练时时移增强随着训练次数的增加而衰减，直至交互熵损失和平方差损失之和达到最小，得到最终作物分类模型msd。
[0025]
图3中的yg[nc]为有标注的数据的ground truth，是标注结果；yz[nc]为未标注数据在训练过程中多次推理得到结果的均值，是预测结果的均值。由于半监督学习算法属于现有技术，此处仅进行简单介绍，不作展开。
[0026]
时间偏移增强和统计增强分别是对日历时间输入和多光谱遥感影像输入的数据
增强手段，如何实现属于现有技术，此处不予赘述。
[0027]
由于可学习时间编码模块的可信程度是随着模型性能的提升逐步提升的，而较大的时移增强会抑制可学习时间编码的对作物生长时间维度的建模，因此，随着训练次数的增加，应当逐渐减小时移增强的影响，类似于学习速率随训练次数进行衰减。简而言之，半监督学习过程中，起初是时移增强起作用，但随着时移增强的衰减，可学习的位置编码逐步开始起作用，直至时移增强衰减为零。
[0028]
为此，本实施例定义一个时移增强衰减的余弦下降公式，其中，表征初始时移增强幅度，表征当前是第几个step，表征多少个step之后时移增强衰减为0。例如，取=60表示最大时移增强幅度为60天，=120表示总共训练120个epochs。
[0029]
实施例3一种基于时序遥感影像的作物分类方法，将时序多光谱遥感影像输入实施例2中的作物分类模型msd，得到作物分类结果。
[0030]
为验证基于本发明提出的作物分类模型及其训练方法对于作物分类准确率的提升，分四组进行作物分类准确率测试。
[0031]
1、第一组（lpe+sa）：首先，采用实施例1所述的作物分类模型，其中，可学习位置编码（用lpe表示）模块由gru模块与全连接层构成，空域编码模块采用像素编码器pse，是时域编码器采用时域注意力编码器tae，分类解码器采用1个带relu激活函数的3
×
3的cnn模块；其次，采用实施例2所述的训练方法，取60，取120，sa表示时移增强衰减；最后，将事先准备好的测试集（timematch数据集，源域为at1+dk1+fr2，目的域为fr1）输入作物分类模型msd，得到分类结果，进行准确率核查。
[0032]
2、第二组（fpe+sa）：区别于第一组，利用固定正弦位置编码（用fpe表示）取代可学习位置编码。
[0033]
3、第三组（lpe+a=0）：区别于第一组，在模型训练过程中，没有进行时移增强处理（用a=0表示）。
[0034]
4、第四组（lpe+t=0）：区别于第一组，在模型训练过程中，进行时移增强处理，但是在半监督学习过程中，没有对时移增强进行衰减处理（用t=0表示）。
[0035]
四组作物分类方法的准确率核查结果如图4所示。
[0036]
对比第一组、第二组可知，可学习位置编码用于作物分类模型，分类准确率要优于固定位置编码。
[0037]
对比第一组与第三、四组可知，时移增强不衰减会抑制可学习位置编码对作物生长时间维度的建模能力，影响分类准确率；而没有时移增强则可能导致模型在目的域的泛化能力不足，生成的伪标签置信度不高，最终导致整个模型在半监督学习中不收敛，从而导
致分类准确率很低。
[0038]
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。