基于光学影像与SAR影像时序特征融合的作物分类方法

本发明涉及利用深度学习技术的作物遥感分类领域，具体涉及一种基于光学影像与sar影像时序特征融合的语义分割模型作物分类方法。

背景技术：

1、基于卫星遥感影像进行农作物分类识别具有成本低、效率高、时效性强、客观性强等优势，成为当前获取大区域尺度农作物种植区空间分布的主要方法之一。作物地块在遥感影像中表现出区别其它地物类别的独特特征，提取这些特征，成为高精度作物遥感识别的重要工作内容之一。常规的特征提取方法主要是基于专家经验知识进行提取，如长势旺盛的作物在表现出典型的植被特征，利用构建归一化植被指数(normalized differencevegetation index,ndvi)的方式可以提取这一特征；作物在整个生育期ndvi指数呈现先高后低的趋势，可以利用时序ndvi指数的方式提取这一特征；而在sar影像上，同样表现出一定的时序特征。然而随着遥感数据的日益增多，特征的日益复杂，分辨率日益提高，使得传统的基于人工方式进行特征提取的方式存在一定的困难，提取的特征类型、数量、作物识别能力收到制约。

2、而随着深度学习技术的出现，深度学习技术相比常规的机器学习方法具有的特征自动提取能力，成为解决如何从海量遥感数据中提取有效特征这一问题的有效方法。然而，在作物遥感识别领域，当前已有的深度学习方法多数为从图像识别/分割等其它领域直接应用，难以适应多源多时序的卫星遥感影像作物识别需求。如何从包括光学和sar数据中提取包括时序特征和空间特征在内的多类型特征，成为利用深度学习进行作物遥感识别的重要研究内容之一。

技术实现思路

1、本发明的目的是为通过设计一种适合提取时序sar数据及光学影像数据中丰富的时空特征信息，进行作物高精度识别的深度学习模型方法，实现基于多源遥感数据的作物遥感分类识别。

2、一种基于光学影像与sar影像时序特征融合的作物分类方法，包括以下步骤：

3、步骤1、模型输入层数据为目标区域的光学合成影像及时序sar影像；光学合成影像在单景光学遥感卫星影像的基础上处理得到。

4、步骤2、利用lstm结构对时序sar影像进行深层次时序特征提取，得到sar时序特征图。

5、步骤3、利用叠加操作，将步骤2提取的sar时序特征图，与步骤1得到的光学合成影像叠加，获得叠加后的sar时序特征与光学影像波段特征。

6、步骤4、基于unet语义分割结构，从步骤3中获取的sar时序特征与光学影像波段特征中，提取不同层次的空间语义特征。

7、步骤5、基于步骤4中提取的空间语义特征，利用1×1卷积层和激活层，进行作物分类识别，得到目标区域内的作物空间分布。

8、作为优选，所述的lstm结构包含一层lstm网络；所述的lstm网络包含64个神经元，并通过reshape操作将输出结果重组为128×128像素大小、64个特征波段的特征图。

9、作为优选，所述的unet语义分割结构输出的特征图的大小为128×128像素，特征数量为64个。

10、作为优选，步骤1中所述的单景光学遥感卫星影像的空间分辨率与时序sar影像的空间分辨率相同，影像切片大小一致。

11、作为优选，光学合成影像的获取过程为：根据单景光学遥感卫星影像计算归一化植被指数ndvi和地表水体指数lswi的最大值和最小值。将归一化植被指数ndvi和地表水体指数lswi的最大值和最小值影像与单景光学遥感卫星影像叠加，得到光学合成影像。

12、作为优选，时序sar影像包含vv和vh两个后向散射系数特征，每个特征包含18个时序波段，共36个输入特征波段。

13、作为优选，步骤5中所述的激活层使用的激活函数为sigmoid激活函数。

14、作为优选，步骤5执行后，将步骤5中获取的作物空间分布与标签数据进行对比，计算损失函数，并进行误差的反向传播，更新模型参数，多次迭代后，完成模型训练。利用训练完成的模型进行作物空间分布的识别。

15、作为优选，所述的标签数据为目标作物类别和背景地物类别两类，损失函数为二分类交叉熵(binary crossentropy loss)。

16、与现有技术相比，本发明的有益效果为：

17、1、本发明是基于光学影像与sar影像时序特征融合的语义分割模型作物分类方法，相比单纯的基于时序特征的深度学习方法或基于空间语义特征的深度学习方法，本发明能综合提取sar时序影像中的深层次时序特征，并与光学影像波段特征结合，再融合提取其中丰富的空间语义特征，形成时空融合特征，从而实现基于光学和sar影像融合的作物识别时空特征提取及作物高精度分类。

18、2、本发明利用光学影像及时序sar数据作为遥感影像数据源，通过长短期记忆网络提取时序sar影像中的深层次时序特征，并通过reshape方式重组，与光学影像叠加后，利用语义分割结构，提取sar时序特征及光学影像波段特征中隐含的空间语义特征，最终利用获取的光学与sar数据时空融合特征进行作物的高精度遥感识别。

技术特征：

1.基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：所述的lstm结构包含一层lstm网络；所述的lstm网络包含64个神经元，并通过reshape操作将输出结果重组为128×128像素大小、64个特征波段的特征图。

3.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：所述的unet语义分割结构输出的特征图的大小为128×128像素，特征数量为64个。

4.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：步骤1中所述的单景光学遥感卫星影像的空间分辨率与时序sar影像的空间分辨率相同，影像切片大小一致。

5.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：光学合成影像的获取过程为：根据单景光学遥感卫星影像计算归一化植被指数ndvi和地表水体指数lswi的最大值和最小值；将归一化植被指数ndvi和地表水体指数lswi的最大值和最小值影像与单景光学遥感卫星影像叠加，得到光学合成影像。

6.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：时序sar影像包含vv和vh两个后向散射系数特征，每个特征包含18个时序波段，共36个输入特征波段。

7.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：步骤5中所述的激活层使用的激活函数为sigmoid激活函数。

8.根据权利要求1所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：步骤5执行后，将步骤5中获取的作物空间分布与标签数据进行对比，计算损失函数，并进行误差的反向传播，更新模型参数，多次迭代后，完成模型训练；利用训练完成的模型进行作物空间分布的识别。

9.根据权利要求8所述的基于光学影像与sar影像时序特征融合的作物分类方法，其特征在于：所述的标签数据为目标作物类别和背景地物类别两类，损失函数为二分类交叉熵。

技术总结
本发明公开了基于光学影像与SAR影像时序特征融合的作物分类方法。该方法如下：1、模型输入层数据为目标区域的光学合成影像及时序SAR影像。2、利用LSTM结构对时序SAR影像进行深层次时序特征提取，得到SAR时序特征图。3、将SAR时序特征图与光学合成影像叠加。4、基于UNET语义分割结构，从步骤3中获取的特征中，提取不同层次的空间语义特征。5、基于步骤4中提取的空间语义特征，利用1×1卷积层和激活层，进行作物分类识别。本发明提取SAR时序影像中的深层次时序特征，并与光学影像波段特征结合，再融合提取其中丰富的空间语义特征，能够实现基于光学和SAR影像融合的作物识别时空特征提取及作物高精度分类。

技术研发人员：林镇宇,杨玲波
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/13