基于网络架构搜索的多模态图像土地覆盖类型分类方法

本发明涉及遥感图像土地覆盖类型分类，具体涉及一种基于网络架构搜索的多模态图像土地覆盖类型分类的方法。

背景技术：

1、遥感图像包含丰富的地理信息，被广泛应用于军事与民用领域，相应的解译技术也取得了迅速发展。土地覆盖类型分类是遥感图像应用的一个重要分支，在城市规划、环境监测和灾害应对等领域都发挥着重要作用。土地覆盖类型分类要求对图像中的每一个像素赋予对应的类别，对图像解译要求高。使用单一的地球观测数据，由于成像机理和成像特点的不同，不可避免地会遇到对不同像素分类识别的性能瓶颈。光学遥感图像分辨率较高，具有较为丰富的颜色、纹理等语义信息，但成像容易受到云雾等恶劣天气因素影响；合成孔径雷达(synthetic aperture radar，简称sar)具有全天时、全天候的对地观测能力，但特殊的成像机理使得sar图像极易受到斑点噪声、严重的几何失真和复杂的反向散射等因素干扰。大量的研究表明，匹配的光学和sar图像可以提供同一区域的互补信息。随着对地观测技术的迅猛发展，同一地区的大量多模态遥感图像获取变得更为容易，这也给利用多模态遥感图像进行土地覆盖类型分类应用提供了条件。

2、随着深度学习的不断发展，越来越多的神经网络被应用到多模态网络中，融合策略成为决定分类性能的关键。现有的多模态融合方法多是手动进行融合模块的设计，但sar图像和光学图像之间的成像差异可能导致其特征不在同一个语义空间，并且神经网络提取特征可解释性较差，人工针对这些特征进行融合模块的设计很可能导致融合效果不理想。

3、因此，目前随着遥感图像的获取量不断增加，如何提高多模态遥感图像土地覆盖类型分类准确率成为当前需要面对的问题。

技术实现思路

1、针对现有技术中所存在的不足，本发明提供了一种基于网络架构搜索的多模态图像土地覆盖类型分类的方法，以解决现有技术中多模态融合方法多是手动进行融合设计，导致融合效果不理想，从而影响多模态遥感图像土地覆盖类型的分类准确性的技术问题。

2、本发明提供了一种基于网络架构搜索的多模态图像土地覆盖类型分类的方法，包括：

3、s1、利用特征提取网络对输入的成对光、sar遥感图像进行特征提取；

4、s2、构建基于smbo算法的多模态特征融合架构搜索空间，搜索最佳的融合策略；

5、s3、根据所述融合策略对光、sar特征进行融合，得到土地覆盖类型分类结果。

6、可选地，所述利用特征提取网络对输入的成对光、sar遥感图像进行特征提取，包括：

7、将成对匹配的光、sar遥感图像同时输入u型特征提取网络，利用卷积模块进行特征提取。

8、可选地，所述构建基于smbo算法的多模态特征融合架构搜索空间，包括：

9、经过所述u型特征提取网络提取特征后，将得到不同层次的sar模态特征{x1,x2,…,xm}和光学模态特征{y1,y2,…,yn}，分别选取sar模态特征和光学模态特征构造搜索空间进行融合，搜索空间的大小用(m×n)l表示，其中m和n分别表示sar、光模态所提供的用于融合的特征数量，l表示融合层数。

10、可选地，所述搜索的最佳融合策略，包括：

11、从所述搜索空间中采样融合模块，对融合模块构建的网络逐一进行评估，再根据评估结果引导采样策略，反复迭代从而实现搜索过程。

12、可选地，所述从所述搜索空间中采样融合模块，对融合模块构建的网络逐一进行评估，再根据评估结果引导采样策略，反复迭代从而实现搜索过程，包括：

13、定义最大融合层数l、搜索迭代次数esearch、训练epochetrain、采样子网数k、训练集sstrain、验证集sval；

14、构建i＝1的所有融合模块集合，对融合模块集合中的所有融合模块进行训练评估，保存融合模块参数及评估结果并更新代理模型；

15、当i＝n+1，n>1时，将在i＝n保存下的k个融合模块上构建第n+1层融合，继续进行预测，采用k个融合模块后训练评估并更新代理模型，重复该过程直到i＝l，最后输出多模态分类模型。

16、可选地，所述根据所述融合策略对光、sar特征进行融合，得到土地覆盖类型分类结果，包括：

17、根据得到的最佳融合组合，构建得到高性能的多模态分类模型，对输入的成对光、sar模态图像进行预测，得到精确的土地覆盖类型分类结果。

18、相比于现有技术，本发明具有如下有益效果：

19、1、提出了双输入的u型特征提取网络，使网络可以获得更充分的信息用于分类；

20、2、考虑到传统人工设计的深度学习特征融合模块难度大且缺乏可解释性，创建了基于smbo的多模态特征融合架构搜索方法探求不同模态特征间的最佳组合方式，提高光、sar图像特征融合效率。

21、3、本发明应用网络架构搜索技术，自适应的在数据集上针对网络提取到的来自不同模态的特征进行搜索，得到特征间的最佳组合方式，从而有效地融合光学和sar图像的信息进行土地覆盖类型分类。

技术特征：

1.一种基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，包括：

2.如权利要求1所述的基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，所述利用特征提取网络对输入的成对光、sar遥感图像进行特征提取，包括：

3.如权利要求2所述的基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，所述构建基于smbo算法的多模态特征融合架构搜索空间，包括：

4.如权利要求3所述的基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，所述搜索的最佳融合策略，包括：

5.如权利要求4所述的基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，所述从所述搜索空间中采样融合模块，对融合模块构建的网络逐一进行评估，再根据评估结果引导采样策略，反复迭代从而实现搜索过程，包括：

6.如权利要求5所述的基于网络架构搜索的多模态图像土地覆盖类型分类的方法，其特征在于，所述根据所述融合策略对光、sar特征进行融合，得到土地覆盖类型分类结果，包括：

技术总结
本发明提供了一种基于网络架构搜索的多模态图像土地覆盖类型分类的方法，包括S1、利用特征提取网络对输入的成对光、SAR遥感图像进行特征提取；S2、构建基于SMBO算法的多模态特征融合架构搜索空间，搜索最佳的融合策略；S3、根据所述融合策略对光、SAR特征进行融合，得到土地覆盖类型分类结果。本发明提出了双输入的U型特征提取网络，使网络可以获得更充分的信息用于分类，并考虑到传统人工设计的深度学习特征融合模块难度大且缺乏可解释性，创建了基于SMBO的多模态特征融合架构搜索方法探求不同模态特征间的最佳组合方式，提高光、SAR图像特征融合效率。

技术研发人员：陈亮,李健昊,师皓,王裕沛,尹逸斐
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/13