一种结合混合专家的生成对抗网络遥感图像超分辨重建方法

本发明涉及图像超分辨，具体为一种结合混合专家的生成对抗网络遥感图像超分辨重建方法。

背景技术：

1、遥感图像具有很高的利用价值，在诸多领域例如自然环境监测监控、地质探测勘探、地理位置信息等有着广泛应用。而由于受到大气等自然环境因素的影响以及一些光学成像设备以及硬件条件的限制，导致得到的遥感图像通常为原始高分辨率图像经过压缩后形成的低分辨率(low-resolution,lr)图像，分辨率无法达到要求。图像超分辨率(super-resolution,sr)重建技术利用一组低质量、低分辨率图像通过算法来产生高质量、高分辨率图像，这种成本低、成效快的技术方法在图像处理研究领域中引起了广泛的关注，同时在卫星遥感图像领域有着极其广泛的应用。

2、基于深度学习的方法是目前用于实现图像超分辨率重建的主流方法。该方法主要通过建立待处理图像与生成图像端到端的映射关系实现图像超分重建。并通过加深网络结构等方式对网络进行改进，来提升网络图像超分辨率性能。而遥感图像在对地监测过程中需要确定目标区域并对目标区域图像进行放大，需要的纹理、边缘等细节信息更加精确。而现有算法用来提升对监测目标的细节精度无法满足生产需要，因此增强对小目标卫星遥感图像超分辨率重建并提升卫星对小目标区域的精细监控监测，仍然是一个具有挑战性的问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，解决了上述背景技术中所提出的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，该方法包括以下步骤：

6、步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；

7、步骤二，使用双三次插值算法重建高分辨率遥感图像作为生成器网络g的基础框架；

8、步骤三，引入混合专家构建用于遥感图像超分的生成器网络g，结合判别器网络d，得到改进后的生成对抗超分网络；

9、步骤四，将训练集输入改进后的混合专家生成对抗网络中进行训练，联合损失函数优化网络，设定训练阈值，最终得到超分辨率混合专家生成对抗网络模型；

10、步骤五，将低分辨率遥感测试图像输入训练好的混合专家生成对抗网络生成器网络g中，得到高分辨率遥感图像。

11、进一步地，步骤二中使用双三次插值算法重建的高分辨率遥感图像作为生成器网络g的基础框架，g网络主要用于对低分辨率遥感图像进行超分重建，得到相应的高分辨率遥感图像。

12、进一步地，步骤三中使用三个专家网络、一个投票网络构成和一个特征融合网络构建生成器网络g，专家一使用残差网络结构用于提取特征的全局信息，专家二使用通道注意力机制网络用于提取图像局部特征信息，使网络更加关注局部特征信息，专家三使用空间注意力机制网络用于提取图像二维平面全局特征信息，投票网络依据各专家所擅长的特征提取能力赋予不同的权重占比，自适应的将各专家中的图像整合到聚合特征中，利用融合网络对特征图像进行融合增强。

13、进一步地，步骤三中具体的将原始图像输入第一部分提取浅层特征图输入第二部分提取图像深层特征信息，学习hr与lr之间的映射关系，然后将第一层的输出特征输入混合专家模块进行特征提取，使用投票网络对专家分配不同的占空比，最终输出三组特征，将三组特征图输入特征融合网络进行特征融合，融合后的图像输入下一个混合专家网络进行特征提取并重新分配权重，使用上采样模块对图像进行上采样重建操作，将第二部分得到的最终特征图输入，最终重建出高分辨率遥感图像。

14、进一步地，步骤二、三中生成器网络g使用双三次插值法提取图像公共低频特征信息放大重建出高分辨率遥感图像，使用混合专家提取图像高频特征信息并整合经过重建模块将图像放大至所需大小，以低频特征模块作为重建后的基础框架与经过混合专家重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。

15、进一步地，步骤四中联合损失函数为交叉熵损失函数、像素级损失函数、感知损失函数，损失函数的选择能够影响模型的好坏，能够真实体现出真实值和预测值之间的差异，通过损失函数对模型进行优化，使模型达到最佳效果。

16、(三)有益效果

17、与现有技术相比，本发明提供了一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，具备以下有益效果：

18、本发明基于混合专家生成对抗网络对图像超分重建，解决了目前超分重建技术应用于不同场景效果存在极大偏差的问题，根据不同领域场景的图像能够自适应聚合网络特征信息，使网络具有一定泛化能力，也减少了现有超分重建方法的局限性。

19、本发明通过在生成器中引入融合专家用于提取图像高频特征信息及轮廓。利用多专家融合方式进行特征提取的优势在于每个专家擅长的特征提取方式不同，通过投票网络能够自适应调整每个专家的权重参数，使专家之间提供更多的互补信息，以提高聚合特征的能力，在不增加额外参数的情况，使特征信息提取更加充分从而提高遥感图像的超分重建效果。

20、本发明用于超分重建的生成器网络以双三次插值模块作为网络基础框架，将其结果与提取到的高频特征信息及轮廓进行像素叠加，减少了细节信息的丢失，使重建后的遥感图像具有更加丰富的细节纹理

技术特征：

1.一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤二中使用双三次插值算法重建的高分辨率遥感图像作为生成器网络g的基础框架，g网络主要用于对低分辨率遥感图像进行超分重建，得到相应的高分辨率遥感图像。

3.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤三中使用三个专家网络、一个投票网络构成和一个特征融合网络构建生成器网络g，专家一使用残差网络结构用于提取特征的全局信息，专家二使用通道注意力机制网络用于提取图像局部特征信息，使网络更加关注局部特征信息，专家三使用空间注意力机制网络用于提取图像二维平面全局特征信息，投票网络依据各专家所擅长的特征提取能力赋予不同的权重占比，自适应的将各专家中的图像整合到聚合特征中，利用融合网络对特征图像进行融合增强。

4.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤三中具体的将原始图像输入第一部分提取浅层特征图输入第二部分提取图像深层特征信息，学习hr与lr之间的映射关系，然后将第一层的输出特征输入混合专家模块进行特征提取，使用投票网络对专家分配不同的占空比，最终输出三组特征，将三组特征图输入特征融合网络进行特征融合，融合后的图像输入下一个混合专家网络进行特征提取并重新分配权重，使用上采样模块对图像进行上采样重建操作，将第二部分得到的最终特征图输入，最终重建出高分辨率遥感图像。

5.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤二、三中生成器网络g使用双三次插值法提取图像公共低频特征信息放大重建出高分辨率遥感图像，使用混合专家提取图像高频特征信息并整合经过重建模块将图像放大至所需大小，以低频特征模块作为重建后的基础框架与经过混合专家重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。

6.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤四中联合损失函数为交叉熵损失函数、像素级损失函数、感知损失函数，损失函数的选择能够影响模型的好坏，能够真实体现出真实值和预测值之间的差异，通过损失函数对模型进行优化，使模型达到最佳效果。

技术总结
本发明属于图像超分辨技术领域，尤其为一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，该方法包括以下步骤：步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；步骤二，使用双三次插值算法重建高分辨率遥感图像作为生成器网络G础框架；步骤三，引入混合专家构建用于遥感图像超分的生成器网络G，结合判别器网络D，得到改进后的生成对抗超分网络。本发明基于混合专家生成对抗网络对图像超分重建，解决了目前超分重建技术应用于不同场景效果存在极大偏差的问题，根据不同领域场景的图像能够自适应聚合网络特征信息，使网络具有一定泛化能力，也减少了现有超分重建方法的局限性。

技术研发人员：刘云清,王佳艺,张琼,吕超,颜飞
受保护的技术使用者：长春理工大学
技术研发日：
技术公布日：2024/1/13