一种基于稀疏特征融合的图像分类方法及图像分类系统

本发明属于图像分类，具体涉及一种基于稀疏特征融合的图像分类方法及图像分类系统。

背景技术：

1、遥感作为重要对地观测手段，作为重要应用流程之一的遥感影像分析正在迅速发展。不同类型的传感器会产生各种具有数据综合性特征的遥感影像，最常见的为单波段高分辨率影像以及多光谱影像。比如卫星ikonos采集的全色(pan)和多光谱(ms)影像，作为同源遥感影像融合主要输入，pan和ms图像信号特性存在较大固有差异，并且各自具有不同的图像性质。如何把同源或不同源遥感影像整合，实现精准的物类分类已成为遥感领域分析和应用的研究热点。

2、pan和ms图像的融合分类模型主要可以分为端到端和非端到端网络。当网络输入与输出的期望形式和最终需求一致时，网络被称为端到端网络；非端到端网络通常经过组合不同算法实现人为特征变换且组合算法各自实现不同的任务。大部分模型区别是否为端到端网络，一个很重要的依据是是否引入人为的非神经网络设计类的操作。

3、但是，当前用于pan和ms图像的融合分类的网络总体结构单一，特征提取能力上限较低，鲁棒性较差。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了一种基于稀疏特征融合的图像分类方法及图像分类系统。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供一种基于稀疏特征融合的图像分类方法，所述图像分类方法包括：

3、获取待测试的数据集，所述待测试的数据集包括若干pan测试样本块和若干ms测试样本块，所述若干pan测试样本块和所述若干ms测试样本块是通过对待测试的pan图像和待测试的ms图像分别进行归一化、边缘补零和以每个像素为中心选取预设区域得到的；

4、将所述pan测试样本块和所述ms测试样本块输入训练好的融合分类模型网络中，得到每个像素点的分类类别；

5、其中，所述融合分类模型网络包括ms特征分支模块、pan特征分支模块、融合特征分支模块和多模态决策融合模块；所述ms特征分支模块用于基于小波变换对ms样本块的低频部分进行处理，得到ms模态输出特征图；所述pan特征分支模块用于基于小波变换对pan样本块的高频部分进行处理，得到pan模态输出特征图；所述融合特征分支模块用于基于幂平均池化通道注意力模块和随机语义空间注意力模块，根据pan样本块和ms样本块得到融合分支特征图；所述多模态决策融合模块用于根据所述ms模态输出特征图、所述pan模态输出特征图和所述融合分支特征图得到分类结果。

6、可选的，所述融合分类模型网络的训练方法包括：

7、获取待训练的pan图像、待训练的ms图像和真实标签图像，其中，所述待训练的pan图像、所述待训练的ms图像和所述真实标签图像具有相同且经配准后的地物；

8、对所述待训练的pan图像和所述待训练的ms图像分别进行归一化、边缘补零和以每个像素为中心选取预设区域，得到所述待训练的pan图像对应的若干pan训练样本块和所述待训练的ms图像对应的若干ms训练样本块；

9、将所述pan训练样本块和所述ms训练样本块同时输入所述融合分类模型网络中，将所述pan训练样本块和所述ms训练样本块中每个像素点的类别作为所述融合分类模型网络的输出，求解所述融合分类模型网络输出的类别和所述真实标签图像上所对应的真实类别之间的误差，并对误差进行反向传播，以优化所述融合分类模型网络的参数，得到训练好的融合分类模型网络。

10、可选的，基于小波变换对所述ms样本块的低频部分进行处理，得到ms模态输出特征图，包括：

11、所述ms样本块输入第一卷积层，输出第一ms特征图；

12、所述第一ms特征图输入第一低频小波系数增强模块，所述第一ms特征图经过小波变换得到第一低频部分，采用双线性插值对所述第一低频部分进行上采样，之后对上采样的结果进行全局平均池化，再之后通过多层感知器得到第一低频系数，将所述第一低频系数与所述第一ms特征图相乘，得到第二ms特征图；

13、所述第二ms特征图依次输入第二卷积层和第一最大池化层，输出第三ms特征图；

14、所述第三ms特征图依次输入第三卷积层和第二最大池化层，输出第四ms特征图；

15、所述第四ms特征图输入第二低频小波系数增强模块，所述第四ms特征图经过小波变换得到第二低频部分，采用双线性插值对所述第二低频部分进行上采样，之后对上采样的结果进行全局平均池化，再之后通过多层感知器得到第二低频系数，将所述第二低频系数与所述第四ms特征图相乘，得到第五ms特征图；

16、所述第五ms特征图输入第一shuffle卷积层，输出第六ms特征图；

17、拼接所述第三ms特征图和所述第六ms特征图，得到第七ms特征图；

18、所述第七ms特征图输入第二shuffle卷积层，输出第八ms特征图；

19、所述第八ms特征图输入第三低频小波系数增强模块，所述第八ms特征图经过小波变换得到第三低频部分，采用双线性插值对所述第三低频部分进行上采样，之后对上采样的结果进行全局平均池化，再之后通过多层感知器得到第三低频系数，将所述第三低频系数与所述第八ms特征图相乘，得到第九ms特征图；

20、所述第九ms特征图输入第三shuffle卷积层，输出第十ms特征图；

21、所述第十ms特征图输入第四低频小波系数增强模块，所述第十ms特征图经过小波变换得到第四低频部分，采用双线性插值对所述第四低频部分进行上采样，之后对上采样的结果进行全局平均池化，再之后通过多层感知器得到第四低频系数，将所述第四低频系数与所述第十ms特征图相乘，得到第十一ms特征图；

22、所述第十一ms特征图依次输入第四卷积层和第一全连接层，得到所述ms模态输出特征图。

23、可选的，基于小波变换对pan样本块的高频部分进行处理，得到pan模态输出特征图，包括：

24、所述pan样本块输入第五卷积层，输出第一pan特征图；

25、所述第一pan特征图输入第一高频小波系数增强模块，所述第一pan特征图依次经过上采样和小波变换，得到第一高频部分，所述第一高频部分经过sigmoid函数进行归一化处理，得到第一高频系数，再将所述第一高频系数与所述第一pan特征图相乘，得到第二pan特征图；

26、所述第二pan特征图输入第三最大池化层，输出第三pan特征图；

27、对所述第三pan特征图进行隔像素下采样处理，得到第四pan特征图；

28、所述第四pan特征图输入第六卷积层，输出第五pan特征图；

29、所述第五pan特征图输入第二高频小波系数增强模块，所述第五pan特征图依次经过上采样和小波变换，得到第二高频部分，所述第二高频部分经过sigmoid函数进行归一化处理，得到第二高频系数，再将所述第二高频系数与所述第五pan特征图相乘，得到第六pan特征图；

30、所述第六pan特征图输入第四shuffle卷积层，输出第七pan特征图；

31、拼接所述第三pan特征图和所述第七pan特征图，得到第八ms特征图；

32、所述第八pan特征图输入第五shuffle卷积层，输出第九pan特征图；

33、所述第九pan特征图输入第三高频小波系数增强模块，所述第九pan特征图依次经过上采样和小波变换，得到第三高频部分，所述第三高频部分经过sigmoid函数进行归一化处理，得到第三高频系数，再将所述第三高频系数与所述第九pan特征图相乘，得到第十pan特征图；

34、所述第十pan特征图输入第四最大池化层，输出第十一pan特征图；

35、所述第十一pan特征图输入第四高频小波系数增强模块，所述第十一pan特征图依次经过上采样和小波变换，得到第四高频部分，所述第四高频部分经过sigmoid函数进行归一化处理，得到第四高频系数，再将所述第四高频系数与所述第十一pan特征图相乘，得到第十二pan特征图；

36、所述第十二pan特征图输入第六shuffle卷积层，输出第十三pan特征图；

37、所述第十三pan特征图依次输入第七卷积层和第二全连接层，得到所述pan模态输出特征图。

38、可选的，基于幂平均池化通道注意力模块和随机语义空间注意力模块，根据pan样本块和ms样本块得到融合分支特征图，包括：

39、所述ms样本块依次输入第七卷积层和第五最大池化层，输出第十二ms特征图；

40、所述第十二ms特征图输入第七shuffle卷积层，输出第十三ms特征图；

41、所述第十三ms特征图输入所述幂平均池化通道注意力模块，得到第一加权特征图；

42、所述pan样本块依次输入第八卷积层和第六最大池化层，输出第十四pan特征图；

43、所述第十四pan特征图输入第八shuffle卷积层，输出第十五pan特征图；

44、所述第十五pan特征图输入所述随机语义空间注意力模块，得到第二加权特征图；

45、拼接所述第一加权特征图和所述第二加权特征图，得到第一特征图；

46、所述第一特征图输入第九shuffle卷积层，输出第二特征图；

47、所述第二特征图输入所述随机语义空间注意力模块，得到第三加权特征图；

48、所述第三加权特征图输入第十shuffle卷积层，输出第三特征图；

49、所述第三特征图输入所述幂平均池化通道注意力模块，得到第四加权特征图；

50、所述第四加权特征图输入第十一shuffle卷积层，输出第四特征图；

51、所述第四特征图依次输入第九卷积层和第三全连接层，得到融合分支特征图。

52、可选的，所述幂平均池化通道注意力模块具体用于：

53、利用第十卷积层、第十一卷积层、第十二卷积层分别对第一待处理特征图进行卷积，分别得到第一卷积特征图、第二卷积特征图和第三卷积特征图，其中，所述第十卷积层、所述第十一卷积层和所述第十二卷积层的卷积核大小不同；

54、利用增强的幂平均池化分别将所述第一卷积特征图、所述第二卷积特征图和所述第三卷积特征图的尺寸压缩一半，分别得到第一压缩特征图、第二压缩特征图和第三压缩特征图；

55、分别对所述第一压缩特征图、所述第二压缩特征图和所述第三压缩特征图进行全局平均池化，分别得到第一一维描述符、第二一维描述符和第三一维描述符；

56、依次分别使用一维卷积和激活函数对所述第一一维描述符、所述第二一维描述符和所述第三一维描述符进行处理，分别得到第一权重分布、第二权重分布和第三权重分布；

57、通过优异值多数选择策略对所述第一权重分布、所述第二权重分布和所述第三权重分布的每个位置的特征值进行比较，选择特征值中较大值总数较多的作为第一掩膜和第二掩膜；

58、分别将所述第一掩膜和所述第二掩膜与所述第一拆分特征图和所述第二拆分特征图相乘，并将两个相乘的结果进行拼接，得到第一最终加权特征图。

59、可选的，通过优异值多数选择策略对所述第一权重分布、所述第二权重分布和所述第三权重分布的每个位置的特征值进行比较，选择特征值中较大值总数较多的作为第一掩膜和第二掩膜，包括：

60、将所述第一权重分布、所述第二权重分布和所述第三权重分布中同一位置的特征值进行比较，分别得到所述第一权重分布、所述第二权重分布和所述第三权重分布中最大特征值的总数；

61、从所述第一权重分布、所述第二权重分布和所述第三权重分布中选取最大特征值的总数较大的两个，作为所述第一掩膜和所述第二掩膜。

62、可选的，所述随机语义空间注意力模块具体用于：

63、对第二待处理特征图进行最大池化处理，得到特征图α1；

64、分别对所述特征图α1进行最大池化、平均池化和随机池化处理，分别得到特征图α2、特征图α3和特征图α4；

65、按照预设比例融合所述特征图α2、所述特征图α3和所述特征图α4，得到特征图α5；

66、利用双线性差值对所述特征图α5进行上采样，并将上采样的结果与特征图α1拼接得到特征图α6；

67、依次利用卷积和sigmoid归一化函数对所述特征图α6进行处理，并将处理后的结果与所述第二待处理特征图相乘，得到第二最终加权特征图。

68、可选的，根据所述ms模态输出特征图、所述pan模态输出特征图和所述融合分支特征图得到分类结果，包括：

69、将所述ms模态输出特征图、所述pan模态输出特征图和所述融合分支特征图分别输入第四全连接层，并利用激活函数得到第一初决策特征图、第二初决策特征图和第三初决策特征图；

70、利用狄利克雷分布分别对所述第一初决策特征图、所述第二初决策特征图和所述第三初决策特征图进行建模，对应得到第一不确定度、第二不确定度和第三不确定度；

71、分别将所述第一不确定度和所述第二不确定度与所述第三不确定度中每个位置的不确定值进行比较，得到所述第一不确定度的较低不确定值的数量和所述第二不确定度的较低不确定值的数量；

72、根据所述第一不确定度的较低不确定值的数量和所述第二不确定度的较低不确定值的数量分别得到第一分数和第二分数；

73、分别判断所述第一分数和所述第二分数与预设分数的关系，若所述第一分数和所述第二分数低于或者等于所述预设分数，则将所述第三不确定度作为最终输出特征图，若所述第一分数和所述第二分数中至少有一个高于所述预设分数，则将所述第一不确定度和所述第二不确定度逐元素进行不确定度值的比较，每个位置选取不确定度值较低的特征组成最终输出特征图；

74、将所述最终输出特征图输入softmax分类层，得到所述分类结果。

75、本发明还提供一种基于稀疏特征融合的图像分类系统，所述图像分类系统包括：

76、获取模块，用于获取待测试的数据集，所述待测试的数据集包括若干pan测试样本块和若干ms测试样本块，所述若干pan测试样本块和所述若干ms测试样本块是通过对待测试的pan图像和待测试的ms图像分别进行归一化、边缘补零和以每个像素为中心选取预设区域得到的；

77、分类模块，用于将所述pan测试样本块和所述ms测试样本块输入训练好的融合分类模型网络中，得到每个像素点的分类类别；

78、其中，所述融合分类模型网络包括ms特征分支模块、pan特征分支模块、融合特征分支模块和多模态决策融合模块；所述ms特征分支模块用于基于小波变换对ms样本块的低频部分进行处理，得到ms模态输出特征图；所述pan特征分支模块用于基于小波变换对pan样本块的高频部分进行处理，得到pan模态输出特征图；所述融合特征分支模块用于基于幂平均池化通道注意力模块和随机语义空间注意力模块，根据pan样本块和ms样本块得到融合分支特征图；所述多模态决策融合模块用于根据所述ms模态输出特征图、所述pan模态输出特征图和所述融合分支特征图得到分类结果。

79、与现有技术相比，本发明的有益效果：

80、本发明的融合分类模型网络包括ms特征分支模块、pan特征分支模块、融合特征分支模块和多模态决策融合模块，ms特征分支模块、pan特征分支模块、融合特征分支模块分别进行不同的特征提取和通过增强手段进行全连接输出，最后被输入到多模态决策融合模块中进行决策融合，ms特征分支模块、pan特征分支模块、融合特征分支模块共同作用，解决了用于pan和ms图像的融合分类的网络总体结构单一的问题，并且增强了最终决策融合的鲁棒性。本发明在融合特征分支模块中，考虑到多方面进行互补信息的交互，针对两种图像各自设计了幂平均池化通道注意力模块和随机语义空间注意力模块，从而得到更具泛化性和多样性的融合分支特征图，提高了特征提取能力。

81、以下将结合附图及对本发明做进一步详细说明。