技术特征：
1.一种基于cnn与transformer的低分辨率图像分类方法，其特征在于，包括以下步骤：步骤s1:构建图像数据集并对其中图像进行类别标注，同时将图像数据集按照一定比例划分为训练集和验证集；步骤s2:对训练集和验证集图像进行预处理；步骤s3:基于cnn和transformer，构建双分支并行网络，通过cnn网络分支和transformer网络分支来对低分辨率图像进行特征提取，通过注意力特征融合网络将两个分支每一层的特征进行有效融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘；步骤s4：根据训练集和验证集对双分支并行网络进行训练，并利用交叉熵损失对其进行约束，得到图像分类网络；步骤s5:将预处理后的待测图像输入图像分类网络，得到分类结果。2.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述预处理包括尺寸调整和数据增强，所述尺寸调整是将输入的图像样本转化为预设大小，所述数据增强方式采用随机水平翻转、随机垂直翻转以及随机旋转。3.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述transformer网络分支由四个阶段组成，每个阶段由两个transformer编码器堆叠而成，transformer网络分支会输出四种不同尺寸的一维特征图。4.根据权利要求3所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述transformer网络分支产生的一维特征输入到转换网络中进行转换，使其与cnn网络分支产生的特征尺寸相同，转换网络中的转换公式如下：x
i
＝1
×
1conv(reshape(x
i
))i∈(1，2，3，4)其中x为transformer网络分支四个阶段输出的一维特征，x为一维特征经过转换网络后产生的四个不同尺度的二维特征。5.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述cnn网络分支由5层组成，每一层均产生不同尺寸的二维特征，将第一次层网络提取的特征输入到transformer分支中进行提取。6.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述注意力特征融合网络将cnn分支和transformer分支所提取的两种不同语义信息的特征进行融合，具体如下：将cnn网络分支和transformer网络分支产生的特征进行相加得到一个融合特征；将融合特征分两个分支进行处理，第一个分支利用全局平均池化得到融合特征的特征向量，同时利用卷积来降低维度，再利用relu激活函数进行处理，最后利用卷积来改变特征维度，得到第一个分支的注意力权重；第二个分支，直接将融合特征进行卷积改变其特征尺寸，再利用relu来进行激活处理，最后利用卷积来恢复其特征尺寸，得到第二个分支的注意力权重，将这两个分支的注意力权重进行相加得到一个新的注意力权重.最后将新的注意力权重特征图与cnn和transformer网络产生的特征进行相乘、相加，得到最终融合的特征。7.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在
于，所述多通道注意力网络利用多个支路，每个支路采用不同的卷积核来提取特征，之后利用通道注意力来增强特征的表示能力，公式如下：x1＝1
×
1conv(x)x
11
＝x1+x1*sigmoid(conv6(relu(conv5(maxpool(x1)))))x3＝3
×
3conv(x)x
33
＝x3+x
31
*sigmoid(conv6(relu(conv5(maxpool(x3)))))x5＝5
×
5conv(x)x
55
＝x5+x5*sigmoid(conv6(relu(conv5(maxpool(x5)))))x
output
＝x
11
+x
33
+x
55
其中，conv5为空洞卷积，用于降维，conv6为空洞卷积，用于升维，x
output
为经注意力网络输出的特征。8.根据权利要求1所述的基于cnn与transformer的低分辨率图像分类方法，其特征在于，所述交叉熵损失公式如下：其中，q
i
表示软标签，b表示一个批次的样本数量，n表示类别总数也是预测向量的长度，p
i
表示教师网络的样本图像的预测值。9.一种基于cnn与transformer的低分辨率图像分类系统，其特征在于，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1-8任一项所述的基于cnn与transformer的低分辨率图像分类方法。
技术总结
本发明涉及一种基于CNN与Transformer的低分辨率图像分类方法，包括以下步骤：步骤S1:构建图像数据集并对其中图像进行类别标注，划分为训练集和验证集；步骤S2:对训练集和验证集图像进行预处理；步骤S3:基于CNN和transformer，构建双分支并行网络，通过CNN网络分支和transformer网络分支来对低分辨率图像进行特征提取，通过注意力特征融合网络将两个分支每一层的特征进行有效融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘；步骤S4：根据训练集和验证集对双分支并行网络进行训练，并利用交叉熵损失对其进行约束，得到图像分类网络；步骤S5:将预处理后的待测图像输入图像分类网络，得到分类结果。本发明能有效提高对低分辨图像的分类性能。明能有效提高对低分辨图像的分类性能。明能有效提高对低分辨图像的分类性能。
技术研发人员：罗鸣 胡义 童同 谢军伟 杨宗晓
受保护的技术使用者：福建帝视信息科技有限公司
技术研发日：2022.10.14
技术公布日：2022/12/22