一种改进特征失配的遥感目标检测方法

本发明属于遥感目标检测，具体涉及一种改进特征失配的遥感目标检测方法。

背景技术：

1、目标检测是图像处理中最重要且具有挑战性的任务之一，它通过分析图像信息来识别物体的类别和位置。随着卫星和遥感技术的快速发展，在自然灾害探测、交通规划、地面目标行为分析等领域的实际应用中，目标检测具有实际价值。

2、在目标检测领域，深度学习取得了巨大的突破。现有的深度检测框架可以分为两个主要派别：一阶段框架和两阶段框架。一阶段框架直接回归目标边界框和类别，包括ssd、yolo等。这些方法具有实时性强、速度快的特点，适用于对实时性要求较高的场景。而两阶段框架包含两个步骤：首先使用rpn生成候选目标区域，然后对这些区域进行特征提取和分类，代表性的方法有faster r-cnn和mask r-cnn。这些方法通过引入候选区域的筛选和精炼过程，提高了目标检测的准确性和鲁棒性。

3、近年来，遥感图像的目标检测引起了广泛关注。遥感图像中的目标检测面临特殊挑战，包括高分辨率、复杂背景和大范围的场景。为了克服这些挑战，研究者提出了一系列针对遥感图像的目标检测方法。其中一种方法是基于多尺度特征表示的目标检测方法。这些方法通过设计多层次的特征金字塔结构，有效地实现了目标检测在不同尺度上的应用。这些研究方法中，我们仍然能够发现分类任务和定位任务之间存在特征失配的问题，具体归因于以下几个原因：

4、不同的任务目标：分类任务的目标是确定物体所属的类别，而定位任务的目标是准确地确定物体在图像中的位置和边界框。这两个任务的目标不同，因此它们所关注的特征也不同。

5、特征提取的局限性：在深度学习中，通常使用卷积神经网络(cnn)等模型来提取特征。这些网络在分类任务中表现出色，但在定位任务中可能会面临特征不准确或不完整的问题。由于分类任务主要关注物体的整体特征，可能会忽略一些细节信息，如边界框的精确位置和形状。

6、回归分支的影响：在一些目标检测方法中，通过回归分支来生成边界框的位置和大小预测。这些回归分支的特征提取可能会导致分类特征的转移，从而造成特征失配的问题。回归分支的输出与分类特征之间存在一定的不一致性，这可能会影响最终的定位准确性。

7、数据不平衡：在遥感图像中，不同类别的目标物体可能存在数量上的不平衡。这意味着一些类别的目标物体可能较少，而其他类别的目标物体可能较多。这种不平衡会对分类任务和定位任务之间的特征提取造成影响，可能导致一些类别的目标物体定位不准确或难以区分。

8、综上所述，分类任务和定位任务之间存在特征失配的问题主要源于任务目标的不同、特征提取的局限性、回归分支的影响以及数据的不平衡性。由于水平边界框与实际边界框的不一致性，特征提取网络可能难以准确捕捉到与目标实际位置和方向相关的特征信息。这会导致特征失配，即特征表示与目标的实际位置不匹配，从而降低了目标检测和定位的准确性。因此本发明设计更有效的网络架构，确保分类和定位任务之间的特征可以更好地协同工作，提高遥感目标检测的准确性和鲁棒性。

技术实现思路

1、本发明提供了一种改进特征失配的遥感目标检测方法，解决了现有技术在遥感目标检测方面存在分类任务和定位任务之间特征失配的问题。

2、为了解决上述技术问题，本发明的技术方案为：一种改进特征失配的遥感目标检测方法，包括以下步骤：

3、s1、采用具有fpn的resnet50网络作为骨干网络，通过骨干网络提取遥感图像的多尺度特征；

4、s2、将多尺度特征输入至特征失配补偿器中，得到细框化特征；

5、s3、将细框化特征输人至双分支检测头，分别计算分类分支与回归分支的检测得分；

6、s4、通过损失函数分别计算分类分支与回归分支的动态权重，并根据检测得分与动态权重计算融合得分，进行遥感目标检测。

7、本发明的有益效果是：本发明提供的特征失配补偿器能够独立地提取类别特征和定位特征，能够自适应地学习不同类别的提案的形状、大小和角度等，能够解决分类任务和定位任务之间的特征失配问题，完成高质量的特征提取。同时，利用双分支检测头，获得细化的特征进行分类评分预测，有效地缓解了在定向目标检测中由于类别之间的尺度分布不均衡的问题，有助于提高待检目标的检测精度。本发明不仅缓解了分类任务和定位任务之间的特征失配特点，还缓解了在旋转目标检测中类别尺度分布失衡的问题。

8、进一步地，所述步骤s1的具体步骤为：

9、s11、采用具有fpn的resnet50网络作为骨干网络；

10、s12、将遥感图像输入至骨干网络中，得到遥感图像的映射特征；

11、s13、依次通过卷积和上采样操作将映射特征进行合并，得到遥感图像的多尺度特征。

12、上述进一步方案的有益效果为：将遥感图像输入具有fpn的resnet50网络，采用卷积和上采样操作对映射特征进行多尺度信息融合，实现了对遥感图像的更全面理解。这种方法有效提高了模型对目标的感知能力，增强了在复杂场景中的分析和识别能力。同时，多尺度特征融合提升了模型对噪声的抗性，有助于提高模型的鲁棒性，采用resnet50网络作为骨干网络，使模型能够学习更丰富和抽象的语义特征，从而提高了对遥感图像中目标的准确识别。综合而言，此步骤不仅提升了模型性能，还增强了在不同场景和数据集上的泛化能力，使其更适用于各种遥感图像任务。

13、进一步地，所述步骤s2中特征失配补偿器包括分类特征提取分支、定位特征提取分支和多尺度特征融合模块。

14、进一步地，所述步骤s2的具体步骤为：

15、s21、将多尺度特征输入至分类特征提取分支中，依次通过大小为3×3和1×1的卷积层中；

16、s22、将卷积后的多尺度特征输入至通道注意力机制中，得到分类特征；

17、s23、将多尺度特征输入至定位特征提取分支中，为多尺度特征层次的每个空间位置分配三个水平锚点；

18、s24、根据水平锚点定义水平锚、预测边界框与地面真实框，并根据水平锚、预测边界框与地面真实框计算边框坐标的回归参数；

19、s25、将多尺度特征输入至多尺度特征融合模块中，得到具有多个感受野的融合特征；

20、s26、根据分类特征、边框坐标的回归参数以及融合特征，得到细框化特征。

21、上述进一步方案的有益效果为：分类特征提取分支使用两个卷积层，同时引入通道注意力机制，使得网络能够关注图片中更有意义的信息，有利于提取高质量的分类特征。通过这种方式，可以更好地捕捉图像中的空间信息，并对其进行有效的特征提取。多尺度特征融合模块通过增加卷积核的空洞来扩大卷积核的感受野，从而捕获更多的上下文信息，增强模型的特征表示能力、降低计算复杂度、引入更多的非线性、更好地适应不同尺度的目标。

22、进一步地，所述步骤s23中三个水平锚点的锚框高宽比分别为{1:2,1:1,1,2:1}；

23、所述水平锚的定义为：

24、(xh,yh,lh,mh)

25、

26、

27、其中，(xh,yh)表示水平锚的中心坐标，lh表示水平锚的对角线长度，mh表示水平锚的高宽比值；hh表示水平锚的高，wh表示水平锚的宽；

28、所述预测边界框的定义为：

29、(x,y,l,m,θ)

30、其中，(x,y)表示预测边界框的几何中心，l表示预测边界框的对角线长度，m表示预测边界框的宽高比，θ表示预测边界框从x轴的位置方向到宽度w方向的角度；

31、所述地面真实框的定义为：

32、(x',y',l',m',θ')

33、其中，(x',y')表示地面真实框的几何中心，l'表示地面真实框的对角线长度，m'表示地面真实框的宽高比，θ'表示地面真实框从x轴的位置方向到宽度w方向的角度。

34、进一步地，所述步骤s24中边框坐标的回归参数的计算公式为：

35、

36、

37、v'θ＝θ'

38、

39、

40、vθ＝θ

41、其中，v'x表示地面真实框的几何中心x'的回归参数，v'y表示地面真实框的几何中心y'的回归参数，v′l表示地面真实框的对角线长度l'的回归参数，v'm表示地面真实框的宽高比m'的回归参数，v'θ表示地面真实框的方向θ'的回归参数，vx表示预测边界框的几何中心x的回归参数，vy表示预测边界框的几何中心y的回归参数，vl表示预测边界框的对角线长度l的回归参数，vm表示预测边界框的宽高比m的回归参数，vθ表示预测边界框的方向θ的回归参数。

42、进一步地，所述步骤s3中的具体步骤为：

43、s31、将细框化特征输入至双分支检测头的分类分支中，通过旋转的兴趣域对齐提取第一区域特征；

44、s32、将第一区域特征输入至金字塔旋转感兴趣区域对齐pra中，得到特征图；

45、s33、将特征图依次输入至两个全连接层中，并计算分类分支的检测得分；

46、s34、将分类特征与边框坐标的回归参数输入至双分支检测头的回归分支中，通过旋转的兴趣域对齐提取第二区域特征；

47、s35、将第二区域特征依次通过两个卷积层进行卷积，并计算回归分支的检测得分。

48、上述进一步方案的有益效果为：改进了double-head的方法，其中fc-head用来分类，conv-head回归定位，在盒子分类子网更精确的指导下对回归特征进行细化。卷积层conv更有利于位置特征的获取，而全连接层fc更适合于分类特征的提取，有效地解决分类和定位之间的特征失配问题。

49、进一步地，所述步骤s32的具体步骤为：

50、a1、将第一区域特征输入至金字塔旋转感兴趣区域对齐pra中，依次通过5个roi对齐层，分别输出大小为{1×1}、{3×3}、{7×7}、{9×9}以及{14×14}的输出特征；

51、a2、将大小为{1×1}、{3×3}、{7×7}、{9×9}以及{14×14}的输出特征进行上采样操作，得到大小为{14×14}的特征图。

52、上述进一步方案的有益效果为：通过5个roi对齐层和上采样操作，形成一个适应不同类别尺度特征的特征图，网络可以从中学习密集的信息表示。

53、进一步地，所述步骤s4的具体步骤为：

54、s41、选择交叉熵损失作为分类损失函数lcls，选择平滑l1损失作为回归损失函数lreg；

55、s42、计算分类损失函数lcls对于分类分支检测得分的梯度，计算回归损失函数lreg对于回归分支检测得分的梯度，即使用反向传播分别计算分类分支与回归分支的梯度；

56、s43、使用softmax函数将梯度转换为动态权重，并调整softmax函数的敏感度，得到分类分支的动态权重与回归分支的动态权重；

57、s44、根据检测得分、分类分支的动态权重与回归分支的动态权重计算融合得分，进行遥感目标检测。

58、进一步地，所述步骤s44中融合得分的计算公式为：

59、score＝w's1+(1-w')s2

60、

61、其中，score表示融合得分，w'表示分类分支的动态权重，(1-w')表示回归分支的动态权重，s1表示分类分支的检测得分，s2表示回归分支的检测得分，softmax(·)表示归一化指数函数，表示分类分支的梯度，表示回归分支的梯度，t表示调整参数。

62、上述进一步方案的有益效果为：通过比较两个分支的得分情况，对这两个分支的检测得分在后期进行融合，实现了有效的空间对齐，减轻了分类分数和定位精度之间的不一致性。