基于两阶段多尺度特征学习的飞机关键点检测方法

本发明涉及图像处理，具体涉及一种基于两阶段多尺度特征学习的飞机关键点检测方法。

背景技术：

1、目标检测是遥感图像处理和计算机视觉领域的重要研究方向。随着星上相机性能和星群技术的发展，遥感图像数据逐步累计，基于大数据和深度学习的遥感图像智能解译成为遥感图像分析的新方式。目前被用于遥感图像目标检测的卷积神经网络仅输出目标的位置和尺寸信息，难以对目标关键点等精细化结构信息进行有效提取。

2、然而，目标关键点等结构信息在军事、民用和商业领域能够发挥重要的作用。以飞机为例，提取机头、机翼和机尾在内的关键点，对敌机动态情报分析、失事飞机搜寻、机场流量监测、航班调度等任务具有重要意义。但是，由于目标在图像中的占比较小，以及目标尺寸差异较大等原因，目标内的精细化结构信息提取极为困难。

技术实现思路

1、为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于两阶段多尺度特征学习的飞机关键点检测方法。

2、本发明的技术方案如下：

3、提供了一种基于两阶段多尺度特征学习的飞机关键点检测方法，所述方法包括：

4、获取包含飞机的待测遥感图像；

5、将所述待测遥感图像输入预先训练的目标检测模型，得到所述待测遥感图像中的飞机的预测框，其中，所述目标检测模型采用多尺寸的特征表示方式；

6、按照预设比例对所述飞机的预测框进行放大，并根据放大后的预测框裁剪所述待测遥感图像，得到飞机图像；

7、将所述飞机图像输入预先训练的关键点检测模型，得到所述飞机图像中的飞机关键点位置，其中，所述关键点检测模型采用多尺度的特征表示方式。

8、在一些可能的实现方式中，所述目标检测模型采用特征金字塔残差网络，所述特征金字塔残差网络包括相互连接的残差网络和特征金字塔网络。

9、在一些可能的实现方式中，所述目标检测模型通过如下方式训练：

10、获取第一阶段训练样本集合，第一阶段训练样本包括包含飞机的初始样本图像、以及与初始样本图像对应的飞机的标注框；

11、将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型。

12、在一些可能的实现方式中，将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型，包括：

13、步骤21，将所有第一阶段训练样本的初始样本图像按批次输入目标检测模型，得到目标检测模型输出的飞机的预测框；

14、步骤22，根据第一阶段训练样本的飞机的标注框和与标注框对应的预测框，计算预设目标检测损失函数；

15、步骤23，判断是否达到预设训练停止条件，若是，则将当前的目标检测模型作为完成训练的目标检测模型，若否，则利用预设目标检测损失函数更新目标检测模型的参数，并返回步骤21。

16、在一些可能的实现方式中，所述关键点检测模型采用高分辨率网络。

17、在一些可能的实现方式中，所述关键点检测模型通过如下方式训练：

18、按照预设比例对所述初始样本图像中的飞机的标注框进行放大，并按照放大后的标注框裁剪所述初始样本图像，得到飞机样本图像；

19、根据多个飞机样本图像，获取第二阶段训练样本集合，第二阶段训练样本包括飞机样本图像、以及与飞机样本图像对应的飞机关键点标注位置；

20、将所述第二阶段训练样本的飞机样本图像作为输入，将与飞机样本图像对应的飞机关键点标注位置作为输出，训练关键点检测模型。

21、在一些可能的实现方式中，将所述第二阶段训练样本的飞机样本图像作为输入，将与飞机样本图像对应的飞机关键点标注位置作为输出，训练关键点检测模型，包括：

22、步骤41，将所有第二阶段训练样本的飞机样本图像按批次输入关键点检测模型，得到关键点检测模型输出的飞机关键点预测位置；

23、步骤42，根据第二阶段训练样本的飞机关键点标注位置和与飞机关键点标注位置对应的飞机关键点预测位置，计算预设关键点检测损失函数；

24、步骤43，判断是否达到预设训练停止条件，若是，则将当前的关键点检测模型作为完成训练的关键点检测模型，若否，则利用预设关键点检测损失函数更新关键点检测模型的参数，并返回步骤41。

25、在一些可能的实现方式中，对裁剪得到的每个飞机样本图像进行数据扩增处理，获取对应的多个飞机样本图像，根据裁剪及数据扩增处理得到的所有飞机样本图像，获取第二阶段训练样本集合。

26、在一些可能的实现方式中，所述飞机关键点包括飞机的机头、右翼、机尾和左翼。

27、在一些可能的实现方式中，所述方法还包括：

28、根据得到的飞机关键点位置，确定飞机朝向。

29、本发明技术方案的主要优点如下：

30、本发明的基于两阶段多尺度特征学习的飞机关键点检测方法先检测飞机的位置和尺寸，并形成飞机的预测框，再根据预测框进行图像裁剪，基于裁剪图像对预测框中的飞机的关键点进行检测，能够缓解目标飞机在遥感图像中占比小导致的问题，实现飞机及其关键点的精确检测；同时，在两个检测模型中均采用多尺度的特征表示方式，能够减缓因遥感图像中不同目标飞机的尺寸差异较大导致的问题，进一步提高检测精度。

技术特征：

1.一种基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，包括：

2.根据权利要求1所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述目标检测模型采用特征金字塔残差网络，所述特征金字塔残差网络包括相互连接的残差网络和特征金字塔网络。

3.根据权利要求1或2所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述目标检测模型通过如下方式训练：

4.根据权利要求3所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型，包括：

5.根据权利要求4所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述关键点检测模型采用高分辨率网络。

6.根据权利要求4或5所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述关键点检测模型通过如下方式训练：

7.根据权利要求6所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，将所述第二阶段训练样本的飞机样本图像作为输入，将与飞机样本图像对应的飞机关键点标注位置作为输出，训练关键点检测模型，包括：

8.根据权利要求6所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，对裁剪得到的每个飞机样本图像进行数据扩增处理，获取对应的多个飞机样本图像，根据裁剪及数据扩增处理得到的所有飞机样本图像，获取第二阶段训练样本集合。

9.根据权利要求1所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述飞机关键点包括飞机的机头、右翼、机尾和左翼。

10.根据权利要求9所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述方法还包括：

技术总结
本发明公开了一种基于两阶段多尺度特征学习的飞机关键点检测方法，该方法包括：获取包含飞机的待测遥感图像；将待测遥感图像输入预先训练的目标检测模型，得到待测遥感图像中的飞机的预测框，目标检测模型采用多尺寸的特征表示方式；按照预设比例对飞机的预测框进行放大，并根据放大后的预测框裁剪待测遥感图像，得到飞机图像；将飞机图像输入预先训练的关键点检测模型，得到飞机图像中的飞机关键点位置，关键点检测模型采用多尺度的特征表示方式。本发明的方法能够减缓遥感图像中目标飞机尺寸小导致的前景和背景像素不平衡的问题和不同飞机的尺寸差异较大导致的特征表示困难的问题，实现飞机及其关键点的精确检测。

技术研发人员：王鑫慧,郭鹏宇,曹璐,刘勇,孟玲
受保护的技术使用者：中国人民解放军军事科学院国防科技创新研究院
技术研发日：
技术公布日：2024/1/15