一种基于遥感图像双向特征提取的有向的船舶细粒度识别方法及系统

本发明涉及遥感图像双向特征提取的有向的船舶细粒度识别方法领域，具体涉及一种基于遥感图像双向特征提取的有向的船舶细粒度识别方法及系统。

背景技术：

1、随着航运业的不断发展，海上作业的船舶数量迅速增长。确保该行业的安全变得越来越重要，因此船舶的检测和识别至关重要。近年来，利用机器学习算法，特别是深度学习模型在图像分析任务中出现了巨大的潜力，极大地促进了光学遥感图像中的船舶检测。

2、然而一般的目标检测算法主要适用于水平和垂直方向的物体检测，而检测任意角度的物体则非常困难。因此，任意方向的目标检测近年来引起了研究者越来越多的兴趣，其中已经提出了许多有效的算法，例如r3det和redet。

3、与目标检测一样，船舶检测可以分为传统的机器学习方法和依赖特征提取技术的深度学习策略。传统的船舶检测方法包括阈值、边缘检测、分割、模板匹配等，但在处理复杂杂乱的海洋环境时效果不佳。相比之下，基于深度学习的船舶检测方法具有更高精度，如oriented r-cnn。然而，这些技术通常将注意力集中在粗粒度的船舶检测上，无法满足细粒度的船舶识别需求。

4、目前的船舶检测研究主要集中在l1级检测任务，即区分船舶目标和非目标。一些l2识别任务可以将船舶大致分为2-5类，例如军用或民用船舶。相比之下，l3细粒度船舶识别的研究相对有限。在细粒度船舶识别中，它将船舶分为更详细的类别，如拖船、破冰船、补给船和渔船等。细粒度船舶识别可以提高海事数据的准确度和精度，不仅可以促进船舶设计和制造技术的不断提高，也可以为海上交通安全、航运管理和环境保护提供更可靠的数据支持。因此，有必要对其进行深入研究。

5、另外，一般目标检测算法在复杂杂乱的海洋遥感图像中难以提供准确的船舶识别结果。例如，faster r-cnn无法准确预测任意方向船只。由于水平边界框中可能存在更冗余的背景信息或各种船舶目标。这种情况会影响最终分类结果和定位精度的一致性。因此有必要使用有向边界框来提高船舶识别精度。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于遥感图像双向特征提取的有向的船舶细粒度识别方法及系统。

2、本发明提供了一种基于遥感图像双向特征提取的有向的船舶细粒度识别方法，具有这样的特征，包括以下步骤：步骤1，获取包括船舶细粒度分类的遥感图像数据集；步骤2，对遥感图像数据集进行数据预处理得到图像分层数据；步骤3，对图像分层数据进行叠加融合得到初步融合后的多尺度特征图；步骤4，利用双向特征提取网络对多尺度特征图进行归一化融合，得到归一化融合的特征图；步骤5，将归一化融合的特征图按不同层级分别输入有向的区域提议网络中，并对回归输出进行解码，获得一组定向提议；步骤6，将归一化融合的特征图和一组定向提议作为输入，使用旋转roi对齐，从其对应的特征图中提取固定大小的特征向量；步骤7，向每个特征向量输入两个全连接层，然后输入两个同级全连接层，用于回归和分类。

3、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤1中，获取遥感图像数据集的任务包括船舶检测、船舶粗粒度识别以及船舶细粒度识别。

4、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤2中，预处理的过程为：首先将遥感图像数据集标注格式统一转换为dota格式，然后将遥感图像分割为1024*1024大小。

5、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤3具体包括以下步骤：步骤3-1，图像分层数据通过1*1卷积统一通道维度；步骤3-2，对于自下而上的部分，首先将下层特征图输入到通道注意模块以调整每个通道的权重，然后向上合并，按元素添加到高层特征图；步骤3-3，对于自上而下的部分，双向特征提取网络合并当前层之上的所有层。

6、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤3-2和步骤3-3表示为：

7、f4＝conv1*1(c4)+upsample{cam[conv1*1(c3)

8、+upsample(cam(c3))]}

9、f3＝downsample(f4)+conv1*1(c3)+upsample(cam(c2)]

10、f2＝downsample(f4)+downsample(f3)+c2

11、f5＝maxpool(f4)

12、式中，ci(i＝1,2,3,4)是第i层的特征图，fi(i＝1,2,3,4,5)是双向特征提取网络融合特征图，maxpool表示步长为2的最大池化，cam表示通道注意力模块，根据通道权重对最终识别任务的贡献来调整通道权重。

13、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤4具体包括以下步骤：步骤4-1，将输出的多尺度特征图中每个空间位置分配具有三个长宽比{1:2、1:1、2:1}的三个水平锚点；步骤4-2，回归分支输出相对于锚点偏移量为δ＝{δx,δy,δw,δh,δa,δb}的提议；步骤4-3，在特征图的每个位置，生成a个提议，因此回归分支有6a个输出，通过对回归输出进行解码，得到6元组参数(x,y,w,h,δα,δβ)；步骤4-4，通过上述6个参数，得到定向提议的四个顶点坐标集v＝(v1,v2,v3,v4)，步骤4-3中，a是每个位置的锚的数量。

14、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤5中，将参数v表示的平行四边形提议调整为有向矩形(x,y,w,h,θ)并投影到特征图上。

15、在本发明提供的基于遥感图像双向特征提取的有向的船舶细粒度识别方法中，还可以具有这样的特征：其中，步骤6具体包括以下步骤：步骤6-1，分类分支输出提议属于k+1类的概率，分类损失使用改进的softmax交叉熵损失计算，表示为：步骤6-2，回归分支输出k个对象类中的每一个生成提议的6元组偏移量。

16、本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，具有这样的特征，处理器运行计算机程序以实现本发明中的方法。

17、本发明提供了一种基于遥感图像双向特征提取的有向的船舶细粒度识别系统，具有这样的特征，包括：预处理部，获取包括船舶细粒度分类的遥感图像数据集，对遥感图像数据集进行数据预处理得到图像分层数据；分类检测部，对图像分层数据进行叠加融合得到初步融合后的多尺度特征图，利用双向特征提取网络对多尺度特征图进行归一化融合，得到归一化融合的特征图，将归一化融合的特征图按不同层级分别输入有向的区域提议网络中，并对回归输出进行解码，获得一组定向提议，将归一化融合的特征图和一组定向提议作为输入，使用旋转roi对齐，从其对应的特征图中提取固定大小的特征向量，向每个特征向量输入两个全连接层，然后输入两个同级全连接层，用于回归和分类。

18、发明的作用与效果

19、根据本发明所涉及的一种基于遥感图像双向特征提取的有向的船舶细粒度识别方法及系统，因为包括：步骤1，获取包括船舶细粒度分类的遥感图像数据集；步骤2，对遥感图像数据集进行数据预处理得到图像分层数据；步骤3，对图像分层数据进行叠加融合得到初步融合后的多尺度特征图；步骤4，利用双向特征提取网络对多尺度特征图进行归一化融合，得到归一化融合的特征图；步骤5，将归一化融合的特征图按不同层级分别输入有向的区域提议网络中，并对回归输出进行解码，获得一组定向提议；步骤6，将归一化融合的特征图和一组定向提议作为输入，使用旋转roi对齐，从其对应的特征图中提取固定大小的特征向量；步骤7，向每个特征向量输入两个全连接层，然后输入两个同级全连接层，用于回归和分类。

20、因此，本发明集成双向特征提取网络、通道注意模块、有向的区域提议网络、旋转roi对齐以及类平衡交叉熵损失函数等多种技术。可有效的定位离岸或近岸的船舶，完成精准的细粒度识别，区分目标船舶是否是破冰船、补给船、军舰、渔船等，可用于海上安全、港口监视、渔业管理等，适用性广，鲁棒性强。