一种基于深度神经网络的SAR图像舰船冰山检测分类方法

本发明涉及一种基于深度神经网络的sar图像舰船冰山检测分类方法，属于遥感图像目标检测分类。

背景技术：

1、合成孔径雷达(synthetic aperture radar，sar)是一种高分辨率成像雷达,具有全天候、全天时、不受天气影响等成像特点，可有效地识别伪装和穿透掩盖物，能够长时、动态、大场景、无缝实时地对陆海进行观测。其中，舰船冰山图像检测分类是sar图像解译技术关键问题之一，在各个领域有着广泛的应用前景，尤其在海洋交通运输安全、海洋渔业管理、非法移民、搜救、沉船和环境(石油泄漏或污染)、以及军事监测等应用方面，因此，对sar图像海上舰船冰山检测分类展开研究具有十分重要的意义。

2、传统的sar图像目标检测分类方法依赖于人工设计特征，且易受复杂背景干扰，存在识别精度不高、识别效率低及泛化能力差等特点。基于深度学习的方法借助其自主学习参数和自动提取特征的能力，摆脱了对人工设计特征和建模的依赖性，相比于传统方法具有抗干扰性强及检测分类精度高等优点，特别是在场景复杂多变、目标姿态多变的sar图像海上目标检测分类领域中具有巨大的发展潜力。

3、近年来，随着人工智能科技的兴起，针对遥感图像目标检测分类领域，已有基于深度学习的faster r-cnn(快速区域卷积神经网络)、yolo(一次网络)和resnet(残差网络)等算法应用于sar图像目标检测分类，并且在sar图像舰船目标检测分类场景取得了较优异的表现。然而，现有的研究方法存在网络模型训练时间长、分类准确率低、以及在sar图像舰船冰山目标检测分类场景中的应用极少等弊端。因此，对于sar图像舰船冰山目标检测分类场景，如何提出一个训练时间短、收敛速度快、准确率高的sar图像舰船冰山目标检测分类方法，正是亟待解决的技术难题。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于深度神经网络的sar图像舰船冰山检测分类方法，基于sar图像的应用，并结合设计网络结构下的训练验证，实现sar图像舰船冰山目标准确检测分类，提升海上态势感知能力。

2、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于深度神经网络的sar图像舰船冰山检测分类方法，按如下步骤a至步骤c，获得用于识别海面上舰船、冰山的目标检测分类模型；进而应用目标检测分类模型，针对目标海面区域，实现关于舰船、冰山的检测分类；

3、步骤a.构建预设数量包含冰山目标标签、舰船目标标签的各幅海面区域sar图像样本，然后进入步骤b；

4、步骤b.根据图像特征提取网络、特征融合网络、以及回归分类器，构建目标检测分类深度神经网络，然后进入步骤c；

5、步骤c.基于各幅海面区域sar图像样本，以海面区域sar图像样本为输入，海面区域sar图像样本中冰山目标标签、舰船目标标签、或者无冰山与舰船目标标签为输出，针对目标检测分类深度神经网络进行训练，获得目标检测分类模型。

6、作为本发明的一种优选技术方案：还包括如下步骤i，实现对所述目标检测分类模型的精度评估；

7、步骤i.按如下公式，获得目标检测分类模型所对应的f1分数，用于对目标检测分类模型的精度进行评估；

8、

9、

10、

11、其中，p为查准率即预测为正例的样本中真正例的比例，r为查全率即预测为正例的真正例占所有正例的比例；tp为真正例，即预测正确，样本为正；fp为假正例，即预测错误，样本被预测为正，但样本实际为负；fn为假反例，即预测错误，样本被预测为负，但样本实际为正。

12、作为本发明的一种优选技术方案：所述步骤a包括步骤a1至步骤a3；

13、步骤a1.基于哨兵1卫星的不同波段，应用哨兵1a卫星捕获包含预设第一数量冰山目标标签的海面区域的水平极化sar图像，以及应用哨兵1b卫星捕获包含预设第二数量冰山目标标签的海面区域的水平极化sar图像与水平垂直交叉极化sar图像；

14、同时基于哨兵1卫星的不同波段，应用哨兵1a卫星捕获包含预设第三数量舰船目标标签的海面区域的垂直水平交叉极化sar图像，以及应用哨兵1b卫星捕获包含预设第四数量舰船目标标签的海面区域的垂直水平交叉极化sar图像与垂直极化sar图像；然后进入步骤a2；

15、步骤a2.将包含冰山目标标签的各幅水平极化sar图像与包含舰船目标标签的各幅垂直水平交叉极化sar图像进行融合，获得r通道sar图像；

16、将包含冰山目标标签的水平垂直交叉极化sar图像与包含舰船目标标签的垂直极化sar图像进行融合，获得g通道sar图像；

17、将包含冰山目标标签的各幅水平极化sar图像与包含舰船目标标签的垂直极化sar图像进行融合，获得b通道sar图像；

18、进而获得rgb通道sar图像，然后进入步骤a3；

19、步骤a3.按预设网格尺寸，针对rgb通道sar图像进行网格化划分，获得各个rgb通道sar图像块，即获得预设数量包含冰山目标标签、舰船目标标签的各幅海面区域sar图像样本。

20、作为本发明的一种优选技术方案：按如下操作，应用目标检测分类模型，针对目标海面区域，实现关于舰船、冰山的检测分类；

21、操作：首先基于哨兵1卫星的不同波段，应用哨兵1a卫星捕获目标海面区域的水平极化sar图像、以及水平垂直交叉极化sar图像；同时基于哨兵1卫星的不同波段，应用哨兵1b卫星捕获目标海面区域的垂直水平交叉极化sar图像、以及垂直极化sar图像；

22、然后将水平极化sar图像与垂直水平交叉极化sar图像进行融合，获得r通道sar图像；将水平垂直交叉极化sar图像与垂直极化sar图像进行融合，获得g通道sar图像；将水平极化sar图像与垂直极化sar图像进行融合，获得b通道sar图像；进而获得目标海面区域对应的rgb通道sar图像；

23、最后针对目标海面区域对应的rgb通道sar图像，应用目标检测分类模型，实现关于舰船、冰山的检测分类。

24、作为本发明的一种优选技术方案：所述步骤b中，根据图像特征提取网络darknet53、特征融合网络fpn、以及回归分类器yolohead，构建目标检测分类深度神经网络；其中，图像特征提取网络darknet53的输入端构成目标检测分类深度神经网络的输入端，图像特征提取网络darknet53自其输入端起依次串联input(640,640,3)层、conv2blr(32,2,1,1)层、conv2(64,3,2,1)层、resb1残差块、conv2(128,3,2,1)层、resb2残差组、conv2(256,3,2,1)层、resb3残差组、conv2(512,3,2,1)、resb4残差组、conv2(1024,3,2,1)层、resb5残差组；

25、resb1残差块自其输入端起依次串联conv2blr(32,1,1,0)层、conv2blr(32,2,1,1)层；

26、resb2残差组自其输入端起依次串联结构相同的2个resb2残差块，resb2残差块自其输入端起依次串联conv2blr(64,1,1,0)层、conv2blr(128,3,1,1)层；

27、resb3残差组自其输入端起依次串联结构相同的8个resb3残差块，resb3残差块自其输入端起依次串联conv2blr(128,1,1,0)层、conv2blr(256,3,1,1)层；

28、resb4残差组自其输入端起依次串联结构相同的8个resb4残差块，resb4残差块自其输入端起依次串联conv2blr(256,1,1,0)层、conv2blr(512,3,1,1)层；

29、resb5残差组自其输入端起依次串联结构相同的4个resb4残差块，resb5残差块自其输入端起依次串联conv2blr(512,1,1,0)层、conv2blr(1024,3,1,1)层；

30、input(m,m,c)为输入层，conv2(c,k,s,p)层为二维卷积层，conv2blr(c,k,s,p)层为conv2层加批归一化层加带泄露修正线性激活函数层，m表示图像数据像素尺寸大小，c为通道数，k表示核尺寸大小，s表示步行数，p为填充数；

31、resb3残差组中顺序最后一个resb3残差块的输出端、resb4残差组中顺序最后一个resb4残差块的输出端、resb5残差组中顺序最后一个resb5残差块的输出端构成图像特征提取网络darknet53的各个输出端，图像特征提取网络darknet53的各输出端对接特征融合网络fpn的输入端，特征融合网络fpn的输出端对接回归分类器yolohead的输入端，回归分类器yolohead的输出端构成目标检测分类深度神经网络的输出端。

32、作为本发明的一种优选技术方案：所述特征融合网络fpn按数据流向包括依次串联的第一conv2blr组、conv2blr(256,1,1,1)层、upsample2d(2)层、第二conv2blr组、conv2blr(128,1,1,1)层、upsample2d(2)层、第三conv2blr组；upsample2d(n)为二维上采样层，n为上采样倍数；

33、其中，第一conv2blr组按数据流向包括依次串联的conv2blr(512,1,1,1)层、conv2blr(1024,3,1,1)层、conv2blr(512,1,1,1)层、conv2blr(1024,3,1,1)层、conv2blr(512,1,1,1)层；第二conv2blr组按数据流向包括依次串联的conv2blr(256,1,1,1)层、conv2blr(512,3,1,1)层、conv2blr(256,1,1,1)层、conv2blr(512,3,1,1)层、conv2blr(256,1,1,1)层；第三conv2blr组按数据流向包括依次串联的conv2blr(128,1,1,1)层、conv2blr(256,3,1,1)层、conv2blr(128,1,1,1)层、conv2blr(256,3,1,1)层、conv2blr(128,3,1,1)层；

34、第一conv2blr组中顺序第一个conv2blr(512,1,1,1)层的输入端、第二conv2blr组中顺序第一个conv2blr(256,1,1,1)层的输入端、第三conv2blr组中顺序第一个conv2blr(128,1,1,1)层的输入端构成特征融合网络fpn的各个输入端；第一conv2blr组中顺序最后一个conv2blr(512,1,1,1)层的输出端、第二conv2blr组中顺序最后一个conv2blr(256,1,1,1)层的输出端、第三conv2blr组中顺序最后一个conv2blr(128,1,1,1)层的输出端构成特征融合网络fpn的各个输出端；

35、特征融合网络fpn中第一conv2blr组中顺序第一个conv2blr(512,1,1,1)层输入端对接图像特征提取网络darknet53中resb5残差组中顺序最后一个resb5残差块输出端；特征融合网络fpn中第二conv2blr组中顺序第一个conv2blr(256,1,1,1)层输入端对接图像特征提取网络darknet53中resb4残差组中顺序最后一个resb4残差块输出端；特征融合网络fpn中第三conv2blr组中顺序第一个conv2blr(128,1,1,1)层输入端对接图像特征提取网络darknet53中resb3残差组中顺序最后一个resb3残差块输出端；

36、特征融合网络fpn的各个输出端对接回归分类器yolohead的输入端。

37、作为本发明的一种优选技术方案：所述回归分类器yolohead包括yolohead1组、yolohead2组、yolohead3组，其中，yolohead1组自其输入端依次串联conv2blr(256,3,1,1)层、conv2(255,1,1,1)层、output(80,80,255)层；yolohead2组自其输入端依次串联conv2blr(512,3,1,1)层、conv2(255,1,1,1)层、output(40,40,255)层；yolohead3组自其输入端依次串联conv2blr(1024,3,1,1)层、conv2(255,1,1,1)层、output(20,20,255)层；output(m,m,c)为输出层；

38、yolohead1组的输入端、yolohead2组的输入端、yolohead3组的输入端构成回归分类器yolohead的各个输入端；特征融合网络fpn中第一conv2blr组中顺序最后一个conv2blr(512,1,1,1)层输出端对接yolohead3组的输入端；特征融合网络fpn中第二conv2blr组中顺序最后一个conv2blr(256,1,1,1)层输出端对接yolohead2组的输入端；特征融合网络fpn中第三conv2blr组中顺序最后一个conv2blr(128,1,1,1)层输出端对接yolohead1组的输入端；

39、yolohead1组中output(80,80,255)层的输出端、yolohead2组中output(40,40,255)层的输出端、yolohead3组中output(20,20,255)层的输出端构成回归分类器yolohead的各个输出端。

40、作为本发明的一种优选技术方案：所述步骤c针对目标检测分类深度神经网络进行训练的过程中，应用k-means聚类算法进行迭代求解，并使用adam梯度优化算法对网络训练进行优化。

41、作为本发明的一种优选技术方案：所述步骤c针对网络训练进行优化过程中使用如下二进制交叉熵作为损失函数；

42、

43、式中，loss为每轮次训练的损失值，log表示以e为底的对数，*表示求和，n为训练数据集样本数，pi为训练数据集第i个样本为冰山的概率，yi为训练数据集第i个样本为冰山的标注值，i＝1,2,...,n。

44、本发明所述一种基于深度神经网络的sar图像舰船冰山检测分类方法，采用以上技术方案与现有技术相比，具有以下技术效果：

45、(1)本发明所设计基于深度神经网络的sar图像舰船冰山检测分类方法，基于包含冰山目标标签、舰船目标标签的各幅海面区域sar图像样本，结合包括图像特征提取网络、特征融合网络、以及回归分类器具体所构建的目标检测分类深度神经网络，通过网络训练，获得以海面区域sar图像样本为输入，海面区域sar图像样本中冰山目标标签、舰船目标标签、或者无冰山与舰船目标标签为输出的目标检测分类模型，用于准确实现关于舰船、冰山目标的检测分类，整个设计中，网络训练时间短、收敛速度快、准确率高，能有效提升海上态势感知能力。