船只目标识别方法、计算机装置及程序产品、存储介质

1.本发明涉及船只目标识别技术，特别是一种船只目标识别方法、计算机装置及程序产品、存储介质。


背景技术：

2.在全球化程度日益加深的今天，海洋更是世界各国经济文化交流的重要纽带。船舶作为人类开发海洋、利用海洋的工具，发挥着不可替代的作用。舰船目标主要包括民用船舶和军用舰艇。舰船目标识别是现代海上智能监控系统的重要组成部分，快速准确地识别各类舰船目标对监视海运交通、维护海洋权益、提高海防预警能力等方面有着重要的意义；在现代化战争中，舰船目标识别技术在预警探测、精确制导、战场指挥和侦察识别等军事领域都有广泛的应用。因此，舰船目标识别一直以来都是研究的重点，是一个国家海洋装备现代化发展的重要方向之一。
3.目前目标识别主要集中在针对图像的目标识别，其方法是通过已学习到的图像知识信息与当前面临未知图像数据进行比较，从而推导出未知图像的类型。目标识别的基础是对于图像或场景中各个目标的相关特征、目标之间的关系的描述，最终得到的是目标特征以及它们之间的关系的抽象表达。近些年来，深度学习被广泛用于图像中的船只识别，如使用gan网络生成信息量充足的小型船舶样本，然后使用cnn在原始数据和生成数据上训练
1.；如使用cfar算法改进了faster r-cnn模型，提出了一种基于区域的具有上下文和多层特征的卷积神经网络用于船舶识别，结合低分辨率特征和高级语义特征，以提高准确率和基于上下文信息消除一些错误
2.；如使用hyperli-net使用五个外部模块(mrf、dc、csa、ff和fp)和五种内部机制(rf-module、s-kernel、n-channel、separa-conv和bf-fusion)来实现高精度和快速的舰船识别
3.；提出了一种改进的faster r-cnn的方法，以标准的faster r-cnn作为元架构，并根据ssdd中的特征融合、实现细节来识别船只
4.。深度学习和集成学习结合也产生了一些模型，如me-cnn,利用多个cnn模型处理一些常见的局部特征比如(轮廓、边缘)和全局特征，通过平均多个cnn的预测来集成产生最终的预测
5.；由于深度学习模型需要大量数据训练，同时对于不同的目标识别任务需要重新训练模型，训练时间长。所以近几年来，基于迁移学习的目标识别模型被广泛用于船只目标识别；使用cnn作为迁移学习基模型，在mstar数据集中做预训练，在实际的任务做微调，比单独的cnn模型具有更高的识别准确率，且不需要人工选择特征，就可以识别船只的分类
6.；如双通道卷积神经网络模型：先提取1d光谱向量的光谱特征，然后利用空间通道提取空间特征，然后利用迁移学习解决二维图像的局限性
7.；d-artl(基于迁移学习的自适应正则化框架)，增加了一个新的源域判别信息保存(sdip)，提高了迁移学习能力，实现跨域样本的对齐
8.；对inception和resnet中参数使用imagenet中预训练好的参数代替随机初始化，然后微调，以在有限的船舶数据集(maritime vessel)上进行分类
9.；在迁移学习模型中利用集成学习来进行图像分类也有很多例子，如先利用迁移学习模型增强提取抽象特征的能力，然后采用随机森林的集成学习分类器提高图像检测的准确性
10.；如先将图片裁剪成从224*244到
450*450的六种不同的尺寸，通过3种结构不同的预训练的cnn模型提取特征，然后通过一种基于三层集成策略的多尺度(msm-cnn)融合方法来获得最终的预测
11.。但是基于迁移学习模型的目标识别只考虑了简单的工况或者没有考虑工况和模型之间的关系，无法成为实际情况中通用的模型。同时单个迁移学习模型只能学习部分的特征，识别精度有限，无法在现实生活中有实际的应用。
4.总结而言，现有技术存在以下技术问题：(1)常规目标识别的迁移模型只从单一维度考虑源域与目标域，而忽略了不同维度下数据域对模型的影响及模型对于特定特征的敏感性。
5.(2)在一个复杂的现实环境中，目前没有评价体系可以对迁移学习模型做出客观和合理的评价，即无法从多个维度衡量模型性能。
6.(3)单个目标识别的模型学习的特征有限且不完备，目标识别的准确率难以大幅提高。
7.(4)单一的目标识别模型具有识别精度有限，对于特定特征更加敏感，导致学习的特征比较单一，同时对于噪声比较敏感。


技术实现要素：

8.本发明所要解决的技术问题是，针对现有技术不足，提供一种船只目标识别方法、计算机装置及程序产品、存储介质，提高目标识别的准确率。
9.为解决上述技术问题，本发明所采用的技术方案是：一种船只目标识别方法，其特征在于，包括以下步骤：s1、依据船只工况将数据域划分为不同工况维度的源域ds和目标域d
t
；所述数据域包括船只在白天工况、夜间工况、雨天工况、远距工况、近距工况、以及角度工况下的数据；s2、将所述源域ds划分为训练集和验证集，利用训练集训练多个基模型，得到各个基模型权重参数，加入部分目标域数据微调基模型权重参数，得到各个基模型的迁移权重参数w
tr
；s3、各基模型加载对应的迁移权重参数w
tr
，得到多个迁移基模型，所述迁移基模型即一级分类器classifier
base
；s4、利用所述源域ds中的验证集分别训练各个一级分类器classifier
base
，利用训练后的一级分类器提取所述训练集的特征；s5、归一化各迁移基模型的性能表现值，利用归一化后的性能表现值对步骤s4输出的特征进行加权；s6、将加权后的特征构成的集合作为二级分类器逻辑回归模型的输入，训练所述二级分类器逻辑回归模型，得到集成模型。
10.本发明考虑了不同维度下数据域对模型的影响及模型对于特定特征的敏感性，从多个维度衡量模型性能，采取不同结构的基模型，学习的特征更加全面，同时集成多个模型可以更好地抵抗噪声的干扰，目标识别精度更高，模型鲁棒健壮性更好，泛化能力强，因此本发明的方法可以提高船只目标（即需要识别的船只）识别的准确率。
11.步骤s6之后，还包括：将船只工况将数据域输入所述集成模型，得到识别的目标船只的分类。
12.步骤s5的具体实现过程包括：构建每个工况下的能力矩阵，其中第k种工况下，能力矩阵第i行第j列的元素对应第j个迁移基模型在第i种指标下的性能表现值；其中，i=1，2，
……
，n；j=1，2，
……
，m；k=1，2，
……
，p；n为指标种类数；m为迁移基模型个数；p为工况个数。
13.对每个所述能力矩阵中的元素进行归一化处理，得到更新后的能力矩阵；对于任意一个更新后的能力矩阵，将该更新后的能力矩阵的每一列元素相加，得到j个值，将该j个值进行归一化处理，得到j个权重系数；将各权重系数分别对应加权到各一级分类器提取的特征上，得到加权后的特征。
14.本发明使用能力矩阵中的性能表现值加权模型提取的特征，有利于特征的选择，同时也有利于加快二级分类器模型的收敛速度。
15.本发明中，所述基模型包括alexnet、vgg16、resnet18、suqeezenet1.0。这些基模型可以达到一定的识别精度，同时模型之间的差异比较大，有利于模型集成。
16.步骤s6中，所述二级分类器采用逻辑回归分类器。在一级分类器中，已经使用了复杂的非线性变换，二级分类器使用逻辑回归分类器可以降低复杂度。
17.作为一个发明构思，本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明上述方法的步骤。
18.作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明上述方法的步骤。
19.作为一个发明构思，本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现本发明上述方法的步骤。
20.与现有技术相比，本发明所具有的有益效果为：本发明采用人工智能中的迁移学习方法，结合图像目标识别技术，发明了一种基于迁移学习的船只目标识别范式方法，以实现具体应用场景的船只目标识别迁移学习方法的自动评估和集成范式，通过能力矩阵的性能表现值评估迁移学习方法的优劣并指导特征加权，形成迁移学习的诊断和选优能力并提升模型识别精度。迁移模型质量评价能力矩阵呈现了不同迁移模型与船只样本工况域之间的关联关系，通过三种维度：迁移学习方法、船只工况、性能指标，构建迁移方法能力评估矩阵，为模型差异比较提供参考依据；通过能力矩阵多维度的指标体系，可以科学评价基模型域迁移能力和指导基模型的特征加权。经过实验证明，在温度跨域数据中采用本发明的模型集成方法，选取的基模型有alexnet、vgg16、resnet18、suqeezenet1.0，通过stacking集成迁移学习模型，比最好的单个模型的目标识别准确率提升了5%。
附图说明
21.图1为本发明实施例方法流程图；图2为本发明实施例能力矩阵结构图。
具体实施方式
22.针对单个目标识别迁移模型只考虑了图像中特征，而忽略的不同的工况维度对目标识别迁移模型产生的影响，本发明提出了基于迁移学习的船只目标识别范式方法，研究
了不同工况下的迁移学习基模型，找寻工况和模型之间的潜在关系，结合具体应用场景研究各迁移学习方法的能力特性以及最优组合策略，形成面向实际应用场景的迁移学习应用范式。针对于模型在复杂工况下的评估问题，本发明提出一种评估迁移学习模型的能力矩阵，使用不同评级指标，以不同维度评价迁移学习模型性能，将这些工况与迁移学习方法的结构超参数建立了关联表，为下一步进行迁移学习性能指标与战术变量关联分析奠定基础。针对于单个模型识别精度不高，本发明提出一种集成迁移学习模型框架，使用stacking集成思想，训练多个迁移学习分类模型，使用元模型结合一级分类器，可以学习更加全面的特征，打破单个迁移学习学习到的特征瓶颈，提高了船只目标识别的准确率。
23.基于迁移学习的船只目标识别范式包括两个步骤：构建目标迁移识别模型质量评价能力矩阵和目标迁移识别模型组合优化。
24.构建目标迁移识别模型质量评价能力矩阵是针对不同的海上船只工况，即船只在白天工况、夜间工况、雨天工况、远距工况、近距工况、以及角度工况下的数据，如：风速、气温、海水温度、天气、天顶角、方位角、距离和视场角等，建立各种迁移学习方法在训练复杂度、识别精度和速度，以及针对不同数据域的泛化能力的衡量指标体系，通过系统测试各种迁移方法在指标体系中的能力，构建能力矩阵。目标迁移识别模型组合优化是指采用基于stacking的模型集成方法，有效扩展单个模型所学特征维度，使得集成模型在数据集中各工况下表现优秀，提升模型鲁棒性，该框架由两部分构成：第一层由具有异质结构的迁移学习模型组成，第二层由元分类器组成。
25.基于迁移学习的船只目标识别范式具体步骤如下：第一步：可迁移域划分，将船只目标数据输入到迁移域划分模块中，依据船只工况将数据域划分为不同工况维度的源域ds和目标域d
t
。
26.第二步：训练迁移学习基模型，基模型采用经典目标识别模型alexnet模型、resnet18模型、squeezenet1.0模型和vgg16模型。使用第一步已划分的不同工况维度的源域ds，使用80%源域数据作为训练集、20%源域作为验证集训练对应基模型，输出各模型权重参数w
gen
。使用第一步已划分的不同工况维度的目标域d
t
，使用5%目标域数据微调模型权重参数w
gen
，输出各模型迁移权重参数w
tr
。
27.第三步：构建模型质量评价能力矩阵，能力矩阵matrix包括三个维度，其中以模型（model）为第一维度、工况（situation）为第二维度、指标（performance）为第三维度。各个基模型加载第二步所得各模型权重参数w
tr
，分别采用工况i下目标域数据di测量各模型在指标如accuracy、precision和f
1-score
12.下的性能表现值，并将性能表现值填充到能力矩阵中对应的工况、模型与指标位置（如图2，模型1在工况2的precision指标值为0.995），输出填充后的能力矩阵matrix。
28.第四步：模型集成模块-构建一级分类器：使用第二步生成的各基模型迁移权重参数w
tr
，初始化多个迁移学习基模型，迁移学习基模型即一级分类器classifier
base
。
29.第五步：模型集成模块-k折（即k次）特征提取：使用源域ds中未训练数据（20%）（即源域的验证集）作为训练集来提取特征，未训练的目标域d
t
作为测试集。由一级分类器classifier
base
对由训练数据组成的训练集进行特征提取
13.，将softmax层输出的每一类预测值作为新的特征feature。如：有4个一级分类器，有5类标签，训练集样本的特征维度是3*244*244。循环5次，k次特征提取之后，每个样本只有1*20的维度，形成新的训练集，同时也
可以防止过拟合情况的发生，保存每一次训练好的一级分类器。对于测试集样本也同样使用每一次训练好的一级分类器进行特征提取，由于重复了5次，所以测试集的特征需要平均化操作后得到新的测试集。
30.第六步：模型集成模块-元分类器构建：对第三步所得能力矩阵matrix中各模型指标评价分数（评价分数即性能表现值）归一化，将归一化后分数作为特征权重系数，对第五步所得特征feature加权，得到加权后的特征feature
weight
。假设有m个模型，n个指标，在工况确定的情况下，能力矩阵表示为c=m*n的二维矩阵。第一次归一化是指标归一化，以第j个指标为例，归一化处理的能力矩阵第i行第j列的元素c
i,j
通过（1）式计算可得。
31.（1）所有的指标都需要归一化得到新的能力矩阵c1。在此基础上，以第i个模型（一级分类器）为例，权重系数wi由式(2)获得。
32.（2）模型i的feature
weighti
由feature
weighti =featurei*wi获得。采用二级分类器逻辑回归模型classifier
meta
，输入feature
weight
进行非线性化学习，保存训练后的集成模型model
ensemble
，使用新的测试集来测试model
ensemble
的识别准确率，可以发现比使用单个模型的识别准确率更高，集成模型model
ensemble
可以提升船只目标识别效果。
33.本发明采用人工智能中的迁移学习方法，结合图像目标识别技术，发明了一种基于迁移学习的船只目标识别范式方法，以实现具体应用场景的船只目标识别迁移学习方法的自动评估和筛选范式，形成迁移学习的诊断和选优能力并提升模型识别精度。迁移模型质量评价能力矩阵呈现了不同迁移模型与船只样本工况域之间的关联关系，通过三种维度：迁移学习方法、船只工况、性能指标，构建迁移方法能力评估矩阵。
34.实验在ubuntu server 16.04 x64系统上完成，训练使用nvidia geforce rtx 2080ti 11g的gpu。所有实验都是基于pytorch完成的，选择数据集是vais
14.，采用基模型训练有alexnet、vgg16、resnet18、suqeezenet1.0，优化函数选择是sgd，损失函数选择的是交叉熵，训练轮数设为200，有提前停止。输入的图片尺寸为3*244*244 rgb图像，为了处理红外图像，我们简单地复制单一的红外通道三次来创建rgb图像。
35.具体实验内容以一个域为例，源域为白天工况下的船只数据，目标域为夜间工况下的船只数据：1）首先进行图像增强，泛化模型的识别能力，需要对图像进行中心化处理、标准化处理、适当的灰度变化与线性变化。
36.2）在源域中训练做训练，加入目标域中每类5张照片做微调，构建迁移学习基本模型。
37.3）对于训练好的迁移学习模型，使用准确率、精准率、f1分数等不同的评价指标从不同的维度构建能力矩阵来评价模型性能的好坏。
38.4）在模型集成中，在源域中使用5折交叉验证，用4折作为训练，一折作为验证集
11.，5次循环后，创建新的训练集和测试集。同时利用第三步中生成的能力矩阵对于迁移
学习模型学习的特征进行选择，二级模型采用逻辑回归分类器，为了防止过拟合，惩罚项选择的l2,可以增加模型的泛化能力；优化算法参数选择的是lbgfgs，这是拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数，迭代次数选择1000。
39.经过实验证明，本发明的基于迁移学习的船只目标识别范式方法，通过在温度跨域数据中采用模型集成方法，选取的基模型有alexnet、vgg16、resnet18、suqeezenet1.0，通过stacking集成迁移学习模型，比最好的单个模型的目标识别准确率提升了5%。
40.参考文献：[1] chen z, chen d, zhang y, et al. deep learning for autonomous ship-oriented small ship detection[j]. safety science, 2020, 130: 104812.[2] kang m, leng x, lin z, et al. a modified faster r-cnn based on cfar algorithm for sar ship detection; proceedings of the 2017 international workshop on remote sensing with intelligent processing (rsip), f, 2017 [c]. ieee.[3] zhang t, zhang x, shi j, et al. hyperli-net: a hyper-light deep learning network for high-accurate and high-speed ship detection from synthetic aperture radar imagery[j]. isprs journal of photogrammetry and remote sensing, 2020, 167: 123-153.[4] li j, qu c, shao j. ship detection in sar images based on an improved faster r-cnn; proceedings of the 2017 sar in big data era: models, methods and applications (bigsardata), f, 2017 [c]. ieee.[5] shi q, li w, tao r, et al. ship classification based on multifeature ensemble with convolutional neural network[j]. remote sensing, 2019, 11(4): 419.[6] zhang d, liu j, heng w, et al. transfer learning with convolutional neural networks for sar ship recognition; proceedings of the iop conference series: materials science and engineering, f, 2018 [c]. iop publishing.[7]li n, wang z. hyperspectral image ship detection based upon two-channel convolutional neural network and transfer learning[c]//2020 ieee 5th international conference on signal and image processing (icsip). ieee, 2020: 88-92.[8] xu y, lang h, niu l, et al. discriminative adaptation regularization framework-based transfer learning for ship classification in sar images[j]. ieee geoscience and remote sensing letters, 2019, 16(11): 1786-1790.[9] leclerc m, tharmarasa r, florea m c, et al. ship classification using deep learning techniques for maritime target tracking; proceedings of the 2018 21st international conference on information fusion (fusion), f, 2018 [c]. ieee.
[10] yang x, zhang y, lv w, et al. image recognition of wind turbine blade damage based on a deep learning model with transfer learning and an ensemble learning classifier[j]. renewable energy, 2021, 163: 386-397.[11]mahbod a, schaefer g, wang c, et al. transfer learning using a multi-scale and multi-network ensemble for skin lesion classification[j]. computer methods and programs in biomedicine, 2020, 193: 105475.[12] y. sasaki,
ꢀ“
the truth of the f-measure,
”ꢀ
teach tutor mater,pp. 1
–
5, 2007 .[13]kohavi r. a study of cross-validation and bootstrap for accuracy estimation and model selection; proceedings of the ijcai, f, 1995 [c]. montreal, canada.[14]zhang m m, choi j, daniilidis k, et al. vais: a dataset for recognizing maritime imagery in the visible and infrared spectrums[c].2015 ieee conference on computer vision and pattern recognition workshops (cvprw),2015。