本发明涉及计算机,具体涉及一种图像处理系统、方法、电子设备及计算机存储介质。
背景技术:
1、目前,sar图像复杂的成像机制决定了在大多数sar应用场景中样本标注成本过高导致难以获得大量可训练样本。因此,基于小样本学习的sar图像目标识别与分类任务得到了迅速的发展。其中,基于度量学习的方法通过给定的距离函数度量两个样本或多个样本特征之间的距离,并根据其大小来进行分类,是解决小样本图像分类最常用且有效的方法之一。然而,由于mstar数据集和opensarship数据集中sar图像目标非常相似(mstar数据集均为坦克、炮车等军事车辆,opensarship数据集均为船舰),且图像背景充斥散斑噪声,sar图像通常会出现类间差距较小的问题,使得基于度量学习的网络模型在提取图像特征时低有效性,导致模型在小样本图像分类任务中识别准确率不佳。
技术实现思路
1、鉴于现有技术中的上述缺陷或不足,本技术提供一种图像处理系统、方法、电子设备及计算机存储介质,以解决mstar数据集和opensarship数据集中sar图像目标类似、散斑噪声导致的类间差距较小和传统方形卷积核特征提取能力不足的问题。
2、本技术实施例提供的第一个技术方案为:一种图像处理方法,该方法包括以下步骤:
3、通过特征嵌入网络接收支持目标图像和查询目标图像,以对所述支持目标图像和所述查询目标图像进行特征提取,以获得输出特征;
4、基于所述输出特征,获取所述支持目标图像和所述查询目标图像在各自图像不同位置的不同权重的特征表示;
5、通过所述输出特征和所述不同权重的特征表示获得度量分类网络的初始特征;
6、基于所述度量分类网络的初始特征获取所述支持目标图像和所述查询目标图像的相似度,并对所述查询目标图像进行归类。
7、可选地,所述输出特征为小波非对称注意力(waa)模块的输出特征;所述waa模块包括小波变换模块(wt)、空间注意力模块(sa)和非对称卷积(ac)模块;
8、所述通过特征嵌入网络接收支持目标图像和查询目标图像,以对所述支持目标图像和所述查询目标图像进行特征提取,以获得输出特征,包括:
9、通过所述wt模块引入小波变换操作,以提取所述支持目标图像和所述查询目标图像的低频特征和不同方向的高频特征进行多尺度降噪;所述低频特征用于获取所述目标图像的形状和尺寸;所述不同方向的高频特征用于获取图像纹理和边缘信息;所述不同方向的高频特征包括获得所述低频特征、水平方向高频特征、竖直方向高频特征以及对角线方向的所述高频特征;所述高频特征包括方向性特征和图像中的细微特征;
10、通过所述ac模块将所述支持目标图像和所述查询目标图像分解为两个非对称卷积层,以得到所述ac模块的特征图。
11、所述通过所述wt模块引入小波变换操作,以提取所述支持目标图像和所述查询目标图像的低频特征和不同方向的高频特征进行多尺度降噪,包括:
12、对所述低频特征、水平方向高频特征、竖直方向高频特征以及对角线方向的所述高频特征进行拼接,以获得降噪后的初级特征。
13、可选地,所述通过所述ac模块将所述支持目标图像和所述查询目标图像分解为两个非对称卷积层,以得到所述ac模块的特征图,包括:
14、通过非对称卷积(ac)模块对所述初级特征进行卷积操作,以获取多个非对称卷积层;
15、将多个所述非对称卷积层进行相加,并经过激活函数,以获得空间权重张量;
16、通过所述特征图与所述空间权重张量获得所述waa模块的输出特征。
17、可选地,所述通过所述输出特征和所述不同权重的特征表示获得度量分类网络的初始特征,包括:
18、将所述waa模块的输出特征图与所述ac模块的特征图逐位相乘,以获得基于所述图像局部的所述不同权重的特征表示,作为度量分类网络的初始特征;
19、通过所述度量分类网络的所述初始特征,获取支持集每个类别的原型。
20、可选地,所述基于所述度量分类网络的初始特征获取所述支持目标图像和所述查询目标图像的相似度,并对所述查询目标图像进行归类,包括:
21、获取所述查询目标图像经过所述特征嵌入网络的所述不同权重的特征表示与每个所述原型之间的距离;其中,所述距离通过余弦距离函数获得;
22、基于所述距离判断所述支持目标图像和所述查询目标图像的相似度,以生成所述原型所对应的类别的所述预测标签;
23、预测所述查询目标图像属于所述类别的概率;
24、获取每个所述查询目标图像属于所述类别的分类损失,以使所述查询目标图像被归类于其所对应的所述类别。
25、本技术实施例提供的第二个技术方案为:提供一种图像处理系统,包括:特征嵌入网络,包括多组卷积块和多组小波非对称注意力(waa)模块,每个waa模块包括一个小波变换模块(wt)、空间注意力模块(sa)以及非对称卷积(ac)模块;其中,所述waa模块引入小波变换操作进行目标图像的多尺度降噪;所述ac模块包括多个非对称卷积层;
26、度量分类网络,包括原型学习模块和类相似度模块,所述原型学习模块用于对经过所述特征嵌入模块获得的特征图求均值;所述类相似度模块用于获取查询目标图像与支持目标图像的相似度。
27、可选地,所述类相似度模块通过余弦度量函数获取所述查询目标图像与所述支持目标图像的相似度;所述wt模块通过提取低频特征和不同方向的高频特征进行所述目标图像的多尺度降噪;其中,所述低频特征用于反映所述目标图像的形状和尺寸;所述低频特征用于获取所述目标图像的形状和尺寸;所述不同方向的高频特征用于获取图像纹理和边缘信息,且所述不同方向的高频特征包括水平方向、竖直方向以及对角线方向的高频特征。
28、本技术实施例提供的第三个技术方案为:提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的图像处理方法。
29、为解决上述技术问题,本发明提供的第四个技术方案为:提供一种计算机可读存储介质,存储有程序文件,程序文件能够被执行以实现上述任一项的方法。
30、本技术的有益效果包括:
31、本技术提供的图像处理方法包括:通过特征嵌入网络接收支持目标图像和查询目标图像,以对支持目标图像和查询目标图像进行特征提取,以获得输出特征;基于输出特征,获取支持目标图像和查询目标图像在各自图像不同位置的不同权重的特征表示;通过输出特征和不同权重的特征表示获得度量分类网络的初始特征;基于度量分类网络的初始特征获取支持目标图像和查询目标图像的相似度,并对查询目标图像进行归类。本技术设计了waapnet模型,引入了waa模块,其中,可以在抑制sar图像散斑噪声的同时提取更具细节且高效的特征,使得网络对sar图像的复杂特征提取更充分有效;非对称卷积结构将方形卷积分解为水平卷积和竖直卷积,可以增强卷积核中心骨架的特征提取能力,以此强化卷积核中心的特征并弱化边缘的特征,并且可以降低模型的算法复杂度,提升网络运行速率。另外,由于欧氏距离对高维数据的不友好性,本技术采用了更具鲁棒性的余弦距离,也在一定程度上提高了网络分类精度。