基于角度优先策略的遥感图像目标检测方法

1.本发明涉及遥感图像处理技术领域，特别涉及一种基于角度优先策略的遥感图像目标检测方法。


背景技术：

2.近年来，卫星技术的蓬勃发展，商业卫星逐渐走进大众视野并获得人们的高度关注。随之而来的海量卫星遥感数据有着巨大的应用潜力。遥感图像上的目标检测技术在城乡建设、环境监测、军事侦察、经济规划等众多领域发挥着重要的作用。充分利用遥感大数据提高目标检测技术的智能化程度是非常有意义的。
3.随着深度学习技术的不断发展，其在目标检测领域的应用，促使目标检测获得了极大的发展。基于神经网络的目标检测方法中使用能包含目标的最小矩形框来定位目标。在遥感图像所使用的俯视视角中，地物目标具有任意的方向性。为了更好地定位方向目标，在遥感图像目标检测中使用了具有任意角度的方向矩形框。然而，方向框目标检测网络中仍存在以下几个问题还未解决：
4.首先，目标方向具有任意性，对其检测极具挑战性，已有的方向框目标检测网络的能力有待提升。在基于锚框的目标检测网络中，锚框能正确匹配到真实目标具有一定难度，预设单一锚框会导致匹配率降低，预设多种具有不同角度的锚框又会造成锚框的严重冗余。
5.其次，目标的方向是周期性变化的，且在任意方向上具有连续性。而方向目标检测器中使用角度对目标方向进行表示时，所使用角度值范围的上下边界并不连续。这导致范围边界两侧的角度值相差极大，而它们表示的方向却相似，在一定程度上影响检测网络对目标方向的学习效果。
6.最后，检测网络正确检测目标的方向，关键是能够对目标在任意方向上进行有效的特征提取。现有的检测网络大都使用水平姿态的卷积核提取特征，并且没有对方向性特征提取构建有针对性的网络模块，导致检测网络对方向性特征的提取能力受限。


技术实现要素：

7.本发明的目的是为了克服已有技术的缺陷，提出一种基于角度优先策略的遥感图像目标检测方法，采用一种新的策略来构建方向框目标检测网络以提升检测能力。
8.为实现上述目的，本发明采用以下具体技术方案：
9.本发明提供的基于角度优先策略的遥感图像目标检测方法，包括如下步骤：
10.s1、对遥感图像数据集中的目标进行种类标注，组建训练集和验证集；
11.s2、通过多参数角度编码方法对目标方向进行编码；
12.s3、采用角度优先策略构建目标检测神经网络；
13.s4、采用训练集和验证集对目标检测神经网络进行训练和测试；
14.s5、采用完成训练的目标检测网络对待检测的遥感图像进行目标检测。
15.优选地，步骤s1具体包括如下子步骤：
16.获取遥感图像数据集，并对每张遥感图像中的目标进行种类标注；其中，利用包含目标的最小外接矩形框对目标进行种类标注，标注信息为最小外接矩形框的四个顶点坐标，从四个顶点坐标中提取出最小外接矩形框的中心点位置、最小外接矩形框的边长、最小外接矩形框的倾斜角度；
17.从完成标注的遥感图像数据集中取75％的遥感图像作为训练集对目标检测神经网络进行训练，另外25％的遥感图像作为验证集用于验证完成训练的目标检测神经网络的检测能力。
18.优选地，步骤s2具体包括如下子步骤：
19.根据遥感图像数据集的标注信息得到每张遥感图像中的目标的角度值；
20.使用多参数角度编码方法将目标的角度值编码成n个参数，n≥3；
21.将整个区间长度为t的角度检测范围均分为n个区间，以角度θ1、θ2…
θ
n+1
为边界；其中，θ
n+1
与θ1分别为角度检测范围的上限和下限；
22.令n个参数x1、x2…
xn分别与θ1+nt、θ2+nt
…
θn+nt对应；
23.对角度值θ进行编码时，先判断角度值θ在n个区间中的哪一个区间，即θ∈[θa，θb)，其中(a，b)∈{(1，2)，(2，3)，...，(n，n+1)}，再根据角度值θ与该区间的两个边界值θa、θb的差值来确定对应的两个参数值xa、xb，θa、θb与θ的差值越大，对应的两个参数值xa、xb越小，且xa、xb的和为1，参数值xa、xb由如下公式确定：
[0024][0025]
除参数值xa、xb外，令其余参数值为0，至此完成角度编码。
[0026]
优选地，角度优先策略是指目标检测神经网络先检测目标方向，在目标范围内所有特征点的位置上预测该目标的角度值，然后在每个特征点上预设一个具有预测角度的锚框，而该锚框更容易与真实目标框相匹配。
[0027]
优选地，步骤s3具体包括如下子步骤：
[0028]
根据角度优先策略构建目标检测神经网络ofrdet，以resnet50fpn作为骨干网络对输入图像进行特征提取，获得多尺度特征图；
[0029]
构建角度编码回归模块，输入为骨干网络提取的多尺度特征图，输出为n个通道的编码图，每个通道对应一个编码参数；在角度编码回归模块中通过普通卷积在每个特征点上预测角度编码值，并将预测的角度编码值解码为角度值，根据角度值预设方向锚框，目标检测神经网络在粗检测阶段对该锚框进行回归调整；
[0030]
构建粗检测阶段，在粗检测阶段中，将多尺度特征图输入到角度通道注意力模块，角度通道注意力模块具有与编码参数个数相同的n个角度通道，每个角度通道中使用一个角度值，每个角度通道中所使用的角度值为编码过程中n个区间的下边界角度值θ1、θ2…
θn；在每个角度通道中，由具有特定角度值的旋转卷积核对多尺度特征图进行卷积操作，得到n个新的特征图，将n个新特征图使用角度编码回归模块输出的编码图进行加权求和，生成角度通道注意力模块输出的特征图；最后经过普通卷积，获得对预设锚框回归调整后的目标边界框及其分类结果；
[0031]
构建细化检测阶段，在细化检测阶段中多尺度特征图作为输入，经过alignconv、
orconv和普通卷积，实现对粗检测阶段得到的边界框的细化调整，同时再次进行目标分类，获得最终的检测结果。
[0032]
优选地，步骤s4具体包括如下子步骤：
[0033]
将训练集输入目标检测神经网络对目标检测神经网络进行训练，输出检测结果并计算损失；其中，在训练过程中，完整的损失函数由三个部分组成，分别是角度编码回归损失、粗阶段检测损失和细化阶段检测损失，定义分别如下：
[0034][0035]
其中，λ1表示第一项角度编码回归损失的平衡系数，ne表示具有目标值的编码值总数，m表示每个具有目标编码值的特征点，n表示一个特征点上的每个编码参数，l
aer
表示smooth l1损失，表示目标检测神经网络得到的编码值，表示目标编码值，λ2、λ3分别表示损失平衡系数，nc、nr分别表示粗检测阶段与细化检测阶段的正样本数量，i表示每个样本，lc表示分类损失，表示粗检测阶段与细化检测阶段对样本i的分类预测，表示样本i的分类标签，表示艾佛森括号指示方程，lr表示回归损失，表示粗检测阶段与细化检测阶段对样本i的位置预测，表示样本i的位置标签；
[0036]
根据损失函数对网络参数进行更新，在每完成预设轮次对网络参数的更新迭代后，使用验证集测试目标检测神经网络对目标的检测准确率，当验证集检测的准确率不再上升或达到预设的训练轮次上限后，结束训练。
[0037]
优选地，在将训练集输入目标检测神经网络之前，还包括如下步骤：
[0038]
采用多尺度放缩、随机翻转、随机角度旋转的方法对遥感图像以及遥感图像上的目标的种类标注进行操作，以提高遥感图像数据集中的目标的多样性。
[0039]
本发明能够取得如下技术效果：
[0040]
1、采取多参数角度编码方法来表示目标方向，可以避免角度回归时的边界不连续问题；
[0041]
2、采用角度通道注意力机制，使目标检测神经网络能够对目标的方向特征有针对性地提取；
[0042]
3、本发明在两个国际公信力高且具有挑战性的遥感图像数据集上进行验证，dota、hrsc2016数据集上测试的map分别为79.56％、96.29％，足够证明本发明的性能优势。
附图说明
[0043]
图1是根据本发明实施例提供的基于角度优先策略的遥感图像目标检测方法的流程示意图；
[0044]
图2是根据本发明实施例提供的多参数角度编码方法的示例图；
[0045]
图3是根据本发明实施例的目标检测神经网络的整体逻辑结构示意图；
[0046]
图4是根据本发明实施例的目标检测神经网络中角度编码回归模块和角度通道注意力模块的结构示意图；
[0047]
图5是使用本发明实施例的基于角度优先策略的遥感图像目标检测方法在dota数据集上的检测结果示意图；
[0048]
图6是使用本发明实施例的基于角度优先策略的遥感图像目标检测方法在hrsc2016数据集上的检测结果示意图。
具体实施方式
[0049]
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
[0051]
图1示出了根据本发明实施例提供的基于角度优先策略的遥感图像目标检测方法的流程。
[0052]
如图1所示，本发明实施例提供的基于角度优先策略的遥感图像目标检测方法，包括如下步骤：
[0053]
s1、对遥感图像数据集中的目标进行种类标注，组建训练集和验证集。
[0054]
确定待检测的遥感图像中的目标种类，包括两种方式，第一种使用公开的已对待检测目标种类进行标注的遥感图像数据集，第二种取大量遥感图像对待检测目标种类进行手工标注。
[0055]
标注需要使用具有方向的矩形框，且该矩形框是能够包含目标的最小外接矩形框。标注信息为矩形框的四个顶点的坐标，从中可以提取出矩形框的中心点位置、矩形框的边长和矩形框的倾斜角度。
[0056]
在获得完成目标种类标注的遥感图像数据集后，取其中75％的遥感图像作为训练集对目标检测神经网络进行训练，另外25％的遥感图像作为验证集来验证经过训练后的目标检测神经网络的检测能力。
[0057]
s2、通过多参数角度编码方法对目标方向进行编码。
[0058]
确定表示目标方向所需的角度检测范围，根据步骤s1中的遥感图像数据集的标注信息得到每个目标的角度值。使用多参数角度编码方法将角度值编码成n个参数，参数个数n≥3。将整个区间长度为t的角度检测范围均分为n个区间，以角度θ1、θ2……
θ
n+1
为边界，其中θ
n+1
角度检测范围的上限，θ1为角度检测范围的下限，差值为t，在目标检测中代表相同的方向。考虑到方向的周期性及后面的解码操作，令n个参数x1、x2…
xn与θ1+nt、θ2+nt
…
θn+nt(n为任意整数)分别一一对应。当对一个角度值θ编码时，首先判断该角度值在n个区间中的哪一个区间，即θ∈[θa，θb)，其中(a，b)∈{(1，2)，(2，3)，...，(n，n+1)}，然后根据θ与该区间两个边界值θa、θb的差值来确定与它们对应的两个参数值xa、xb，θa、θb与θ的差值越大，对应的两个参数值xa、xb越小，且xa、xb的和为1，参数值xa、xb由如下公式确定：
[0059][0060]
除这两个参数外，令其余参数值为0，至此完成角度编码。
[0061]
通过多参数角度编码方法将目标方向信息编码成多个参数提供给目标检测神经网络去学习，随后需将目标检测神经网络学习到的编码值解码为角度值来进行后续处理及结果显示。
[0062]
根据上述的编码过程以及xa、xb的定义公式，θ可由如下公式得出：
[0063]
θ＝xaθa+xbθb；
[0064]
因此解码时只需找到被编码角度所在的区间，再对该区间的两个边界角度值使用其对应的编码参数加权求和即可得到该角度。在理想情况下，编码值中只有两个或一个是非零的，此时很容易找到其对应的角度区间。然而在实际情况中，目标检测神经网络学习到的结果会有偏差，导致n个值都是非零的。
[0065]
由此解码思路为：n个编码值中相邻的两个依次相加，和最大的那两个便被认为是理想非零编码值；根据理想非零编码值对应的角度，在角度检测范围中找到以其为边界的角度区间；使用两个边界角度值各自对应的编码参数对它们进行加权求和，即得到解码后的角度值。
[0066]
图2示出了根据本发明实施例的多参数角度编码方法的示例。示例中编码参数个数为4，角度检测范围为[-π/2，π/2)，范围大小t为π，上下边界分别为π/2、-π/2，将其分为4个区间，以-π/2、-π/4、0、π/4、π/2为界。4个参数x1、x2、x3、x4对应的角度值分别为-π/2+nπ、-π/4+nπ、0+nπ、π/4+nπ，n为任意整数。图2中角度θ位于[-π/2，-π/4)之间，它与该区间两个边界角度值-π/2、-π/4的差值分别为α、β，该角度由四个参数组成的编码结果如图2中间所示。
[0067]
s3、采用角度优先策略构建目标检测神经网络。
[0068]
角度优先策略是指神经网络先检测目标方向信息，令其在目标范围内所有特征点的位置上预测该目标的角度值。在目标检测神经网络获取角度值后，在每个特征点上预设一个具有预测角度的锚框，而该锚框更容易与真实目标框相匹配，使得接下来的边界框回归能够更准确。
[0069]
在根据角度优先策略构建的检测网络ofrdet中，resnet50 fpn作为骨干网络对输入图像进行特征提取，获得多尺度特征图。
[0070]
构建角度编码回归模块，输入为骨干网络提取的特征图，输出为n个通道的编码图，每个通道对应一个编码参数。在该模块中通过普通卷积在每个特征点上预测角度编码值，该角度应为特征点所属目标的角度，如果该特征点不属于任何目标，那么该特征点预测的编码值没有目标值，不会被损失函数约束。将角度编码回归模块预测的编码值解码为角度值，根据角度值预设方向锚框，神经网络在粗检测阶段对该锚框进行回归调整。
[0071]
构建粗检测阶段，在粗检测阶段中多尺度特征图输入到角度通道注意力模块，该模块具有与s2中编码参数个数相同的n个角度通道，每个角度通道中会使用一个角度值，该角度值为步骤s2编码过程中n个区间的下边界角度值θ1、θ2…
θn。在每个角度通道中，由具有上述特定角度值的旋转卷积核对特征图进行卷积操作，得到n个新的特征图，将n个新特征图使用角度编码回归模块输出的编码图进行加权求和后，就生成角度通道注意力模块输出的特征图。最后经过普通卷积，获得对预设锚框回归调整后的目标边界框及其分类结果。
[0072]
构建细化检测阶段，在细化检测阶段中多尺度特征图作为输入，经过alignconv、orconv和普通卷积，实现对粗检测阶段得到的边界框的细化调整，同时再次进行目标分类，获得最终的检测结果。
[0073]
图3示出了根据本发明实施例的目标检测神经网络的整体逻辑结构。
[0074]
如图3所示，整个目标检测神经网络以resnet50 fpn为骨干网络来提取特征，生成多尺度特征图，每个尺度的特征图后都有一个检测头进行目标检测。在检测头中，图3中共有上中下三个分支，分别为角度编码回归模块(aerm)、粗检测阶段、细化检测阶段。首先由aerm获得编码值来预测角度，使用预测角度在每个特征点上预设方向锚框供粗检测阶段使用，随后将编码值送入角度通道注意力模块(acam)中作为其中的权重；粗检测阶段通过acam中的四个角度通道有针对性地提取方向特征，随后经过普通卷积操作分别进行边界框回归和目标分类；细化检测阶段通过alignconv进行特征配准，再通过orconv提取方向特征，最后经过普通卷积层获得最终的检测结果。
[0075]
图4示出了根据本发明实施例的目标检测神经网络中角度编码回归模块和角度通道注意力模块的逻辑结构。
[0076]
如图4所示，角度编码参数的个数为4个，角度通道数的个数也为4个。图4中上面部分是角度编码回归模块(aerm)，其输入为骨干网络提取的特征图，经过三次卷积，获得4通道的编码图。该编码图与由多参数角度编码生成的理想编码图求损失，使网络能够学习到角度编码过程。该编码图也作为注意力图送入角度通道注意力模块(acam)中使用。图4中下面部分是acam，输入也为骨干网络提取的特征图，该模块有4个角度通道，每个角度通道中会使用一个角度值，该角度值为编码过程中4个区间下边界角度值。在角度通道中，由具有上述特定角度值的旋转卷积核对输入特征图进行卷积操作，生成4个新的特征图。将4个新特征图使用对应的注意力图进行加权求和后，就生成角度通道注意力模块输出的特征图。
[0077]
s4、采用训练集和验证集对目标检测神经网络进行训练和测试。
[0078]
将训练集输入目标检测神经网络对目标检测神经网络进行训练，输出检测结果并计算损失；其中，在训练过程中，完整的损失函数由三个部分组成，分别是角度编码回归损失、粗阶段检测损失和细化阶段检测损失，定义分别如下：
[0079][0080]
其中，在第一项角度编码回归损失中，λ1表示第一项角度编码回归损失的平衡系数，ne表示具有目标值的编码值总数，m表示每个具有目标编码值的特征点，n表示一个特征点上的每个编码参数，l
aer
表示smooth l1损失，表示目标检测神经网络得到的编码值，表示目标编码值。粗检测阶段和细化检测阶段的检测损失都由目标分类损失及位置回归损失组成，位置回归损失只由正样本得来。在上式第二项和第三项中，λ2、λ3分别表示损失平衡系数，nc、nr分别表示粗检测阶段与细化检测阶段的正样本数量，i表示每个样本，lc表
示分类损失，表示粗检测阶段与细化检测阶段对样本i的分类预测，表示样本i的分类标签，表示艾佛森括号指示方程，即i为正样本时值为1，lr表示回归损失，表示粗检测阶段与细化检测阶段对样本i的位置预测，表示样本i的位置标签；
[0081]
根据损失函数对网络参数进行更新，随着损失函数的逐渐下降，神经网络对目标的检测能力越来越强。在每完成预设轮次对网络参数的更新迭代后，使用验证集测试目标检测神经网络对目标的检测准确率，当验证集检测的准确率不再上升或达到预设的训练轮次上限后，结束训练。
[0082]
在本发明的一个示例中，在将训练集输入目标检测神经网络之前，采用多尺度放缩、随机翻转、随机角度旋转的方法对遥感图像以及遥感图像上的目标的种类标注进行操作，以提高遥感图像数据集中的目标的多样性。
[0083]
s5、采用完成训练的目标检测网络对待检测的遥感图像进行目标检测。
[0084]
将待检测的遥感图像作为输入送入已由步骤s4训练好参数的目标检测神经网络中进行目标检测，在输出中即可获得所需的目标信息。
[0085]
图5示出了使用本发明实施例的基于角度优先策略的遥感图像目标检测方法在dota数据集上的检测结果。
[0086]
如图5所示，图中用不同颜色的框标注不同类别的目标，共15类目标，分别是飞机(pl)、棒球场(bd)、桥梁(br)、运动场(gtf)、小型车辆(sv)、大型车辆(lv)、船舶(sh)、网球场(tc)、篮球场(bc)、储罐(st)、足球场(sbf)、环岛(ra)、港口(ha)、游泳池(sp)和直升机(hc)。由图5可以看出本发明提供的遥感图像目标检测方法能够在复杂背景下检测具有任意方向以及密集分布的多类物体，达到满意的效果。
[0087]
图6示出了使用基于角度优先策略的遥感图像目标检测方法在hrsc2016数据集上的检测结果。
[0088]
如图6所示，图中共检测一类目标，即舰船，使用方向矩形框将其标注出来。由图6可以看出本发明提供的遥感图像目标检测方法能够在不同分辨率下高质量的完成不同尺度与不同方向的舰船检测。
[0089]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0090]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0091]
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。