基于双重注意力机制的图像目标检测方法与流程

1.本发明涉及深度学习的图像处理技术领域，尤其涉及一种基于双重注意力机制的图像目标检测方法。


背景技术：

2.传统的图像目标检测方法中，研究人员通常是通过手工的方式提取特征，然后利用机器学习算法对手工特征进行分类以达到目标检测的目的。大多数传统的检测系统主要基于目标的轮廓、颜色、纹理以及图像关键点特征(sift)等信息对图像物体进行识别。虽然，传统方法目前在目标识别任务上已经取得一定的研究成果，但是，传统的图像目标检测方法仍然存在两个主要问题：一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是传统方法获取的手工特征不够丰富，对于背景复杂的目标检测并没有很好的鲁棒性。然而，目前大多方法并没有考虑到图像复杂多样的背景环境以及目标检测的实时性要求等问题。因此，如何选取检测模型、优化检测效果、同时保证目标检测的实时性是目标检测算法研究的关键技术难点。
3.因此，亟需一种基于双重注意力机制的图像目标检测方法。


技术实现要素：

4.本发明的目的是提供一种基于双重注意力机制的图像目标检测方法，以解决上述现有技术中的问题，能够提高网络在回归、分类不同任务下对有用信息的关注能力，从而提高模型的泛化能力和检测性能，准确识别目标。
5.本发明提供了一种基于双重注意力机制的图像目标检测方法，其中，包括：
6.对多张训练图片进行cutmix操作，得到预处理数据；
7.基于卷积神经网络，提取所述预处理数据中的图像特征，构成一个自下而上的金字塔结构，得到多尺度特征图；
8.基于双重注意力机制，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图；
9.根据所述双重注意力信息特征图生成输入样本的候选区域。
10.如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述对多张训练图片进行cutmix操作，得到预处理数据，具体包括：
11.从训练集中一次读取四张训练图片和四张训练图片对应的标注信息；
12.对所读取的四张训练图片进行随机裁剪，保留裁剪区域内的标签信息，并对边缘处的目标位置信息进行相应的裁剪操作；
13.将得到的四个图片区域按读入的顺序分别在左上、左下、右上和右下四个位置重新组合成新的图片，同时调整标注信息中的目标位置，使其与新图片中的坐标对齐；
14.将重组图片和对应的标注信息组合成新的数据集。
15.如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述基于
卷积神经网络，提取所述预处理数据中的图像特征，构成一个自下而上的金字塔结构，得到多尺度特征图，具体包括：
16.通过特征提取网络提取所述预处理数据中的图像特征，输出三层由不同网络层输出的多尺度特征；
17.通过由卷积核尺寸为1x1的卷积神经网络对三层的多尺度特征进行通道压缩，作为特征金字塔网络的输入；
18.利用特征金字塔网络通过一条自顶向下的路径和同级特征相加的方式对来自横向连接的特征进行融合，得到最终的第一融合特征p3、第二融合特征p4和第三融合特征p5；
19.对所述第三融合特征进行两次上采样操作，得到更抽象的第一高级特征p6和第二高级特征p7；
20.将第一融合特征p3、第二融合特征p4和第三融合特征p5、第一高级特征p6和第二高级特征p7作为所述多尺度特征图，直接作为检测模块网络的最终输入。
21.如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述基于双重注意力机制，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图，具体包括：
22.利用双重注意力模块，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图，其中，所述双重注意力模块包括三条支路网络，分别为空间注意力支路、通道注意力支路和原始特征传输支路。
23.如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述利用双重注意力模块，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图，具体包括：
24.对所述多尺度特征图分别在空间和通道两个维度上进行注意力机制网络的学习，其中，空间维度对应的空间注意力支路和通道维度对应的通道注意力支路包括平均池化和最大池化的组合结构，在所述空间注意力支路和所述通道注意力支路对应的网络结构中，p
l
表示来自所述特征金字塔网络的第l层的输出特征，作为双重注意力模块的输入，输入特征的维度表示为h
×w×
c，h表示多尺度特征图的长，w表示多尺度特征图的宽，c表示多尺度特征图的通道数；
25.对于空间注意力支路，在空间维度上分别对输入特征p
l
进行最大池化和平均池化计算，分别得到h
×w×
1的权重矩阵，然后对通过最大池化和平均池化两种池化操作得到的矩阵进行拼接，得到包含多重特征信息的权重矩阵，维度为h
×w×
2，再使用卷积操作对拼接的结果进行通道的压缩，最终得到维度为h
×w×
1的空间注意力权重矩阵，该过程可以表示为式(1)，
26.ws＝conv1×1(concat(s
maxpool
(pl)，s
avgpool
(p
l
)))
ꢀꢀ
(1)
27.其中，ws表示包含空间注意力信息的权重矩阵，conv1×1表示卷积核尺寸为1
×
1的卷积操作，s
maxpool
为空间维度上的最大池化，s
avgpool
为空间维度上的平均池化；
28.对于通道注意力支路，在通道维度上分别对输入特征p
l
进行最大池化和平均池化计算，通过不同的池化操作将每个通道上的维度为h
×w×
c的矩阵压缩为一个维度为1
×1×
c的矩阵，然后对通过最大池化和平均池化两种池化操作得到的的两个权重矩阵进行拼
接，得到维度为1
×1×
2c的矩阵，再使用卷积操作进行降维，最终得到维度为1
×1×
c的通道注意力权重矩阵，该过程如式(2)所示，
29.wc＝conv1×1(concat(c
maxpool
(p
l
)，c
avgpool
(p
l
)))
ꢀꢀ
(2)
30.其中，wc表示包含通道注意力信息的权重矩阵，conv1×1表示卷积核尺寸为1
×
1的卷积操作，c
maxpool
为通道维度上的最大池化，c
avgpool
为通道维度上的平均池化；
31.将包含空间注意力信息的权重矩阵和包含通道注意力信息的权重矩阵相乘，得到最终的双重注意力权重矩阵w
matrix
，如式(3)，
[0032][0033]
将得到的双重注意力权重矩阵经过sigmoid函数进行激活，sigmoid定义如式(4)，
[0034][0035]
将激活后的双重注意力权重矩阵与原始输入特征进行加权求和操作，得到带有丰富的注意力信息的特征图，如式(5)，
[0036][0037]
如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述根据所述双重注意力信息特征图生成输入样本的候选区域，具体包括：
[0038]
利用rpn网络将输入样本输出为多个候选区域；
[0039]
利用目标检测模型的损失函数对多个候选区域进行分类概率和边框回归联合训练，确定输入样本最终的位置和类别信息。
[0040]
如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述目标检测模型的损失函数包括分类损失和回归损失，定义如下：
[0041][0042]
其中，p
x,y
表示像素点(x,y)的分类概率，t
x,y
表示像素点(x,y)的回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值，t
*x,y
表示像素点(x,y)到标定图像框四个边界的距离值，l
cls
表示分类损失，l
reg
表示回归损失，n
pos
表示正样本的个数，c
*x,y
表示分类类别，c
*x,y
＝1为图像目标，c
*x,y
＝0为背景，λ表示回归损失l
reg
的权重因子，为可调参数，用于平衡两种不同的损失函数，默认为1，τ{c
*x,y＞0
}表示指示函数，当c
*x,y
＞0时该函数值为1，当c
*x,y
≤0时该函数值为0。
[0043]
如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述利用rpn网络将输入样本输出为多个候选区域，具体包括：
[0044]
利用rpn网络将输入样本映射成一个概率值和四个坐标值，其中，概率值用于表示anchors层中有物体的概率，四个坐标值用于回归定义物体的位置；
[0045]
根据概率值和四个坐标值，得到固定尺寸的特征图；
[0046]
将固定尺寸的特征图送入全连接层，以判定候选区域的目标类别。
[0047]
如上所述的基于双重注意力机制的图像目标检测方法，其中，优选的是，所述利用目标检测模型的损失函数对多个候选区域进行分类概率和边框回归联合训练，确定输入样本最终的位置和类别信息，具体包括：
[0048]
对于所述候选区域，通过全连接层和归一化函数计算每个正样本所属的类别并输出所属类别的概率向量；
[0049]
通过回归网络，利用边界框回归得到每个正样本的位置偏移量；
[0050]
使用非极大值抑制方法去除冗余的预测框，保留结果最好的一个，得到最终的检测结果。
[0051]
本发明提供一种基于双重注意力机制的图像目标检测方法，在特征金字塔网络的基础之上，设计了一种新的多向特征融合机制，使得原来送入检测网络的单层特征变成了包含丰富上下文信息的多向融合特征，从而获取更好的图像目标特征表示；通过基于双重注意力机制的检测模块网络，将注意力机制部署在通道和空间不同的特征维度上，构成双重注意力机制，再分别应用到检测模块的不同分支上，使得不同分支能够根据各网络的训练目标自主地从特征图中筛选有效的信息，提高了网络在回归、分类不同任务下对有用信息的关注能力，从而提高模型的泛化能力和检测性能，准确识别目标；本发明通过数据增强方式解决图像中所处的环境、背景复杂多样，而参与训练的目标样本不充足的问题，从而导致网络无法充分学习到复杂多变的场景特征、检测精度低等等这些缺点。
附图说明
[0052]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
[0053]
图1为本发明提供的基于双重注意力机制的图像目标检测方法的实施例的流程图；
[0054]
图2为本发明提供的基于双重注意力机制的图像目标检测方法的实施例的算法逻辑图；
[0055]
图3为特征金字塔网络结构；
[0056]
图4为双重注意力模块的结构示意图。
具体实施方式
[0057]
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。
[0058]
本公开中使用的“第一”、“第二”：以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0059]
在本公开中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件。当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件，也可以
不与所述其它部件直接连接而具有居间部件。
[0060]
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
[0061]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
[0062]
如图1和图2所示，本实施例提供的基于双重注意力机制的图像目标检测方法在实际执行过程中，具体包括如下步骤：
[0063]
步骤s1、对多张训练图片进行cutmix操作，得到预处理数据。
[0064]
本发明通过对四张训练图片进行随机裁剪再拼接的方式，即对多张图片进行cutmix操作，使得模型每次从一张图片中学习的过程变成了同时从四张图片中学习的过程，这就相当于模型一次学习了四种不同的背景环境，从而使得模型学习到更加丰富的图像特征。在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s1具体可以包括：
[0065]
步骤s11、从训练集中一次读取四张训练图片和四张训练图片对应的标注信息。
[0066]
其中，所述标注信息包括类别和位置信息。
[0067]
步骤s12、对所读取的四张训练图片进行随机裁剪，保留裁剪区域内的标签信息，并对边缘处的目标位置信息进行相应的裁剪操作。
[0068]
步骤s13、将得到的四个图片区域按读入的顺序分别在左上、左下、右上和右下四个位置重新组合成新的图片，同时调整标注信息中的目标位置，使其与新图片中的坐标对齐。
[0069]
步骤s14、将重组图片和对应的标注信息组合成新的数据集。
[0070]
步骤s2、基于卷积神经网络，提取所述预处理数据中的图像特征，构成一个自下而上的金字塔结构，得到多尺度特征图。
[0071]
在步骤s2中，对经过步骤s1预处理之后的数据，使用基于卷积神经网络的特征提取模块对原始的图片提取特征，构成一个自下而上的金字塔结构，输出具有多尺度的特征，并构建一个横向连接模块，负责特征尺度的统一和传递。如图3所示，在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s2具体可以包括：
[0072]
步骤s21、通过特征提取网络提取所述预处理数据中的图像特征，输出三层由不同网络层(c3、c4和c5)输出的多尺度特征。
[0073]
步骤s22、通过由卷积核尺寸为1x1的卷积神经网络对三层的多尺度特征进行通道压缩，作为特征金字塔网络的输入。
[0074]
其中，本发明在一种实施方式中，三层的多尺度特征统一被压缩到256维。
[0075]
步骤s23、利用特征金字塔网络通过一条自顶向下的路径和同级特征相加的方式对来自横向连接的特征进行融合，得到最终的第一融合特征p3、第二融合特征p4和第三融合特征p5。
[0076]
步骤s24、对所述第三融合特征进行两次上采样操作，得到更抽象的第一高级特征p6和第二高级特征p7。
[0077]
其中，两次上采样操作通过两次卷积实现。
[0078]
步骤s25、将第一融合特征p3、第二融合特征p4和第三融合特征p5、第一高级特征p6和第二高级特征p7作为所述多尺度特征图，直接作为检测模块网络的最终输入。
[0079]
步骤s3、基于双重注意力机制，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图。
[0080]
在步骤s3中，对于经过步骤s2得到的特征，设计了一种双重注意力模块(dam)，并将该模块嵌入到目标检测模型的检测模块网络中。具体地，在本发明中，利用双重注意力模块，将所述多尺度特征图嵌入到目标检测模型的检测模块网络中，得到包括空间注意力信息和通道注意力信息的双重注意力信息特征图，其中，所述双重注意力模块包括三条支路网络，分别为空间注意力支路、通道注意力支路和原始特征传输支路。在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s3具体可以包括：
[0081]
步骤s31、对所述多尺度特征图分别在空间和通道两个维度上进行注意力机制网络的学习，其中，空间维度对应的空间注意力支路和通道维度对应的通道注意力支路包括平均池化和最大池化的组合结构，在所述空间注意力支路和所述通道注意力支路对应的网络结构(如图4所示)中，p
l
表示来自所述特征金字塔网络的第l层的输出特征，作为双重注意力模块的输入，输入特征的维度表示为h
×w×
c，h表示多尺度特征图的长，w表示多尺度特征图的宽，c表示多尺度特征图的通道数。
[0082]
对于这两种注意力机制网络，本发明均选用了平均池化和最大池化的组合结构。
[0083]
步骤s32、对于空间注意力支路，在空间维度上分别对输入特征p
l
进行最大池化和平均池化计算，分别得到h
×w×
1的权重矩阵，然后对通过最大池化和平均池化两种池化操作得到的矩阵进行拼接，得到包含多重特征信息的权重矩阵，维度为h
×w×
2，再使用卷积操作对拼接的结果进行通道的压缩，最终得到维度为h
×w×
1的空间注意力权重矩阵，该过程可以表示为式(1)，
[0084]ws
＝conv1×1(concat(s
maxpool
(p
l
)，s
avgpool
(p
l
)))
ꢀꢀ
(1)
[0085]
其中，ws表示包含空间注意力信息的权重矩阵，conv1×1表示卷积核尺寸为1
×
1的卷积操作，s
maxpool
为空间维度上的最大池化，s
avgpool
为空间维度上的平均池化。
[0086]
步骤s33、对于通道注意力支路，在通道维度上分别对输入特征p
l
进行最大池化和平均池化计算，通过不同的池化操作将每个通道上的维度为h
×w×
c的矩阵压缩为一个维度为1
×1×
c的矩阵，然后对通过最大池化和平均池化两种池化操作得到的的两个权重矩阵进行拼接，得到维度为1
×1×
2c的矩阵，再使用卷积操作进行降维，最终得到维度为1
×1×
c的通道注意力权重矩阵，该过程如式(2)所示，
[0087]
wc＝conv1×1(concat(c
maxpool
(p
l
)，c
avgpool
(p
l
)))
ꢀꢀ
(2)
[0088]
其中，wc表示包含通道注意力信息的权重矩阵，conv1×1表示卷积核尺寸为1
×
1的卷积操作，c
maxpool
为通道维度上的最大池化，c
avgpool
为通道维度上的平均池化。
[0089]
步骤s34、将包含空间注意力信息的权重矩阵和包含通道注意力信息的权重矩阵相乘，得到最终的双重注意力权重矩阵w
matrix
，如式(3)，
[0090][0091]
步骤s35、将得到的双重注意力权重矩阵经过sigmoid函数进行激活，sigmoid定义如式(4)，
[0092][0093]
通过激活操作可以提升网络的非线性表达能力。
[0094]
步骤s36、将激活后的双重注意力权重矩阵与原始输入特征进行加权求和操作，得到带有丰富的注意力信息的特征图，如式(5)，
[0095][0096]
通过步骤s36，可以使得网络能够在通道和空间双重维度下自主地完成对感兴趣区域的学习。
[0097]
步骤s4、根据所述双重注意力信息特征图生成输入样本的候选区域。
[0098]
在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s4具体可以包括：
[0099]
步骤s41、利用rpn网络将输入样本输出为多个候选区域。
[0100]
在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s41具体可以包括：
[0101]
步骤s411、利用rpn网络将输入样本映射成一个概率值和四个坐标值，其中，概率值用于表示anchors层中有物体的概率，四个坐标值用于回归定义物体的位置。
[0102]
其中，anchors层通过softmax判断anchor是否包含目标，这是一个二分类问题。
[0103]
步骤s412、根据概率值和四个坐标值，得到固定尺寸的特征图。
[0104]
步骤s413、将固定尺寸的特征图送入全连接层，以判定候选区域的目标类别。
[0105]
在综合概率值和四个坐标值这些信息后，得到固定尺寸的特征图，然后送入后续全连接层判定目标类别。
[0106]
步骤s42、利用目标检测模型的损失函数对多个候选区域进行分类概率和边框回归联合训练，确定输入样本最终的位置和类别信息。
[0107]
其中，所述目标检测模型的损失函数包括分类损失(softmax loss)和回归损失(smooth l1 loss)，定义如下：
[0108][0109]
其中，p
x,y
表示像素点(x,y)的分类概率，t
x,y
表示像素点(x,y)的回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值，t
*x,y
表示像素点(x,y)到标定图像框四个边界的距离值，l
cls
表示分类损失，l
reg
表示回归损失，n
pos
表示正样本的个数，c
*x,y
表示分类类别，c
*x,y
＝1为图像目标，c
*x,y
＝0为背景，λ表示回归损失l
reg
的权重因子，为可调参数，用于平衡两种不同的损失函数，默认为1，τ{c
*x,y＞0
}表示指示函数，当c
*x,y
＞0时该函数值为1，当c
*x,y
≤0时该函数值为0。
[0110]
在本发明的基于双重注意力机制的图像目标检测方法的一种实施方式中，所述步骤s42具体可以包括：
[0111]
步骤s421、对于所述候选区域，通过全连接层和归一化函数计算每个正样本所属的类别并输出所属类别的概率向量。
[0112]
步骤s422、通过回归网络，利用边界框回归得到每个正样本的位置偏移量。
[0113]
通过步骤s422，可以得到更加精确的目标检测框。
[0114]
步骤s423、使用非极大值抑制方法去除冗余的预测框，保留结果最好的一个，得到最终的检测结果。
[0115]
本发明实施例提供的基于双重注意力机制的图像目标检测方法，在特征金字塔网络的基础之上，设计了一种新的多向特征融合机制，使得原来送入检测网络的单层特征变成了包含丰富上下文信息的多向融合特征，从而获取更好的图像目标特征表示；通过基于双重注意力机制的检测模块网络，将注意力机制部署在通道和空间不同的特征维度上，构成双重注意力机制，再分别应用到检测模块的不同分支上，使得不同分支能够根据各网络的训练目标自主地从特征图中筛选有效的信息，提高了网络在回归、分类不同任务下对有用信息的关注能力，从而提高模型的泛化能力和检测性能，准确识别目标；本发明通过数据增强方式解决图像中所处的环境、背景复杂多样，而参与训练的目标样本不充足的问题，从而导致网络无法充分学习到复杂多变的场景特征、检测精度低等等这些缺点。
[0116]
至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0117]
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。