一种融合梯度图的镂空目标检测方法

本发明涉及计算机视觉处理技术，具体涉及一种融合梯度图的镂空目标检测方法。

背景技术：

1、目标检测的目的是预测每个感兴趣的对象的边界框和类别标签。随着国家数字经济、智能化产业的大趋势，智能化领域的投资也不断加大。智慧城市、智慧医疗、智慧教育等智慧建设工作也都在如火如荼的建设中，而这些场景中几乎都离不开目标检测技术。目前，目标检测技术已经广泛地运用于现实生活中。

2、由于近年来深度神经网络的快速发展，基于神经网络的目标检测方法与传统的手工设计的方法相比有了很大的进步。一般来说，基于深度学习的目标检测方法可以分为两种类型，即两阶段方法和单阶段方法。例如，faster r-cnn、cascade r-cnn是两阶段检测框架，也被称为基于候选区域的目标检测算法，它们首先为输入图像选择候选区域，然后对候选区域进行分类和位置回归，实现检测任务。yolo、ssd和fcos是单阶段检测框架，省略了候选区域的生成步骤，将特征提取、物体分类和位置回归的过程整合到一个卷积神经网络中，从而将物体检测过程简化为一个端到端的回归问题。

3、在目标检测的发展过程中，为了解决各种实际场景中的检测问题，许多研究者提出了不同的框架来解决相应的问题。例如，snip、sniper、tridentnet解决了目标检测中的多尺度问题，fa-ssd用于提高小目标检测的性能，borderdet是为密集的目标检测设计的。但目前还没有专门针对镂空物体检测场景的方法。镂空物体的属性非常特殊，边界框内真正属于物体的像素比例很小，大部分像素都是杂乱无章的无用背景信息，这对于这些物体的检测有很大负面影响。所以这些镂空物体在检测过程中往往很难界定范围，会导致一个物体出现多个密集的边界盒。

4、例如，专利cn112001400a公开一种镂空物体的目标检测方法，该现有技术方案通过对候选框的设计来简化镂空目标的检测，但依赖于手工设计参数没有很好的鲁棒性。再比如，专利cn108549089b公开一种用于slam的镂空障碍物检测装置和方法，该现有技术方案使用激光雷达和深度相机来进行检测，对设备依赖较大，不利于实际场景中的推广应用。

技术实现思路

1、发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种融合梯度图的镂空目标检测方法，通过将梯度图和原图进行有效融合来解决现有技术中镂空目标检测效果不佳的问题，进而改善镂空物体的检测效果，提高镂空物体检测网络的鲁棒性与泛化性能。

2、技术方案：本发明一种融合梯度图的镂空目标检测方法，包括以下步骤：

3、步骤1、制作镂空物体数据集

4、采集包含有相应镂空目标的图像以组成镂空物体数据集，采用标注工具labelimg对采集的所有图像中需检测的目标进行边界框和类别信息的标注，并生成与图像同名的相应标签文件；

5、步骤2、对镂空物体数据集中未经标注的原图进行处理，获得对应梯度图；

6、步骤3、将原图和对应梯度图同时送入两个结构相同的目标检测网络，通过该目标检测网络中骨干网络的前几个阶段来提取特征，进而分别得到原图特征和对应梯度图特征；

7、步骤4、将步骤3所得原图特征和梯度图特征通过轻量级梯度注意力模块进行融合，得到融合特征；轻量级梯度注意力模块首先对梯度图特征进行卷积运算，卷积的输出通道数与输入相同；然后，将所得卷积输出的特征图送入sigmoid函数，同时，将原图特征和梯度图像特征相乘的结果进行卷积操作，再通过归一化层和非线性激活层并对输出结果进行残差连接；最后将残差连接的结果、原图特征和sigmoid函数的结果相乘来完成原图和梯度图的特征融合；

8、步骤5、将步骤4所得融合特征继续送入步骤3中目标检测网络的后续结构，实现网络前向传播最终得到目标的边界框信息和类别信息；接着，设置置信度阈值进行非极大值抑制，将置信度高于阈值的边界框的并集作为最终预测的结果；最后，通过损失函数计算预测的边界框与标注的边界框真值之间的误差，将误差进行反向传播来更新网络参数；

9、重复上述步骤不断迭代使得损失函数不断减小达到稳定，获得最优的网络参数，得到最优目标检测模型，改善镂空物体的检测效果；

10、步骤6、将待识别的图像输入至步骤5中训练所得最优目标检测模型，计算输出置信度大于阈值的分类结果作为待检测图像的识别结果。

11、进一步地，所述步骤1将镂空物体数据集中图像按一定比例随机分为训练集和验证集；按需对训练集进行数据增广以扩大数据量，数据增广方法包括翻转。

12、进一步地，所述步骤2使用sobel算子来计算获得梯度图g，具体方法为：sobel算子基于图像空间域进行卷积，根据像素点上下左右四邻点的灰度值的加权差来计算，公式如下：

13、

14、

15、g＝|gx|+|gy|

16、其中，i是原图，gx和gy分别代表水平和垂直边缘检测到的图像灰度值。

17、进一步地，所述步骤3中两个目标检测网络结构完全相同且参数共享，目标检测网络结构骨干网络中每几个卷积块之后均有一个步长为2的卷积层，特征图都被下采样为一半的分辨率，特征提取的流程如下所示：

18、fi＝relu(bn(conv(…relu(bn(conv(i)))…)))

19、fg＝relu(bn(conv(…relu(bn(conv(g)))…)))

20、其中，fi和fg分别代表原图和梯度图特征，relu是非线性激活层，bn是归一化层，conv是卷积层，省略号代表具体的卷积块数量可以根据使用的检测网络动态调整。

21、进一步地，所述目标检测网络采用yolov5检测网络，并通过其骨干网络前6个阶段进行特征提取，每2个阶段之后均有一个步长为2的卷积层。

22、进一步地，所述步骤5目标检测网络的后续结构包括骨干网络的后半部分、fpn结构和最后的检测头，网络前向传播所得目标的边界框信息和类别信息，包括边界框中心坐标、宽度和高度、边界框中包含目标物体的置信度，以及边界框中目标物体属于某一类的概率。

23、有益效果：本发明通过梯度注意力模块使用梯度信息来增强原图中的镂空物体特征，使网络能够学习到更有意义的特征。同时，本发明可以很容易地被推广到各种检测框架中，从而使几乎所有镂空目标的检测都得到改善。大量的实验都验证了这一结论，在yolov5上镂空目标的检测精度提高了7.4％map，在faster r-cnn上提高了1.7％map，在cascader-cnn上提高了3.2％map。

技术特征：

1.一种融合梯度图的镂空目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的融合梯度图的镂空目标检测方法，其特征在于：所述步骤1将镂空物体数据集中图像按一定比例随机分为训练集和验证集；按需对训练集进行数据增广以扩大数据量，数据增广方法包括翻转。

3.根据权利要求1所述的融合梯度图的镂空目标检测方法，其特征在于：所述步骤2使用sobel算子来计算获得梯度图g，具体方法为：根据图像像素点上下左右四邻点的灰度值的加权差来计算，公式如下：

4.根据权利要求1所述的融合梯度图的镂空目标检测方法，其特征在于：所述步骤3中两个目标检测网络结构完全相同且参数共享，目标检测网络结构骨干网络中每几个卷积块之后均有一个步长为2的卷积层，特征图都被下采样为一半的分辨率，特征提取的流程如下所示：

5.根据权利要求4所述的融合梯度图的镂空目标检测方法，其特征在于：所述目标检测网络采用yolov5检测网络，并通过其骨干网络前6个阶段进行特征提取，每2个阶段之后均有一个步长为2的卷积层。

6.根据权利要求1所述的融合梯度图的镂空目标检测方法，其特征在于：所述步骤5目标检测网络的后续结构包括骨干网络的后半部分、fpn结构和最后的检测头，网络前向传播所得目标的边界框信息和类别信息，包括边界框中心坐标、宽度和高度、边界框中包含目标物体的置信度，以及边界框中目标物体属于某一类的概率。

技术总结
本发明公开一种融合梯度图的镂空目标检测方法，制作镂空物体数据集，对原图处理获得梯度图；将原图和梯度图同时送入两个目标检测网络得到原图特征和对应梯度图特征；将原图特征和梯度图特征通过轻量级梯度注意力模块进行融合，将得融合特征继续进行网络前向传播最终得到目标的边界框信息和类别信息；不断迭代获得最优目标检测模型；将待识别的图像输入至最优目标检测模型，计算输出置信度大于阈值的分类结果作为待检测图像的识别结果。本发明通过梯度注意力模块使用梯度信息来增强原图中的镂空物体特征，使网络能够学习到更有意义的特征。同时，本发明可以很容易地被推广到各种检测框架中，从而使几乎所有镂空目标的检测都得到改善。

技术研发人员：王福田,陈菲儿,汤进
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/1/13