一种基于尺度感知的低质量图像目标检测方法与流程

本发明涉及图像信息处理，具体为一种基于尺度感知的低质量图像目标检测方法，可用于恶劣环境下的目标检测、目标跟踪等任务。

背景技术：

1、近年来，由于卷积神经网络的快速发展和大规模数据集的构建，目标检测技术取得了巨大的进展。现有的大规模数据集包含的图像质量往往是良好的，即未退化图像。然而，在实际应用场景中，由于光线不足、雾、雨等恶劣环境导致图像的质量明显下降，在该类场景下的目标检测需求日益增多。大规模图像质量良好的训练数据与低质量图像测试数据之间的数据分布差异明显，导致在大规模图像质量良好的数据集上训练的模型很难在低质量图像上取得预期的目标检测性能。跨域目标检测技术可以有效缓解上述问题，即通过跨域适配技术减小训练数据集与测试数据集之间的数据分布差异。在跨域目标检测技术中，标签丰富的数据集被作为源域，而标签稀少的数据集则被作为目标域，常用对抗性训练、伪标签自训练、图像-图像转换、领域随机化和图推理等方法，减少不同数据集之间的分布差异。

2、目前大多数跨域目标检测算法采用有锚目标检测器作为基线检测器，如fasterr-cnn和ssd。然而，有锚目标检测器需要设置大量的超参数，这不利于目标检测器的泛化能力。近几年，不需要设置超参数的无锚目标检测器受到了研究者们的广泛关注。大多数基于无锚的检测器，如fcos、foveabox、fsaf和centernet，使用中心点回归方法进行目标的定位，这种设计使得基于无锚的目标检测器更接近于分割任务。在目标检测技术中，为了更好地表达不同尺度的目标，最终得分图的分辨率是不同尺度的，这使得在跨域目标检测中同样需要考虑不同尺度的特征对齐。针对域适配技术，语义分割有两个层次的域适应：图像级和像素级，分别对应全局特征对齐和局部特征对齐。鉴于基于无锚的目标检测技术与目标分割任务的类似性，将图像级适配与像素级适配技术引入跨域目标检测，进而提取目标在低质量图像中的多尺度特征，提升目标检测准确率。

3、为了克服上述问题，需要改进现有的低质量图像目标检测方法。

技术实现思路

1、本发明为了解决背景技术中提出的在低质量图像中目标检测准确率低的问题，由于大规模图像质量良好的训练集与低质量图像测试集之间存在明显的数据分布差异，导致在图像质量良好数据集上训练的目标检测器往往无法在低质量图像上取得令人满意的检测结果，因此本发明提供了一种基于尺度感知的低质量图像目标检测方法。

2、本发明是通过如下技术方案来实现的：一种基于尺度感知的低质量图像目标检测方法，包括如下步骤：

3、1)图像质量良好的训练数据集为ds，低质量图像的训练数据集为dt，训练数据集ds中的图像为is，相应的低质量图像数据集dt中的图像为it，在训练期间is和it共享检测网络的权重；

4、2)训练阶段：图像is被输入到检测器，生成检测器的分数图，以优化检测器；同时，由检测器产生的目标多尺度对齐的特征被输入到鉴别器，以产生鉴别器的预测值；

5、3)图像it被输入到检测器，生成的目标多尺度对齐的特征被直接输入到鉴别器产生预测值；鉴别器用于区分特征来源于图像is还是it；

6、4)重复步骤2)和3)，训练检测器与鉴别器，当性能验证指标开始下降或者训练轮数达到1000次，停止训练；

7、5)网络训练结束后，在测试阶段，将低质量图像输入到目标检测器，得到目标的检查类别与位置，统计实验结果并计算相关指标。

8、本发明利用域适配技术缩小训练数据集与测试数据集之间的数据分布差异，即减小大规模图像质量良好的数据集与低质量图像数据集之间的分布差异。另外，为了更好地缓解目标多尺度问题，引入图像级适配技术与图像级适配技术进行目标全局特征的对齐与局部特征的对齐，从而感知目标的多尺度信息，提升目标检测器在低质量图像上的目标检测性能。总之，本发明提出了一种基于尺度感知的低质量图像目标检测方法，利用无锚域适配技术提升在低质量图像中的目标检测精度，其中提出的域适配技术包括图像级适配和像素级适配，并通过对抗网络实现目标多尺度的特征对齐。

9、与现有技术相比本发明具有以下有益效果：本发明所提供的一种基于尺度感知的低质量图像目标检测方法，通过全卷积域适配技术进行目标不同尺度的特征对齐，缩小低质量图像与未退化图像(图像质量良好)的数据分布差异，进而提升了在低质量图像中的目标检测精度与性能，可以感知目标的多尺度信息，取得了良好的技术效果。

技术特征：

1.一种基于尺度感知的低质量图像目标检测方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于尺度感知的低质量图像目标检测方法，其特征在于：所述目标检测方法通过全卷积域适配技术进行目标不同尺度的特征对齐，通过生成对抗网络缩小低质量图像与未退化图像的数据分布差异，进而提升在低质量图像中的目标检测精度，未退化图像为质量良好的图像，其中，生成对抗网络包含图像级适配ila和像素级适配pla。

3.根据权利要求2所述的一种基于尺度感知的低质量图像目标检测方法，其特征在于：

4.根据权利要求3所述的一种基于尺度感知的低质量图像目标检测方法，其特征在于：步骤3)具体为：将骨干网络fcos生成的多尺度特征li输入至图像级鉴别器ilad；将分类子网络的特征cn1到cn4输入像素级鉴别器plad；将回归子网络的特征rn1到rn4输入像素级鉴别器plad，用于区分特征来源于图像is还是it。

5.根据权利要求4所述的一种基于尺度感知的低质量图像目标检测方法，其特征在于：步骤4)具体为：

6.根据权利要求5所述的一种基于尺度感知的低质量图像目标检测方法，其特征在于：步骤5)测试阶段：输入测试图片，得到目标检测类别与位置，并统计实验结果，计算目标识别的评价精度ap等指标分数。

技术总结
本发明公开了一种基于尺度感知的低质量图像目标检测方法，涉及图像信息处理技术领域。具体为：未退化图像数据集中的图像为I<subgt;s</subgt;，低质量图像数据集中的图像为I<subgt;t</subgt;，在训练期间I<subgt;s</subgt;和I<subgt;t</subgt;共享检测网络的权重；I<subgt;s</subgt;被输入到检测器，生成检测器的分数图，以优化检测器。由检测器产生的特征被输入到鉴别器，以产生鉴别器的预测值；I<subgt;t</subgt;被送入检测器，生成的特征被直接输入到鉴别器，鉴别器用于区分特征来源于图像I<subgt;s</subgt;还是I<subgt;t</subgt;，并最终使得目标检测器减少训练数据与测试数据之间的分布差异造成的干扰；在测试过程中，仅使用检测器在低质量图像上进行目标检测。本发明减小了大规模图像质量良好的数据集与低质量图像数据集之间的分布差异，提升了低质量图像的目标检测精度与性能。

技术研发人员：侯艳杰,王竞克,吴思远,于国涛,于建新,谷鹏冲,陈军,李世龙,王丽莉,闫河,李沛锦
受保护的技术使用者：中国人民解放军63729部队
技术研发日：
技术公布日：2024/1/16