一种基于类间样本平衡约束的航拍图像目标检测方法

本发明涉及一种基于类间样本平衡约束的航拍图像目标检测方法，属于计算机视觉和图像处理领域。

背景技术：

1、随着无人机产业的快速兴起和高精度相机硬件设备的广泛普及，航拍图像的获取越来越容易，基于无人机航拍图像的目标检测得以迅速发展。无人机在动态规划飞行过程中，需通过机载摄像头对地观测进行态势分析，从而确定侦察路线。对无人机航拍图像中的目标进行检测是态势分析的重要环节，目标检测精度将直接影响无人机的部署策略，误检和漏检等问题均会导致飞行路线与理想情况偏离，影响整体规划和布局。因此，提高目标检测精度是增强无人机动态规划能力的有效技术途径。

2、目标检测的任务是同时估计给定图像中所有目标实例的类别和位置。在航拍图像目标检测任务中，检测算法的性能受数据集中各类目标分布情况的影响较为严重。当前航拍数据集普遍存在目标类间实例数量不均衡的特点，即不同类别的目标数量在数据集中的占比差距较明显，该类问题可称为前景类别之间的不平衡问题；前景类别分布不均将使检测模型在训练过程中倾向于学习过度表示类(即在类不平衡的情况下，训练期间数据集中正样本较多的类)目标的特征，对最终模型的检测精度和泛化能力造成不利影响，易出现误检、漏检等情况，导致无人机态势分析存在偏差，影响动态规划任务，因此近年来航拍图像目标检测的不平衡问题受到了极大的关注。

3、sungeun hong等人发表在《proceedings of the ieee/cvf internationalconference on computer vision workshops》的《patch-level augmentation forobject detection in aerial images》采用数据增强方法处理航拍图像前景类别间不平衡问题，该方法通过剪切目标数据集中的目标实例并将之粘贴至随机选择的来自目标数据集或外部数据集的图像上的方法进行实例样本平衡，使用实例掩码策略解决数据集之间的异质性，并利用切图方法多次训练检测模型。该方法的缺点是引入外部数据集并增加样本实例、使用切图方法多次训练目标检测模型的成本大且耗时长。《一种类别真值约束分类函数的样本不平衡目标检测方法》采用对输入数据集进行非均匀采样的方式解决类别不平衡问题，该方法通过减少对过度表示类目标实例的采样率、保持对不足表示类目标实例的采样率进行样本平衡，缺点是减少了数据集有效训练的目标实例数量，降低了数据的多样性，易造成检测模型泛化性能的下降。

技术实现思路

1、为了解决航拍图像数据集目标类间实例数量不均衡，目标检测模型性能受过度表示类主导的问题，本发明的主要目的是提供一种基于类间样本平衡约束的航拍图像目标检测方法，以深度学习目标检测中常用的基于锚框的单阶段retinanet网络的变体作为本发明的基础网络模型，在此基础上，分析目标域数据集中不同类别的目标数量分布情况，利用全局数量统计特征自适应为不同类目标指派正样本数量，提高不同类别正样本数量的整体均衡性，以提升深度学习目标检测模型的检测能力，进而提高航拍图像目标检测精度。

2、本发明的目的是通过下述技术方案实现的。

3、本发明公开的一种基于类间样本平衡约束的航拍图像目标检测方法，包括如下步骤：

4、s01：分析类别不均衡数据集，利用训练数据集中目标类别实例的全局数量统计特征作为相似性度量指标，通过affinity propagation方法在实例数量特征空间上对目标类别进行自适应聚类，得到kopt个类簇ci,i∈kopt。

5、s02：建立深度学习目标检测网络，包括输入数据处理模块、特征提取模块、多尺度特征融合模块与检测头模块；优化检测头模块的正负样本分配方法，引入目标类别聚类、类间正样本平衡约束函数和线性分配方法，并以聚类中心作为每一类簇的全局特征，通过类间正样本平衡约束函数为不同类别的目标指派正样本采样数，实现目标类间样本采样的整体均衡；对于单张图像，根据中心先验与平衡正采样数，在不同尺寸的特征图上为目标实例真值框分配候选锚框，实现候选样本的多尺度覆盖；同时，对于单张图像中的所有目标实例，引入全域最佳筛选原则，利用jonker-volgenant算法为所有目标真值框计算全图的高diou正样本分配方案；筛选中心点在对应真值框内部的正样本，其余锚框均为负样本，得到场景图像最终的正负样本分配方案。

6、s03：将训练数据集输入到步骤s02的深度学习目标检测算法网络中进行训练，分析目标域数据集中不同类别的目标数量分布情况，利用全局数量统计特征自适应为不同类目标指派正样本数量，提高不同类别正样本数量的整体均衡性，得到训练好的目标检测模型。

7、s04：将测试图像输入到步骤s03中训练好的深度学习目标检测模型中，对待测场景图像的目标进行分类与定位，提高航拍图像目标检测精度。

8、进一步地，所述步骤s01的实现方法为：

9、对于含有n类目标的数据集，采用affinity propagation聚类算法对目标类别进行实例数量特征空间的聚类，具体方法为：

10、第一步根据数据集中n个类别目标的数量构建集合，并统计由n个元素构成的相似度矩阵s作为初始矩阵，s(j,k)为元素j和k之间的相似度，其值为两元素欧几里得度量的负数；第二步通过相应归属度信息a(j,k)，计算相似度矩阵中所有元素的吸引度信息r(j,k)：

11、rt+1(j,k)＝λ·rt(j,k)+(1-λ)·rt+1(j,k)  (1)

12、吸引度r(j,k)表示元素k适合作为元素j的聚类中心的程度，计算公式为

13、

14、归属度a(j,k)表示元素j选择元素k作为其聚类中心的合适程度，计算公式为

15、

16、t为迭代次数，阻尼系数λ用于降低a和r。

17、第三步通过相应吸引度信息，计算相似度矩阵中所有元素的归属度信息：

18、at+1(j,k)＝λ·at(j,k)+(1-λ)·at+1(j,k)  (4)

19、第四步统计所有元素的a和r的总和，得到聚类中心；重复第二、三四步直至kopt个聚类中心不再变化或达预设迭代次数。

20、进一步地，所述步骤s02的实现方法为：

21、深度学习目标检测网络包括输入数据处理模块、特征提取模块、多尺度特征融合模块与检测头模块，所述输入数据处理模块对输入训练数据集进行反转与缩放，实现图片尺度范围统一；特征提取模块实现对图像不同深度特征的有效提取；多尺度特征融合模块实现对不同尺度深层特征的高效融合；检测头模块在特征金字塔的多尺度特征图层面生成锚框，并将锚框分配为属于目标实例真值框的正样本以及属于背景类的负样本，最后对所有样本进行分类预测，对正样本进行回归及中心度预测。

22、优选的，检测头模块的正负样本分配方法为：

23、根据步骤s01生成的kopt个类簇，以聚类中心m为基础特性，通过类间正样本平衡约束函数为不同类别的目标指派正样本数量，实现目标类间正样本采样的全域均衡整合。优选的，所述类间正样本平衡约束函数为：

24、

25、其中pi代表第i个目标类别的正样本采样数，是第i个目标类别所属类簇的聚类中心，mbase代表具有最多元素的类簇cbase的聚类中心，pbase为超参数，表示属于类簇cbase的所有类别的正样本采样数，[·]代表四舍五入取整。

26、若图像i中存在g个目标真值框，基于中心先验与跨尺度理念，在特征金字塔网络输出的五个特征图尺度上，根据中心点欧式距离越小越好的原则，为第gi∈g个属于类别ui∈c的真值框挑选pui个锚框作为该真值框的候选正样本。针对所有候选正样本，引入全域最佳的思想，采用jonker-volgenant算法为g个目标真值框指派高diou的正样本。

27、采用jonker-volgenant算法为g个目标真值框指派高diou的正样本的具体过程为：

28、为第gi个真值框扩充个重复框，并计算个真值框与所有候选样本的1-diou矩阵，作为jonker-volgenant算法的消耗矩阵，再利用jonker-volgenant为每个真值框gi指派整体均衡的个正样本。

29、筛出中心点处于真值框内部的受指派正样本，其余锚框均作为负样本，得到最终的样本分配方案。

30、进一步地，所述步骤s04的实现方法为：

31、将待测图像输入训练后的深度学习目标检测模型中，特征提取与特征融合模块生成测试图像的多级金字塔特征图，作为检测头的输入；检测头在多级金字塔特征图上生成预测框。检测头模块包含分类分支，回归分支与centerness分支，分类分支输出所有预测框的分类结果，回归分支输出预测框的边框回归偏移量，centerness分支输出预测框的中心度分数，对所有预测框进行非极大值抑制(nms)操作得到待测图像最终的预测结果。

32、有益效果：

33、1、为了解决航拍数据集中不同类目标实例数量不均衡，目标检测性能受过度表示类主导的问题，本发明公开的一种基于类间样本平衡约束的航拍图像目标检测方法，通过目标实例数量特征空间聚类与类间正样本平衡约束函数，实现目标类间正样本采样的整体均衡，基于全域最佳的思想，利用jonker-volgenant算法实现全局图的高diou正样本分配方案，能够在不影响模型检测速度的同时改善模型的检测精度。

34、2、本发明公开的一种基于类间样本平衡约束的航拍图像目标检测方法，通过类间正样本平衡约束函数降低过度表示类的正样本采样数，提高不足表示类的贡献度，使模型均衡学习各类目标特征，能有效提高目标检测模型的精度。

35、3、本发明公开的一种基于类间样本平衡约束的航拍图像目标检测方法，通过线性分配方法在全图层面上分配均衡的高diou正样本，解决图像目标实例密集导致同一候选正样本可能同时被分配至多个真值框的矛盾的同时有效提高目标检测性能。