一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法与流程

本发明属于目标检测识别，具体涉及一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法。

背景技术：

1、近年来，随着汽车工业的不断发展，全国汽车保有量大大增加。但是，汽车制造业的进一步发展在为各个领域带来便利的同时，也产生了道路拥挤、交通事故频发等现象，为道路安防监控提出了新的挑战。现有道路安防监控方式主要包括定点摄像头监控、交警路面巡逻等，存在视角狭隘、图像不清晰、难以获取第一手现场图像资料等问题，无法满足日益复杂的交通环境需求。在此基础上利用无人机地面交通监控系统成本低、机动性强、灵活性强、成像清晰、覆盖域广等优点，可有效进行道路车辆检测，实现对交通的智能化控制和管理。

2、在实际应用中，由于道路车辆目标种类繁多且类内差异大，有轿车、卡车和公交车等多个种类，且同种类别内存在形状、颜色和大小等差异，导致算法鲁棒性与泛化能力不足；同时无人机航拍地面图像视角多变、场景多样、背景复杂、目标繁多、尺度差异大、小尺度目标可用特征点少，导致其检测精度不高，尤其是对小目标的检测较为困难。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明公开提出一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，以全面完善地面车辆目标样本同时平衡目标尺度特征映射从而进一步提升检测性能。

2、为此，本发明提供了一种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，包括如下步骤：

3、s1：使用待生成目标图像样本数据建立待生成目标样本的掩码-关键点图像配对集；

4、s2：将待生成目标样本的掩码-关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集；

5、s3：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征；

6、s4：对网络模型提取的特征进行处理，利用特征关键点解耦头得到最终的检测结果。

7、进一步的，s1：使用待生成目标图像样本数据建立待生成目标样本的掩码-关键点图像配对集的具体过程是：首先通过网格线将源图像划分为9个区域，使用边界框保留待生成目标所在的区域，随机选择其中一个区域并从源图像中剪切出来，覆盖从中心到总面积的特定比例，生成掩码图像；同时在掩码图像的基础上增加关键点图像输入，与掩码图像配对产生掩码-关键点图像配对集。

8、进一步的，s2：将待生成目标样本的掩码-关键点图像配对集输入利用随机采样策略引导下的潜在扩散模型合成高逼真度的丰富特征平衡数据集包括如下步骤：

9、s301、为了加快推理速度在潜在扩散模型中引入随机采样策略，从时间[1，t]中随机采样k个时间步长{t1，…，tk}，然后可利用预测值得到下一个样本在此基础上可得到图像保真度损失，如下式所示：

10、

11、其中，是根据随机采样进行预测的，通过最小化图像保真度损失，在潜在扩散模型中加入了全局约束，对抗扩散模型的局部拟合，可进一步提升数据逼近质量；

12、s302、以潜在扩散模型为生成器，图像预训练模型作为鉴别器；将所述的掩码-关键点图像配对集输入潜在扩散模型，根据关键点提示，潜在扩散模型在掩码区域生成目标图像，然后将填充好的区域图像发送到鉴别器，以确定它是否与输入关键点提示匹配，若匹配潜在扩散模型将生成新的显著特征目标图像；

13、潜在扩散模型在第一阶段，自动编码模型学习图像空间通过编码器ε将给定图像x∈rh×w×3编码为潜在表示z∈rh×w×c，使z＝ε(x)，然后通过解码器d从潜在表示中重建预测的图像使得和在第二阶段，训练扩散模型预测其基于随机高斯噪声输入zt，在训练期间从编码器中有效地获得zt，解码器将其解码到图像空间，如下式所示：

14、

15、进一步的，所s3：使用原始采集图像与合成图像共同构成的数据集通过尺度建模框架获取目标各级尺度关键点特征包括如下步骤：

16、s401、通过自顶向下的路径融合主干的输出得到(p3，p4，p5)，定义为pl(l＝3，4，5)表示各级尺度各层次特征图，将p3和p5调整为与p4相同的大小并进行聚合和平均获得均衡的语义特征；

17、s402、通过全局上下文模块提取上下文信息；

18、s403、将特征缩放到与原始多层特征图相同的大小，并通过残差连接在像素级进行融合，增强特征的表征性；在全局上下文模块中，利用1×1卷积的两个分支在通道域中提取上下文信息，在空间域中保持高分辨率减少特征降维导致的信息丢失；然后对两个分支的输出特征进行矩阵点乘融合，得到全局上下文信息；最后，利用非线性函数拟合细粒度的输出分布，充分获取背景与目标之间的长期依赖关系；整个尺度建模过程如下式所示：

19、

20、其中，global代表全局上下文模块，如下式所示：

21、

22、其中，ag(x)∈r1×h×w，x表示输入特征张量，w(·)和z(·)为标准1×1卷积操作，f(·)表示全局池化算子，表示矩阵点乘运算，θ1、θ2和θ3是三个重塑算子，σsg和σsm分别表示softmax和sigmoid非线性函数。

23、进一步的，s4：对网络模型提取的特征进行处理，利用特征关键点解耦头得到最终的检测结果的具体过程是：

24、在解耦头部分首先通过尺度注意模型根据多尺度特征在尺度建模框架的不同层次上的语义重要性进行融合完成尺度域的注意操作。具体地，将尺度建模框架中的多层特征输出作为一个特征映射，同时在空间和尺度域中填充到注意模型中；特征金字塔的多层特征输出表示为其中，li表示为特征金字塔中的级别，hi、wi、c分别表示不同层次特征图的高度、宽度和通道尺寸；空间维度定义为si＝hi×wi，将x重塑为联合注意函数如下式所示:

25、f＝fl(fs(x')·x')·x'

26、其中，fs为空间注意，fl为尺度注意，x′为输入特征张量；

27、

28、fl(x')＝σ(fconv(fap(x')))

29、其中，k为采样位置，wk、pk、δpk、δmk分别为在第k个位置学习到的权重、预设偏移量、偏移量和重要性标量，p为输入特征图采样位置的初始空间位置，fap(·)为自适应平均池化，fconv(·)为1×1卷积操作的线性函数，σ(·)为hard-sigmoid函数；

30、最终的推理预测过程是通过显著的关键特征点预测物体的左上角、右下角和中心关键点来表示目标，将骤s3得到的g3-g5特征图作为预测层，关键点坐标在每个预测层中进行回归；具体地，将ground-truth分割为四部分来解耦左上和右下关键点，其中，tl-gt和br-gt表示对左上和右下关键特征点的回归。在最后的推理过程中，边界框由左上角关键点的坐标和右下角关键点的坐标定位，同时会生成一个中心区，该中心区域用于确定中心关键点是否存在，然后优化中心关键点的位置，得到最终的检测结果。

31、本发明提供这种基于随机采样扩散策略联合关键点尺度建模的目标检测方法，首先在潜在扩散模型的基础上，引入随机采样策略对抗扩散模型的局部拟合，加速推理过程，进一步提升图像逼真度，同时为了增强目标逼真度与背景融合度，设计了掩码-关键点图像配对集，来生成特征更为显著的样本数据集；同时结合设计的尺度建模框架以及关键点特征解耦头，联合合成的平衡样本数据集，通过特征多层次信息建模增强了目标特征映射，有效表征了目标和背景之间的依赖关系，同时提高了在复杂交通场景中的适应性，从而进一步提升道路监控能力。

32、下面结合附图和实施例对本发明做详细说明。