一种复杂背景下的运动小目标跟踪方法及系统

本发明涉及物体跟踪技术，具体涉及一种复杂背景下的运动小目标跟踪方法及系统。

背景技术：

1、运动的小目标物体在我们的日常生活中随处可见，比如当前高楼层小区中的高空抛物现象时有发生。通常运动的小目标物体具有旋转、形变、背景干扰、光线变化、遮挡、低分辨率等特点。近年来，随着深度学习技术的不断发展进步，在计算机视觉领域取得了不断的突破，在许多领域得到了应用，计算机视觉的主要任务是使计算机具有一双跟人一样的眼睛。而对图像中小目标物体进行检测和跟踪是一个难点问题。

2、当前，随着深度学习的迅速发展，在目标检测领域取得了重大突破，但是检测和跟踪小目标物体仍然存在着很大的不足。现有的运动小目标物体检测和跟踪算法还不能很好的满足在实际的复杂场景中的应用，主要存在如下问题：

3、1、小目标物体跟踪的难点在于目标的特征不明显，可利用的特征信息较少，若是图像本身分辨率不高的情况下，小目标通常仅有几个像素，特征不明显。

4、2、复杂的背景干扰问题，复杂环境下的运动小目标检测和跟踪会受到光照、遮挡等因素的影响，因此难以将目标与背景或相似物体分割开来，有效实现对小目标的检测和跟踪。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种复杂背景下的运动小目标跟踪方法及系统解决了现有技术不能对复杂场景下的小目标精准识别的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、第一方面，提供一种复杂背景下的运动小目标跟踪方法，其包括以下步骤：

4、s1、获取待跟踪小目标的视频段，将视频段转化为一帧一帧的图像序列；

5、s2、采用尺度自适应残差神经网络对每一帧图像进行特征粗提取，之后采用transformer对粗提取特征进行多尺度和细粒度特征提取，得到细粒度特征；

6、s3、采用transformer和多层感知机对细粒度特征中的小目标进行检测，得到细粒度特征中所有小目标的类别和检测框；

7、s4、计算相邻两帧图像中同一类别小目标的检测框之间的相似度，基于相似度确定每帧图像中的跟踪目标。

8、本发明的有益效果为：本方案通过残差神经网络超强的特征提取能力和transformer的逐像素级的提取图像中的特征，可以有效的提取小目标的特征信息，多层感知机进行编码、解码，得以准确的获取到目标的位置信息，可以更为精准的跟踪到移动中的小目标物体，实现复杂背景下的运动小目标的实时跟踪。

9、进一步地，所述尺度自适应残差神经网络的残差块中的卷积核采用1*3和3*1的卷积核。使用更小的卷积核进行卷积操作时候，可以逐像素级的对图像中的小目标进行特征提取，提取的特征更有针对性，且参数量有所减少。

10、进一步地，粗提取和提取细粒度特征的计算公式分别为：

11、y＝sa-resnet(pn+bias)+x

12、q＝w*transformer(y，θ)+b

13、其中，y为粗提取后的特征；sa-resnet(·)为尺度自适应残差运算，bias为动态的自适应算子；x为卷积核对特征图进行采样的区域；q为细粒度特征；w为自适应权重值；transformer(·)为将视频片段p中获取运动小目标出现在每一帧的图片集，之后再通过卷积算子将图片集的图片逐一做特征变换；θ为transformer模型的可学习的权重参数；b为网络的偏置项。

14、上述技术方案的有益效果为：本方案通过改进提出了一种尺度自适应的残差神经网络，在特征提取能力提升的基础上，网络模型的参数量减少了，并且逐像素级别的提取图像中的特征，在特征粗提取时就提取了图像中丰富的特征，便于后续的编码和解码，获取到小目标物体的定位信息。

15、进一步地，所述步骤s3进一步包括：

16、s31、采用transformer编码器中的多头注意力机制对细粒度特征进行编码：

17、

18、multi-head(q，k，v)＝concat(head1，......，headi)*wi

19、

20、其中，q为细粒度特征，q为编码时的查询向量；k为键，v为多头注意力计算的值，分别为键对应的权重值；self-attention(·)为自注意力计算，headi为一个子空间；n为子空间的总数量；multi-head(·)表示将多头进行合并；wi为模型的权值；wi为查询向量的权重值，qtranspose为查询向量的转置；ktranspose为查询键的矩阵转置，vtranspose为查询的向量值的转置；

21、s32、采用过transformer解码器中的多头注意力机制对查询到图像中实体进行解码；

22、s33、采用多层感知机对解码器的输出进行映射，得到图像中所有小目标的类别和检测框：

23、class，boxm＝w1*(decoder(encoder(multi-head(q，k，v))))+b1

24、其中，class为物体类别；boxn为小目标物体的检测框；w1为多层感知机的权重；encoder(.)为编码，decoder(.)为解码，b1为偏置项。

25、上述技术方案的有益效果为：本方案通过改进提出了一种多头自注意力网络模型，通过在编码和解码时引入自注意力模型，通过获取多个子空间的特征信息，再将多个子空间的特征进行融合，最终获取到小目标物体的准确类别和位置信息。

26、进一步地，相似度的计算公式为：

27、a＝jaccard_sim(boxn，boxn-1，tn)

28、其中，a为相似度；jaccard_sim(.)为相似度计算函数；boxn和boxn-1分别为第n帧和第n-1帧图像中的小目标物体的检测框；tn＝(t1，t2，...，tn)为视频段的时间序列。

29、进一步地，运动小目标跟踪方法还包括对运动中小目标物体的实时跟踪结果，实时发出预警信息。

30、第二方面，本方案提供一种运动小目标跟踪系统，其包括：

31、视频获取模块，用于获取待跟踪小目标的视频段，将视频段转化为一帧一帧的图像序列；

32、特征提取模块，用于采用尺度自适应残差神经网络对每一帧图像进行特征粗提取，之后采用transformer对粗提取特征进行多尺度和细粒度特征提取，得到细粒度特征；

33、小目标检测模块，用于采用transformer和多层感知机对细粒度特征中的小目标进行检测，得到细粒度特征中所有小目标的类别和检测框；

34、小目标跟踪模块，用于计算相邻两帧图像中同一类别小目标的检测框之间的相似度，基于相似度确定每帧图像中的跟踪目标。

技术特征：

1.一种复杂背景下的运动小目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的运动小目标跟踪方法，其特征在于，所述尺度自适应残差神经网络的残差块中的卷积核采用1*3和3*1的卷积核。

3.根据权利要求2所述的运动小目标跟踪方法，其特征在于，粗提取和提取细粒度特征的计算公式分别为：

4.根据权利要求1所述的运动小目标跟踪方法，其特征在于，所述步骤s3进一步包括：

5.根据权利要求1所述的运动小目标跟踪方法，其特征在于，相似度的计算公式为：

6.根据权利要求1-5任一所述的运动小目标跟踪方法，其特征在于，还包括对运动中小目标物体的实时跟踪结果，实时发出预警信息。

7.一种应用于权利要求1-6任一所述的复杂背景下的运动小目标跟踪方法的运动小目标跟踪系统，其特征在于，包括：

技术总结
本发明公开了一种复杂背景下的运动小目标跟踪方法及系统，跟踪方法包括获取待跟踪小目标的视频段，将视频段转化为一帧一帧的图像序列；采用尺度自适应残差神经网络对每一帧图像进行特征粗提取，之后采用Transformer对粗提取特征进行多尺度和细粒度特征提取，得到细粒度特征；采用Transformer和多层感知机对细粒度特征中的小目标进行检测，得到细粒度特征中所有小目标的类别和检测框；计算相邻两帧图像中同一类别小目标的检测框之间的相似度，基于相似度确定每帧图像中的跟踪目标。

技术研发人员：蒋建辉,覃晓,元昌安,杨晓东,唐沫岚,陈必泉
受保护的技术使用者：广西科学院
技术研发日：
技术公布日：2024/1/13