一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备与流程

本发明属于图像处理，具体涉及一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法。

背景技术：

1、在野外复杂自然场景下，基于视觉的特定运动目标跟踪任务受如下因素限制：(1)烟雾干扰；(2)低成本成像设备的图像分辨率不足，且拍摄运动目标容易导致目标在图像上模糊；(3)目标物体尺度范围较大。其中，前两个因素导致图像或视频中目标物体模糊不清难以分辨，第三个因素对踪算法在多尺度物体的自适应检测与跟踪方面造成困难。

技术实现思路

1、本发明旨在提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法、装置与设备，解决现有技术中复杂场景下的低分辨率图像中特定目标物体跟踪困难的技术问题。

2、为解决上述技术问题，本发明的第一方面是：

3、提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的方法，包括：

4、获取一幅包含待跟踪目标物体的图像作为模板帧；

5、通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像；

6、在所述第一高分辨率清晰化图像中指定目标物体；

7、获取需要进行目标物体跟踪的图像序列，通过去烟雾与清晰化模块得到所述图像序列中各图像帧对应的第二高分辨率清晰化图像；

8、通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标。

9、优选的，所述通过去烟雾与清晰化模块得到所述模板帧对应的第一高分辨率清晰化图像包括：

10、通过两个子网络的级联实现两个子任务，所述两个子网络分别为第一子网络和第二子网络，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰，所述第二子网络通过编码器-解码器网络结构实现低分辨率图像的清晰化，最终得到所述第一高分辨率清晰化图像。

11、优选的，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰包括：

12、设所述第一子网络为g1，所述模板帧为被烟雾污染的低分辨率图像ilr，0，使用深度卷积网络模型对图像ilr，0进行多次上采样和下采样，提取图像特征获得特征图；

13、对获取的所述特征图进行融合，抓取图像ilr，0的局部和全局特征，融合后得到特征图f1。

14、优选的，所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体且没有烟雾干扰的真实图像作为第一对比图像，并对融合后得到的特征图f1进行卷积操作得到中间预测特征图通过第一损失函数计算所述中间预测特征图与所述第一对比图像的差异程度。

15、优选的，所述去烟雾与清晰化模块在训练过程中，引入第一判别器d1，通过所述第一判别器d1判断所述第一子网络g1输出的图像是生成的没有烟雾干扰的图像，还是真实的没有烟雾干扰的图像，并通过对抗损失的形式驱动所述第一子网络生成更加逼真的图像。

16、优选的，所述第二子网络通过编码器-解码器网络结构实现低分辨率图像的清晰化包括：

17、设所述第二子网络为g2，将经所述第一子网络处理后的特征图进行上采样，得到与对应于所述第一高分辨率清晰化图像尺寸一致的特征图f2；

18、然后使用编码器-解码器网络结构对特征图f2进行进一步编码并解码获取所述第一高分辨率清晰化图像。

19、优选的，所述去烟雾与清晰化模块在训练过程中，获取包含有待跟踪目标物体的高分辨率清晰的真实图像作为第二对比图像，并对所述第一高分辨率清晰化图像进行卷积操作得到预测高分辨率图像通过第二损失函数计算所述预测高分辨率图像与所述第二对比图像的差异程度。

20、优选的，所述去烟雾与清晰化模块在训练过程中，引入第二判别器d2，通过所述第一判别器d2判断所述第二子网络g2输出的图像是生成的高分辨率清晰图像，还是真实的高分辨率清晰图像，并通过对抗损失的形式驱动所述第二子网络生成更加逼真的图像。

21、优选的，所述通过目标物体跟踪模块在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标包括：

22、设在所述第一高分辨率清晰化图像中指定的目标物体为目标物体模板z，设当前所述第二高分辨率清晰化图像为待跟踪图像x；

23、所述目标物体跟踪模块使用轻量级网络模型作为主干网提取所述目标物体模板z和待跟踪图像x的图像特征；

24、所述目标物体跟踪模块使用多尺度特征融合单元融合从所述目标物体模板z和待跟踪图像x提取的不同尺度的图像特征；

25、所述目标物体跟踪模块使用交叉注意力融合单元通过单分支结构隐式地计算所述目标物体模板z和待跟踪图像x的相关性，从而检测待跟踪图像x中目标物体的位置。

26、优选的，所述目标物体跟踪模块使用多尺度特征融合单元融合从所述目标物体模板z和待跟踪图像x提取的不同尺度的图像特征包括：

27、所述多尺度特征融合单元将输入的图像特征分为n组，并经过n组不同深度的可分离卷积网络，学习n个尺度的图像特征，然后通过张量拼接方式恢复图像特征维度，再使用一个n*n的卷积核将n组多尺度特征进行融合，并输入给所述交叉注意力融合单元。

28、优选的，所述目标物体跟踪模块使用交叉注意力融合单元通过单分支结构隐式地计算所述目标物体模板z和待跟踪图像x的相关性包括：

29、所述目标物体模板z的图像特征经所述多尺度特征融合单元后获取目标物体模板特征图zl，所述待跟踪图像x的图像特征经所述多尺度特征融合单元后获取待跟踪图像特征图xl；

30、所述交叉注意力融合单元对从相应的多尺度特征融合单元传来的目标物体模板特征图zl和待跟踪图像特征图xl进行融合，隐式地获得所述待跟踪图像特征图xl中每一像素位置与所述目标物体模板特征图zl的相关性。

31、优选的，所述目标物体跟踪模块使用两个检测分支进行预测，这两个检测分支分别为第一检测分支和第二检测分支所述第一检测分支用于输出所述待跟踪图像x中每个像素位置包含目标物体的概率，所述第二检测分支用于输出在所述待跟踪图像x检测出的目标物体尺寸。

32、优选的，所述目标物体跟踪模块在训练过程中，引入第三损失函数和第四损失函数监督训练，通过第三损失函数和第四损失函数分别计算所述第一检测分支和第二检测分支输出结果与真实结果的差异程度。

33、优选的，所述获取一幅包含待跟踪目标物体的图像是使用低分辨率相机拍摄；所述图像序列是在动态环境下使用同一相机拍摄所述目标物体得到。

34、本发明的第二方面是，提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的装置，包括：

35、去烟雾与清晰化模块，用于得到模板帧对应的第一高分辨率清晰化图像；以及用于得到待跟踪图像序列中各图像帧对应的第二高分辨率清晰化图像；

36、目标物体跟踪模块，用于在各所述第二高分辨率清晰化图像中得到与在所述第一高分辨率清晰化图像中指定的目标物体匹配的目标物体的位置坐标。

37、优选的，所述去烟雾与清晰化模块包括第一子网络、第二子网络，通过这两个子网络的级联实现两个子任务，所述第一子网络通过多尺度图像的融合来去除所述模板帧中烟雾干扰，所述第二子网络通过编码器-解码器网络结构实现低分辨率图像的清晰化，最终得到所述第一高分辨率清晰化图像。

38、优选的，所述目标物体跟踪模块使用轻量级网络模型作为主干网提取所述目标物体模板z和待跟踪图像x的图像特征；

39、并在所述目标物体跟踪模块中设有多尺度特征融合单元和交叉注意力融合单元，通过所述多尺度特征融合单元融合从所述目标物体模板z和待跟踪图像x提取的不同尺度的图像特征，所述交叉注意力融合单元通过单分支结构隐式地计算所述目标物体模板z和待跟踪图像x的相关性，从而检测待跟踪图像x中目标物体的位置。

40、优选的，所述目标物体跟踪模块中包含有第一检测分支和第二检测分支，所述第一检测分支用于输出所述待跟踪图像x中每个像素位置包含目标物体的概率，所述第二检测分支用于输出在所述待跟踪图像x检测出的目标物体尺寸。

41、本发明的第三方面是：

42、提供一种复杂场景下低分辨率图像中进行特定目标物体跟踪的设备，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器中存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行本发明第一方面所述的方法。

43、与现有技术相比，本发明的有益效果是：通过多尺度图像的融合来去除模板帧以及待跟踪图像序列中各图像中的烟雾干扰，以及通过编码器-解码器的网络结构实现低分辨率图像的清晰化，最终获得模板帧以及待跟踪图像序列中各图像的分辨率清晰化图像，为在图像序列中准确跟踪模板帧中的目标物体做铺垫；使用轻量级网络模型作为主干网提取目标物体模板和待跟踪图像的图像特征，并进行多尺度特征融合，使模型可以识别图像中尺寸跨度较大的目标物体，然后通过交叉注意力融合的方式计算目标物体模板与待检测图像的相关性，从而快速检测任意图像帧中目标物体的位置，实现在图像序列中对目标物体的跟踪。