一种基于多类注意力机制的脉冲神经网络的目标跟踪方法

本发明属于目标跟踪，具体涉及一种基于多类注意力机制的脉冲神经网络的目标跟踪方法。

背景技术：

1、同于传统相机拍摄的是一幅完整的图像，事件相机拍摄的是事件（event），即捕捉像素亮度的变化情况。事件相机的基本原理是当某个像素的亮度变化累计达到一定阈值后就输出一个事件。当场景中由物体运动或光照改变造成大量像素变化时，会产生一系列的事件，这些事件以事件流(events stream)方式输出。事件流的数据量远小于传统相机传输的数据，且事件流没有最小时间单位，所以不像传统相机定时输出数据，具有低延迟特性。由于其特殊的成像原理，事件相机只要亮度一有变化就会输出，且仅输出变化的数据占用了很小的带宽。同时事件相机更擅长捕捉亮度变化，在较暗和强光场景下也能输出有效数据。此外事件相机还具有低延迟、高动态范围、极低功耗等特性。

2、第三代神经网络，即脉冲神经网络(spiking neural network，snn)与目前流行的神经网络和机器学习方法有着根本上的不同。snn使用脉冲来表示特征，一旦snn中的神经元达到了某一电位阈值，脉冲就会发射，随后达到膜电位阈值的神经元会被重置。常见的脉冲神经元模型有if模型和lif模型等。相比以往的深度学习网络，snn能够更好的处理时序数据，并且有更好的稳定性和更低的能源消耗。

3、在计算机视觉研究领域中，单目标追踪是一项极具挑战性的任务。基于图像帧的传统跟踪网络在处理复杂环境，例如相机抖动、光照变化、背景模糊等情况时表现不佳，且对算法运行平台硬件的要求较高。因此为了解决上述难点问题，需要提出更加高效和鲁棒的目标跟踪算法，以减小算法对跟踪环境和计算资源的要求。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于多类注意力机制的脉冲神经网络的目标跟踪方法，针对事件相机采集得到的事件数据下的目标跟踪问题，采用基于多类注意力机制的脉冲神经网络进行跟踪预测，充分利用脉冲神经网络在提取事件特征和计算资源消耗上的优势，同时注意力机制使得提取的特征更加关注待跟踪目标，该方法比以往的深度卷积网络更有生物合理性，在跟踪精度上取得了理想的效果。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种基于多类注意力机制的脉冲神经网络的目标跟踪方法，包括：

4、步骤1、对事件相机保存的事件数据进行预处理，将事件数据转化成图像事件帧序列，并得到图像事件帧序列中的模板区域和搜索区域；

5、步骤2、构造一个基于具有多类注意力机制的lif脉冲神经网络模块的双路目标跟踪网络；

6、步骤3、将模板区域和搜索区域输入双路目标跟踪网络，具有多类注意力机制的lif脉冲神经网络模块对模板区域和搜索区域进行特征提取和融合，融合结果输入预测头模块，输出目标跟踪结果。

7、为优化上述技术方案，采取的具体措施还包括：

8、上述的步骤1所述对事件相机保存的事件数据进行预处理的步骤如下：

9、1.1、将每个事件数据转化成图像事件帧序列，该序列中 t时刻的事件帧将被均分为个时间切片，表示为，其中是时间切片的个数，即时间维度大小；

10、1.2、在事件帧序列的第一个事件帧中框选需要追踪的目标初始位置，并裁剪出模板区域；

11、1.3、根据事件帧中跟踪目标的中心坐标，在下一事件帧中裁切出搜索区域。

12、上述的步骤2中所述的双路目标跟踪网络由lif脉冲神经网络模块多次叠加组成，其中一个lif脉冲神经网络模块包括基于卷积的lif神经元模块和基于多类注意力机制的特征提取模块；

13、所述基于卷积的lif神经元模块包括conv-bn层和lif脉冲神经元层；

14、所述基于多类注意力机制的特征提取模块包括基于时间注意力机制的时间特征提取模块tafe，基于通道注意力机制的通道特征提取模块cafe和基于空间注意力机制的空间特征提取模块safe。

15、上述的基于多类注意力机制的特征提取模块位于每个基于卷积的lif神经元模块的conv-bn层和lif脉冲神经元层之间，使得conv-bn层得到的特征聚焦于感兴趣的跟踪目标区域，同时加强提取的特征在不同时间维度之间的联系。

16、上述的conv-bn层对输入的模板区域和搜索区域的每一个时间切片都进行特征编码并进行归一化处理得到对应的个时间切片事件特征和，并输入至后续的基于多类注意力机制的特征提取模块；所述lif脉冲神经元层根据基于多类注意力机制的特征提取模块的输出特征和当前的累积电位进行计算，当累积电位超过神经元阈值时，神经元发放一个脉冲，并将累积电位重置为基线水平。

17、上述的tafe根据输入的个时间切片事件特征，计算出事件特征对应的权重向量，将注意力集中在具有更多目标信息的事件特征上，代表形状为的特征矩阵，其中为或。

18、上述的cafe和safe位于tafe之后，根据目标信息的位置信息和外观信息来计算不同通道下的权重值和不同位置下的权重值；

19、是通道数量，和分别是特征的高和宽。

20、上述的基于多类注意力机制的特征提取模块的输入输出关系为：

21、；

22、其中cbr表示conv-bn-relu层，relu表示relu层，表示点乘操作。

23、上述的步骤3的具体步骤如下：

24、3.1、将模板区域和搜索区域送入双路目标跟踪网络中，具有多类注意力机制的lif脉冲神经网络模块对模板区域和搜索区域进行特征提取，得到模板区域特征和搜索区域特征；

25、3.2、将模板区域特征和搜索区域特征做互相关操作后得到的特征矩阵输入到具有分类分支、质量评估分支和框回归分支的预测头模块，其中分类分支用于判断目标是否存在以及目标属于哪一类，质量评估分支用于评估检测到的目标框是否有效，框回归分支用于预测调整目标框的位置和尺寸，最终输出目标的位置信息。

26、本发明具有以下有益效果：

27、1、本发明利用带有多类注意力模块的脉冲神经网络进行事件数据形式下的目标跟踪，基于脉冲神经网络的稀疏性和事件驱动的特性进行特征提取，比以往的深度卷积网络更有生物合理性，在跟踪精度上取得了理想的效果。相比于传统的深度学习网络型，脉冲神经网络的工作方式更接近于生物神经系统，符合人脑的运行模式，减小了参数量，降低了能源消耗，能够更高效地处理和利用输入数据。在针对事件数据的目标跟踪过程中，基于脉冲神经网络的跟踪算法也能够达到理想的跟踪性能。

28、2、在特征提取基础上引入多类注意力机制，所设计的基于多类注意力机制的特征提取模块，能够有效地融合时间、空间和通道维度上的特征信息，进一步提高所提取特征对待跟踪目标的关注度和描述能力，从而提高单目标跟踪的性能并实现更加鲁棒的跟踪效果。

29、3、在事件相机上进行单目标追踪相较于传统相机上的追踪方法具有显著的优势，尤其是在跟踪速度方面具有很大的提升。事件相机能够以高时间分辨率采集数据，并通过事件的方式传递感兴趣的目标信息，从而能够实现更快速的目标检测和追踪，在目标跟踪的实时应用等方面具有较大的潜力。