一种基于孪生网络的目标跟踪方法与流程

1.本发明属于图像处理技术领域，特别涉及一种基于孪生网络的目标跟踪方法。


背景技术：

2.目标跟踪是视觉任务重要的一个功能，广泛应用在自动驾驶、无人机无人车等无人平台态势感知、安防监控等领域。近些年随着深度学习方法的深入研究，基于卷积神经网络的目标跟踪算法在目标跟踪精度和鲁棒性上表现出了很好的效果。基于卷积神经网络的目标跟踪方法相比基于质心算法、相关滤波等方法，跟踪准确性更高，鲁棒性更好，特别适应复杂环境下目标跟踪应用。
3.孪生网络架构由于耗时的目标特征提取部分共享网络权重参数，并且有前后帧空间位置时序关联信息，因此被大量的研究与应用。常见的基于孪生网络的目标跟踪方法，将目标或背景的信息直接输出，其只有分类信息和位置回归信息，当网络设计不够合理，输出分类信息不可信时，会得到不准确的目标坐标信息，导致跟踪失败。
4.复杂环境下，基于孪生网络的目标跟踪方法中分类子网络由于网络结构设计不合理或者特征提取部分能力不强，导致输出分类信息不可信，使得目标跟踪算法预测结果错误。


技术实现要素：

5.针对现有技术的以上不足，本专利申请提出一种基于熵信息加权(得分信息加权)与孪生网络的目标跟踪方法。
6.本发明解决其技术问题所采用的技术方案是：一种基于孪生网络的目标跟踪方法，包括如下步骤：
7.s1，构建基于卷积神经网络的目标跟踪网络：主要由同样权重的两个特征提取主干网络、互相关模块、具有多个通道的分类子网络、坐标位置回归网络以及包含分类信息和得分信息的得分置信度部分组成，其中特征提取主干网络主要由卷积层、批归一化层、非线性激活层和最大池化层组成，分类子网络和坐标位置回归网络主要由卷积层、批归一化层和非线性激活层构成；
8.s2，将第一帧输入图像作为上一帧，人为选中或通过自动检测算法选中需要跟踪的目标，送入特征提取主干网络获取特征信息，作为第二帧处理的模板；
9.s3，将第二帧输入图像作为当前帧，送入特征提取主干网络；
10.s4，将共享特征提取主干网络权重的前后两帧图像分别向互相关模块输出目标特征向量特征图，完成互相关运算：其中分别表示前后两帧图像，f(z,x)表示互相关特征图；
11.s5，互相关特征图f(z,x)分别送入分类子网络和坐标位置回归网络；
12.s6，将分类子网络输出的分类信息和得分信息，以及坐标位置回归网络输出的位
置信息送入sigmod函数计算分类置信度，得到分类信息：
13.s5，互相关运算的结果分别送入分类子网络和坐标位置回归网络；
14.s6，将基于卷积神经网络的目标跟踪网络的分类分支输出，即分类子网络输出的分类信息和得分信息，以及坐标位置回归网络输出的位置信息送入sigmod函数计算分类置信度，得到分类信息，由于是目标跟踪网络，因此是二分类网络，即目标或背景信息；
15.s7，通过基于通道熵值加权(熵信息加权)替代简单通道叠加，增加有效的分类信息。
16.进一步，所述分类子网络的卷积层包含3
×
3卷积核，所述坐标位置回归网络的卷积层包含3
×
3卷积核和1
×
1卷积核。
17.更进一步，所述的步骤s7具体计算过程为：
18.s71，计算分类子网络每个通道目标特征向量特征图的熵：
[0019][0020]
其中max和min表示特征图中数值的最大值与最小值，p
i,j
表示某个值在该特征图中出现的概率；
[0021]
将熵值作为通道的加权权重，对每个通道特征图进行加权，再进行多个通道特征图上每个像素点的累加，合并为一个通道作为得分信息；
[0022]
s72，将得分信息输出作为分类信息的惩罚项，特征图上每个像素点相乘，最终输出一个范围0～1的概率值作为可靠的分类结果；
[0023]
s73，坐标位置回归网络输出特征图中每个元素，是包含(
△
x,
△
y)结果的向量，表示为与上一帧特征图上每个像素点的横坐标、纵坐标偏移量。
[0024]
再进一步，所述的步骤s72得到的分类结果中，求得数值最大的一项对应的特征图坐标位置(i,j)，从步骤s73中坐标位置回归网络输出的目标特征向量找到(i,j)处的结果，作为当前帧预测的目标坐标偏移量，与上一帧目标坐标信息相加，可以得到当前帧目标预测的坐标绝对值。
[0025]
本发明具有以下特点：本发明方法基于得分信息加权的分类网络，修正不可信分类信息，提升目标跟踪算法的准确性，用于提升分类信息的准确性，通过修正后的分类网络结果得到目标准确坐标，可以有效提升孪生网络的目标跟踪准确性。
附图说明
[0026]
图1是本发明网络示意图。
[0027]
各附图标记为：1—特征提取主干网络，2—互相关模块，3—分类子网络，4—坐标位置回归网络。
具体实施方式
[0028]
下面将结合附图的具体实施例对本发明作进一步详细说明。以下实施例仅用于解释本发明，并不构成对本发明的限定。
[0029]
本发明公开的一种基于孪生网络的目标跟踪方法，包括如下步骤：
[0030]
s1，构建基于卷积神经网络的目标跟踪网络，如图1所示：主要由同样权重的两个
特征提取主干网络1、互相关模块2、具有多个通道的分类子网络3、坐标位置回归网络4、包含分类信息和得分信息的得分置信度部分组成，其中特征提取主干网络1主要由卷积层、批归一化层、非线性激活层和最大池化层组成，分类子网络3主要由卷积层(包含3
×
3卷积核)、批归一化层、非线性激活层构成，坐标位置回归网络4主要由卷积层(包含3
×
3卷积核、1
×
1卷积核)、批归一化层、非线性激活层构成。
[0031]
s2，将第一帧输入图像作为上一帧，人为选中或通过自动检测算法选中需要跟踪的目标，送入特征提取主干网络1获取特征信息，作为下一帧(第二帧)处理的模板。
[0032]
s3，将第二帧输入图像作为当前帧，送入特征提取主干网络1。
[0033]
s4，将共享特征提取主干网络1权重的前后两帧图像分别向互相关模块2输出目标特征向量特征图，完成互相关运算，得到互相关特征图f(z,x)：
[0034]
s5，互相关运算的结果(互相关特征图)分别送入分类子网络3和坐标位置回归网络4。
[0035]
将基于卷积神经网络的目标跟踪网络的分类分支输出，即分类子网络3输出的分类信息和得分信息，以及坐标位置回归网络4输出的位置信息送入sigmod函数计算分类置信度，得到分类信息f
cls
，由于是目标跟踪网络，因此是二分类网络，即目标或背景信息：
[0036]
s7，由于分类子网络3是由多个通道组成，因神经网络的黑盒效应难以确定多个通道对计算结果影响的重要性，如果只是通过简单通道叠加来提高分类的准确性，有可能会将无效信息放大，有效信息减少，而熵信息是反映信息复杂度的一个良好参数指标，因此本专利中，通过基于通道熵值加权替代简单通道叠加，增加有效的分类信息。
[0037]
具体计算过程为：
[0038]
s71，计算分类子网络3每个通道目标特征向量特征图的熵值，作为每个通道的加权权重，对每个通道对应的结果(特征图)进行加权，再进行多个通道对应元素(特征图上每个像素点)的累加，合并为一个通道作为得分信息。
[0039]
s71，计算分类子网络3每个通道目标特征向量特征图的熵值，作为每个通道的加权权重，对每个通道对应的结果(特征图)进行加权，再进行多个通道对应元素(特征图上每个像素点)的累加，合并为一个通道作为得分信息；其中熵的计算为：其中，max和min表示特征图中数值的最大值与最小值，p
i,j
表示某个值在该特征图中出现的概率。
[0040]
s72，将得分信息输出作为分类信息的惩罚项，特征图上每个像素点相乘，最终输出一个范围0～1的概率值作为可靠的分类结果。
[0041]
s73，坐标位置回归网络4输出目标特征向量特征图中每个元素，是包含(
△
x,
△
y)结果的向量，表示为与上一帧对应元素的横坐标、纵坐标偏移量。
[0042]
所述的步骤s71得到的分类结果中，求得数值最大的一项对应的目标特征向量特征图坐标位置(i,j)，从步骤s73中坐标位置回归网络4输出的目标特征向量找到(i,j)处的结果(输出特征向量的值)，即为当前帧预测的目标坐标偏移量，与上一帧目标坐标信息相
加，可以得到当前帧目标预测的坐标绝对值。
[0043]
以上所述仅是用以说明的技术方案而非对其限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的实施例，所述领域的技术人员应当理解，未脱离本发明精神和范围的任何修改或者等同替换，均涵盖在本发明的权利要求范围当中。