一种基于改进SiamFC的单目标交通标志跟踪方法

一种基于改进siamfc的单目标交通标志跟踪方法
技术领域
1.本发明涉及深度学习中的目标跟踪领域，通过改进后的siamfc算法对交通标志进行目标跟踪。


背景技术：

2.随着互联网在全球范围内的扩展，中国互联网快速发展，互联网技术不断革新提升，人工智能领域的研究也不断深入。其中，无人驾驶技术由于便利性及应用领域广泛，成为了当下研究的热点方向。但是，现阶段的无人驾驶技术对交通标志的跟踪识别并不成熟。受环境温湿度、极端天气状况及灯光等外界环境因素影响，对交通标志的跟踪采集易存在光照不均、模糊等问题；此外，随着我国基础建设不断发展，隧道、坡路、急弯等复杂路况里程数增加，交通标志易被沙尘污秽，被外物遮挡；同时，受限于无人驾驶汽车车载设备技术限制，采集到的视频中的道路交通标志在可视范围内较小，出现时间较短；此外，道路交通标志具有丰富的种类和相似的外观，其在不同地区出现频次不同，分布极不均衡，进一步加大了道路交通标志检测的难度。因此，针对实际场景中道路交通标志的检测识别，提出一种迅速而精确的方法具有迫切工程意义。
3.孪生网络(siamfc)特点是有两个图片作为输入，两个网络共享权重并使用相同的网络，通过计算某种距离量度计算出相似度，可以理解为在同一个网络上将两个输入编码成两个向量，在计算向量的相似度，借此来判断原始输入的相似性。相比较于卷积神经网络的单个输入，孪生网络分为多个分支，并且每个分支都由卷积神经网络构成，每个网络均有多个输入，可以在一条分支上提供先验知识，先验信息可以使孪生网络在只有少量训练样本上较好的学习网络参数，达到与大量样本训练单个卷积神经网络同样的性能。由于siamfc算法采取了端到端的训练方式，充分发挥了大数据的优势，能够很好适应单目标跟踪任务。此外，多分辨率在线选择分支方法的引入，优化了单目标跟踪中遇到的形变、尺度变化等相关问题，使跟踪过程更加准确，针对目标对象发生较大位移或者遮挡时，具有较好效果。因此，针对复杂背景环境下无人驾驶技术，提出一种基于改进siamfc的单目标交通标志跟踪方法具有重要意义。


技术实现要素：

4.为了克服上述现有技术的不足，本发明提出了一种基于改进的siamfc单目标跟踪技术。该技术引用了深度学习中的通用目标跟踪框架siamfc，并针对交通标志跟踪出现的问题进行了进一步的改进。
5.步骤一：将在线选择分支结构应用到算法中，使用多个卷积孪生网络训练图像序列，输出多个特征响应图，通过在线选择分支结构，选择特征响应图值最大的结果，进行后续的操作。
6.步骤二：输入包括从第一个视频帧裁剪的目标patch和当前帧中包含搜索区域的另一个patch。目标patch z的大小为w1×
h1×
3，对应于图像patch的宽度、高度和颜色通道。
搜索区域x的大小为w2×
h2×
3，其中w2＞w1，h2＞h1也表示搜索区域的宽度、高度.
7.步骤三：该步骤是该专利的核心内容，将siamfc算法中骨干网络alexnet替换为resnet-50深层网络。基于resnet-50的单目标跟踪算法的网络结构与siamfc算法相似，所用的网络都是孪生网络结构，骨干网络选择了更深的resnet-50，能够提取到更加有利的信息，提高跟踪的准确率。在确定第一帧目标图像之后，将目标图像和待搜索区域的图像同时输入resnet-50的网络中，两个网络之间共享权重，各自输出不同的特征图，将目标图像特征图和待搜索区域的图像的特征图进行互相关运算，最终得到响应得分图，其中响应得分图中最大的位置即为目标位置。resnet的思想在于引入了一个深度残差框架来解决梯度消失的问题，即让卷积神经网络去学习残差映射，而不是期望每一个堆叠层的网络都完整的拟合潜在的映射(拟合函数)。通过引入一个shortcut(捷径)分支，将需要拟合的映射变为残差f(x)＝h(x)-x。resnet也就是残差网络很好的解决了越深的网络返回的梯度相关性会越来越差和接近于白噪声，导致梯度更新也接近于随即扰动的问题。
8.步骤四：在siamfc算法中，要求网络需要满足严格的平移不变性，即padding为。还需要网络具有对称性。如果破坏了网络的平移不变性，那么算法将会出现学习到位置偏见，因为siamfc算法的训练方法，正样本均在正中心。由于卷积操作中的padding操作会将图像进行补零操作，所以会对resnet网络的训练造成影响。本文中为了消除该影响，采用了均匀分布的采样策略，该采样策略可以让目标在中心点发生偏移，该偏移量可以缓解网络破坏严格平移不变性所带来的影响。该方法成功消除了位置偏见，使得采用了padding的深层网络可以使用在跟踪算法中。
附图说明
9.图1为：基于resnet-50的单目标跟踪算法流程图。
10.具体方法
11.(1)使用上下文相关的s1分支和一个通用分支。所有这些分支都具有与siamfc网络相同的结构。上下文相关的分支通过三个步骤进行训练。首先，在ilsvrc-2015视频数据集上训练基本的孪生网络，包括4000个视频序列和大约130万帧，包含大约200万个跟踪对象。保留基本的孪生网络作为总分支。然后，在imagenet视频数据集的低层特征图上执行上下文聚类，以发现s2(s2＝10)上下文相关的聚类。最后，使用s2集群来训练由基本siamese网络初始化的s2上下文相关的分支。这些分支以(z,x)作为输入并提取它们的特征映射。然后，使用一个互相关层。
12.(2)使用alexnet对映像分类任务进行预训练，将其作为一个分支，并对网络进行不同任务的训练。对stride进行了小的修改，以确保输出响应映射具有与其他分支相同的维度。alexnet网络结构总共分为8层，其中第1-5层为卷积层，第6-8层为全连接层。在第一层、第二层和第五层卷积层的后面各有一个最大池化层。网络结构的最后一层为softmax，其输入是前面全连接层的输出，softmax会产生1000种类型标签的分布网络，包含了8个带权重的层。alexnet网络的优势在于网络结构方面比传统的网络更加有深度。其结构包含5个卷积层、3个全连接层和1个softmax层其次引入dropout，解决了过拟合的问题。此外将激活函数替换为relu函数，前文曾提到sigmoid函数和tanh具有饱和区，而relu函数在变量值大于0时，其导数一直都是1。
13.(3)给定输入图像对，每个分支对两个输入应用相同的转换，并使用互相关层计算响应映射h。由于不同分支的特征值的范围不同，对每个分支的响应映射应用wi权值来标准化它们的范围差异。然后根据各支路的加权响应图测量识别能力。
14.(4)将siamfc算法中的骨干网络由alexnet变为resnet-50，采用均匀分布的采样策略让目标在中心点发生偏移，使采用了paddiing的深层网络可以使用在跟踪算法中。


技术特征：
1.一种基于改进siamfc的单目标交通标志跟踪方法，其特征在于将siamfc算法中骨干网络alexnet替换为resnet-50深层网络，包括以下步骤：步骤一：将在线选择分支结构应用到算法中，使用多个卷积孪生网络训练图像序列，输出多个特征响应图，通过在线选择分支结构，选择特征响应图值最大的结果，进行后续的操作；步骤二：输入包括从第一个视频帧裁剪的目标patch 1和当前帧中包含搜索区域的另一个patch 2。目标patch 1的大小为w_1
×
h_1
×
3，对应于图像的宽度、高度和颜色通道。patch 2的大小为w_2
×
h_2
×
3，其中w_2>w_1,h_2>h_1也表示搜索区域的宽度、高度；步骤三：将siamfc算法中骨干网络alexnet替换为resnet-50深层网络。在确定第一帧目标图像之后，将目标图像和待搜索区域的图像同时输入resnet-50的网络中，两个网络之间共享权重，各自输出不同的特征图，将目标图像特征图和待搜索区域的图像的特征图进行互相关运算，最终得到响应得分图，其中响应得分图中最大的位置即为目标位置；步骤四：为消除算法位置偏移影响，采用均匀分布的采样策略，让目标在中心点发生偏移，该偏移量可以缓解网络破坏严格平移不变性所带来的影响，成功消除位置偏见，使得采用了padding的深层网络可以使用在跟踪算法中。

技术总结
本发明公开了一种基于改进SiamFC的单目标交通标志跟踪方法。该发明在多分辨率单目标检测方向上有一定的通用性，该专利以交通标志跟踪为说明案例，交通标志的跟踪采集易存在光照不均、模糊等影响。针对单目标跟踪问题，将SiamFC算法中的骨干网络由AlexNet变为ResNet-50，以孪生网络(siamFC)为基础，引入多分辨率在线选择分支方法，加入分类和回归分支，优化单目标跟踪中遇到的形变、尺度变化等相关问题，使跟踪过程中更加准确，并且通过不同的数据集对实验数据进行整理及研究，最终实现了单目标跟踪算法，该算法可以在复杂的背景环境下跟踪单目标对象且在目标对象发生较大位移或者遮挡时依然取得了较好的效果。位移或者遮挡时依然取得了较好的效果。位移或者遮挡时依然取得了较好的效果。


技术研发人员：贾海涛 江雪婷 黄婧 陈泓秀 谭志昊 李彧 许文波
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：2021.12.04
技术公布日：2022/6/16