一种多通道图像特征融合的高速相关滤波目标追踪方法与流程

1.本发明涉及计算机视觉领域中的目标跟踪，尤其涉及一种多通道图像特征融合的高速相关滤波目标追踪方法。


背景技术：

2.目标跟踪是计算机视觉领域极具挑战的任务之一，在过去的几年中，由于深度神经网络的兴起，目标跟踪取得显著的进展。但与此同时，追踪的模型变得越来越庞大和昂贵，例如最新的跟踪模型siamrpn++和ocean的模型参数分别为11.2mb 和25.9mb，实现了最先进的性能；但庞大的模型参数和昂贵的计算成本阻碍了目标追踪模型再显示世界应用中的部署，例如相机无人机、工业机器人和辅助驾驶系统，这些模型的尺寸和效率都受到了高度的限制。
3.目前，解决模型的复杂性和效率的问题有两种简单的方法，一种是模型压缩，另外一种是紧凑模型设计。现有的模型压缩技术有剪枝和量化，可以降低模型的复杂性，但是由于模型压缩导致信息的丢失，不可避免的降低了模型的性能。另一方面，手工设计规则形成紧凑的模型工程成本昂贵，严重的依赖人类的专业知识和经验，并且大多数跟踪器使用手工制作的特征来描述目标，这些特征不能捕获目标丰富的语义信息，在复杂的条件下容易导致跟踪失败。


技术实现要素：

4.本发明所要解决的技术问题是，提供一种能够捕获目标丰富的语义信息以及在复杂条件下不易跟踪失败的多通道图像特征融合的高速相关滤波目标追踪方法。
5.为了解决上述技术问题，本发明是通过以下技术方案实现的：一种多通道图像特征融合的高速相关滤波目标追踪方法，包含以下步骤：步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次数；
步骤 2.3、训练网络对图像进行粗糙特征的提取；步骤 2.4、训练网络的eb（编码器块）对图像的深层特征进行提取，并进行迭代馈入；步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；步骤 3：目标区域检测，具体的：步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。
6.进一步地，所述步骤 2.2中网络的训练参数设置为：学习率为0.001，训练的批次大小为4，训练的迭代次数为100次。
7.进一步地，所述步骤 2.4中的eb包含一个3
×
3的卷积滤波器、一个归一化层和一个线性激活层。
8.进一步地，所述步骤 2.4中eb的数量具有四个。
9.与现有技术相比，本发明的有益之处在于：这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。
附图说明
10.图1是本发明一种多通道图像特征融合的高速相关滤波目标追踪方法结构示意图。
具体实施方式
11.下面结合附图和具体实施方式对本发明进行详细描述。
12.图1所示一种多通道图像特征融合的高速相关滤波目标追踪方法，包含以下步骤：步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次
数，其中学习率为0.001，训练的批次大小为4，训练的迭代次数为100次；步骤 2.3、训练网络对图像进行粗糙特征的提取；步骤 2.4、训练网络的eb（编码器块）对图像的深层特征进行提取，并进行迭代馈入；所述eb的数量具有四个，分别为eb1、eb2、eb3、eb4，每个所述eb包含一个3
×
3的卷积滤波器、一个归一化层和一个线性激活层；步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；步骤 3：目标区域检测，具体的：步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。
13.这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。
14.需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。


技术特征：
1.一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，包含以下步骤：步骤 1：构建红外和可见光图像融合网络的训练数据集，具体的：步骤 1.1、使用红外相机和可见光相机对不同的场景进行图像采集，得到大量的红外图像和可见光图像；步骤 1.2、对步骤1.1采集到的数据集进行筛选，得到一一对应的红外和可见光图像对；步骤 1.3、对红外图像和可见光图像进行配准，使红外图像和可见光图像能够像素点对应；步骤 1.4、将步骤1.3得到的图像对与现行的公开数据库进行结合，增大数据集的量级；步骤 2：使用图像融合网络对红外图像和可见光图像进行融合，具体的:步骤 2.1、将步骤1.4得到的红外和可见光图像对输入网络；步骤 2.2、设置网络的训练参数，如学习率、训练的批次大小以及训练的迭代次数；步骤 2.3、训练网络对图像进行粗糙特征的提取；步骤 2.4、训练网络的eb（编码器块）对图像的深层特征进行提取，并进行迭代馈入；步骤 2.5、特征相加网络对步骤2.4得到的图像特征进行相加，得到融合特征图；步骤 3：目标区域检测，具体的：步骤 3.1、计算所有特征图的显著性，按照显著性的高低排序，选择出前k 个特征图；步骤 3.2、将所有的特征集成到多通道相关滤波器之中，对目标进行定位，根据新一帧中选择的特征映射和多通道相关滤波器计算相关响应图；步骤 3.3、通过搜索相关响应图的最大值位置，可以估计出目标的位置。2.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.2中网络的训练参数设置为：学习率为0.001，训练的批次大小为4，训练的迭代次数为100次。3.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.4中的eb包含一个3
×
3的卷积滤波器、一个归一化层和一个线性激活层。4.根据权利要求1所述的一种多通道图像特征融合的高速相关滤波目标追踪方法，其特征是，所述步骤 2.4中eb的数量具有四个。

技术总结
本发明公开了一种多通道图像特征融合的高速相关滤波目标追踪方法，包括以下步骤：步骤1：构建红外和可见光图像融合网络的训练数据集；步骤2：使用图像融合网络对红外图像和可见光图像进行融合；步骤3：目标区域检测。这种多通道图像特征融合的高速相关滤波目标追踪方法采用卷积神经网络提取对象特征，采用迭代馈入的方式，保证了卷积神经网络提取的特征信息在传输的过程中不被丢失，加强了网络之间的信息流通性，可以去除无用的特征，保证了目标跟踪的性能，提高了准确性和效率。提高了准确性和效率。提高了准确性和效率。


技术研发人员：李璐 胡浩锦 王伟良
受保护的技术使用者：苏州海裕鸿智能科技有限公司
技术研发日：2022.05.14
技术公布日：2022/8/8