无人车小型光电转台的目标跟踪方法、装置及电子设备与流程

本技术属于图像处理，尤其涉及一种无人车小型光电转台的目标跟踪方法、装置及电子设备。

背景技术：

1、小型光电转台是一种集成了光电传感器(如摄像头、激光雷达等)的旋转平台，它可以安装在无人驾驶车辆上，可以提供精确的定位、监控和避障功能，适用于多种复杂环境下的工作任务，如港口码头自动巡检、消防灭火救援、大型仓库货物转运等。

2、无人车在执行各类任务的过程中，通常需要小型光电转台来监测和跟踪特定的目标，如人员、野外生物、车辆等。一种有效的目标跟踪方法是利用图像处理技术来分析和解释图像数据，以实现对目标的连续跟踪。这些技术包括光流法、均值偏移、粒子滤波和卡尔曼滤波等。这些方法通过分析图像序列中目标的运动轨迹，实时更新目标的位置和速度信息，从而实现目标的连续跟踪。

3、然而，由于光照的强度和方向对图像的亮度和对比度有显著影响，使得这些方法来实现目标跟踪对于包括光照在内的环境因素非常敏感，这些方法容易受到光照、遮挡和目标外观变化等因素的影响，导致跟踪失败。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种无人车小型光电转台的目标跟踪方法、装置及电子设备，以提高目标跟踪的准确性。

2、第一方面，本技术提供了一种无人车小型光电转台的目标跟踪方法，包括：

3、以历史时刻采集的第一红外图像中待跟踪目标的位置为参考计算搜索区域；

4、将根据待跟踪目标的特征数据构建的模板数据和当前时刻采集的第二红外图像中所述搜索区域对应的区域特征数据输入至基于孪生网络构建的匹配模型中，得到所述匹配模型输出的候选结果；所述候选结果包括所述第二红外图像中待跟踪目标的多个候选位置和和各个候选位置的匹配分值；

5、在至少两个候选位置的匹配分值大于第一预设阈值的情况下，根据多个历史时刻采集的第一红外图像中所述待跟踪目标的运动规律预测所述待跟踪目标在所述第二红外图像中的预测位置；

6、根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置。

7、根据本技术的无人车小型光电转台的目标跟踪方法，通过以历史时刻采集的第一红外图像中待跟踪目标的位置为参考计算搜索区域；将根据待跟踪目标的特征数据构建的模板数据和当前时刻采集的第二红外图像中所述搜索区域对应的区域特征数据输入至基于孪生网络构建的匹配模型中，得到所述匹配模型输出的候选结果；所述候选结果包括所述第二红外图像中待跟踪目标的多个候选位置和和各个候选位置的匹配分值；在至少两个候选位置的匹配分值大于第一预设阈值的情况下，根据多个历史时刻采集的第一红外图像中所述待跟踪目标的运动规律预测所述待跟踪目标在所述第二红外图像中的预测位置；根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置。本技术实施例通过引入红外图像来进行目标跟踪，由于红外图像的热成像特性使得目标跟踪对于光照变化不敏感，使得红外图像的引入可以显著提高小型光电转台在复杂环境下对目标的跟踪能力，尤其是在夜间或能见度低的情况下，进一步的，本技术实施例通过孪生网络匹配搜索区域和模板数据，从而找到目标在新图像中的位置，并结合历史时刻目标的位置来对孪生网络匹配的结果进行筛选，进一步提高了对目标的跟踪效果，使得对于目标的跟踪过程具有强大的特征学习能力和对环境变化的适应性，提高了目标跟踪的准确性。

8、根据本技术的一个实施例，所述待跟踪目标根据以下方式确定：

9、对无人车小型光电转台采集的第三红外图像进行预处理，得到第四红外图像；所述预处理至少包括：对所述第一红外图像滤波去噪处理后，对像素值大于预设数值的亮块进行聚类，得到多组由亮块构成的矩形区域，对尺寸处于预设范围的矩形区域进行上采样；

10、将所述第三红外图像输入至预设的目标检测模型中，得到所述目标检测模型输出的候选检测结果；所述候选检测结果包括各个目标的置信度和各个目标的边界框的位置；其中，所述目标检测模型为采用yolov8的网络结构，并在yolov8的主干网络的第一个下采样操作之后增加了额外的卷积层作为p2输出层，结合pytorch框架训练得到；经过上采样后的矩形区域的尺寸与所述p2输出层相适应；

11、对所述候选检测结果进行后处理，删除所述检测结果中满足预设条件的边界框，得到后处理后的候选检测结果；所述预设条件包括重叠的边界框中重叠程度大于第二预设阈值且置信度小的边界框；

12、输出后处理后的候选检测结果中置信度大于第三预设阈值的边界框的位置作为待跟踪目标的位置。

13、在该实施例中，通过深度学习网络结构yolov8，并在yolov8的基础上增加了p2输出层，结合pytorch框架进行训练，提高了对小目标的检测效果，进一步的，由于红外图像中的目标尺寸可能比较小，在将第四红外图像输入模型之前，还通过聚类的方法搜索并分类可能包含目标的亮块，然后对亮块上采样，使得上采样后的亮块尺寸与p2输出层相适应，进一步增加了针小目标的检测效果。

14、根据本技术的一个实施例，所述对无人车小型光电转台采集的第三红外图像进行预处理，得到第四红外图像，包括：

15、对所述第三红外图像进行切分处理，得到多个子图像；

16、将各个子图像对应的第一直方图中超过预设的限制阈值的部分裁剪后填补至未超过限制阈值的部分，得到各个子图像对应的第二直方图；

17、基于所述第二直方图将各个子图像中的各个灰度级别映射到目标灰度级别，得到第四红外图像。

18、在该实施例中，通过分割第三红外图像为多个子图像，并设定一个阈值来控制子图像直方图的峰值，通过裁剪和填充的方法来平衡各子图像的灰度分布，避免过度拉升对比度。通过这种方式，能够限制局部图像的灰度变化范围，防止不必要的噪声放大，同时确保图像的边缘和细节得到清晰呈现。

19、根据本技术的一个实施例，所述限制阈值根据以下方式得到：

20、对所述第三红外图像的像素进行统计分析，得到所述第三红外图像的第三直方图；

21、遍历所述第三直方图中各纵坐标数值之上部分的面积与所述第三直方图的总面积的比值，直至所述比值到预设值的情况下，将当前纵坐标数值作为所述限制阈值。

22、在该实施例中，通过对第三红外图像的直方图进行分析，我们可以识别出图像中灰度值分布较为密集的区域，从而设定一个限制阈值，使得在后续处理每个子图像时，能够以全局图像中灰度分布比较集中的部分作为参考，对局部图像的直方图的分布进行调整和平衡，这样做不仅能够增强图像边缘和细节的清晰度，还能有效避免不必要的噪声放大。

23、根据本技术的一个实施例，所述对无人车小型光电转台采集的第三红外图像进行预处理，得到第四红外图像，包括：

24、对所述第三红外图像进行切分处理，得到多个子图像；

25、基于各个子图像的纹理信息与所述第一红外图像的纹理信息之间的差异计算各个子图像对应的增强系数；所述增强系数表征像素值的拉伸程度；其中，各个子图像的纹理信息相对于所述第三红外图像的纹理信息越强，则增强系数越小；

26、根据各个子图像对应的增强系数和各个子图像的像素均值对各个子图像中的像素值进行拉伸处理，得到第四红外图像。

27、在该实施例中，在对第三红外图像进行分割之后，可以比较各个子图像与整个红外图像在纹理信息上的差异，以确定图像中不同区域对图像增强的需求大小，如果一个子图像的纹理信息相对于全局图像较为突出，这表明它已经包含了丰富的细节和结构信息，因此对图像增强的需求相对较低，在这种情况下，可以为其分配一个较小的增强系数，通过这种根据纹理相对强度来调整增强系数的方法，不仅能够提升图像边缘和细节的清晰度，还能避免因过度增强而产生的图像异常，从而有效提升图像增强的整体质量。

28、根据本技术的一个实施例，所述基于各个子图像的纹理信息与所述第三红外图像的纹理信息之间的差异计算各个子图像对应的增强系数，包括：

29、分别计算所述第三红外图像中像素值的第一方差和各个子图像中像素值的第二方差；

30、将所述第一方差与所述第二方差的比值作为各个子图像的纹理信息与所述第一红外图像的纹理信息之间的差异，计算各个子图像对应的增强系数。

31、在该实施例中，由于方差能够敏感地反映出图像局部像素强度的变化，它能够很好地捕捉图像纹理的细微特征，通过比较局部像素值的方差与整个图像的方差，可以计算出一个增强系数。当一个局部区域的方差低于整体图像的方差时，这表明该区域的纹理特征较为弱化，因此需要更多的增强来突出细节。相反，如果局部方差超过全局方差，意味着该区域已经具有较为明显的纹理，进一步的增强可能并不必要，或者效果不大。通过这种方法平衡不同纹理区域的增强需求，可以有效地避免过度处理图像，从而提升图像增强的整体效果。

32、根据本技术的一个实施例，所述根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置，包括：

33、计算所述至少两个候选位置与所述预测位置的交并比，以及计算所述第二红外图像中所述至少两个候选位置下的特征数据与所述模板数据的相似度；

34、为所述交并比与所述相似度分配不同的权重，计算所述至少两个候选位置的综合得分；

35、将所述综合得分最高的候选位置作为所述待跟踪目标在所述第二红外图像中的位置。

36、在该实施例中，通过结合相似度与交并比计算候选位置的综合分值，综合考虑了待跟踪目标运动过程的上下文信息和待跟踪目标的空间布局，使得针对候选结果的筛选过程通过多维度的分析和综合考量，显著提高了目标跟踪在面对复杂场景和目标变化时的性能和可靠性，这不仅使得跟踪结果更加准确，也增强了算法对于各种挑战性情况的适应能力。

37、根据本技术的一个实施例，所述方法还包括：

38、在所述待跟踪目标在所述第二红外图像中的位置对应的匹配分值大于第四预设阈值的情况下，计算不同历史时刻下所述待跟踪目标的位置对应的匹配分值随时间的衰减程度；

39、在所述衰减程度满足预设条件的情况下，根据所述第二红外图像中的待跟踪目标的特征数据对所述模板数据进行更新。

40、在该实施例中，通过分析不同时刻待跟踪目标的位置对应的匹配分值的衰减情况，能够判断出待跟踪目标可能发生形变或者环境条件出现变化，从而对模板进行更新，以使目标跟踪的过程能够动态地适应目标和环境的变化，从而在各种情况下都能保持高效和准确的跟踪性能。

41、第二方面，本技术提供了一种无人车小型光电转台的目标跟踪装置，包括：

42、计算模块，用于以历史时刻采集的第一红外图像中待跟踪目标的位置为参考计算搜索区域；

43、输入模块，用于将根据待跟踪目标的特征数据构建的模板数据和当前时刻采集的第二红外图像中所述搜索区域对应的区域特征数据输入至基于孪生网络构建的匹配模型中，得到所述匹配模型输出的候选结果；所述候选结果包括所述第二红外图像中待跟踪目标的多个候选位置和和各个候选位置的匹配分值；

44、预测模块，用于在至少两个候选位置的匹配分值大于第一预设阈值的情况下，根据多个历史时刻采集的第一红外图像中所述待跟踪目标的运动规律预测所述待跟踪目标在所述第二红外图像中的预测位置；

45、筛选模块，用于根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置。

46、根据本技术的无人车小型光电转台的目标跟踪装置，根据本技术的无人车小型光电转台的目标跟踪方法，通过以历史时刻采集的第一红外图像中待跟踪目标的位置为参考计算搜索区域；将根据待跟踪目标的特征数据构建的模板数据和当前时刻采集的第二红外图像中所述搜索区域对应的区域特征数据输入至基于孪生网络构建的匹配模型中，得到所述匹配模型输出的候选结果；所述候选结果包括所述第二红外图像中待跟踪目标的多个候选位置和和各个候选位置的匹配分值；在至少两个候选位置的匹配分值大于第一预设阈值的情况下，根据多个历史时刻采集的第一红外图像中所述待跟踪目标的运动规律预测所述待跟踪目标在所述第二红外图像中的预测位置；根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置。本技术实施例通过引入红外图像来进行目标跟踪，由于红外图像的热成像特性使得目标跟踪对于光照变化不敏感，使得红外图像的引入可以显著提高小型光电转台在复杂环境下对目标的跟踪能力，尤其是在夜间或能见度低的情况下，进一步的，本技术实施例通过孪生网络匹配搜索区域和模板数据，从而找到目标在新图像中的位置，并结合历史时刻目标的位置来对孪生网络匹配的结果进行筛选，进一步提高了对目标的跟踪效果，使得对于目标的跟踪过程具有强大的特征学习能力和对环境变化的适应性，提高了目标跟踪的准确性。

47、第三方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的无人车小型光电转台的目标跟踪方法。

48、第四方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的无人车小型光电转台的目标跟踪方法。

49、第五方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如上述第一方面所述的无人车小型光电转台的目标跟踪方法。

50、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的无人车小型光电转台的目标跟踪方法。

51、本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

52、根据本技术的无人车小型光电转台的目标跟踪方法，根据本技术的无人车小型光电转台的目标跟踪方法，通过以历史时刻采集的第一红外图像中待跟踪目标的位置为参考计算搜索区域；将根据待跟踪目标的特征数据构建的模板数据和当前时刻采集的第二红外图像中所述搜索区域对应的区域特征数据输入至基于孪生网络构建的匹配模型中，得到所述匹配模型输出的候选结果；所述候选结果包括所述第二红外图像中待跟踪目标的多个候选位置和和各个候选位置的匹配分值；在至少两个候选位置的匹配分值大于第一预设阈值的情况下，根据多个历史时刻采集的第一红外图像中所述待跟踪目标的运动规律预测所述待跟踪目标在所述第二红外图像中的预测位置；根据所述至少两个候选位置与所述预测位置的重叠程度从所述至少两个候选位置筛选得到所述待跟踪目标在所述第二红外图像中的位置。本技术实施例通过引入红外图像来进行目标跟踪，由于红外图像的热成像特性使得目标跟踪对于光照变化不敏感，使得红外图像的引入可以显著提高小型光电转台在复杂环境下对目标的跟踪能力，尤其是在夜间或能见度低的情况下，进一步的，本技术实施例通过孪生网络匹配搜索区域和模板数据，从而找到目标在新图像中的位置，并结合历史时刻目标的位置来对孪生网络匹配的结果进行筛选，进一步提高了对目标的跟踪效果，使得对于目标的跟踪过程具有强大的特征学习能力和对环境变化的适应性，提高了目标跟踪的准确性。

53、进一步的，在一些实施例中，通过深度学习网络结构yolov8，并在yolov8的基础上增加了p2输出层，结合pytorch框架进行训练，提高了对小目标的检测效果，进一步的，由于红外图像中的目标尺寸可能比较小，在将第四红外图像输入模型之前，还通过聚类的方法搜索并分类可能包含目标的亮块，然后对亮块上采样，使得上采样后的亮块尺寸与p2输出层相适应，进一步增加了针小目标的检测效果。

54、进一步的，在一些实施例中，通过分割第三红外图像为多个子图像，并设定一个阈值来控制子图像直方图的峰值，通过裁剪和填充的方法来平衡各子图像的灰度分布，避免过度拉升对比度。通过这种方式，能够限制局部图像的灰度变化范围，防止不必要的噪声放大，同时确保图像的边缘和细节得到清晰呈现。

55、更进一步的，在一些实施例中，通过对第三红外图像的直方图进行分析，我们可以识别出图像中灰度值分布较为密集的区域，从而设定一个限制阈值，使得在后续处理每个子图像时，能够以全局图像中灰度分布比较集中的部分作为参考，对局部图像的直方图的分布进行调整和平衡，这样做不仅能够增强图像边缘和细节的清晰度，还能有效避免不必要的噪声放大。

56、更进一步的，在一些实施例中，在对第三红外图像进行分割之后，可以比较各个子图像与整个红外图像在纹理信息上的差异，以确定图像中不同区域对图像增强的需求大小，如果一个子图像的纹理信息相对于全局图像较为突出，这表明它已经包含了丰富的细节和结构信息，因此对图像增强的需求相对较低，在这种情况下，可以为其分配一个较小的增强系数，通过这种根据纹理相对强度来调整增强系数的方法，不仅能够提升图像边缘和细节的清晰度，还能避免因过度增强而产生的图像异常，从而有效提升图像增强的整体质量。

57、更进一步的，在一些实施例中，由于方差能够敏感地反映出图像局部像素强度的变化，它能够很好地捕捉图像纹理的细微特征，通过比较局部像素值的方差与整个图像的方差，可以计算出一个增强系数。当一个局部区域的方差低于整体图像的方差时，这表明该区域的纹理特征较为弱化，因此需要更多的增强来突出细节。相反，如果局部方差超过全局方差，意味着该区域已经具有较为明显的纹理，进一步的增强可能并不必要，或者效果不大。通过这种方法平衡不同纹理区域的增强需求，可以有效地避免过度处理图像，从而提升图像增强的整体效果。

58、再进一步的，在一些实施例中，通过结合相似度与交并比计算候选位置的综合分值，综合考虑了待跟踪目标运动过程的上下文信息和待跟踪目标的空间布局，使得针对候选结果的筛选过程通过多维度的分析和综合考量，显著提高了目标跟踪在面对复杂场景和目标变化时的性能和可靠性，这不仅使得跟踪结果更加准确，也增强了算法对于各种挑战性情况的适应能力。

59、再进一步的，在一些实施例中，通过分析不同时刻待跟踪目标的位置对应的匹配分值的衰减情况，能够判断出待跟踪目标可能发生形变或者环境条件出现变化，从而对模板进行更新，以使目标跟踪的过程能够动态地适应目标和环境的变化，从而在各种情况下都能保持高效和准确的跟踪性能。

60、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。