目标跟踪方法及系统、介质及电子设备与流程

本申请涉及目标跟踪，尤其是涉及一种目标跟踪方法及系统、介质及电子设备。

背景技术：

1、目标跟踪技术是计算机视觉领域的一个重要研究方向，它涉及到在视频序列中持续定位和跟踪一个或多个感兴趣目标的位置。这项技术在安全监控、人机交互、自动驾驶、视频分析等多个领域都有广泛的应用。

2、总的来说，目标跟踪技术的发展不断推动着相关领域的进步，它不仅提高了数据处理的自动化水平，还为各种实际应用提供了强大的技术支持。随着算法的不断优化和新技术的发展，未来的目标跟踪将更加精准、快速和智能化。

3、但是对于文本提示的预定目标的跟踪，受限于目标在运动过程中可能会发生形变、旋转或者部分遮挡、复杂环境等影像，跟踪效果并不理想。

技术实现思路

1、本申请的目的在于提供一种目标跟踪方法及系统、介质及电子设备，用于解决文本提示的预定义目标的跟踪效果不理想的技术问题。

2、第一方面，本申请提供一种目标跟踪方法，所述方法包括：获取待检测视频及目标文本提示；基于所述待检测视频获取帧特征矩阵；基于所述目标文本提示获取目标文本特征；基于所述帧特征矩阵及所述目标文本特征获取像素级矩阵；根据所述帧特征矩阵、所述目标文本提示及所述像素级矩阵获取预测特征矩阵；基于所述预测特征矩阵及所述目标文本特征进行目标跟踪。

3、在第一方面的一种实现方式中，基于所述待检测视频获取帧特征矩阵包括：将所述待检测视频按照预设帧率进行拆帧，以获取待检测帧集合；对所述待检测帧集合进行特征提取，以获取帧特征矩阵。

4、在第一方面的一种实现方式中，基于所述帧特征矩阵及所述目标文本特征获取像素级矩阵包括：将所述帧特征矩阵与所述目标文本特征进行矩阵乘法，以获取像素级矩阵；所述像素级矩阵形状为(n，1080，1080)，其中n表示帧数，(1080，1080)表示帧尺寸。

5、在第一方面的一种实现方式中，基于所述帧特征矩阵、所述目标文本提示及所述像素级矩阵获取预测特征矩阵包括：设定输入文本为{视频帧为[x]，请依据[y]，找出[z]的位置和特征}；其中，x为所述帧特征矩阵内的所有矩阵值，y为所述像素级矩阵内的所有矩阵值，z为所述目标文本提示；将所述帧特征矩阵内的所有矩阵值、所述像素级矩阵内的所有矩阵值及所述目标文本提示按照输入文本输入到大语言模型中以获取预测特征矩阵。

6、在第一方面的一种实现方式中，基于所述预测特征矩阵及所述目标文本特征进行目标跟踪包括：基于所述预测特征矩阵获取预测框集合；基于所述预测特征矩阵及所述目标文本特征获取相似度向量；根据所述相似度向量筛选所述预测框集合，以进行目标跟踪。

7、在第一方面的一种实现方式中，基于所述预测特征矩阵及所述目标文本特征获取相似度向量包括：基于所述预测特征矩阵获取帧向量；基于所述帧向量及所述目标文本特征获取相似度向量。

8、在第一方面的一种实现方式中，所述相似度向量表示n个元素的向量，所述相似度向量的值介于0～1之间，根据所述相似度向量筛选所述预测框集合，以进行目标跟踪包括：根据预设阈值筛选所述相似度向量的值，以获取可用帧；根据所述可用帧筛选所述预测框集合，以获取所述目标文本提示所对应的预测框，实现目标跟踪。

9、第二方面，本申请提供一种目标跟踪系统，所述目标跟踪系统包括：第一获取模块，用于获取待检测视频及目标文本提示；第二获取模块，用于基于所述待检测视频获取帧特征矩阵；第三获取模块，用于基于所述目标文本提示获取目标文本特征；第一处理模块，用于基于所述帧特征矩阵及所述目标文本特征获取像素级矩阵；第二处理模块，用于根据所述帧特征矩阵、所述目标文本提示及所述像素级矩阵获取预测特征矩阵；跟踪模块，用于基于所述预测特征矩阵及所述目标文本特征进行目标跟踪。

10、第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被电子设备执行时实现本申请第一方面任一项所述的目标跟踪方法。

11、第四方面，本申请提供一种电子设备，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行本申请第一方面任一项所述的目标跟踪方法。

12、根据本申请的目标跟踪方法及系统、介质及电子设备，基于帧特征矩阵及目标文本特征获取像素级矩阵及预测特征矩阵，并基于预测特征矩阵及目标文本特征进行目标跟踪，可以有效实现文本提示的预定义目标的跟踪。

技术特征：

1.一种目标跟踪方法，其特征在于，所述方法包括：

2.根据权利要求1所述的目标跟踪方法，其特征在于，基于所述待检测视频获取帧特征矩阵包括：

3.根据权利要求1所述的目标跟踪方法，其特征在于，基于所述帧特征矩阵及所述目标文本特征获取像素级矩阵包括：

4.根据权利要求1所述的目标跟踪方法，其特征在于，基于所述帧特征矩阵、所述目标文本提示及所述像素级矩阵获取预测特征矩阵包括：

5.根据权利要求1所述的目标跟踪方法，其特征在于，基于所述预测特征矩阵及所述目标文本特征进行目标跟踪包括：

6.根据权利要求5所述的目标跟踪方法，其特征在于，基于所述预测特征矩阵及所述目标文本特征获取相似度向量包括：

7.根据权利要求5所述的目标跟踪方法，其特征在于，所述相似度向量表示n个元素的向量，所述相似度向量的值介于0～1之间，根据所述相似度向量筛选所述预测框集合，以进行目标跟踪包括：

8.一种目标跟踪系统，其特征在于，所述系统包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至7中任一项所述的目标跟踪方法。

10.一种电子设备，其特征在于，包括处理器及存储器；

技术总结
本申请提供一种目标跟踪方法及系统、介质及电子设备。所述方法包括：获取待检测视频及目标文本提示；基于所述待检测视频获取帧特征矩阵；基于所述目标文本提示获取目标文本特征；基于所述帧特征矩阵及所述目标文本特征获取像素级矩阵；根据所述帧特征矩阵、所述目标文本提示及所述像素级矩阵获取预测特征矩阵；基于所述预测特征矩阵及所述目标文本特征进行目标跟踪。本申请技术方案可实现对自定义目标进行视频目标跟踪。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海蜜度科技股份有限公司
技术研发日：
技术公布日：2024/9/5