一种视频目标匹配方法、装置、设备及存储介质与流程

本申请涉及计算机视觉，尤其涉及一种视频目标匹配方法、装置、设备及存储介质。

背景技术：

1、在互联网日渐普及的基础下，视频数据增长显著。视频数据中包含的信息更加丰富，更加直观生动，在针对目标密集、目标遮挡的视频中，现有技术中，很容易发生目标位置标注错位形变等问题，导致目标位置的准确率低，同时针对各种类型的多目标无法给出视频数据帧间同一目标的关联关系与信息变化，导致场景通用性差，且还需要人工进一步修正，耗时耗力。

技术实现思路

1、本申请提供了一种视频自动化标注方法、装置、设备及存储介质，减少目标识别过程中的目标标注错位形变等问题，并可以给出多种类型的出现在视频数据帧之间同一目标的关联关系与信息变化，减少人工成本，并提高了场景的通用性。

2、第一方面，本申请提供了一种视频目标匹配方法，包括：

3、从视频流已识别出的目标中确定当前视频帧需要匹配的跟踪目标，其中，所述跟踪目标为满足预设筛选条件的目标；

4、针对任意一个跟踪目标，若所述当前视频帧存在与所述任意一个跟踪目标对应的多个候选目标，则基于所述任意一个跟踪目标的预测位置信息和多个候选目标的位置信息，确定所述任意一个跟踪目标与各所述候选目标之间的匹配相似度，其中所述候选目标为与所述任一跟踪目标的位置信息有交叠且目标类型相同的目标，所述任意一个跟踪目标的预测位置信息是根据所述任意一个跟踪目标在所述视频流的至少一个目标视频帧中出现的位置信息确定的，所述目标视频帧位为所述当前视频帧之前且包含所述任意一个跟踪目标的视频帧；

5、根据各所述匹配相似度从所述多个候选目标中确定与所述任意一个跟踪目标有关联关系的候选目标。

6、在一个或多个可能的实施例中，所述方法还包括：

7、若所述当前视频帧不存在所述候选目标，则将所述预测位置信息对应的虚拟目标作为所述当前视频帧中与所述任意一个跟踪目标关联的目标；和/或

8、若当前视频帧存在一个候选目标，则确定将所述一个候选目标与所述任意一个跟踪目标进行关联。

9、在一个或多个可能的实施例中，通过下列方式确定所述任意一个跟踪目标对应的预测位置信息：

10、根据满足预设目标视频帧帧数的连续多个目标视频帧中所述任意一个跟踪目标的位置信息，确定相邻两个目标视频帧之间位置信息的偏移量，并根据确定的偏移量确定平均偏移量；

11、或，根据满足预设视频帧帧数的连续多个视频帧中所述任意一个跟踪目标的位置信息，确定相邻两个视频帧之间位置信息的偏移量，并根据确定的偏移量确定平均偏移量；其中，所述多个视频帧包括至少一个目标视频帧，所述目标视频帧对应的位置信息为所述任意一个跟踪目标在所述目标视频帧的位置信息，非目标视频帧对应的位置信息为所述虚拟目标对应的预测位置信息；

12、根据所述任意一个跟踪目标的位置信息和所述偏移量的平均值，确定所述任意一个跟踪目标对应的预测位置信息。

13、在一个或多个可能的实施例中，所述基于所述任意一个跟踪目标的预测位置信息和多个候选目标的位置信息，确定所述任意一个跟踪目标与各所述候选目标之间的匹配相似度，包括：

14、针对任意一个候选目标，将所述任意一个跟踪目标和所述任意一个候选目标之间的位置相似度作为所述匹配相似度；或

15、针对任意一个候选目标，基于所述任意一个跟踪目标和所述任意一个候选目标之间的位置相似度、尺寸相似度和特征相似度，确定所述匹配相似度；

16、其中，所述位置相似度基于任意一个跟踪目标的预测位置信息和所述任意一个候选目标的位置信息确定；

17、所述尺寸相似度基于任意一个跟踪目标的尺寸信息和所述任意一个候选目标的尺寸信息确定；

18、所述特征相似度基于任意一个跟踪目标的特征信息和所述任意一个候选目标的特征信息确定。

19、在一个或多个可能的实施例中，所述预设筛选条件包括下列中的部分或全部：

20、目标未关联到候选目标的帧数小于等于预设帧数；

21、目标的目标类型为预设类型；

22、目标的位置位于预设区域范围。

23、在一个或多个可能的实施例中，通过下列方式确定所述当前视频帧中与所述任意一个跟踪目标对应的候选目标：

24、针对所述当前视频帧中的任意一个目标，若任意一个跟踪目标的尺寸信息和所述任意一个目标的尺寸信息的差值满足预设尺寸阈值，和\或，若任意一个跟踪目标的预测位置信息和所述任意一个目标的位置信息的差值满足预设位置阈值，则确定所述任意一个目标为与所述任意一个跟踪目标对应的候选目标。

25、第二方面，本申请还提供了一种视频目标匹配装置，所述装置包括：

26、跟踪目标确定模块，从视频流已识别出的目标中确定当前视频帧需要匹配的跟踪目标，其中，所述跟踪目标为满足预设筛选条件的目标；

27、匹配相似度确定模块，针对任意一个跟踪目标，若所述当前视频帧存在与所述任意一个跟踪目标对应的多个候选目标，则基于所述任意一个跟踪目标的预测位置信息和多个候选目标的位置信息，确定所述任意一个跟踪目标与各所述候选目标之间的匹配相似度，其中所述候选目标为与所述任一跟踪目标的位置信息有交叠且目标类型相同的目标，所述任意一个跟踪目标的预测位置信息是根据所述任意一个跟踪目标在所述视频流的至少一个目标视频帧中出现的位置信息确定的，所述目标视频帧位为所述当前视频帧之前且包含所述任意一个跟踪目标的视频帧；

28、候选目标确定模块，根据各所述匹配相似度从所述多个候选目标中确定与所述任意一个跟踪目标有关联关系的候选目标。

29、第三方面，本申请提供了一种视频目标匹配设备，所述设备包括：

30、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面中任何一项所述的方法。

31、第四方面，本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使计算机执行如第一方面中任何一项所述的方法。

32、本申请提供了一种视频目标匹配方法、装置、设备及存储介质，确定筛选出满足预设条件的目标作为跟踪目标，确定视频流中的跟踪目标存在多个候选目标时，根据上述跟踪目标对应的预测位置信息与各所述候选目标之间的匹配相似度，确定选取一个候选目标与上述跟踪目标进行关联；用于减少目标识别过程中的目标标注错位形变等问题，并给出多种类型的出现在视频数据帧之间同一目标的关联关系与信息变化，减少人工成本，并提高场景的通用性。

技术特征：

1.一种视频目标匹配方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述任意一个跟踪目标对应的预测位置信息：

4.根据权利要求1所述的方法，其特征在于，所述基于所述任意一个跟踪目标的预测位置信息和多个候选目标的位置信息，确定所述任意一个跟踪目标与各所述候选目标之间的匹配相似度，包括：

5.根据权利要求1所述的方法，其特征在于，所述预设筛选条件包括下列中的部分或全部：

6.根据权利要求1所述的方法，其特征在于，通过下列方式确定所述当前视频帧中与所述任意一个跟踪目标对应的候选目标：

7.一种视频目标匹配装置，其特征在于，所述装置包括：

8.一种视频目标匹配设备，其特征在于，所述设备包括：

9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-6中任一项所述的方法。

技术总结
本申请提供了一种视频目标匹配方法、装置、设备及存储介质，包括：从视频流已识别出的目标中确定当前视频帧需要匹配的跟踪目标；针对任意一个跟踪目标，若所述当前视频帧存在与所述任意一个跟踪目标对应的多个候选目标，则基于所述任意一个跟踪目标的预测位置信息和多个候选目标的位置信息，确定所述任意一个跟踪目标与各所述候选目标之间的匹配相似度；根据各所述匹配相似度从所述多个候选目标中确定与所述任意一个跟踪目标有关联关系的候选目标；可以减少目标识别过程中的目标的标注错位形变等问题，并可以给出多种类型的出现在视频数据帧之间同一目标的关联关系与信息变化，减少人工成本，并提高了场景的通用性。

技术研发人员：王建辉,张朋,汪志强,周祥明,刘宇奇
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/3/31