多目标实时跟踪方法及其系统和电子设备与流程

文档序号:25872420发布日期:2021-07-16 16:48阅读:来源:国知局

技术特征:
1.多目标实时跟踪方法,其特征在于,包括步骤:在第一线程中,通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置,以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识;在第二线程中,通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理,以获得候选跟踪物体;以及根据该候选跟踪物体,更新在该当前帧图像中需要跟踪的该被跟踪物体。2.如权利要求1所述的多目标实时跟踪方法,其中,所述在第一线程中,通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置,以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识的步骤,包括步骤:根据该被跟踪物体的包围框的中心,计算该被跟踪物体的该包围框内光流特征点的位移平均值和相对于该包围框的中心的缩放平均值;将该位移平均值和该缩放平均值叠加至该被跟踪物体在该上一帧图像中的包围框位置,以得到该被跟踪物体在该当前帧图像中的包围框位置;以及根据所有的该被跟踪物体在该当前帧图像中的包围框位置,确定每个该被跟踪物体的身份标识。3.如权利要求2所述的多目标实时跟踪方法,其中,所述根据该被跟踪物体的包围框的中心,计算该被跟踪物体的该包围框内光流特征点的位移平均值和相对于该包围框的中心的缩放平均值的步骤,包括步骤:通过对该当前帧图像进行fast特征点检测处理,获得初始特征点;基于该初始特征点,通过lucas-kanade算法计算光流,以获得该光流特征点的位置;根据该被跟踪物体的包围框位置和该光流特征点的位置,以该包围框的中心为中心点,计算在该包围框内每个该光流特征点相对于该中心点的缩放值的平均值,以获得该缩放平均值;以及根据该被跟踪物体的包围框位置和该光流特征点的位置,计算在该包围框内每个该光流特征点的位移值的平均值,以获得该位移平均值。4.如权利要求3所述的多目标实时跟踪方法,其中,所述根据所有的该被跟踪物体在该当前帧图像中的包围框位置,确定每个该被跟踪物体的身份标识的步骤,包括步骤:计算每个该被跟踪物体在该当前帧图像和该上一帧图像之间的相关性系数;响应于该相关性系数大于预定关联阈值,将相应的该被跟踪物体在该当前帧图像中的包围框位置作为检测物体的边框位置;以及根据该检测物体的边框位置,通过简单的在线实时跟踪方法计算并匹配在前后帧图像中物体的身份标识,以获得每个该被跟踪物体的身份标识。5.如权利要求1至4中任一所述的多目标实时跟踪方法,其中,所述在第二线程中,通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理,以获得候选跟踪物体的步骤,包括步骤:在输入该视频流中的当前帧图像时,判断该基于深度学习的目标检测模型是否正在运行;
响应于该基于深度学习的目标检测模型正在运行,跳过检测该当前帧图像;以及响应于该基于深度学习的目标检测模型未运行,通过该基于深度学习的目标检测模型对该当前帧图像进行目标检测处理,以得到该候选跟踪物体。6.如权利要求5所述的多目标实时跟踪方法,其中,所述根据该候选跟踪物体,更新在该当前帧图像中需要跟踪的该被跟踪物体的步骤,包括步骤:检测是否存在已有的被跟踪物体;响应于存在该已有的被跟踪物体,计算该候选跟踪物体与该已有的被跟踪物体之间的交并比;响应于该交并比大于预定交并比阈值,比较该候选跟踪物体的置信度得分与该已有的被跟踪物体的置信度得分的大小;响应于该已有的被跟踪物体的置信度得分不小于该候选跟踪物体的置信度得分,将该已有的被跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体;以及响应于该已有的被跟踪物体的置信度得分小于该候选跟踪物体的置信度得分,或该交并比不大于该预定交并比阈值,或不存在该已有的被跟踪物体,将该候选跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体。7.多目标实时跟踪系统,其特征在于,包括相互可通信地连接的:一目标跟踪模块,用于在第一线程中,通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置,以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识;一目标检测模块,用于在第二线程中,通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理,以获得候选跟踪物体;以及一目标更新模块,用于根据该候选跟踪物体,更新在该当前帧图像中需要跟踪的该被跟踪物体。8.如权利要求7所述的多目标实时跟踪系统,其中,所述目标跟踪模块包括相互可通信地连接的一均值计算模块、一位置叠加模块以及一标识确定模块,其中所述均值计算模块用于根据该被跟踪物体的包围框的中心,计算该被跟踪物体的该包围框内光流特征点的位移平均值和相对于该包围框的中心的缩放平均值;其中所述位置叠加模块用于将该位移平均值和该缩放平均值叠加至该被跟踪物体在该上一帧图像中的包围框位置,以得到该被跟踪物体在该当前帧图像中的包围框位置;其中所述标识确定模块用于根据所有的该被跟踪物体在该当前帧图像中的包围框位置,确定每个该被跟踪物体的身份标识。9.如权利要求7或8所述的多目标实时跟踪系统,其中,所述目标检测模块进一步用于在输入该视频流中的当前帧图像时,判断该基于深度学习的目标检测模型是否正在运行;响应于该基于深度学习的目标检测模型正在运行,跳过检测该当前帧图像;以及响应于该基于深度学习的目标检测模型未运行,通过该基于深度学习的目标检测模型对该当前帧图像进行目标检测处理,以得到该候选跟踪物体。10.如权利要求9所述的多目标实时跟踪系统,其中,所述目标更新模块包括相互可通信地连接的一监测模块、一交并比计算模块、一置信度比较模块、一保留模块以及一更新模块,其中所述监测模块用于监测是否存在已有的被跟踪物体;其中所述交并比计算模块用于响应于存在该已有的被跟踪物体,计算该候选跟踪物体与该已有的被跟踪物体之间的交
并比;其中所述置信度比较模块用于响应于该交并比大于预定交并比阈值,比较该候选跟踪物体的置信度得分与该已有的被跟踪物体的置信度得分的大小;其中所述保留模块用于响应于该已有的被跟踪物体的置信度得分不小于该候选跟踪物体的置信度得分,将该已有的被跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体;其中所述更新模块用于响应于该已有的被跟踪物体的置信度得分小于该候选跟踪物体的置信度得分,或该交并比不大于该预定交并比阈值,或不存在该已有的被跟踪物体,将该候选跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体。11.电子设备,其特征在于,包括:至少一处理器,用于执行指令;和与所述至少一处理器可通信地连接的存储器,其中,所述存储器具有至少一指令,其中,所述指令被所述至少一处理器执行,以使得所述至少一处理器执行多目标实时跟踪方法中的部分或全部步骤,其中所述多目标实时跟踪方法包括步骤:在第一线程中,通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置,以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识;在第二线程中,通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理,以获得候选跟踪物体;以及根据该候选跟踪物体,更新在该当前帧图像中需要跟踪的该被跟踪物体。12.电子设备,其特征在于,包括:一近眼显示光学系统;和一多目标实时跟踪系统,其中所述多目标实时跟踪系统被配置于所述近眼显示光学系统,用于实时跟踪经由所述近眼显示光学系统采集的视频流中的目标,其中所述多目标实时跟踪系统包括依次可通信地连接的:一目标跟踪模块,用于在第一线程中,通过光流法根据被跟踪物体在该视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置,以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识;一目标检测模块,用于在第二线程中,通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理,以获得候选跟踪物体;以及一目标更新模块,用于根据该候选跟踪物体,更新在该当前帧图像中需要跟踪的该被跟踪物体。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1