检测跟踪方法、装置以及介质与流程

文档序号:23718168发布日期:2021-01-24 06:28阅读:来源:国知局

技术特征:
1.一种检测跟踪方法,其特征在于,包括:构建目标检测与跟踪关联相融合的单一检测跟踪模型;基于已经使用目标偏移量进行了目标关联标注的预定帧数的帧序列,对所述检测跟踪模型进行训练;将预定帧数的连续帧序列输入到训练完成的所述检测跟踪模型中,检测所述检测跟踪模型预测输出的预测目标偏移量是否能在输入的所述帧序列中关联到同一目标,以跟踪所述帧序列中的同一目标;其中,使用目标偏移量进行了目标关联标注的所述帧序列为:对选择的同一视频的帧序列之间的同一目标使用目标偏移量进行目标关联标注。2.如权利要求1所述的方法,其特征在于,对选择的同一视频的帧序列之间的同一目标使用目标偏移量进行目标关联标注,具体包括:对帧序列的每帧上的目标进行位置区域标注;对帧序列的相邻帧之间属于同一目标的位置区域使用目标偏移量进行标注;所述使用目标偏移量进行标注表示所述同一目标从上一帧的一个位置移到了当前帧的当前位置以将所述同一目标关联起来。3.如权利要求1所述的方法,其特征在于,构建目标检测与跟踪关联相融合的单一检测跟踪模型,具体包括:将基于残差结构residualblock构造的特征检测主干网络backbone接入到ssd检测网络模型的特征提取段neck及其预测输出段heads中,以及,将所述特征提取段neck改造为pafpn连接通道,以连接检测主干网络backbone和预测输出段heads,构建检测网络residual-ssd;在所述检测网络residual-ssd的特征提取段neck增设与相邻帧之间目标偏移量对应的预测输出段heads的回归regression输出,以构建residual-ssd-track检测网络模型,作为所述检测跟踪模型。4.如权利要求1至3中任一项所述的方法,其特征在于,基于已经使用目标偏移量进行了目标关联标注的预定帧数的帧序列,对所述检测跟踪模型进行训练,具体包括:读入预定帧数的帧序列中目标的位置区域的真值以及进行了目标关联标注的所述连续帧的相邻帧之间的同一目标的目标偏移量;基于所述检测跟踪模型的网络输入分辨率以及参考位置区域对所述目标的位置区域的真值进行编码;基于所述网络输入分辨率对所述目标偏移量进行编码;以及将两个所述编码与所述检测跟踪模型根据读入的所述真值和目标偏移量输出的预测结果进行均方误差mse,基于所述均方误差mse更新所述检测跟踪模型的模型参数;其中,所述预测结果包括预测目标的位置区域和预测目标偏移量;保存更新了模型参数的所述检测跟踪模型,作为训练完成的检测跟踪模型。5.如权利要求4所述的方法,其特征在于,将预定帧数的帧序列输入到训练完成的所述检测跟踪模型中,检测所述检测跟踪模型预测输出的预测目标偏移量是否能在输入的所述帧序列中关联到同一目标,具体包括:所述检测跟踪模型根据输入的预定帧数的帧序列,输出预测的所述连续帧之间的同一
个目标的目标偏移量以及相应的目标偏移量评分,以确定每一帧的目标到下一帧时的偏移位置;如果所述偏移位置能够命中下一帧的一个目标,则确定每一帧的所述目标与下一帧命中的一个目标为同一目标,并且将两个目标进行目标关联标注;依此将检测的帧序列中所有为同一目标的目标都分别关联起来;以跟踪所述帧序列中的同一目标,具体包括:将所述帧序列中已经进行目标关联标注的同一目标,以带有所述目标关联标注的形式显示。6.如权利要求5所述的方法,其特征在于,所述同一视频的帧序列是采用固定间隔随机选择的帧序列;检测所述检测跟踪模型预测输出的预测目标偏移量是否能在输入的所述帧序列中关联到同一目标时,后一次输入的预定帧数的帧序列从前一次输入的帧序列的最后一帧开始;对所述检测跟踪模型的预测结果进行评估具体包括:对预测目标采用平均准确率map进行评估;对根据预测目标和预测目标偏移量进行关联的目标,进行召回率和错误率评估。7.一种检测跟踪装置,其特征在于,包括:模型构建模块,用于构建目标检测与跟踪关联相融合的单一检测跟踪模型;关联模块,用于对选择的同一视频的帧序列之间的同一目标使用目标偏移量进行目标关联标注;模型训练模块,用于基于已经使用目标偏移量进行了目标关联标注的所述帧序列,对所述检测跟踪模型进行训练;模型预测模块,用于将预定帧数的帧序列输入到训练完成的所述检测跟踪模型中,检测所述检测跟踪模型预测输出的预测目标偏移量是否能在输入的所述帧序列中关联到同一目标,以跟踪所述帧序列中的同一目标。8.如权利要求7所述的装置,其特征在于,所述关联模块,具体用于执行如下操作:对帧序列的每帧上的目标进行位置区域标注;对帧序列的相邻帧之间属于同一目标的位置区域使用目标偏移量进行标注;所述使用目标偏移量进行标注表示所述同一目标从上一帧的一个位置移到了当前帧的当前位置,以将所述同一目标关联起来。9.如权利要求8所述的装置,其特征在于,所述模型构建模块,具体用于执行如下操作:将基于残差结构residualblock构造的特征检测主干网络backbone接入到ssd检测网络模型的特征提取段neck及其预测输出段heads中,以及,将所述特征提取段neck改造为pafpn连接通道以连接检测主干网络backbone和预测输出段heads,构建检测网络residual-ssd;在所述检测网络residual-ssd的特征提取段neck增设与相邻帧之间目标偏移量对应的预测输出段heads的回归regression输出,以构建residual-ssd-track检测网络模型,作为所述检测跟踪模型。10.如权利要求7至9中任一项所述的装置,其特征在于,所述模型训练模块,具体用于
执行如下操作:读入预定帧数的帧序列中目标的位置区域的真值以及进行了目标关联标注的所述连续帧的相邻帧之间的同一目标的目标偏移量;基于所述检测跟踪模型的网络输入分辨率以及参考位置区域对所述目标的位置区域的真值进行编码;基于所述网络输入分辨率对所述目标偏移量进行编码;以及,将两个所述编码与所述检测跟踪模型根据读入的所述真值和目标偏移量输出的预测结果进行均方误差mse,基于所述均方误差mse更新所述检测跟踪模型的模型参数;其中,所述预测结果包括预测目标的位置区域和预测目标偏移量;保存更新了模型参数的所述检测跟踪模型,作为训练完成的检测跟踪模型。11.如权利要求10所述的装置,其特征在于,所述模型预测模块,具体用于执行如下操作:所述检测跟踪模型根据输入的预定帧数的帧序列,输出预测的所述连续帧之间的同一个目标的目标偏移量以及相应的目标偏移量评分,以确定每一帧的目标到下一帧时的偏移位置;如果所述偏移位置能够命中下一帧的一个目标,则确定每一帧的所述目标与下一帧命中的一个目标为同一目标,并且将两个目标进行关联标注;依此将检测的帧序列中所有为同一目标的目标都分别关联起来;将所述帧序列中已经进行目标关联标注的同一目标,以带有所述目标关联标注的形式显示以进行跟踪。12.如权利要求11所述的装置,其特征在于,所述同一视频的帧序列是采用固定间隔随机选择的所述同一视频的帧序列;所述模型预测模块,在检测所述检测跟踪模型预测输出的预测目标偏移量是否能在输入的所述帧序列中关联到同一目标时,后一次输入的预定帧数的帧序列从前一次输入的帧序列的最后一帧开始;所述评估模块,具体用于执行如下操作:对预测目标采用平均准确率map进行评估;以及对根据预测目标和预测目标偏移量进行关联的目标,进行召回率和错误率评估。13.一种计算机装置,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的检测跟踪方法。14.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的检测跟踪方法。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1