基于视频图像的轨迹生成方法、装置、电子设备和介质与流程

文档序号:25525765发布日期:2021-06-18 20:15阅读:来源:国知局

技术特征:

1.一种基于视频图像的轨迹生成方法,包括:

对预获取的视频中的每一帧图像进行物品实体检测,以生成物品检测信息,得到物品检测信息集合,其中,所述物品检测信息集合中的物品检测信息包括:物品类别标识、帧索引值、第一顶点坐标和第二顶点坐标;

基于所述物品检测信息集合中的物品检测信息,生成候选轨迹集;

从所述候选轨迹集中筛选出满足轨迹筛选条件的候选轨迹作为预处理轨迹,得到预处理轨迹序列;

对所述预处理轨迹序列中的预处理轨迹进行轨迹融合处理,得到融合轨迹集;

基于所述融合轨迹集,生成物品拿取信息组集;

将所述物品拿取信息组集发送至目标终端以供显示。

2.根据权利要求1所述的方法,其中,所述对预获取的视频中的每一帧图像进行物品实体检测,以生成物品检测信息,包括:

将所述图像输入至物品实体检测模型,以生成第一候选物品检测信息,其中,第一候选物品检测信息包括:候选物品类别标识、候选帧索引值、候选检测框第一顶点坐标和候选检测框第二顶点坐标;

将所述图像输入至至少一个校验模型,以生成至少一个第二候选物品检测信息。

3.根据权利要求2所述的方法,其中,所述对预获取的视频中的每一帧图像进行物品实体检测,以生成物品检测信息,还包括:

基于所述第一候选物品检测信息包括的候选检测框第一顶点坐标、候选检测框第二顶点坐标和所述至少一个第二候选物品检测信息中各个第二候选物品检测信息包括的候选检测框第一顶点坐标、候选检测框第二顶点坐标,对所述第一候选物品检测信息包括的候选检测框第一顶点坐标和候选检测框第二顶点坐标,进行校正处理,以生成已矫正第一顶点坐标和已矫正第二顶点坐标;

基于所述已矫正第一顶点坐标、所述已矫正第二顶点坐标和所述第一候选物品检测信息包括的候选物品类别标识、候选帧索引值,生成所述物品检测信息。

4.根据权利要求3所述的方法,其中,所述基于所述物品检测信息集合中的物品检测信息,生成候选轨迹集,包括:

根据所述物品检测信息集合中的物品检测信息包括的第一顶点坐标和第二顶点坐标,确定物品检测框,得到物品检测框组,其中,所述物品检测框组中的物品检测框与所述物品检测信息集合中的物品检测信息一一对应;

基于所述物品检测框组和所述物品检测信息集合,生成所述候选轨迹集。

5.根据权利要求4所述的方法,其中,所述对所述预处理轨迹序列中的预处理轨迹进行轨迹融合处理,得到融合轨迹集,包括:

基于所述预处理轨迹序列和初始融合轨迹集,其中,所述初始融合轨迹集初始为空,执行如下融合步骤:

选择预处理轨迹序列中的第一个预处理轨迹作为第一候选融合轨迹;

将预处理轨迹序列中未选取的预处理轨迹确定为第二候选融合轨迹,得到第二候选融合轨迹组;

确定所述第一候选融合轨迹与所述第二候选融合轨迹组中每个第二候选融合轨迹的匹配信息,得到匹配信息集合,其中,所述匹配信息集合中的匹配信息包括重叠度组、第一短时方向信息和第二短时方向信息;

基于所述第一候选融合轨迹和目标候选融合轨迹,生成融合轨迹,其中,所述目标候选融合轨迹为对应的匹配信息满足预定条件的第二候选融合轨迹;

将所述融合轨迹添加至初始融合轨迹集中,得到更新后的初始融合轨迹集;

将循环计数值增加1,其中,所述循环计数值的初始值为0;

响应于确定所述循环计数值等于所述预处理轨迹序列中的预处理轨迹数量,将所述更新后的初始融合轨迹集确定为所述融合轨迹集;

响应于确定所述循环计数值小于所述预处理轨迹序列中预处理轨迹的数量,将所述第一个预处理轨迹移动至所述预处理轨迹序列中最后一位;将更新后的预处理轨迹序列确定为预处理轨迹序列,再次执行所述融合步骤。

6.根据权利要求5所述的方法,其中,所述基于所述第一候选融合轨迹和目标候选融合轨迹,生成融合轨迹,包括:

响应于所述第一候选融合轨迹和所述目标候选融合轨迹满足同类内部融合条件,按照所述第一候选融合轨迹和目标候选融合轨迹包括的各个检测框对应的帧索引值从大到小的顺序,对所述第一候选融合轨迹和目标候选融合轨迹进行拼接,以生成所述融合轨迹,其中,所述同类内部融合条件为所述第一候选融合轨迹对应的检测信息内的物品类别标识和所述目标候选融合轨迹对应的检测信息内的物品类别标识相同。

7.根据权利要求6所述的方法,其中,所述第一候选融合轨迹包括:至少一个第一可融合部分轨迹,所述目标候选融合轨迹包括:至少一个第二可融合部分轨迹,所述融合轨迹包括:至少一个子融合轨迹;以及

所述基于所述第一候选融合轨迹和目标候选融合轨迹,生成融合轨迹,还包括:

响应于所述第一候选融合轨迹和所述目标候选融合轨迹不满足所述同类内部融合条件,对于所述至少一个第一可融合部分轨迹中的每个第一可融合部分轨迹,响应于确定目标可融合部分轨迹和所述第一可融合部分轨迹满足跟踪有效条件,基于所述第一可融合部分轨迹和目标可融合部分轨迹,生成可融合部分信息,其中,所述可融合部分信息包括:所述第一可融合部分轨迹和目标可融合部分轨迹,所述目标可融合部分轨迹是所述至少一个第二可融合部分轨迹中的第二可融合部分轨迹;

基于所生成的至少一个可融合部分信息中的每个可融合部分信息,生成子融合轨迹,得到所述至少一个子融合轨迹。

8.一种基于视频图像的轨迹生成装置,包括:

检测单元,被配置成对预获取的视频中的每一帧图像进行物品实体检测,以生成物品检测信息,得到物品检测信息集合,其中,所述物品检测信息集合中的物品检测信息包括:物品类别标识、帧索引值、第一顶点坐标和第二顶点坐标;

第一生成单元,被配置成基于所述物品检测信息集合中的物品检测信息,生成候选轨迹集;

筛选单元,被配置成从所述候选轨迹集中筛选出满足轨迹筛选条件的候选轨迹作为预处理轨迹,得到预处理轨迹序列;

融合单元,被配置成对所述预处理轨迹序列中的预处理轨迹进行轨迹融合处理,得到融合轨迹集;

第二生成单元,被配置成基于所述融合轨迹集,生成物品拿取信息组集;

显示单元,被配置成将所述物品拿取信息组集发送至目标终端以供显示。

9.一种电子设备,包括:

一个或多个处理器;

存储装置,其上存储有一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。


技术总结
本公开的实施例公开了基于视频图像的轨迹生成方法、装置、电子设备和介质。该方法的一具体实施方式包括:对预获取的视频中的每一帧图像进行物品实体检测,以生成物品检测信息,得到物品检测信息集合;基于该物品检测信息集合中的物品检测信息,生成候选轨迹集;从该候选轨迹集中筛选出满足轨迹筛选条件的候选轨迹作为预处理轨迹,得到预处理轨迹序列;对该预处理轨迹序列中的预处理轨迹进行轨迹融合处理,得到融合轨迹集;基于该融合轨迹集,生成物品拿取信息组集;将该物品拿取信息组集发送至目标终端以供显示。该实施方式提高了无人货柜的空间利用率。

技术研发人员:邓博洋;程杨武
受保护的技术使用者:北京每日优鲜电子商务有限公司
技术研发日:2021.04.28
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1