一种多模态目标重识别方法

1.本发明涉及安防监控技术领域，尤其是涉及一种多模态目标重识别方法。


背景技术：

2.计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行检测、识别和跟踪等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。
3.在智能安防、视频监控等领域，目前的视频监控技术主要以人工分析为主，这就造成了消耗大、效率低的问题，因此，实现智能视频监控已是迫切需求。智能视频监控利用模式识别和计算机视觉技术对海量监控视频数据进行处理和分析时，资源消耗大，检索效率低。


技术实现要素：

4.本发明的目的是提供一种多模态目标重识别方法，可以对海量的视频、图像资源进行标准化处理，降低视频存储的资源消耗，有效提高检索效率，降低人力消耗。
5.为实现上述目的，本发明提供了一种多模态目标重识别方法，具体步骤如下：
6.步骤s1：通过多个摄像头采集不同场景下的监控视频，得到监控视频数据库s
l
，利用s
l
训练目标检测模型、目标跟踪模型、行为识别模型、属性识别模型以及人脸检测模型；
7.步骤s2：通过目标检测模型得到目标序列o＝{o1,o2,...,on}，同时对检测到的目标oi通过目标跟踪模型进行跟踪，直到目标oi超出摄像头的监控范围，得到目标oi出现的时间范围得到所有目标在监控视频中出现的时间序列t＝{t1,t2,...,tn}；
8.步骤s3：通过行为识别模型得到监控视频中各个目标的行为序列b＝{b1,b2,...,bn}；
9.步骤s4：将步骤s2中的目标序列o输入到属性识别模型中得到各个目标的属性序列a＝{a1,a2,...,an}；
10.步骤s5：通过特征提取模块将o中各个目标从图像转换成特征矩阵f＝{f1,f2,...,fn}，并将每个目标的特征信息、属性信息、行为信息和时间信息关联在一起，形成目标的多模态信息集mis＝{i1,i2,...,in}，其中ii＝{fi,a2bi,ti}，当目标为人时，检测目标通过人脸检测模型得到面部特征ff＝{ffi,ff2,...,ffi}，ii＝{fi,a2bi,ffi,ti}；
11.步骤s6：当进行目标重识别时，将目标图像输入到特征提取模块中，得到待检索目标的特征矩阵wtf，再对mis的特征信息列进行检索，计算mis中各目标与wtf之间的相似度，确定是否存在对应目标ti，当不存在对应目标时，将待检索目标的多模态信息作为输入从中mis检索。
12.优选的，在步骤s2中，在目标检测过程中，对于模糊度高于设定阀值的目标不加入目标序列中，目标检测模型将场景中检测到的目标裁剪出来形成一个图像库，并将图像库转换为特征矩阵进行存储。
13.优选的，在步骤s6中，在进行特征提取前，当图像的模糊度高于设定值时，通过图像的多模态信息进行作为输入从中mis检索，当图像的模糊度小于等于设定值时，进行特征提取，得到目标的特征矩阵wtf。
14.优选的，所述多模态信息为目标属性信息或行为信息或其组合。
15.因此，本发明采用上述一种多模态目标重识别方法，具有以下有益效果：
16.(1)通过对监控视频进行结构化处理，从而降低视频存储所消耗的资源，并且可以提高从监控视频中进行目标重识别的效率。
17.(2)将待检索目标的多模态信息作为输入从中mis检索，可以更好地应对实际场景中的各类情况，可以为视频侦察提供技术支撑，有效提高检索效率，降低人力消耗。
18.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
19.图1为本发明视频结构化处理的流程示意图；
20.图2为本发明从结构化信息中检索感兴趣目标的流程示意图。
具体实施方式
21.实施例
22.图1为本发明视频结构化处理的流程示意图，如图1所示，一种多模态目标重识别方法，具体步骤如下：
23.步骤s1：通过多个摄像头采集不同场景下的监控视频，得到监控视频数据库s
l
，利用s
l
训练目标检测模型、目标跟踪模型、行为识别模型、属性识别模型以及人脸检测模型。
24.步骤s2：通过目标检测模型得到目标序列o＝{o1,o2,...,on}，在目标检测过程中，对于模糊度高于设定阀值的目标不加入目标序列中，目标检测模型将场景中检测到的目标裁剪出来形成一个图像库，并将图像库转换为特征矩阵进行存储。对于图像类的模态信息，由于直接存储会消耗大量资源，因此会进一步将图像转换成特征矩阵来进行存储。
25.同时对检测到的目标oi通过目标跟踪模型进行跟踪，直到目标oi超出摄像头的监控范围，得到目标oi出现的时间范围得到所有目标在监控视频中出现的时间序列t＝{t1,t2,...,tn}，获取运动轨迹，便于后续行为分析。
26.步骤s3：通过行为识别模型得到监控视频中各个目标的行为序列b＝{b1,b2,...,bn}。
27.步骤s4：将步骤s2中的目标序列o输入到属性识别模型中得到各个目标的属性序列a＝{a1,a2,...,an}。
28.步骤s5：通过特征提取模块将o中各个目标从图像转换成特征矩阵f＝{f1,f2,...,fn}，并将每个目标的特征信息、属性信息、行为信息和时间信息关联在一起，形成目标的多模态信息集mis＝{i1,i2,...,in}，其中ii＝{fi,a2bi,ti}，当目标为人时，检测目标通过人脸检测模型得到面部特征ff＝{ffi,ff2,...,ffi}，ii＝{fi,a2bi,ffi,ti}。
29.步骤s6：图2为本发明从结构化信息中检索感兴趣目标的流程示意图，如图2所示，当进行目标重识别时，当图像的模糊度高于设定值时，通过图像的多模态信息进行作为输入从中mis检索，当图像的模糊度小于等于设定值时，进行特征提取，得到目标的特征矩阵
wtf。将目标图像输入到特征提取模块中，得到待检索目标的特征矩阵wtf，再对mis的特征信息列进行检索，计算mis中各目标与wtf之间的相似度，确定是否存在对应目标ti，当不存在对应目标时，将待检索目标的多模态信息作为输入从中mis检索。多模态信息为目标属性信息或行为信息或其组合，可以更好地应对实际场景中的各类情况。
30.因此，本发明采用上述一种多模态目标重识别方法，该方法通过对监控视频进行结构化处理，从而降低视频存储所消耗的资源，并且可以提高从监控视频中进行目标重识别的效率。
31.最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。


技术特征：
1.一种多模态目标重识别方法，其特征在于，具体步骤如下：步骤s1：通过多个摄像头采集不同场景下的监控视频，得到监控视频数据库s
l
，利用s
l
训练目标检测模型、目标跟踪模型、行为识别模型、属性识别模型以及人脸检测模型；步骤s2：通过目标检测模型得到目标序列o＝{o1,o2,...,o
n
}，同时对检测到的目标o
i
通过目标跟踪模型进行跟踪，直到目标o
i
超出摄像头的监控范围，得到目标o
i
出现的时间范围得到所有目标在监控视频中出现的时间序列t＝{t1,t2,...,t
n
}；步骤s3：通过行为识别模型得到监控视频中各个目标的行为序列b＝{b1,b2,...,b
n
}；步骤s4：将步骤s2中的目标序列o输入到属性识别模型中得到各个目标的属性序列a＝{a1,a2,...,a
n
}；步骤s5：通过特征提取模块将o中各个目标从图像转换成特征矩阵f＝{f1,f2,...,f
n
}，并将每个目标的特征信息、属性信息、行为信息和时间信息关联在一起，形成目标的多模态信息集mis＝{i1,i2,...,i
n
}，其中i
i
＝{f
i
,a2b
i
,t
i
}，当目标为人时，检测目标通过人脸检测模型得到面部特征ff＝{ff
i
,ff2,...,ff
i
}，i
i
＝{f
i
,a2b
i
,ff
i
,t
i
}；步骤s6：当进行目标重识别时，将目标图像输入到特征提取模块中，得到待检索目标的特征矩阵wtf，再对mis的特征信息列进行检索，计算mis中各目标与wtf之间的相似度，确定是否存在对应目标t
i
，当不存在对应目标时，将待检索目标的多模态信息作为输入从中mis检索。2.根据权利要求1所述的一种多模态目标重识别方法，其特征在于：在步骤s2中，在目标检测过程中，对于模糊度高于设定阀值的目标不加入目标序列中，目标检测模型将场景中检测到的目标裁剪出来形成一个图像库，并将图像库转换为特征矩阵进行存储。3.根据权利要求2所述的一种多模态目标重识别方法，其特征在于：在步骤s6中，在进行特征提取前，当图像的模糊度高于设定值时，通过图像的多模态信息进行作为输入从中mis检索，当图像的模糊度小于等于设定值时，进行特征提取，得到目标的特征矩阵wtf。4.根据权利要求3所述的一种多模态目标重识别方法，其特征在于：所述多模态信息为目标属性信息或行为信息或其组合。

技术总结
本发明公开了一种多模态目标重识别方法，通过目标检测模型、目标跟踪模型、行为识别模型、属性识别模型以及人脸检测模型对监控视频数据库S


技术研发人员：王同喜 许子民 肖一烽 向华 何黎霞
受保护的技术使用者：长江大学
技术研发日：2022.09.30
技术公布日：2022/12/27