一种工厂车间跨摄像机行人轨迹跟踪方法与流程

1.本发明涉及计算机视觉、图像处理技术领域，更具体地，涉及一种工厂车间跨摄像机行人轨迹跟踪方法。
技术背景
2.在智能监控中单个摄像机的监控范围非常有限，大范围布置摄像机的需求越来越普遍。随之而来的那点就是大量监控视频的管理问题，需要投入大量的人力，人工监视管理监控视频费时费力。
3.跨摄像机多目标跟踪是在多个摄像机直接按跟踪具有时间和空间离散性的运动目标，在智慧城市、公共交通、智慧安防等领域具有重要的应用价值。
4.在大型工厂的车间中，存在空间大难管理的问题，在一些大型车间中没有固定的走道，人员的活动范围广，轨迹无法有效跟踪，管理难度大。


技术实现要素：

5.为了解决在大型车间内跨摄像机多行人跟踪问题，本发明提供了一种工厂车间跨摄像机行人轨迹跟踪方法。
6.本发明为实现上述目的所采用的技术方案是：一种工厂车间跨摄像机行人轨迹跟踪方法，包括以下步骤：(1)行人检测；(2)行人重识别；(3)单摄像机多目标跟踪；(4)轨迹距离计算；(5)轨迹关联，通过摄像机、服务器、小程序的协同工作，基于目标检测和行人重识别的多目标跟踪技术用于工厂车间的监控视频管理。
7.优选地，行人检测是在工厂车间范围内布置n个嵌入轻量化行人检测算法的高清摄像机，车间除人流通道，物流通道外，内部为开放空间，n个摄像机主要负责人流、物流通道的出入口和内部车间设备的工位区域；在t时刻来自n个摄像机(cam1,cam2,
···
camn)将以给定的帧率将所获得的图像存储到磁盘阵列中得到监控视录像，并将在t时刻通过行人检测算法检测到行人图像以cami_t_targetj(cami为摄像机编号，t为当前时刻，targetj为当前时刻检测到的行人，i＝1,2
···
n,j＝1,2,
···
)命名保存在行人抓拍库中。
8.优选地，所述的行人重识别是服务器实时对出入口摄像机抓拍到的行人图片进行行人重识别，若比对行人图像不在标准图库中，则为陌生人图像，标准对比图库由员工图库和访客图库组成，陌生人为其图片不在以上标准图库中的人，当检测到的图片为陌生人时服务器发送警报并为其生成陌生人图库。
9.优选地，所述的单摄像机多目标跟踪是对同一个摄像机抓拍到的行人图片进行单摄像下的轨迹合成，通过相邻帧图片的iou值的差值小于某一设定的阈值来快速确定单摄像机下的行人轨迹，此时单摄像机下的行人轨迹包括每个出现在该摄像机下行人的轨迹和出现在该摄像机下行人的多个轨迹。
10.优选地，所述的轨迹距离计算是计算出生成的每条轨迹的距离，通过计算每条轨
迹开始和结束时的行人图像的平均外观特征作为度量方式，同一个人的轨迹之间的距离明显小于显示不同人的轨迹之间的距离。
11.优选地，所述的轨迹关联，通过聚类算法将不同摄像机下的属于同一个人的轨迹聚合。
12.优选地，所述的摄像机采用嵌入轻量化行人检测算法如yolo nano轻量化目标检测算法，能够在毫秒级同时对一帧画面进行多行人的检测。
13.优选地，所述的服务器用于行人图像的特征提取，行人重识别计算，和为小程序提供存储和运算服务。
14.优选地，所述的服务器采用高性能图形处理器用于行人图像的特征提取，行人重识别计算，和为小程序提供存储和运算服务。
15.优选地，所述的小程序用于实时预览、回放监控视频，查询特定行人的在固定时间点的轨迹。
16.本发明的有益效果：本发明适用于面积大，内部空旷，无固定走廊的工厂车间，可以对内部人员的活动轨迹有效跟踪，方便内部人员走动路线的管理，提高效率，降低成本。
附图说明
图1为本发明的流程示意图；图2为本发明的使用车间的现场示意图。具体实施方法
17.为了使本发明的目、技术方案及优点更加清楚明白，以下结合说明书附图对本发明进行进一步详细说明。
18.如图1所示，本发明的一种工厂车间跨摄像机行人轨迹跟踪方法包括行人检测、行人重识别、单摄像机多目标跟踪、轨迹距离计算、轨迹关联这五个主要步骤。
19.如图2所示，本发明所应用的工厂车间有面积大，内部空旷，无固定走廊的特点，存在内部人员走动路线无法管理的问题。
20.如图2所示，本发明在工厂车间的人流通道和物流通道出入口安装摄像机，其余区域按照实际要求安装，总计安装n个摄像机(cam1,cam2,
···
camn)。
21.所述的摄像机为智能摄像机，嵌入轻量化的目标检测算法，包括但不限于yolo nano算法。
22.所述的n个摄像机以给定的帧率将所获得的图像存储到磁盘阵列中得到监控视录像，并将在t时刻通过行人检测算法检测到行人图像以cami_t_targetj(cami为摄像机编号，t为当前时刻，targetj为当前时刻检测到的行人，i＝1,2
···
n,j＝1,2,
···
)命名保存在行人抓拍库中，同时记录图像在当前摄像头下的中心点位置和长宽。
23.所述的行人重识别是服务器实时对出入口摄像机抓拍到的行人图片进行行人重识别。如当前输入图片为cami_t_targetj，将此行人图片进行特征提取，和已有标准图库中的图片的特征进行相似度比对，若比对行人图像不在标准图库中，则为陌生人图像。标准对比图库由员工图库和访客图库组成，陌生人为其图片不在以上标准图库中的人，当检测到的图片为陌生人时服务器发送警报并为其生成陌生人图库。
24.所述的单摄像机多目标跟踪是对同一个摄像机抓拍到的行人图片进行单摄像下
的轨迹合成，通过相邻帧图片的iou(intersection over union)值的差值小于某一设定的阈值来快速确定单摄像机下的行人轨迹，此时单摄像机下的行人轨迹包括每个出现在该摄像机下行人的轨迹和出现在该摄像机下行人的多个轨迹。
25.所述的轨迹距离计算是计算出生成的每条轨迹的距离，通过计算每条轨迹开始和结束时的行人图像的平均外观特征作为度量方式。同一个人的轨迹之间的距离明显小于显示不同人的轨迹之间的距离。
26.所述的轨迹关联，通过聚类算法将不同摄像机下的属于同一个人的轨迹聚合。
27.所述的服务器用于行人图像的特征提取，行人重识别计算，和为小程序提供存储和运算服务。
28.所述的摄像机采用嵌入轻量化行人检测算法如yolo nano轻量化目标检测算法，能够在毫秒级同时对一帧画面进行多行人的检测。
29.所述的服务器采用高性能图形处理器用于行人图像的特征提取，行人重识别计算，和为小程序提供存储和运算服务。
30.所述的小程序用于实时预览、回放监控视频，查询特定行人的在固定时间点的轨迹。


技术特征：
1.一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：包括以下步骤：(1)行人检测；(2)行人重识别；(3)单摄像机多目标跟踪；(4)轨迹距离计算；(5)轨迹关联，通过摄像机、服务器、小程序的协同工作，基于目标检测和行人重识别的多目标跟踪技术用于工厂车间的监控视频管理。2.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：行人检测是在工厂车间范围内布置n个嵌入轻量化行人检测算法的高清摄像机，车间除人流通道，物流通道外，内部为开放空间，n个摄像机主要负责人流、物流通道的出入口和内部车间设备的工位区域，在t时刻来自n个摄像机(cam1,cam2,
···
camn)将以给定的帧率将所获得的图像存储到磁盘阵列中得到监控视录像，并将在t时刻通过行人检测算法检测到行人图像以cami_t_targetj(cami为摄像机编号，t为当前时刻，targetj为当前时刻检测到的行人，i＝1,2
···
n,j＝1,2,
···
)命名保存在行人抓拍库中。3.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：行人重识别是服务器实时对出入口摄像机抓拍到的行人图片进行行人重识别。若比对行人图像不在标准图库中，则为陌生人图像。标准对比图库由员工图库和访客图库组成，陌生人为其图片不在以上标准图库中的人，当检测到的图片为陌生人时服务器发送警报并为其生成陌生人图库。4.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的单摄像机多目标跟踪是对同一个摄像机抓拍到的行人图片进行单摄像下的轨迹合成，通过相邻帧图片的iou值的差值小于某一设定的阈值来快速确定单摄像机下的行人轨迹，此时单摄像机下的行人轨迹包括每个出现在该摄像机下行人的轨迹和出现在该摄像机下行人的多个轨迹。5.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的轨迹距离计算是计算出生成的每条轨迹的距离，通过计算每条轨迹开始和结束时的行人图像的平均外观特征作为度量方式，同一个人的轨迹之间的距离明显小于显示不同人的轨迹之间的距离。6.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的轨迹关联，通过聚类算法将不同摄像机下的属于同一个人的轨迹聚合。7.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的摄像机采用嵌入轻量化行人检测算法，能够在毫秒级同时对一帧画面进行多行人的检测。8.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的服务器用于行人图像的特征提取，行人重识别计算，和为小程序提供存储和运算服务。9.根据权利要求1所述的一种工厂车间跨摄像机行人轨迹跟踪方法，其特征在于：所述的小程序可以实时预览、回放监控视频，查询特定行人的在固定时间点的轨迹。

技术总结
本发明公开了一种工厂车间跨摄像机行人轨迹跟踪方法，步骤如下：(1)行人检测；(2)行人重识别；(3)单摄像机多目标跟踪；(4)轨迹距离计算；(5)轨迹关联。行人检测实现了目标人员在监控区域的精准检测识别；行人重识别可以根据已知行人图像进行跨设备检索；单摄像机多目标跟踪通过IOU计算生成每个人在当前摄像机下的轨迹；轨迹距离计算通过行人外观特征生成特征矩阵并通过特征矩阵来度量轨迹是否属于同一个人；轨迹关联根据时空特征将同一个人的轨迹关联起来，最后输出行人轨迹。通过摄像机、服务器、小程序的协同工作，基于目标检测和行人重识别的多目标跟踪技术用于工厂车间的监控视频管理。本发明方便内部人员走动路线的管理。本发明方便内部人员走动路线的管理。本发明方便内部人员走动路线的管理。


技术研发人员：黄晓鹏 来嘉镐 汤军 寿荣 陈晶晶 李懿霖 李宇航
受保护的技术使用者：杭州云稻信息技术有限公司
技术研发日：2021.11.20
技术公布日：2022/3/1