行人轨迹跟踪方法、装置及电子设备、存储介质与流程

本申请涉及目标跟踪、图像处理，尤其涉及一种行人轨迹跟踪方法、装置及电子设备、存储介质。

背景技术：

1、随着人工智能技术的发展，对路口和路段中的行人进行检测、跟踪、计数统计和航迹计算应用十分广泛。在路口和路段部署路侧设备，路侧设备上安装不同焦距摄像头可以实现路侧感知。

2、采用鱼眼摄像头比枪式摄像机有更加广的视角，能观测更大的视角范围。如果运用鱼眼摄像头观测路口和路段下的一定区域的行人不仅可以节约成本，也可以有效地做出检测。

3、相关技术中，基于鱼眼摄像头的鱼眼检测跟踪系统主要是通过卷积神经网络检测行人头部框，然后取底边中点进行检测定位跟踪。然而获取的人体定位不够准确，而且当前对行人的航迹计算方法过于粗暴，受到检测噪声影响。并且还存在航迹抖动问题。

技术实现思路

1、本申请实施例提供了一种行人轨迹跟踪方法、装置及电子设备、存储介质，以提高行人定位精度。

2、本申请实施例采用下述技术方案：

3、第一方面，本申请实施例提供一种行人轨迹跟踪方法，其中，所述方法包括：

4、根据鱼眼摄像头，获取鱼眼检测图像；

5、校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置；

6、根据所述行人目标定位点的第二位置和所述目标检测框，对行人目标进行跟踪，得到轨迹跟踪结果。

7、在一些实施例中，所述轨迹跟踪结果包括行人轨迹跟踪，所述方法还包括：

8、根据目标检测框，对行人目标进行跟踪；

9、基于跟踪结果，对每一个行人目标赋予一个跟踪id并作为行人目标的唯一标识。

10、在一些实施例中，所述轨迹跟踪结果包括行人计算统计，所述方法还包括：

11、对每帧图像进行图像区域划分,当所述跟踪id是第一次出现的图像区域在外围区域时，则将所述跟踪id作为有效的统计计数，所述外围区域为行人目标定位点所在图像中的位置关系至少包括如下之一：0<ox<iw/4，3*iw/4<ox<iw，0<oy<ih/4，3*ih/4<oy<ih，其中，所述iw，ih为图像宽高，所述ox，oy为校正后的行人目标定位点像素坐标。

12、在一些实施例中，所述校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置，包括：

13、获取行人目标的目标检测框后，得到所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置；

14、根据行人目标在图像中头部和脚部的成像特性，进行定位点重新校正得到行人目标定位点的第二位置。

15、在一些实施例中，所述轨迹跟踪结果包括行人航迹计算，所述方法还包括：

16、根据所述行人目标定位点的第二位置，得到校正后的行人目标定位点像素坐标(ox，oy)；

17、根据所述(ox，oy)以及所述鱼眼相机的标定文件参数，将2d像素坐标映射到地面的3d坐标系上，得到行人在世界坐标系下的行人目标的3d位置；

18、通过累积距离和静止判断相结合的方式，计算出行人航迹。

19、在一些实施例中，所述通过累积距离和静止判断相结合的方式，计算出行人航迹，包括：

20、取第i帧位置的作为累积距离起始位置pi(xi，yi)；

21、假设当前运行到第j帧的位置为pj(xj，yj)，累积距离为同时设置更新阈值dth；

22、如果累积距离d>＝dth，计算每个行人目标的航向角

23、如果d<dth，则取上一帧的航向作为当前航向计算每个行人目标的航向角；

24、如果当前行人目标处于静止状态，将当前帧位置pj作为累积距离起始位置，并且将累积距离记录为0。

25、在一些实施例中，所述当前行人目标处于静止状态的判断方法包括：

26、将当前帧作为第j帧，其位置为pj(xj,，yj)；

27、取当前帧与前几帧的累积平均向量v_j-k＝pj-p_j-k，k为自然数与选取的前几帧相关；

28、计算v_j的向量长度d_j，如果d_j<预设值,则判断当前行人处于静止中，将当前帧位置pj作为累积距离起始位置，并且将累积距离记录为0。

29、第二方面，本申请实施例还提供一种行人轨迹跟踪装置，其中，所述装置包括：

30、获取模块，用于根据鱼眼摄像头，获取鱼眼检测图像；

31、校正模块，用于校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置；

32、目标跟踪模块，用于根据所述行人目标定位点的第二位置和所述目标检测框，对行人目标进行跟踪，得到轨迹跟踪结果。

33、第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。

34、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。

35、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：根据鱼眼摄像头，获取鱼眼检测图像；然后通过校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置；最后根据所述行人目标定位点的第二位置和所述目标检测框，对行人目标进行跟踪，得到轨迹跟踪结果。基于鱼眼相机，针对行人检测定位不准问题，进行了行人定位点矫正，从而获取较可靠的行人脚部位定位点，之后根据定位点的信息，还可以进行行人轨迹跟踪以及行人航向计算。

技术特征：

1.一种行人轨迹跟踪方法，其中，所述方法包括：

2.如权利要求1所述方法，其中，所述轨迹跟踪结果包括行人轨迹跟踪，所述方法还包括：

3.如权利要求2所述方法，其中，所述轨迹跟踪结果包括行人计算统计，所述方法还包括：

4.如权利要求1所述方法，其中，所述校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置，包括：

5.如权利要求1所述方法，其中，所述轨迹跟踪结果包括行人航迹计算，所述方法还包括：

6.如权利要求5所述方法，其中，所述通过累积距离和静止判断相结合的方式，计算出行人航迹，包括：

7.如权利要求5所述方法，其中，所述当前行人目标处于静止状态的判断方法包括：

8.一种行人轨迹跟踪装置，其中，所述装置包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

技术总结
本申请公开了一种行人轨迹跟踪方法、装置及电子设备、存储介质，所述方法包括：根据鱼眼摄像头，获取鱼眼检测图像；校正所述鱼眼检测图像的目标检测框中的行人目标定位点的第一位置，得到行人目标定位点的第二位置；根据所述行人目标定位点的第二位置和所述目标检测框，对行人目标进行跟踪，得到轨迹跟踪结果。通过本申请提高行人定位精度以及在行人轨迹跟踪结果中航向角计算的准确度和鲁棒性。

技术研发人员：阮善恩,程垚
受保护的技术使用者：蘑菇车联信息科技有限公司
技术研发日：
技术公布日：2024/1/16