一种基于多目标跟踪的道路交通状态预测方法及系统与流程

本发明涉及交通控制，特别涉及一种基于多目标跟踪的道路交通状态预测方法及系统，通过对的车辆结构化数据识别分析对车流量、车辆平均速度、路段拥堵情况进行判断，从而预测道路交通状态。

背景技术：

1、在现代社会，交通管理系统对于维护交通秩序、减少拥堵和提高道路安全至关重要。随着智能交通系统的发展，利用相机技术进行车辆识别已经成为一种常见的手段。这种技术可以通过捕捉图像帧来分析并获取车辆的相关信息，如车牌号、车型、颜色以及精确的地理位置等，这些信息通常被称为车辆结构化数据。通过整合多台相机收集的数据，可以更全面地了解特定路段的交通情况。

2、然而，目前车辆识别技术仍面临一些挑战，这些挑战包括物体遮挡和交错、不同的光照条件、目标激增、外观相似等，在错综复杂的场景中，物体可能会被遮挡物或其他实体遮挡，从而妨碍精确跟踪，光照的变化会改变物体的特征，从而对跟踪器的性能产生不利影响，包含众多目标的场景会影响跟踪速度和精度，相似的物体外观会导致混淆和跟踪差异。

3、为了解决这些问题，研究人员正在探索更先进的图像处理算法、深度学习和计算机视觉技术来提高车辆识别的准确性。同时，大数据处理和云计算技术也被提出来提升数据分析和处理的效率。此外，通过结合机器学习和数据挖掘技术，可以更加准确地实时判断道路的拥堵情况，从而为交通管理决策提供科学依据。因此，开发能够实时捕捉、准确识别并分析车辆数据的技术，以及利用这些技术来评估和优化道路交通状况，对于实现智能交通管理和提高城市交通效率具有重要意义。

技术实现思路

1、为了解决上述复杂情况下物体遮挡和交错、不同的光照条件、目标激增、外观相似等问题，本发明提出了一种基于多目标跟踪的道路交通状态预测方法及系统，基于改进的yolov8算法和deepsort算法，充分融合车辆跟踪id、车牌号、车辆颜色、车型、车辆坐标等车辆结构化数据，将部署在低计算成本的边缘计算设备上，所有计算都将在本地进行，只有实时车辆计数将通过网络传递，使用先进的目标检测算法，作为自定义车辆检测算法的基础模型，确保在特定路段上准确检测，同时为跟踪多个摄像头拍摄的视频序列中不同帧的车辆，使用deepsort算法进行车辆的实时跟踪，基于上面得到的数据，进行特定路段车流量、车辆平均速度、路段拥堵情况进行判断。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种基于多目标跟踪的道路交通状态预测方法，包括以下步骤：

4、s1、车辆检测：收集某一路段不同位置的摄像头拍摄的车辆经过的视频，使用改进后的yolov8模型检测视频中的车辆，获取车辆的相关特征信息，特征信息包括车牌号、车型、颜色以及精确的地理位置，并将其用作deepsort多目标跟踪算法的输入；

5、s2、车辆跟踪：采用deepsort多目标跟踪算法分配车辆id，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；

6、s3、车辆计数：对跟踪车辆经过该路段时实时计数，得到一定时间段内该路段区域的车流量；

7、s4、车辆平均速度评估：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算车辆平均速度；

8、s5、道路拥堵情况评估：根据步骤s4得到的车辆平均速度以及步骤s3得到的车流量，判断道路是否拥堵。

9、作为本发明的进一步技术方案，步骤s1所述改进后的yolov8模型在以现有yolov8框架为基础，采用softnms替换非最大值抑制（nms）来细化车辆候选框，采用卷积块注意力模块替代现有yolov8框架的平均精度（map）中的卷积模块，并在平均精度中添加上采样层。

10、作为本发明的进一步技术方案，采用softnms细化车辆候选框的过程具体表示如下：

11、，

12、其中表示第i个车辆候选框的得分，m和分别表示具有最高得分的车辆候选框的坐标和第i个车辆候选框的坐标，函数iou（.）量化第i个车辆候选框与m之间的交集与并集之比，为预定阈值。

13、作为本发明的进一步技术方案，所述卷积块注意力模块包括通道注意力模块（cam）和空间注意力模块（sam）两个子模块，通道注意力模块用于识别车辆图像中存在哪些重要元素或特征，空间注意力模块用于识别车辆重要特征位于车辆图像中的位置，具体过程如下：

14、通道注意力模块（cam）利用平均池化和最大池化来生成通道注意力𝑀𝑐(𝐹)，计算公式为：

15、，

16、其中𝜎表示sigmoid函数，表示特征图，和为权重矩阵，和分别表示车辆平均池化特征和最大池化特征，这两个特征都传递到具有多层感知器 (𝑀𝐿𝑃)和一个隐藏层的共享网络，输出通道注意力；

17、空间注意力模块（sam）利用平均池化和最大池化来生成空间注意力ms(f)，计算公式为：

18、，

19、其中𝜎表示sigmoid函数，表示滤波器大小为7×7的卷积运算，代表经过平均池化和最大池化后生成的空间注意力特征图。

20、作为本发明的进一步技术方案，步骤s2所述deepsort 多目标跟踪算法使用卡尔曼滤波器和匈牙利算法的组合进行跟踪，具体过程为：

21、s21、对车辆的当前状态进行估计：，其中表示车辆在第状态下的当前估计，是当前时间车辆轨迹的测量观测值；是卡尔曼增益，为给予测量的权重，是车辆在先前状态下的预测估计；

22、s22、利用马氏距离来解释卡尔曼滤波器引入的不确定性，确定每个样本是异常值还是该组的成员；

23、s23、使用匈牙利算法进行车辆关联和车辆id归属，根据车辆特征为车辆分配唯一的标识。

24、作为本发明的进一步技术方案，步骤s3所述车辆计数过程采用虚拟多边形区域来扩展车辆计数系统的鲁棒性，在路上设置一个虚拟的多边形区域，将场景划分为两个区域，其中一个区域位于多边形区域外，另外一个区域是位于多边形区域内，车辆计数发生在车辆已经穿过道路并且其中心坐标从多边形区域外进入多边形区域内时，同时保持唯一的车辆id分配。

25、作为本发明的进一步技术方案，步骤s4所述车辆平均速度的评估过程为：先使用提前设定好的车辆真实宽度和检测出来的车辆像素宽度求出真实距离和像素距离的比值，再使用每辆车的前后两帧框的中心坐标计算出两帧之间移动的像素距离，利用比值和像素距离做映射，求出两帧之间车辆移动的真实距离；然后将真实距离除以两帧之间的时间，得到车辆速度；最后通过对该路段的所有车辆的速度求平均值，得到车辆的平均速度。

26、作为本发明的进一步技术方案，步骤s5道路拥堵情况评估的过程为：

27、s51、定义车辆平均速度（v）：车辆平均速度通过步骤s4得到，单位为 km/h；

28、s52、定义车流量（q）：车流量是指单位时间内通过某一段路段的车辆数量，由步骤s3得到，单位为辆/小时；

29、s53、通过道路拥堵指数评估道路拥堵情况，道路拥堵指数为车流量和车辆平均速度的比值来评估道路拥堵情况，公式如下：道路拥堵指数 = ，道路拥堵指数越大，表示道路越拥堵。

30、第二方面，本发明提供一种基于多目标跟踪的道路交通状态预测系统，包括：

31、车辆检测模块：使用改进后的yolov8模型来检测某一路段不同位置摄像头拍摄的视频中的车辆，获取车辆的相关特征信息；

32、车辆跟踪模块：采用deepsort多目标跟踪算法分配车辆检测模块检测到的车辆id，当车辆在不同视频序列中的不同帧中移动时对其进行跟踪；

33、车辆计数模块：对车辆跟踪模块跟踪的车辆实时计数，得到一定时间段内该路段的车流量；

34、车辆平均速度评估模块：通过计算连续帧之间车辆位置的变化，并结合车辆的地理位置坐标来估算平均速度；

35、道路拥堵情况评估模块：分析车辆平均速度以及特定路段的车流量，判断道路是否拥堵。

36、第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

37、第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

38、与现有技术相比，本发明的有益效果是：

39、本发明提出了一种基于多目标跟踪技术的车辆结构化数据识别、分析和交通状态评估方法，以解决物体遮挡和交错、不同的光照条件、目标激增、外观相似等问题，从而提高车辆识别、跟踪计数的准确性，具体优点如下：

40、（1）在车辆检测中，引入softnms来提高遮挡条件下车辆检测的性能，softnms有效地处理了重叠的边界框，提高了车辆检测的准确性。

41、（2）在yolov8中加卷积注意力层以及额外的上采样层，卷积块注意力模块取代了原来的卷积模块，减少了模型对道路和其他背景的关注，提供更多关于过往车辆的信息。

42、（3）将改进后的yolov8与deepsort算法相结合，验证了算法的遮挡鲁棒性，并测试了车辆被异物遮挡或车辆相互遮挡情况下算法的实时性，并使用轻量级网络进行车流量统计、车辆平均速度和道路拥堵情况的评估，降低计算资源需求，便于在各种硬件环境下部署。