一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法

本发明涉及车辆轨迹分析领域，尤其涉及一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法。

背景技术：

1、目前，为分析车辆的驾驶行为，常通过安装大量的监控设备来抓拍交通视频，产生海量的交通数据，以此进行车辆行驶轨迹的分析。虽然安装了大量的道路监控设备，但是监控设备识别存在诸多问题，比如：对快速通过目标的识别的精度不高；对车型相似的重识别精度较低；相邻监控设备的间距过大，中间存在盲区无法识别等。

2、跨摄像头车辆拼接是一种不错的解决办法，不过需要先对单摄像头下的车辆进行目标进行检测。由于卷积神经网络的蓬勃发展，很多学者采用深度学习来对车辆进行目标检测，一种是基于回归的one-stage算法，代表算法有ssd和yolo系列，如文献[1]杨帆.基于ssd的目标车辆检测算法研究[j].物联网技术，2021，11(06):19-22；在ssd的基础上，对anchor进行改进，进行了目标车辆检测研究；此外，文献[2]王嘉路，王颖，钱立峰等.基于yolov4的车辆检测与识别研究[j].物联网技术，2022，132(02):24-27；在yolov4的基础上添加聚类进行车辆检测与识别研究，这类算法的特点是可以直接预测目标类别和位置。另一种是基于候选区域提取的two-stage算法，代表算法有r-cnn系列。文献[3]单志勇,宫加辉.基于改进的faster r-cnn的车辆目标检测[j].现代计算机，2021(20):74-79，在fasterr-cnn添加多尺度的训练图片，有效地提高了车辆目标检测的精度。

3、上述技术只能集中于单摄像头运动车辆的目标检测与跟踪，不能够连续的反映车辆的运行状态、运行轨迹。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，能够对多摄像头的数据进行联合处理，完成对共同目标车辆的信息共享与整合。

2、本发明所采用的第一技术方案是：一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，包括以下步骤：

3、对车辆视频数据进行存图截取，并划分为桥梁车辆目标检测数据集；

4、根据车辆图像特点对yolov4网络进行改进并利用桥梁车辆目标检测数据集对改进后的网络进行训练，得到训练完成的vfd-yolov4网络；

5、根据训练完成的vfd-yolov4网络和deepsort算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片；

6、构建基于图像特征的多任务学习模型并利用不同监控设备下相同车辆的图片进行训练，得到训练完成的多任务学习模型；

7、构建时空特征模型并与训练完成的多任务学习模型融合，得到车辆重识别模型；

8、利用车辆重识别模型对不同监控设备下相同车辆的图片进行识别，得到重叠区域内的轨迹；

9、基于de-lstm对非重叠区域内的轨迹进行预测，得到非重叠区域内的轨迹。

10、进一步，所述根据车辆图像特点对yolov4网络进行改进，其具体改进如下：

11、在yolov4网络的基础上，引入注意力机制学习不同特征的重要性；

12、在yolov4网络的基础上，引入输出层进一步提高特征提取精度；

13、在yolov4网络的基础上，引入k-means++聚类分析算法缓解网络收敛过分依赖簇中心的初始化状况；

14、在yolov4网络的基础上，引入软非最大抑制算法选出最佳预测框。

15、通过该优选步骤，增加了众多优异的模块，改进后的网络模型更具鲁棒性，检测速度更快。

16、进一步，所述根据训练完成的vfd-yolov4网络和deepsort算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片这一步骤，其具体包括：

17、基于训练完成的vfd-yolov4网络对车辆进行检测跟踪，得到车辆检测框；

18、基于卡尔曼滤波器对前一帧车辆检测框进行预测，得到当前帧车辆预测框；

19、计算当前帧车辆检测框与当前帧车辆预测框的马氏距离；

20、基于深度残差网络提取当前帧车辆检测框与当前帧车辆预测框的特征信息，得到当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量；

21、基于当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量计算最小余弦距离；

22、根据马氏距离和最小余弦距离进行加权融合，得到融合关联矩阵；

23、根据匈牙利算法和融合关联矩阵对当前帧车辆检测框与当前帧车辆预测框进行匹配，得到匹配结果；

24、根据匹配结果进行车辆预测框更新，得到监控设备下相同车辆的图片。

25、通过该优选步骤，进一步提高跟踪精度，并使漏检率和错检率更低。

26、进一步，所述最小余弦距离，其计算表达式如下：

27、

28、其中，d(2)(i,j)表示预测框与检测框最小余弦距离，表示第j个检测框的描述算子，表示第k个预测框的描述算子。

29、进一步，所述构建基于图像特征的多任务学习模型并利用不同监控设备下相同车辆的图片进行训练，得到训练完成的多任务学习模型这一步骤，其具体包括：

30、将不同监控设备下相同车辆的图片进行划分，得到查询集和候选集；

31、基于属性表征的车辆粗粒度学习和度量的车辆细粒度学习构建多任务学习模型；

32、通过查询集和候选集对多任务学习模型进行训练，得到训练完成的多任务学习模型。

33、通过该优选步骤，使用属性表征学习学习车辆的粗粒度；使用度量学习学习车辆的细粒度，实现深度挖掘车辆的图像特征。

34、进一步，所述构建时空特征模型并与训练完成的多任务学习模型融合，得到车辆重识别模型这一步骤，其具体包括：

35、通过训练完成的多任务学习模型计算查询集和候选集图像特征向量之间的欧氏距离，得到查询集与候选集之间的图像相似度；

36、构建时空特征模型并计算查询集和候选集时空特征向量的相似度，得到时空相似度；

37、将图像相似度和时空相似度进行加权求和，得到车辆重识别模型的融合相似度。

38、通过该优选步骤，根据桥梁特有的时空特性，建立车辆重识别模型，具备更高重识别算法匹配效率。

39、进一步，所述融合相似度，其计算公式如下：

40、d(x,y)＝di(x,y)+βdst(x,y)

41、其中，di(x,y)表示由图像特征计算的图像相似度，dst(x,y)表示由时空特征计算的时空相似度，β表示时空特征的权重，d(x,y)表示图像中车辆的融合相似度。

42、进一步，所述基于de-lstm对非重叠区域内的轨迹进行预测，得到非重叠区域内的轨迹这一步骤，其具体包括：

43、将车辆轨迹表示为网格序列，得到历史网格序列和待预测网格序列；

44、将车辆的历史网格序列输入到de-lstm的编码器中，得到一个固定长度的编码向量；

45、将编码向量作为初始状态输入到de-lstm的解码器中，得到预测网格序列；

46、基于预测网格序列寻找对应位置，得到非重叠区域内的轨迹。

47、通过该优选步骤，减少了因预测步长增加而增加的预测误差，使得到的轨迹更加平滑，更符合实际条件。

48、本发明方法的有益效果是：本发明根据训练完成的vfd-yolov4网络和deepsort算法对车辆进行检测跟踪，实现单摄像头下车辆的快速检测与跟踪；构建时空特征模型并与训练完成的多任务学习模型融合，得到车辆重识别模型，实现跨摄像头车辆重识别；针对相邻摄像头间存在的非重叠区域，使用ed-lstm进行了车辆的轨迹预测，从而完成车辆在大跨度桥梁上行驶轨迹的跟踪与预测。综上所述，本发明通过对多摄像头的数据进行联合处理，完成对共同目标车辆的信息共享与整合。