一种路口多目相机与雷视一体机检测目标的关联方法及系统与流程

本发明涉及智能交通管理领域，特别涉及一种路口多目相机与雷视一体机检测目标的关联方法及系统。

背景技术：

1、在智能交通系统中，路口是交通流的重要节点，也是事故易发区域。因此，对路口的交通车流进行监测和控制具有重要意义。目前，基于单目相机、电警相机、多目相机和雷达视频一体机等感知设备的交通流监测系统已经得到了广泛应用，能够实现对道路内的车辆及行人进行快速准确的抓拍、检测和跟踪等功能。在全息路口场景下，传感器的配置方案直接影响到后续的数据处理与算法流程。单一传感器难以满足对复杂场景的准确感知需求，往往需要多传感器进行关联与融合。

2、多目相机由前视镜头、侧视镜头和下视镜头组成，通常安装在电警灯杆的直臂下端。这些相机用于检测交通路口的排队情况，其视野一般较短，但不存在遮挡问题。相比之下，雷达视频一体机则安装在红绿灯和电警灯直臂的上端，用于监测路段和路口的情况，其视野较为广阔，但可能受到遮挡的影响。相机的视野差异使得二者各自具有优势和劣势。多目相机在没有遮挡的情况下，可以快速准确地捕捉排队情况，而雷达视频一体机则适用于监测较大范围内的路段和路口。

3、目前在进行传感器的关联与融合时，通常是采用深度学习的方法对多目相机结果和雷视机的检测结果进行融合，然而采用深度学习的方法对多目相机结果和雷视机的检测结果进行融合时，算法复杂度一般较高，且需要采集大量的数据进行标注和预训练，对硬件的算力要求较高。

技术实现思路

1、为解决上述技术问题，本发明提供一种路口多目相机与雷视一体机检测目标的关联方法及系统，可以解决现有路口多目相机与雷视一体机检测目标的关联算法复杂度较高、硬件条件要求较高的问题。

2、为实现上述目的，一方面，本发明一种路口多目相机与雷视一体机检测目标的关联方法，所述方法包括：

3、通过预置目标检测模型分别获取多目相机和雷视一体机相机车辆目标的检测框；

4、对所述多目相机和雷达视频一体机进行联合标定，获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵；

5、在多目相机采集图片的道路候车区停止线区域对多目相机的检测结果进行压线检测，确定车辆目标所属的车道；

6、根据所述单应性矩阵将所述压线的多目相机检测目标投影到雷视一体机相机视野，并通过所述多目相机和雷视一体机相机车辆目标的检测框对应的交并比信息和所述车道信息将多目检测目标结果与雷视一体机目标检测结果进行关联合并。

7、进一步地，所述根据所述多目相机和雷视一体机相机车辆目标的检测框，对所述多目相机和雷达视频一体机进行联合标定，获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵的步骤包括：

8、根据所述多目相机的畸变参数对所述多目相机采集的图片进行畸变校正；

9、根据所述多目相机采集的图片和雷视一体机相机视野的重合区域，在多目相机图片的重合区域内选取预置个数标志点，并在雷视一体机采集的图片对应的位置选取相同个数标志点；

10、根据所述预置个数标志点的像素、对应标志点的像素、左奇异矩阵、对角矩阵、右奇异矩阵获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵。

11、进一步地，所述根据所述预置个数标志点的像素、对应标志点的像素、左奇异矩阵、对角矩阵、右奇异矩阵获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵的步骤包括：

12、根据公式[u s v]＝svd(a)、h＝v(:,9)进行计算，其中，(xi,yi)为多目相机图片的重合区域内选取的4个标志点的像素位置，i＝1,2,3,4，(xi,yi)为在雷视一体机图片同样的位置一一对应的选取的4个标志点的像素位置为(xi,yi)，i＝1,2,3,4，u是左奇异矩阵，s是对角矩阵、对角线上的元素是奇异值、从大到小排列，v是右奇异矩阵，h为单应性矩阵。

13、进一步地，所述根据所述单应性矩阵将所述压线的多目相机检测目标投影到雷视一体机相机视野的步骤包括：

14、根据公式进行投影，其中，aij(i＝1,2,3；j＝1,2,3)是单应矩阵h的元素项；(x,y,z)为多目相机图像像素点的齐次坐标，对应的二维坐标为(x,y,1)；(x,y,z)为变换至雷视一体机视野的坐标，其对应的二维齐次坐标为(x’＝x/z,y’＝y/z)，点(x’,y’)就是原图像对应的像素点的经过变换后的二维平面坐标。

15、进一步地，所述方法还包括：对所述关联后的目标的进行卡尔曼滤波和航迹管理。

16、另一方面，本发明提供一种路口多目相机与雷视一体机检测目标的关联系统，所述系统包括：获取模块，用于通过预置目标检测模型分别获取多目相机和雷视一体机相机车辆目标的检测框；

17、所述获取模块，还用于对所述多目相机和雷达视频一体机进行联合标定，获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵；

18、确定模块，用于在多目相机采集图片的道路候车区停止线区域对多目相机的检测结果进行压线检测，确定车辆目标所属的车道；

19、关联模块，用于根据所述单应性矩阵将所述压线的多目相机检测目标投影到雷视一体机相机视野，并通过所述多目相机和雷视一体机相机车辆目标的检测框对应的重叠度信息和所述车道信息将多目检测目标结果与雷视一体机目标检测结果进行关联合并。

20、进一步地，所述获取模块，具体用于根据所述多目相机的畸变参数对所述多目相机采集的图片进行畸变校正；根据所述多目相机采集的图片和雷视一体机相机视野的重合区域，在多目相机图片的重合区域内选取预置个数标志点，并在雷视一体机采集的图片对应的位置选取相同个数标志点；根据所述预置个数标志点的像素、对应标志点的像素、左奇异矩阵、对角矩阵、右奇异矩阵获取多目相机视野内的车辆目标投影到雷视一体机相机视野的单应性矩阵。

21、进一步地，所述获取模块，具体还用于根据公式[u s v]＝svd(a)、h＝v(:,9)进行计算，其中，(xi,yi)为多目相机图片的重合区域内选取的4个标志点的像素位置，i＝1,2,3,4，(xi,yi)为在雷视一体机图片同样的位置一一对应的选取的4个标志点的像素位置为(xi,yi)，i＝1,2,3,4，u是左奇异矩阵，s是对角矩阵、对角线上的元素是奇异值、从大到小排列，v是右奇异矩阵，h为单应性矩阵。

22、进一步地，所述关联模块，具体用于根据公式进行投影，其中，aij(i＝1,2,3；j＝1,2,3)是单应矩阵h的元素项；(x,y,z)为多目相机图像像素点的齐次坐标，对应的二维坐标为(x,y,1)；(x,y,z)为变换至雷视一体机视野的坐标，其对应的二维齐次坐标为(x’＝x/z,y’＝y/z)，点(x’,y’)就是原图像对应的像素点的经过变换后的二维平面坐标。

23、进一步地，所述系统还包括：滤波模块；

24、所述滤波模块，用于对所述关联后的目标的进行卡尔曼滤波和航迹管理。

25、本发明提供的一种路口多目相机与雷视一体机检测目标的关联方法及系统，利用多目相机和雷视一体机相机采集的图片求得单应性矩阵，再对多目相机检测的目标进行压线检测和车道号标记，将多目相机的压线目标的检测结果中投影到雷视机相机视野中，然后根据检测框的交并比信息和车道号信息对两个设备的检测结果进行关联，从而充分考虑了设备之间的观测关系，实现了基于单应变换对两传感器的检测目标进行关联，相较于深度学习的融合方法，降低了算法复杂度和对硬件配置的要求；此外，由于不需要进行大规模的数据采集和模型训练，降低了实施的复杂性和成本。