一种道路交通的雷视一体机标定及拼接方法与流程

本发明涉及图像处理，具体涉及一种道路交通的雷视一体机标定及拼接方法。

背景技术：

1、在交通监控领域，传统单个摄像头只能捕捉到有限的区域，通常使用多个摄像头对重要路口、路段进行监控。但是，可见光摄像头容易受到恶劣天气的影响，且无法输出车辆等目标的精准定位信息，因此无法满足车路协同、智能交通导航系统等应用的具体需求。

2、现有的交通场景全景拼接方案通常需要进行繁琐的标定和特征点匹配等步骤，限制了拼接的效率和便捷性。为了解决这一问题，本技术提出一种利用道路路口雷视一体机的安装位置信息、云台角度和云台初始安装角度进行联合标定的方案，通过获取雷视一体机已有的云台角度和几何关系，省去了繁琐的标定步骤，提高了拼接的效率和实际部署的可操作性。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术所存在的上述缺点，本发明提供了一种道路交通的雷视一体机标定及拼接方法，能够有效克服现有技术所存在的标定步骤繁琐，以及定位精度较低的缺陷。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种道路交通的雷视一体机标定及拼接方法，包括以下步骤：

6、s1、求解单个雷视一体机的相机坐标系转换至世界坐标系的外参矩阵初值；

7、s2、求解单个雷视一体机的雷达坐标系转换至世界坐标系的外参矩阵初值；

8、s3、基于多个雷视一体机的外参矩阵初值迭代求解对应的外参矩阵，以提高多机联合标定精度；

9、s4、根据多个雷视一体机的外参矩阵进行数据拼接。

10、优选地，s1中求解单个雷视一体机的相机坐标系转换至世界坐标系的外参矩阵初值，包括：

11、s11、选取路口附近某个地面位置作为原点o，以正北方向作为y轴正方向，以正东方向作为x轴正方向，以海拔升高方向作为z轴正方向，建立世界坐标系；

12、s12、将雷视一体机的安装位置(x0,y0,h)转换为世界坐标系中的(x0,y0)位置坐标，该位置坐标距离地面高度为h；

13、s13、测量雷视一体机的云台角度和云台初始安装角度；

14、s14、求解单个雷视一体机的相机坐标系转换至世界坐标系的外参矩阵初值。

15、优选地，s13中测量雷视一体机的云台角度和云台初始安装角度，包括：

16、若将相机坐标系绕世界坐标系的z轴旋转a角度后，相机坐标系的x轴与云台角度为0时相机坐标系的x轴在xoy平面内的投影平行，则a角度即为云台方位角；

17、若将相机坐标系绕世界坐标系的z轴旋转a角度，再绕相机坐标系的x轴旋转b角度后，相机坐标系的y轴与云台角度为0时相机坐标系的y轴重合，则b角度即为云台俯仰角；

18、若将世界坐标系绕世界坐标系的z轴旋转c角度后，世界坐标系的x轴与云台角度为0时相机坐标系的x轴在xoy平面内的投影平行，则c角度即为云台初始方位角；

19、若将世界坐标系绕世界坐标系的z轴旋转c角度，再绕世界坐标系绕的x轴旋转d角度后，世界坐标系的y轴与云台角度为0时相机坐标系的y轴重合，则d角度即为云台初始俯仰角；

20、s14中求解单个雷视一体机的相机坐标系转换至世界坐标系的外参矩阵初值，包括：

21、采用下式计算雷视一体机的相机坐标系转换至世界坐标系的旋转矩阵rc2w：

22、；

23、；

24、；

25、其中， rx为雷视一体机的相机坐标系绕世界坐标系的x轴的旋转矩阵， rz为雷视一体机的相机坐标系绕世界坐标系的z轴的旋转矩阵；

26、采用下式表示雷视一体机的相机坐标系转换至世界坐标系的平移矩阵 t c2w：

27、。

28、优选地，s2中求解单个雷视一体机的雷达坐标系转换至世界坐标系的外参矩阵初值，包括：

29、s21、估算雷视一体机中相机的内参矩阵；

30、s22、线性求解雷视一体机的雷达坐标系转换至相机坐标系的外参矩阵；

31、s23、求解单个雷视一体机的雷达坐标系转换至世界坐标系的外参矩阵初值。

32、优选地，s21中估算雷视一体机中相机的内参矩阵，包括：

33、采用下式估算雷视一体机中相机的内参矩阵 k：

34、；

35、其中， f为相机焦距， h为单个像素尺寸， j w、 j h分别为画面的横向分辨率、纵向分辨率；

36、s22中线性求解雷视一体机的雷达坐标系转换至相机坐标系的外参矩阵，包括：

37、在目标物较少并可通过位置区分时，同时获取某个目标物的图像数据、点云数据，并对图像数据、点云数据中的目标物进行检测，分别获取图像目标物检测框的中心坐标 q( u, v, i)、点云目标物检测框的中心坐标 p( x, y, z)，其中 i为方便后续进行计算的补齐向量；

38、根据相机的小孔成像模型，得到以下方程：

39、；

40、其中， r l2c、 t l2c分别为雷视一体机的雷达坐标系转换至相机坐标系的旋转矩阵、平移矩阵， s为对应坐标点计算时的中间变量；

41、选取n个不同时段的目标物中心坐标点对 q、 p，构建线性方程组：

42、；

43、其中， n为选取的目标物数量， n≥6；

44、采用最小二乘法对上述线性方程组进行求解，得到雷视一体机的雷达坐标系转换至相机坐标系的旋转矩阵、平移矩阵 r l2c、 t l2c；

45、s23中求解单个雷视一体机的雷达坐标系转换至世界坐标系的外参矩阵初值，包括：

46、采用下式计算雷视一体机的雷达坐标系转换至世界坐标系的旋转矩阵 r l2w、平移矩阵 t l2w：

47、；

48、。

49、优选地，s3中基于多个雷视一体机的外参矩阵初值迭代求解对应的外参矩阵，以提高多机联合标定精度，包括：

50、s31、针对单个目标物的位置建立关于多个雷视一体机的目标函数；

51、s32、针对多个目标物的位置建立关于多个雷视一体机的最终目标函数；

52、s33、采用非线性迭代求解最终目标函数，得到多个雷视一体机的外参矩阵，以提高多机联合标定精度。

53、优选地，s31中针对单个目标物的位置建立关于多个雷视一体机的目标函数，包括：

54、选取 m个雷视一体机中同时出现的某个目标物，针对该目标物的位置建立目标函数 t：

55、；

56、其中， m为选取的雷视一体机数量，当 m＞2时，以第一个雷视一体机为参照，建立上述目标函数 t；

57、 p w1为第1个雷视一体机中该目标物在点云目标物检测框的中心坐标转换至世界坐标系中的坐标， p j为第 j个雷视一体机中该目标物在点云目标物检测框的中心坐标， p wj为第 j个雷视一体机中该目标物在点云目标物检测框的中心坐标转换至世界坐标系中的坐标，转换公式如下：

58、；

59、 q j为第 j个雷视一体机中该目标物在图像目标物检测框的中心坐标， q i_j为第 j个雷视一体机中该目标物在图像目标物检测框的中心坐标转换至相机坐标系中的坐标，转换公式如下：

60、；

61、s32中针对多个目标物的位置建立关于多个雷视一体机的最终目标函数，包括：

62、选取 n’个同时出现在 m个雷视一体机中目标物，针对这些目标物的位置分别建立 n’个目标函数 t，并对这些目标函数 t进行累加，得到最终目标函数t：

63、；

64、其中， n’为选取的目标物数量， t g为第 g个目标物对应的目标函数。

65、优选地，s4中根据多个雷视一体机的外参矩阵进行数据拼接，包括：

66、s41、针对单个雷视一体机，将相机坐标系中的位置坐标转换至世界坐标系中的位置坐标；

67、s42、对各雷视一体机的图像数据进行s41中的转换，即可得到拼接后的鸟瞰图；

68、s43、针对单个雷视一体机，将雷达坐标系中的位置坐标转换至世界坐标系中的位置坐标；

69、s44、对各雷视一体机的点云数据进行s43中的转换，即可得到与鸟瞰图结合的点云拼接显示图。

70、优选地，s41中针对单个雷视一体机，将相机坐标系中的位置坐标转换至世界坐标系中的位置坐标，包括：

71、采用下式计算世界坐标系转换至雷视一体机的相机坐标系的旋转矩阵 r w2c、平移矩阵 t w2c：

72、；

73、；

74、根据相机的小孔成像模型，得到以下方程：

75、；

76、其中， p’为世界坐标系中xoy平面内的某一点，， q’为点 p’在雷视一体机的相机坐标系中对应的点，， i’为方便后续进行计算的补齐向量，旋转矩阵 r w2c改写为， r1、 r2、 r3分别代表旋转矩阵 r w2c中的第一列、第二列、第三列；

77、根据上述方程，可以得到下式：

78、；

79、对上式进行推导得到下式：

80、；

81、对上式左右互换得到下式：

82、；

83、上式即为将相机坐标系中的位置坐标 q’( u’,v’)转换至世界坐标系中的位置坐标 p’( x’,y’)的透视变换公式；

84、s42中对各雷视一体机的图像数据进行s41中的转换，即可得到拼接后的鸟瞰图，包括：

85、采用透视变换公式对单个雷视一体机的图像数据中所有点进行转换，即可得到单个雷视一体机的鸟瞰图；

86、采用透视变换公式对各雷视一体机的图像数据中所有点进行转换，即可得到拼接后的鸟瞰图。

87、优选地，s43中针对单个雷视一体机，将雷达坐标系中的位置坐标转换至世界坐标系中的位置坐标，包括：

88、采用下式将雷达坐标系中的位置坐标 p1( x1, y1, z1)转换至世界坐标系中的位置坐标 p2( x2, y2, z2)：

89、；

90、其中，世界坐标系中的位置坐标 p2( x2, y2, z2)是三维坐标，将位置坐标 p2映射至鸟瞰图中，或者对位置坐标 p2进行三维渲染，并悬浮在鸟瞰图上方进行显示，以清晰显示目标物的位置；

91、s44中对各雷视一体机的点云数据进行s43中的转换，即可得到与鸟瞰图结合的点云拼接显示图，包括：

92、按照上式对各雷视一体机的点云数据所有点进行转换，即可得到与鸟瞰图结合的点云拼接显示图。

93、与现有技术相比，本发明所提供的一种道路交通的雷视一体机标定及拼接方法，具有以下有益效果：

94、1）本技术提出一种利用道路路口雷视一体机的安装位置信息、云台角度和云台初始安装角度进行联合标定的方案，通过获取雷视一体机已有的云台角度和几何关系，省去了繁琐的标定步骤，提高了拼接的效率和实际部署的可操作性；

95、2）传统的车辆定位系统受到恶劣天气条件的影响，定位精度会下降很多，本技术通过利用多个毫米波雷达和摄像头，能够在恶劣天气条件下，提供稳定可靠的车辆距离和速度信息，而摄像头则可以提供图像位置信息，通过多机联合计算和标定参数迭代，实现对车辆的有效定位；

96、3）传统的车辆定位系统通常只能提供整车的位置信息，想要进一步提升定位的绝对精度，多机之间的高精度联合标定是基础，本技术通过线性求解多个雷视视一体机的外参矩阵初值，并结合车辆的三维位置和图像位置信息进行标定参数迭代，从而能够提供更精准的车辆位置和车道信息；

97、4）本技术通过多个毫米波雷达和摄像头的联合应用，结合多机联合计算和标定参数迭代，实现了在统计图表环境下的车道级精准时空感知与智能交通导航系统的车辆定位，这种车道级的定位精度对于智能交通导航系统和车辆行驶路径规划具有重要意义，可以提供更为精准的导航服务和交通信息，提升驾驶体验和道路安全性。