一种面向十字路口场景的多视角相机图像拼接方法

本发明属于相机的多视角图像拼接，具体涉及一种面向十字路口场景的多视角相机图像拼接方法。

背景技术：

1、相机的多视角图像拼接技术，是一种将来自多个相机的多个视角的图像无缝地合并成一个单一、全面视图的技术。多视角图像拼接技术大致分为两种形式，一种是通过特征点检测、图像配准和图像融合方法，一种是通过人工智能中深度学习和强化学习方法进行的方法。

2、现有技术涉及到的拼接技术大多针对路边一个相机的视角或者同向的两台相机利用单应矩阵进行图像拼接，而路口场景下多杆之间距离过远，数据集特征少，斑马线、车少，并且路口往往不完全对齐，特征无法匹配，如果直接应用拼接效果差。另外有相关技术提出根据对向路口雷视机采集的图像中预置特征点的像素坐标进行拼接，但是其实际效果对于预置特征点的要求较高。

3、因此，本发明提出一种多视角相机图像拼接方法，用于在不需要额外信息的前提下解决面向十字路口场景下的可视化需求，同时也有助于自动驾驶下游的系列任务开展。

技术实现思路

1、本发明所为了解决背景技术中存在的技术问题，目的在于提供了一种面向十字路口场景的多视角相机图像拼接方法，实现可视化需求，同时也可以拓展到路侧场景下，并有利于自动驾驶后续的系列任务。

2、为了解决技术问题，本发明的技术方案是：

3、一种面向十字路口场景的多视角相机图像拼接方法，所述方法包括：

4、对获取的对面向十字路口场景的多视角相机图像分别进行深度估计，得到深度信息；

5、对所述深度信息通过像素坐标变换为相机坐标系，利用相机的外参数将相机坐标系中的三维信息转换到世界坐标系，得到bev视角下的三维信息；

6、将bev视角下的三维信息沿垂直于地面方向归一化处理，得到处理后的俯视图图像；

7、使用平面拼接方法进行图像拼接，包括特征检测和间隙优化，得到优化后的拼接图像。

8、进一步，所述面向十字路口场景的多视角相机图像为rcooper数据集中十字路口的四个向路口内侧的、且在同时刻拍摄的视角图像。

9、进一步，对面向十字路口场景的多视角相机图像分别进行深度估计，包括：

10、利用midas算法，通过多尺度特征融合，捕捉图像中的细节和局部结构，提高深度估计的精确度，即得到估计后的深度信息。

11、进一步，对所述深度信息通过像素坐标变换为相机坐标系，具体包括：

12、首先，通过深度估计得到的深度信息通过像素坐标变换为相机坐标系；

13、相机内参经过校准后，相机的内参矩阵k可以表示为：

14、

15、其中：fx和fy是焦距，cx和cy是主点坐标；

16、在k的基础上，确定图像中的一个像素点(u,v)对应的深度为z，该像素点在相机坐标系中的三维坐标(xc,yc,zc)通过以下公式计算：

17、

18、zc＝z；

19、其中，(xc,yc,zc)是相机坐标系中的三维点。

20、进一步，所述利用相机的外参数将相机坐标系中的三维信息转换到世界坐标系，包括：

21、相机外参标定关注的是相机相对于外部世界坐标系的位置和方向；经过校准后，外参包括：旋转矩阵r：描述相机坐标系相对于世界坐标系的旋转；平移向量t：描述相机坐标系相对于世界坐标系的平移；0

22、相机外参由旋转矩阵r和平移向量t组成，用于将相机坐标系中的点转换到世界坐标系：

23、

24、

25、利用相机的外参数旋转矩阵r和平移向量t，相机坐标系中的点(xc,yc,zc)转换到世界坐标系中的点(xw,yw,zw)：

26、

27、进一步，将bev视角下的三维信息沿垂直于地面方向归一化处理，具体包括：

28、在俯视图中，使用xw和zw作为俯视图的x和y坐标，俯视图的平面被定义为：

29、

30、为了将世界坐标系中的三维点投影到俯视图平面上，忽略yw坐标，通常是高度，然后将xw和zw缩放并转换为图像坐标：

31、u′＝s·xω+u0；

32、v′＝s·zω+v0；

33、其中：s是缩放因子，(u0,v0)是俯视图图像的中心坐标；

34、即将平视图像的深度信息转换为俯视图视角下的三维信息。

35、进一步，所述进行图像拼接，具体包括：

36、利用orb、sift、surf算法中的其中之一在图像中检测特征点并计算其描述子；

37、使用bfmatcher或flann进行特征点匹配，并利用ransac剔除误匹配；

38、计算图像间的最优单应性矩阵，进行图像对齐和透视变换；

39、创建画布，将图像拼接；

40、使用图像融合方法平滑过渡接缝处，实现自然无缝拼接效果。

41、最终，返回拼接后的俯视图视角下的图像，实现可视化目标。

42、进一步，采用orb算法的具体步骤为：

43、关键点定位：使用fast算法在图像中快速检测角点作为潜在关键点；

44、构建尺度金字塔：通过创建图像的多个尺度版本来检测不同尺度的关键点；

45、关键点方向分配：计算每个关键点周围特征的主方向，以确保特征描述的旋转不变性；

46、生成描述子：根据关键点的方向，旋转brief描述子模板，生成旋转不变性的特征描述子；

47、关键点筛选：应用harris角点检测强化筛选，保留更稳定和显著的关键点；

48、特征点匹配：使用汉明距离对描述子进行快速匹配，找出不同图像间的相应特征点。

49、进一步，将两张图像中的特征点利用匹配算法bfmatcher或flann进行匹配，以便找到对应关系，并且根据距离或其他准则筛选出好的匹配；

50、从匹配对中提取关键点的坐标，利用匹配的特征点使用图像防止误匹配的ransac算法剔除误匹配，并计算图像间的最优单应性矩阵，用于图像对齐；同时可利用霍夫变换检测图像中的几何形状，校正图像以辅助拼接；

51、使用计算的单应性矩阵对其他三张图像进行透视变换，使其与第一张图像对齐；

52、通过求解单应矩阵，划分重叠视野以确定需要交接的感兴趣目标，并建立目标在摄像机间的投影关系，如下所示：

53、m＝hmnn；

54、

55、其中，单应矩阵hmn是3×3的非奇异矩阵，具有8个自由度，至少需要4对匹配的坐标点对，计算出单应矩阵；

56、创建画布，将四张图像拼接在一起，使用图像融合方法平滑过渡接缝处，即实现对面向十字路口场景的多视角相机图像拼接。

57、一种计算机可读存储介质，，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述中任一项所述的方法。

58、与现有技术相比，本发明的优点在于：

59、本发明提供了一种面向十字路口场景的多视角相机图像拼接方法，可以利用所述方法实现路侧视角下的纯图像拼接任务，以实现可视化，并有利于目标检测。

60、提高精确度和可靠性：通过使用midas算法和深度估计技术，本发明可以在不同场景和相机配置下提供一致的深度估计结果，提高了感知任务的精确度和可靠性。

61、适应性强：该发明利用预训练模型，适合在数据不足和差异较大的路侧数据集下使用，具有很强的适应性。

62、自然无缝的图像拼接：通过使用平面拼接技术和图像融合技术，本发明可以实现自然无缝的图像拼接，提高了拼接图像的质量和可视化效果。

63、多用途应用：本发明不仅适用于静态图像的拼接，还可用于视频拼接、路侧双杆拼接，以及为自动驾驶系统的其他下游任务提供支持。

64、有助于自动驾驶系统发展：通过提高感知任务的精确度和可靠性，本发明有助于推动自动驾驶系统的发展和应用，增强自动驾驶车辆在复杂路况下的环境感知能力。