局部地图的构建方法及装置、电子设备和存储介质与流程

本公开涉及车辆，尤其涉及一种局部地图的构建方法及装置、电子设备和存储介质。

背景技术：

1、环视地图构建，是指通过安装在车身前后左右四个方位的鱼眼相机采集的车辆周围的图像，利用图像拼接技术构建一副能够全景(360°)覆盖车辆周围情况的鸟瞰图；环视地图构建算法中，四路图像拼接是决定环视地图构建质量的关键步骤。

2、目前，通过车辆四周的环视预先样机构建覆盖车辆周围的局部地图时，会出现四路环视视图难以对齐的情况，即环视视图会出现一侧对齐，另一侧未对齐的情况，导致覆盖区域过度不够自然，出现伪影的情况。

技术实现思路

1、本公开提供了一种局部地图的构建方法、装置、电子设备和存储介质。其主要目的在于解决覆盖区域过度不够自然，出现伪影的问题。

2、根据本公开的第一方面，提供了一种局部地图的构建方法，其中，包括：

3、在四路俯视图中选取相邻的第一俯视图与第二俯视图，并根据预设坐标阈值，确定所述第一俯视图与所述第二俯视图之间的重叠区域；其中，所述重叠区域内，分别存在第一俯视图内的无图像信息的第一区域与第二俯视图中的无图像信息的第二区域；

4、在所述重叠区域内，确定待拼接区域；其中，所述待拼接区域小于所述重叠区域，所述待拼接区域中不含所述第一区域与第二区域；

5、根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，在所述第一俯视图及所述第二俯视图内确定所述待拼接区域内的各像素点的像素值，对所述待拼接区域进行拼接；

6、重复上述图像拼接过程，直至将全部俯视图拼接完成，得到拼接好的局部地图。

7、可选的，所述根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，在所述第一俯视图及所述第二俯视图内确定所述待拼接区域内的各像素点的像素值，对所述待拼接区域进行拼接包括：

8、根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，计算第一区域的距离对应的第一距离权重与第二区域的距离对应的第二距离权重；

9、根据所述不同位置的像素点的所述第一距离权重、所述第二距离权重与所述第一俯视图及第二俯视图，对所述待拼接区域进行拼接；其中，所述第一距离权重为所述第一俯视图中像素点的像素值在待拼接区域中的取值占比，所述第二距离权重为所述第二俯视图中像素点的像素值在待拼接区域中的取值占比。

10、可选的，所述根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，计算第一区域的距离对应的第一距离权重与第二区域的距离对应的第二距离权重包括：

11、在所述待拼接区域内选取一个目标像素点，确定所述目标像素点到所述第一区域的第一距离，与到所述第二区域的第二距离；

12、将所述第一距离与所述第二距离相加，得到距离之和；

13、分别确定所述第一距离在所述距离之和中的占比及所述第二距离在所述距离之和中的占比，得到所述第一距离权重及所述第二距离权重；

14、重复上述步骤，直至所述待拼接区域内的全部像素点的第一距离权重与第二距离权重确定完成。

15、可选的，所述根据所述不同位置的像素点的所述第一距离权重、所述第二距离权重与所述第一俯视图及第二俯视图，对所述待拼接区域进行拼接包括：

16、计算所述第一俯视图中的第一位置对应的像素点的像素值与所述第一距离权重的乘积，得到第一像素值；

17、计算所述第二俯视图中的所述第一位置对应的像素点的像素值与所述第二距离权重的乘积，得到第二像素值；

18、将所述第一像素值与所述第二像素值相加，得到所述待拼接区域内所述第一位置的像素对应的目标像素值；重复上述步骤，直至所述待拼接区域中的全部像素点的像素值确定后结束拼接。

19、可选的，在四路俯视图中选取相邻的第一俯视图与第二俯视图之前，所述方法还包括：

20、基于预设数量的鱼眼相机采集预设数量的第一训练用鱼眼图像；其中，不同第一训练用鱼眼图像中的第一标定板的布置位置不同；

21、基于所述预设数量的第一训练用鱼眼图像，分别对各所述鱼眼相机的内部参数进行标定，得到鱼眼相机内部参数；其中，第一训练用鱼眼图像只用于采集该图像的鱼眼相机的参数标定。

22、可选的，在四路俯视图中选取相邻的第一俯视图与第二俯视图之前，所述方法还包括：

23、基于各所述鱼眼相机拍摄包含第二标定板的第二训练用鱼眼图像；其中，所述第二标定板为提前放置在车辆预设距离处的，一个鱼眼相机对应一个第二标定板；

24、分别基于各所述鱼眼相机的相机内部参数对各所述第二训练用鱼眼图像进行去畸变，得到去畸变后的第二训练用鱼眼图像；

25、分别在各所述去畸变后的第二训练用鱼眼图像中确定各所述第二标定板的预设数量的角点的实际坐标与期望坐标；其中，所述期望坐标为透视变换后的去畸变后的第二训练用鱼眼图像中第二标定板的角点的坐标，一个角点对应一个实际坐标与一个期望坐标；

26、根据各所述实际坐标与期望坐标进行计算，得到变换矩阵。

27、可选的，在选取相邻的第一俯视图与第二俯视图，并根据预设坐标阈值，确定所述第一俯视图与所述第二俯视图之间的重叠区域之前，所述方法还包括：

28、基于各所述鱼眼相机采集待拼接鱼眼图像，分别基于各所述鱼眼相机的相机内部参数对各所述待拼接鱼眼图像进行去畸变，得到去畸变后的待拼接鱼眼图像；

29、根据各所述去畸变后的待拼接鱼眼图像与所述变换矩阵进行透视变换，得到各待拼接鱼眼图像对应的俯视图。

30、根据本公开的第二方面，提供了一种局部地图的构建装置，包括：

31、第一确定单元，用于在四路俯视图中选取相邻的第一俯视图与第二俯视图，并根据预设坐标阈值，确定所述第一俯视图与所述第二俯视图之间的重叠区域；其中，所述重叠区域内，分别存在第一俯视图内的无图像信息的第一区域与第二俯视图中的无图像信息的第二区域；

32、第二确定单元，用于在所述重叠区域内，确定待拼接区域；其中，所述待拼接区域小于所述重叠区域，所述待拼接区域中不含所述第一区域与第二区域；

33、拼接单元，用于根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，在所述第一俯视图及所述第二俯视图内确定所述待拼接区域内的各像素点的像素值，对所述待拼接区域进行拼接；

34、所述拼接单元，还用于重复上述图像拼接过程，直至将全部俯视图拼接完成，得到拼接好的局部地图。

35、可选的，所述拼接单元包括：

36、计算模块，用于根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，计算第一区域的距离对应的第一距离权重与第二区域的距离对应的第二距离权重；

37、拼接模块，用于根据所述不同位置的像素点的所述第一距离权重、所述第二距离权重与所述第一俯视图及第二俯视图，对所述待拼接区域进行拼接；其中，所述第一距离权重为所述第一俯视图中像素点的像素值在待拼接区域中的取值占比，所述第二距离权重为所述第二俯视图中像素点的像素值在待拼接区域中的取值占比。

38、可选的，所述计算模块还用于：

39、在所述待拼接区域内选取一个目标像素点，确定所述目标像素点到所述第一区域的第一距离，与到所述第二区域的第二距离；

40、将所述第一距离与所述第二距离相加，得到距离之和；

41、分别确定所述第一距离在所述距离之和中的占比及所述第二距离在所述距离之和中的占比，得到所述第一距离权重及所述第二距离权重；

42、重复上述步骤，直至所述待拼接区域内的全部像素点的第一距离权重与第二距离权重确定完成。

43、可选的，所述拼接模块还用于：

44、计算所述第一俯视图中的第一位置对应的像素点的像素值与所述第一距离权重的乘积，得到第一像素值；

45、计算所述第二俯视图中的所述第一位置对应的像素点的像素值与所述第二距离权重的乘积，得到第二像素值；

46、将所述第一像素值与所述第二像素值相加，得到所述待拼接区域内所述第一位置的像素对应的目标像素值；重复上述步骤，直至所述待拼接区域中的全部像素点的像素值确定后结束拼接。

47、可选的，所述装置还包括：

48、采集单元，用于在第一确定单元在四路俯视图中选取相邻的第一俯视图与第二俯视图之前，基于预设数量的鱼眼相机采集预设数量的第一训练用鱼眼图像；其中，

49、不同第一训练用鱼眼图像中的第一标定板的布置位置不同；

50、标定单元，用于基于所述预设数量的第一训练用鱼眼图像，分别对各所述鱼眼相机的内部参数进行标定，得到鱼眼相机内部参数；其中，第一训练用鱼眼图像只用于采集该图像的鱼眼相机的参数标定。

51、可选的，所述装置还包括：

52、拍摄单元，用于在第一确定单元在四路俯视图中选取相邻的第一俯视图与第二俯视图之前，基于各所述鱼眼相机拍摄包含第二标定板的第二训练用鱼眼图像；其中，所述第二标定板为提前放置在车辆预设距离处的，一个鱼眼相机对应一个第二标定板；

53、处理单元，还用于分别基于各所述鱼眼相机的相机内部参数对各所述第二训练用鱼眼图像进行去畸变，得到去畸变后的第二训练用鱼眼图像；

54、第三确定单元，用于分别在各所述去畸变后的第二训练用鱼眼图像中确定各所述第二标定板的预设数量的角点的实际坐标与期望坐标；其中，所述期望坐标为透视变换后去畸变后的第二训练用鱼眼图像中的第二标定板的角点的坐标，一个角点对应一个实际坐标与一个期望坐标；

55、计算单元，用于根据各所述实际坐标与期望坐标进行计算，得到变换矩阵。

56、可选的，所述装置还包括：

57、采集单元，用于在第一确定单元选取相邻的第一俯视图与第二俯视图，并根据预设坐标阈值，确定所述第一俯视图与所述第二俯视图之间的重叠区域之前基于各所述鱼眼相机采集待拼接鱼眼图像，分别基于各所述鱼眼相机的相机内部参数对各所述待拼接鱼眼图像进行去畸变，得到去畸变后的待拼接鱼眼图像；

58、透视变换单元，用于根据各所述去畸变后的待拼接鱼眼图像与所述变换矩阵进行透视变换，得到各待拼接鱼眼图像对应的俯视图。

59、根据本公开的第三方面，提供了一种电子设备，包括：

60、至少一个处理器；以及

61、与所述至少一个处理器通信连接的存储器；其中，

62、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。

63、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。

64、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。

65、本公开提供的局部地图的构建方法、装置、电子设备和存储介质，主要技术方案包括：在四路俯视图中选取相邻的第一俯视图与第二俯视图，并根据预设坐标阈值，确定所述第一俯视图与所述第二俯视图之间的重叠区域；在所述重叠区域内，确定待拼接区域；其中，所述待拼接区域小于所述重叠区域，所述待拼接区域中不含所述第一区域与第二区域；根据所述待拼接区域内各像素点到所述第一区域的边界线的距离，及到所述第二区域的边界线的距离，在所述第一俯视图及所述第二俯视图内确定所述待拼接区域内的各像素点的像素值，对所述待拼接区域进行拼接；重复上述图像拼接过程，直至将全部俯视图拼接完成，得到拼接好的局部地图。与相关技术相比，本技术实施例在对四路俯视图重叠部分进行融合拼接时，通过两张相邻的俯视图共同确定待拼接区域内各个像素点，使每个像素点都受两张俯视图的影响，因此得到的融合图像更加平滑、自然。

66、应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。