一种车辆全景图像生成方法、装置、存储介质和车辆与流程

本技术涉及车辆，特别是涉及一种车辆全景图像生成方法、装置、存储介质和车辆。

背景技术：

1、目前，avm(around view monitor，全景式监控影像系统)已经广泛应用于辅助驾驶、自动驾驶领域。avm通过多个(一般四个)超大广角鱼眼相机拍摄图像，并对所拍摄图像进行畸变矫正以及拼接，合成一个全景的二维全景鸟瞰图，为驾驶员提供车辆周围的信息，从而辅助泊车。

2、二维全景鸟瞰图的生成依赖于场景中物体均在同一平面上的假设，在这个假设上使用单应矩阵进行平面的重投影，这会导致非平面的物体(如墙、立柱和汽车)会被严重拉长产生畸变。因此，有的3d avm系统通过将鱼眼相机拍摄的原始图像通过坐标转换映射到三维模型上，从而呈现出三维的效果，以便驾驶员更好地观察车辆的周围环境。

3、传统的基于坐标系转换的车辆全景图像生成方法的核心思想是以汽车中心建立世界坐标系原点，通过鱼眼相机预先标定的内参和外参计算三维模型上每个顶点与原始图像之间的映射关系。然而，这种方法生成的三维全景图像的拼接效果强依赖于鱼眼相机的外参的准确性，由于汽车厂商提供的鱼眼相机安装的指导参数与鱼眼相机安装时的实际参数之间的安装误差，将不可避免地导致外参计算的准确性降低，最终导致原始图像在映射到三维模型上时出现拼接不齐的现象。

技术实现思路

1、本技术提供一种车辆全景图像生成方法、装置、存储介质和车辆，以解决鱼眼相机拍摄的原始图像在映射到三维模型上时会出现拼接不齐的现象的问题。

2、为了解决上述问题，本技术采用了以下的技术方案：

3、第一方面，本技术实施例提供了一种车辆全景图像生成方法，所述方法包括：

4、分别获取车辆在至少四个预设方位上的原始图像；

5、根据预先建立的纹理映射表，将所述至少四个预设方位上的原始图像分别映射到预设的三维碗状模型上，以得到每个原始图像各自对应的三维局部图像；所述纹理映射表用于表征三维碗状模型的顶点与不同预设方位上的原始图像的像素点之间的映射关系；

6、基于每个原始图像各自对应的三维局部图像，生成所述车辆的三维全景图像。

7、在本技术一实施例中，所述纹理映射表是通过以下步骤建立的：

8、构建虚拟相机和所述三维碗状模型，所述虚拟相机设置在所述三维碗状模型的上方；

9、获取所述虚拟相机视角下的鸟瞰图；所述鸟瞰图是由所述至少四个预设方位上的标定图像经过畸变矫正后拼接得到的；

10、获取所述三维碗状模型的每个顶点到所述鸟瞰图的第一映射关系；

11、获取所述鸟瞰图到所述至少四个预设方位上的标定图像的第二映射关系；

12、基于所述第一映射关系和所述第二映射关系，建立所述纹理映射表。

13、在本技术一实施例中，获取所述三维碗状模型的每个顶点到所述鸟瞰图的第一映射关系，包括：

14、基于所述三维碗状模型的每个顶点的坐标和所述虚拟相机距离所述三维碗状模型的底部平面的高度，将每个顶点的坐标投影到所述底部平面上，得到每个顶点在所述底部平面上的第一投影坐标；

15、基于所述鸟瞰图的长度和宽度，将所述第一投影坐标投影到所述鸟瞰图上，得到所述第一投影坐标在所述鸟瞰图上的第二投影坐标；

16、基于所述第二投影坐标，确定所述三维碗状模型的每个顶点到所述鸟瞰图的第一映射关系。

17、在本技术一实施例中，获取所述鸟瞰图到所述至少四个预设方位上的标定图像的第二映射关系，包括：

18、通过逆透视投影，获取从所述鸟瞰图到所述至少四个预设方位的去畸变图的第三映射关系；所述去畸变图是所述至少四个预设方位上的标定图像经过畸变矫正后得到的；

19、通过逆去畸变，获取从每个所述去畸变图到各自对应的标定图像的第四映射关系；

20、基于所述第三映射关系和所述第四映射关系，确定所述鸟瞰图到所述至少四个预设方位上的标定图像的第二映射关系。

21、在本技术一实施例中，基于所述三维碗状模型的每个顶点的坐标和所述虚拟相机距离所述三维碗状模型的底部平面的高度，将每个顶点的坐标投影到所述底部平面上，得到每个顶点在所述底部平面上的第一投影坐标之前，所述方法还包括：

22、以所述三维碗状模型的底部平面中心为原点，分别构建碗模型坐标系和世界坐标系；

23、基于预设的坐标转换矩阵，将每个顶点在所述碗模型坐标系下的坐标转换为所述世界坐标系下的坐标。

24、在本技术一实施例中，基于每个原始图像各自对应的三维局部图像，生成所述车辆的三维全景图像，包括：

25、将所述三维局部图像之间的重合部分进行拼接，得到所述车辆的三维全景图像。

26、第二方面，基于相同发明构思，本技术实施例提供了一种车辆全景图像生成装置，所述车辆全景图像生成装置包括：

27、原始图像获取模块，用于分别获取车辆在至少四个预设方位上的原始图像；

28、纹理映射模块，用于根据预先建立的纹理映射表，将所述至少四个预设方位上的原始图像分别映射到预设的三维碗状模型上，以得到每个原始图像各自对应的三维局部图像；所述纹理映射表用于表征三维碗状模型的顶点与不同预设方位上的原始图像的像素点之间的映射关系；

29、三维全景图像生成模块，用于基于每个原始图像各自对应的三维局部图像，生成所述车辆的三维全景图像。

30、在本技术一实施例中，所述装置还包括纹理映射表建立模块，所述纹理映射表建立模块用于建立所述纹理映射表；

31、所述纹理映射表建立模块包括：

32、模型构建子模块，用于构建虚拟相机和所述三维碗状模型，所述虚拟相机设置在所述三维碗状模型的上方；

33、鸟瞰图获取子模块，用于获取所述虚拟相机视角下的鸟瞰图；所述鸟瞰图是由所述至少四个预设方位上的标定图像经过畸变矫正后拼接得到的；

34、第一获取子模块，用于获取所述三维碗状模型的每个顶点到所述鸟瞰图的第一映射关系；

35、第二获取子模块，用于获取所述鸟瞰图到所述至少四个预设方位上的标定图像的第二映射关系；

36、纹理映射表建立子模块，用于基于所述第一映射关系和所述第二映射关系，建立所述纹理映射表。

37、在本技术一实施例中，所述第一获取子模块包括：

38、第一投影单元，用于基于所述三维碗状模型的每个顶点的坐标和所述虚拟相机距离所述三维碗状模型的底部平面的高度，将每个顶点的坐标投影到所述底部平面上，得到每个顶点在所述底部平面上的第一投影坐标；

39、第二投影单元，用于基于所述鸟瞰图的长度和宽度，将所述第一投影坐标投影到所述鸟瞰图上，得到所述第一投影坐标在所述鸟瞰图上的第二投影坐标；

40、第一映射关系确定单元，用于基于所述第二投影坐标，确定所述三维碗状模型的每个顶点到所述鸟瞰图的第一映射关系。

41、在本技术一实施例中，所述第二获取子模块包括：

42、逆透视投影单元，用于通过逆透视投影，获取从所述鸟瞰图到所述至少四个预设方位的去畸变图的第三映射关系；所述去畸变图是所述至少四个预设方位上的标定图像经过畸变矫正后得到的；

43、逆去畸变单元，用于通过逆去畸变，获取从每个所述去畸变图到各自对应的标定图像的第四映射关系；

44、第二映射关系确定单元，用于基于所述第三映射关系和所述第四映射关系，获取所述鸟瞰图到所述至少四个预设方位上的标定图像的第二映射关系。

45、在本技术一实施例中，纹理映射表建立模块还包括：

46、坐标系构建子模块，用于在基于所述三维碗状模型的每个顶点的坐标和所述虚拟相机距离所述三维碗状模型的底部平面的高度，将每个顶点的坐标投影到所述底部平面上，得到每个顶点在所述底部平面上的第一投影坐标之前，以所述三维碗状模型的底部平面中心为原点，分别构建碗模型坐标系和世界坐标系；

47、坐标转换子模块，用于将每个顶点在所述碗模型坐标系下的坐标转换为所述世界坐标系下的坐标。

48、在本技术一实施例中，所述三维全景图像生成模块具体用于将所述三维局部图像之间的重合部分进行拼接，得到所述车辆的三维全景图像。

49、第三方面，基于相同发明构思，本技术实施例提供了一种存储介质，存储介质内存储有机器可执行指令，机器可执行指令被处理器执行时实现本技术第一方面提出的车辆全景图像生成方法。

50、第四方面，基于相同发明构思，本技术实施例提供了一种车辆，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器用于执行机器可执行指令，以实现本技术第一方面提出的车辆全景图像生成方法。

51、与现有技术相比，本技术包括以下优点：

52、本技术实施例提供的一种车辆全景图像生成方法，通过预先建立的纹理映射表，可以直接将至少四个预设方位上的原始图像直接映射到预设的三维碗状模型上，以得到每个原始图像各自对应的三维局部图像，再基于每个原始图像各自对应的三维局部图像，生成所述车辆的三维全景图像。本技术实施例通过建立纹理映射表，能够有效避免相机的安装误差以及外参求解的计算误差所带来的影响，而直接将原始图像的像素点准确映射到三维碗状模型的对应顶点上，进而得到拼接效果更好的三维全景图像，有效提升用户观感。