点云重建模型生成方法、点云重建方法及电子设备与流程

本技术涉及点云，尤其涉及一种点云重建模型生成方法、点云重建方法及电子设备。

背景技术：

1、在电子地图制作过程中，电子地图不仅需要呈现详细的地理信息，也需要对各类地图元素进行准确地标注，因此，地图元素标注是一个关键的环节。而地图元素的准确标注依赖于能准确完整的表达场景的点云。在实际应用中，可基于激光雷达获取的点云进行地图元素的标注，但带激光雷达的采集设备由于费用高昂导致不能大规模投入使用，且通过激光雷达获取的点云的点云反射率伪彩色图像不如真正的图像能够准确完整的表达场景，这也给标注效率造成了较大的影响。

2、针对上述问题，相关技术通过基于纯视觉的点云重建实现大范围建图。其中，基于纯视觉的点云重建是使用价格低廉的相机采集数据，应用多视角立体（multi-viewstereo，简称为mvs）匹配生成稠密深度图的方式进行地图元素的点云重建。但该方式需要大量的计算时间才能完成地图元素的点云重建。

技术实现思路

1、本技术提供一种点云重建模型生成方法、点云重建方法及电子设备，用以达到实现大范围地图元素的快速且准确的点云重建的效果。

2、第一方面，本技术提供一种点云重建模型生成方法，包括：

3、确定待重建地面中的至少一个目标重建地面；

4、通过不同视角对各目标重建地面进行图像采集，获取各目标重建地面对应的图像对；

5、基于各目标重建地面对应的图像对中的至少一组关联特征项，确定各目标重建地面对应的局部优化目标；

6、根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型。

7、在一种可能的实施方式中，基于关联特征项对基础点云重建模型中的待优化项进行设置，待优化项包括点特征优化项、线特征优化项、平面特征优化项中的至少一个；根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型，包括：根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型中的待优化项进行优化，得到待重建地面的目标点云重建模型。

8、在一种可能的实施方式中，通过不同视角对各目标重建地面进行图像采集，获取各目标重建地面对应的图像对，包括：对各目标重建地面执行如下处理：获取通过采集视角对目标重建地面采集的第一图像，获取通过查询视角对目标重建地面采集的第二图像，将第一图像和第二图像作为目标重建地面对应的图像对；基于各目标重建地面对应的图像对中的至少一组关联特征项，确定各目标重建地面对应的局部优化目标，包括：基于第一图像和第二图像获取至少一组关联特征项，每组关联特征项包括第一图像和第二图像中匹配的至少两个特征项；根据各组关联特征项中的至少两个特征项的几何分布关系，确定目标重建地面对应的局部优化目标。

9、在一种可能的实施方式中，根据各组关联特征项中的至少两个特征项的几何分布关系，确定目标重建地面对应的局部优化目标，包括：确定各组关联特征项对应的特征位置差异值，特征位置差异值表征对应组的关联特征项中至少两个特征项的位置偏差；基于确定的各特征位置差异值的分布特征，确定目标重建地面对应的局部优化目标。

10、在一种可能的实施方式中，基于确定的各特征位置差异值的分布特征，确定目标重建地面对应的局部优化目标，包括：将各特征位置差异值的标准方差，确定为目标重建地面对应的局部优化目标，各特征位置差异值的标准方差反映对应特征位置差异值的分布特征。

11、在一种可能的实施方式中，当待优化项包括点特征优化项时，关联特征项针对点特征优化项进行设置；基于第一图像和第二图像获取至少一组关联特征项，包括：通过如下方式对图像对进行处理，获得对应图像对中的各组关联特征项中的至少两个特征项：确定第一图像中的第一点；将第一点的特征射线与基础点云重建模型的交点确定为第二点，并确定第二点的三维坐标；将第二点投影至第二图像中得到投影点，确定第二图像中与投影点坐标接近的点为第三点，其中，第一点、第二点、投影点、第三点为关联特征项中的至少两个特征项；确定各组关联特征项对应的特征位置差异值，包括：将投影点与第三点之间的距离的差值，确定为关联特征项对应的特征位置差异值。

12、在一种可能的实施方式中，根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型，包括：按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型中的点特征优化项进行优化，得到目标点云重建模型；

13、

14、其中，表示待重建地面的全局优化目标；代表第i个目标重建地面；为第i个目标重建地面对应的局部优化目标； n代表目标重建地面的总数量；代表第i个目标重建地面对应的图像对中第j个关联特征项的第二点；代表第i个目标重建地面对应的图像对中第j个关联特征项的第三点； m代表第i个目标重建地面对应的图像对中关联特征项的总数量；代表将第二点投影至第二图像中的投影函数。

15、在一种可能的实施方式中，当待优化项包括线特征优化项时，关联特征项针对线特征优化项进行设置；基于第一图像和第二图像获取至少一组关联特征项，包括：通过如下方式对图像对进行处理，获得对应图像对中的各组关联特征项中的至少两个特征项：确定第一图像中的第一线；将第一线与基础点云重建模型的交线确定为第二线，并确定第二线的三维坐标；将第二线投影至第二图像中得到投影线，确定第二图像中与投影线坐标接近的线为第三线；其中，第一线、第二线、投影线、第三线为关联特征项中的至少两个特征项；确定各组关联特征项对应的特征位置差异值，包括：将投影线与第三线之间的距离的差值，确定为关联特征项对应的特征位置差异值。

16、在一种可能的实施方式中，根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型，包括：按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型的线特征优化项进行优化，得到目标点云重建模型；

17、

18、其中，表示待重建地面的全局优化目标；代表第n个目标重建地面；为第n个目标重建地面对应的局部优化目标； n代表目标重建地面的总数量；代表第n个目标重建地面对应的图像对中第m个关联特征项的第二线；代表第n个目标重建地面对应的图像对中第m个关联特征项的第三线； m代表第n个目标重建地面对应的图像对中关联特征项的总数量；代表将第二线投影至第二图像中的投影函数。

19、在一种可能的实施方式中，当待优化项包括平面特征优化项时，关联特征项针对平面特征优化项进行设置；基于第一图像和第二图像获取至少一组关联特征项，包括：通过如下方式对图像对进行处理，获得对应图像对中的各组关联特征项中的至少两个特征项：从不同目标重建地面的图像对包含的第一图像中，确定两相邻目标重建地面的第一平面顶点，从不同目标重建地面的图像对包含的第二图像中，确定两相邻目标重建地面的第二平面顶点，其中，第一平面顶点和第二平面顶点为关联特征项中的至少两个特征项；确定各组关联特征项对应的特征位置差异值，包括：将第一平面顶点在目标重建地面上的深度值与第二平面顶点在目标重建地面上的深度值的差值，确定为关联特征项对应的特征位置差异值。

20、在一种可能的实施方式中，根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型，包括：按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型的平面特征优化项进行优化，得到目标点云重建模型；

21、

22、其中，表示待重建地面的全局优化目标；代表在第一图像下基于第一平面顶点的横纵坐标获得第一平面顶点在目标重建地面上的深度值；代表在第二图像下基于第二平面顶点的横纵坐标获得第二平面顶点在目标重建地面上的深度值；m代表第i1个目标重建地面对应的图像对中关联特征项的总数量；n1代表两相邻目标重建地面的总数量；代表第i1个两相邻目标重建地面对应的局部优化目标。

23、在一种可能的实施方式中，还包括：获取针对待重建地面采集的第三图像；根据所述第三图像，基于多视角几何原理，确定采集设备的外参初值；根据外参初值，确定采集设备与待重建地面的外参标定关系；根据外参标定关系，构建待重建地面对应的基础点云重建模型。

24、在一种可能的实施方式中，根据第三图像，基于多视角几何原理，确定采集设备的外参初值，包括：根据第三图像，确定采集设备的位姿；基于多视角几何原理，采集设备的位姿，确定出采集设备的外参初值。

25、在一种可能的实施方式中，根据外参初值，确定采集设备与待重建地面的外参标定关系，包括：将第三图像中的第四点的特征射线与待重建地面的交点确定为第五点，并确定第五点的三维坐标；基于外参初值，将第五点投影至针对待重建地面采集的第四图像中得到第六点，确定第二图像中与第六点坐标接近的点为第七点，其中，采集第四图像的视角与采集第三图像的视角不同；根据第六点与第七点，确定优化函数；基于优化算法优化优化函数，以确定采集设备与待重建地面的外参标定关系。

26、第二方面，本技术提供一种点云重建模型生成装置，包括：

27、第一确定模块，用于确定待重建地面中的至少一个目标重建地面；

28、获取模块，用于通过不同视角对各目标重建地面进行图像采集，获取各目标重建地面对应的图像对；

29、第二确定模块，用于基于各目标重建地面对应的图像对中的至少一组关联特征项，确定各目标重建地面对应的局部优化目标；

30、处理模块，用于根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型。

31、在一种可能的实施方式中，处理模块具体用于：根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型中的待优化项进行优化，得到待重建地面的目标点云重建模型；

32、在一种可能的实施方式中，获取模块具体用于：获取通过采集视角对目标重建地面采集的第一图像，获取通过查询视角对目标重建地面采集的第二图像，将第一图像和第二图像作为目标重建地面对应的图像对；

33、第二确定模块具体用于：基于第一图像和第二图像获取至少一组关联特征项，每组关联特征项包括第一图像和第二图像中匹配的至少两个特征项；根据各组关联特征项中的至少两个特征项的几何分布关系，确定目标重建地面对应的局部优化目标。

34、在一种可能的实施方式中，第二确定模块还用于：确定各组关联特征项对应的特征位置差异值，特征位置差异值表征对应组的关联特征项中至少两个特征项的位置偏差；基于确定的各特征位置差异值的分布特征，确定目标重建地面对应的局部优化目标。

35、在一种可能的实施方式中，第二确定模块用于：将各特征位置差异值的标准方差，确定为目标重建地面对应的局部优化目标，各特征位置差异值的标准方差反映对应特征位置差异值的分布特征；

36、在一种可能的实施方式中，获取模块具体用于：确定第一图像中的第一点；将第一点的特征射线与基础点云重建模型的交点确定为第二点，并确定第二点的三维坐标；将第二点投影至第二图像中得到投影点，确定第二图像中与投影点坐标接近的点为第三点，其中，第一点、第二点、投影点、第三点为关联特征项中的至少两个特征项；第二确定模块用于：将投影点与第三点之间的距离的差值，确定为关联特征项对应的特征位置差异值。

37、在一种可能的实施方式中，处理模块具体用于：

38、按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型中的点特征优化项进行优化，得到目标点云重建模型；

39、

40、其中，表示待重建地面的全局优化目标；代表第i个目标重建地面；为第i个目标重建地面对应的局部优化目标； n代表目标重建地面的总数量；代表第i个目标重建地面对应的图像对中第j个关联特征项的第二点；代表第i个目标重建地面对应的图像对中第j个关联特征项的第三点； m代表第i个目标重建地面对应的图像对中关联特征项的总数量；代表将第二点投影至第二图像中的投影函数。

41、在一种可能的实施方式中，获取模块具体用于：确定第一图像中的第一线；将第一线与基础点云重建模型的交线确定为第二线，并确定第二线的三维坐标；将第二线投影至第二图像中得到投影线，确定第二图像中与投影线坐标接近的线为第三线；其中，第一线、第二线、投影线、第三线为关联特征项中的至少两个特征项；第二确定模块具体用于：将投影线与第三线之间的距离的差值，确定为关联特征项对应的特征位置差异值。

42、在一种可能的实施方式中，处理模块具体用于：按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型的线特征优化项进行优化，得到目标点云重建模型；

43、

44、其中，表示待重建地面的全局优化目标；代表第n个目标重建地面；为第n个目标重建地面对应的局部优化目标； n代表目标重建地面的总数量；代表第n个目标重建地面对应的图像对中第m个关联特征项的第二线；代表第n个目标重建地面对应的图像对中第m个关联特征项的第三线； m代表第n个目标重建地面对应的图像对中关联特征项的总数量；代表将第二线投影至第二图像中的投影函数。

45、在一种可能的实施方式中，获取模块具体用于：从不同目标重建地面的图像对包含的第一图像中，确定两相邻目标重建地面的第一平面顶点，从不同目标重建地面的图像对包含的第二图像中，确定两相邻目标重建地面的第二平面顶点，其中，第一平面顶点和第二平面顶点为关联特征项中的至少两个特征项；第二确定模块具体用于：将第一平面顶点在目标重建地面上的深度值与第二平面顶点在目标重建地面上的深度值的差值，确定为关联特征项对应的特征位置差异值。

46、在一种可能的实施方式中，处理模块用于：

47、按照如下公式，基于各目标重建地面对应的局部优化目标，确定待重建地面的全局优化目标；朝着全局优化目标取最小值的优化方向，对基础点云重建模型的平面特征优化项进行优化，得到目标点云重建模型；

48、

49、其中，表示待重建地面的全局优化目标；代表在第一图像下基于第一平面顶点的横纵坐标获得第一平面顶点在目标重建地面上的深度值；代表在第二图像下基于第二平面顶点的横纵坐标获得第二平面顶点在目标重建地面上的深度值；m代表第i1个目标重建地面对应的图像对中关联特征项的总数量；n1代表两相邻目标重建地面的总数量；代表第i1个两相邻目标重建地面对应的局部优化目标。

50、在一种可能的实施方式中，处理模块还用于：获取针对待重建地面采集的第三图像；根据第三图像，基于多视角几何原理，确定采集设备的外参初值；根据外参初值，确定采集设备与待重建地面的外参标定关系；根据外参标定关系，构建待重建地面对应的基础点云重建模型。

51、在一种可能的实施方式中，处理模块还用于：根据第三图像，确定采集设备的位姿；基于多视角几何原理，根据采集设备的位姿，确定出采集设备的外参初值。

52、在一种可能的实施方式中，处理模块用于：将第三图像中的第四点的特征射线与待重建地面的交点确定为第五点，并确定第五点的三维坐标；基于外参初值，将第五点投影至针对待重建地面采集的第四图像中得到第六点，确定第二图像中与第六点坐标接近的点为第七点，其中，采集第四图像的视角与采集第三图像的视角不同；根据第六点与第七点，确定优化函数；基于优化算法优化优化函数，以确定采集设备与待重建地面的外参标定关系。

53、第三方面，本技术提供一种点云重建方法，包括：

54、获取针对待重建地面采集的目标图像；

55、通过待重建地面的目标点云重建模型，对所述目标图像进行处理，生成待重建地面对应的地面点云，目标点云重建模型是通过上述的点云重建模型生成方法得到的。

56、在一种可能的实施方式中，获取针对待重建地面采集的目标图像之前，还包括：将待重建地面划分为若干个局部地面；通过待重建地面的目标点云重建模型，对目标图像进行处理，生成待重建地面对应的地面点云，包括：通过目标点云重建模型对各个局部地面对应的地面点云进行处理，生成待重建地面对应的地面点云。

57、在一种可能的实施方式中，通过待重建地面的目标点云重建模型，对目标图像进行处理，生成待重建地面对应的地面点云，包括：以目标图像的左上角的点为起点，基于预设方向以预设步长遍历目标图像中的点，并根据待重建地面的目标点云重建模型，确定至少一个遍历得到的点的深度值；基于目标图像中的各点的深度值，生成待重建地面对应的地面点云。

58、在一种可能的实施方式中，根据目标图像中的各点的深度值，确定待重建地面对应的无色地面点云；对无色地面点云进行点云渲染，得到待重建地面对应的有颜色的地面点云。

59、在一种可能的实施方式中，针对至少一个无色地面点云，构建包含无色地面点云的至少一个采集视角的k维树；基于各无色地面点云，从k维树中确定出无色地面点云对应的第一采集视角，第一采集视角为与无色地面点云具有最小距离的采集视角；在无色地面点云投影至与第一采集视角时，将无色地面点云的颜色确定为第一采集视角的颜色。

60、第四方面，本技术提供一种点云重建装置，包括：

61、获取模块，用于获取针对待重建地面采集的目标图像；

62、生成模块，用于通过上述待重建地面的目标点云重建模型，对目标图像进行处理，生成待重建地面对应的地面点云，目标点云重建模型是通过上述的点云重建模型生成方法得到的。

63、在一种可能的实施方式中，生成模块具体用于：通过目标点云重建模型对各个局部地面对应的地面点云进行处理，生成待重建地面对应的地面点云。

64、在一种可能的实施方式中，生成模块还用于：以目标图像的左上角的点为起点，基于预设方向以预设步长遍历目标图像中的点，并根据待重建地面的目标点云重建模型，确定至少一个遍历得到的点的深度值；基于目标图像中的各点的深度值，生成待重建地面对应的地面点云。

65、在一种可能的实施方式中，生成模块用于：根据目标图像中的各点的深度值，确定待重建地面对应的无色地面点云；对无色地面点云进行点云渲染，得到待重建地面对应的有颜色的地面点云。

66、在一种可能的实施方式中，生成模块具体用于：针对至少一个无色地面点云，构建包含无色地面点云的至少一个采集视角的k维树；基于各无色地面点云，从k维树中确定出无色地面点云对应的第一采集视角，第一采集视角为与无色地面点云具有最小距离的采集视角；在无色地面点云投影至与第一采集视角时，将无色地面点云的颜色确定为第一采集视角的颜色。

67、第五方面，本技术提供一种电子地图更新方法，包括：

68、通过第三方面和/或第三方面各种可能的实施方式，获取待重建地面对应的地面点云；基于待重建地面对应的地面点云，对电子地图中待重建地面对应的区域进行更新。

69、第六方面，本技术提供一种电子地图更新装置，包括：

70、获取模块，用于通过第三方面和/或第三方面各种可能的实施方式，获取待重建地面对应的地面点云；

71、更新模块，用于基于待重建地面对应的地面点云，对电子地图中待重建地面对应的区域进行更新。

72、第七方面，本技术提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

73、存储器存储计算机执行指令；

74、处理器执行计算机执行指令，以实现如上第一方面和/或第一方面和/或第三方面和/或第三方面和/或第五方面和/或第五方面各种可能的实施方式。

75、第八方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现如上第一方面和/或第一方面和/或第三方面和/或第三方面和/或第五方面和/或第五方面各种可能的实施方式。

76、第九方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被执行时实现如上第一方面和/或第一方面和/或第三方面和/或第三方面和/或第五方面和/或第五方面各种可能的实施方式。

77、本技术提供的点云重建模型生成方法、点云重建方法及电子设备，通过确定待重建地面中的至少一个目标重建地面；通过不同视角对各目标重建地面进行图像采集，获取各目标重建地面对应的图像对；基于各目标重建地面对应的图像对中的至少一组关联特征项，确定各目标重建地面对应的局部优化目标；根据各目标重建地面对应的局部优化目标，对待重建地面对应的基础点云重建模型进行优化，得到待重建地面的目标点云重建模型。本技术通过不同视角对各目标重建地面进行图像采集，得到各目标重建地面不同的侧面和特征，为目标重建地面提供更多的细节和信息；基于各目标重建地面对应的图像对中的至少一组关联特征项，可以精准识别出各目标重建地面对应的局部优化目标，从而减少优化计算量、提升优化速度；通过各目标重建地面对应的局部优化目标，优化对待重建地面对应的基础点云重建模型，能够有效减少目标重建地面中的随机噪声，提升待重建地面的目标点云重建模型的准确性，基于目标点云重建模型实现大范围地图元素的快速且准确的点云重建的效果。