激光雷达点云与影像密集匹配点云融合建模方法及装置与流程

本技术涉及实景三维建模，尤其涉及激光雷达点云与影像密集匹配点云融合建模方法及装置。

背景技术：

1、三维点云包含精确的地理坐标、空间几何结构、颜色、强度等信息，能够真实反映地表物体的外观结构与精确位置，是一种重要的空间信息表达形式。三维点云主要包括激光雷达点云和影像密集匹配点云两类。

2、激光雷达点云可以通过机载、地面、车载、手持等方式获取，操作便捷，测距准确，可以全天候作业不受光照和外界气候条件影响。并且激光雷达点云具备回波强度、回波次数等信息，能够对建筑物、植被、地面等进行准确分类。但同时也存在一些缺点，例如：激光雷达点云的密度相对稀疏；地面激光扫描系统受传感器视场的限制，所获取的模型存在缺失；机载激光雷达扫描系统从空间正上方进行采集，采集区域受视角限制导致采集的点云缺少局部侧面信息，进而导致建筑物侧面形成较大的空洞区域；地面雷达和机载雷达联合采集成本较高且在大规划采集时比较耗时。

3、影像密集匹配点云是基于倾斜摄影技术获取的具有空间准确位置信息的三维点云，其具有较高的空间精度，且包含丰富的颜色信息、纹理和边缘特征，能够最大程度地还原真实场景。但是，影像密集匹配点云不具备激光雷达点云那样的强度信息与回波信息，因此自动分类难度较大。另一方面，影像密集匹配点云的匹配精度取决于测试场景的光照条件和场景纹理的丰富程度；且往往因为倾斜摄影影像的拍摄质量、拍摄时的环境气候以及匹配算法的鲁棒性等客观因素，导致影像密集匹配点云中存在不匹配或不相关的噪点，难以保证全局所有数据的精度；此外，受限于采集设备，生成的影像密集匹配点云在噪声水平和锐利边缘保留特征方面不如激光雷达点云。

技术实现思路

1、本技术实施例通过提供一种激光雷达点云与影像密集匹配点云融合建模方法及装置，解决了现有技术中的单一设备采集三维点云存在局限、采集精度不够准确或局部数据缺失的问题，实现了将多种点云数据融合，利用不同设备获取的三维点云进行优势互补，以提高模型的局部细节的精度与边缘特征的表现力。

2、第一方面，本技术实施例提供了一种激光雷达点云与影像密集匹配点云融合建模方法，包括：对获取的激光雷达点云与影像密集匹配点云进行预处理；根据地物要素类型将预处理后的激光雷达点云分为刚体区域与非刚体区域，并去除所述非刚体区域的点云；获取所述刚体区域内的激光雷达点云与影像密集匹配点云的建筑物区域；对激光雷达点云与影像密集匹配点云进行粗配准，生成配准融合点云；基于影像密集匹配点云构建搜索树，将激光雷达点云数据映射到所述搜索树并计算激光雷达点云的视角信息；去除所述配准融合点云与所述视角信息中的重叠冗余数据，并对所述配准融合点云进行优化去噪生成配准点云和对应的视角信息。

3、结合第一方面，在第一种可能的实现方式中，所述获取所述刚体区域内的激光雷达点云与影像密集匹配点云的建筑物区域，包括：将所述刚体区域分为地面区域与非地面区域；对所述地面区域进行平面拟合获得地面方程，并根据所述地面方程获取所述非地面区域中每个建筑物区域的外接轮廓；利用所述外接轮廓对影像密集匹配点云进行切分，获得激光雷达点云和影像密集匹配点云的所述建筑物区域。

4、结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将所述刚体区域分为地面区域与非地面区域，包括：获取所述刚体区域的最大外接矩形区域，并将所述最大外接矩形区域划分为等距的平面网格；将所述刚体区域的激光雷达点云根据空间位置投射到对应的所述平面网格中；计算每个网格中的激光雷达点云的局部平均高度并确定整个所述平面网格中的最低平均高度；对所述局部平均高度与所述最低平均高度进行差值计算，并设置高度差阈值；将低于所述局部平均高度与所述高度差阈值之和的网格作为地面区域，将高于所述局部平均高度与所述高度差阈值之和的网格作为非地面区域。

5、结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述地面方程获取所述非地面区域中每个建筑物区域的外接轮廓，包括：将满足所述地面方程的中心点作为所述地面区域内网格的中心点，将不满足所述地面方程的中心点作为所述非地面区域的网格的中心点；去除激光雷达点云中的所述地面区域，获得所述非地面区域的点云；在所述非地面区域获取每个所述建筑物区域的所述外接轮廓。

6、结合第一方面，在第四种可能的实现方式中，所述对激光雷达点云与影像密集匹配点云进行粗配准，包括：计算激光雷达点云与影像密集匹配点云的平均地面高度差，获得高度平移量；将影像密集匹配点云作为基准数据，为激光雷达点云增加所述高度平移量；将所述建筑物区域的点云划分为多个区域，计算每个区域的平移矩阵；去除所述平移矩阵中的误差值，并计算各轴向分量的平均值获得最终平移矩阵；通过所述最终平移矩阵中的平移向量并分别对各区域进行配准融合。

7、结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述将激光雷达点云数据映射到所述搜索树并计算激光雷达点云的视角信息，包括：根据所述最终平移矩阵中的平移向量对激光雷达点云进行坐标转换，并配准到影像密集匹配点云上；搜索激光雷达点云中每个激光雷达点在所述搜索树的第一半径范围内的影像密集匹配点，并将搜索到的所述影像密集匹配点的视角信息赋值给所述激光雷达点；若在所述激光雷达点的所述第一半径范围内不存在所述影像密集匹配点，则将搜索半径扩大至第二半径范围；将所述第二半径范围内搜索到的所述影像密集匹配点的视角信息赋值给所述激光雷达点；若所述第二半径范围内不存在所述影像密集匹配点，则将所述激光雷达点标记为固有点；其中，所述视角信息赋值包括：根据所述影像密集匹配点距离所述激光雷达点的远近与出现次数构建距离和出现次数的能量权重公式，并对计算结果的加权值进行排序，将排列在前的多个视角信息作为所述激光雷达点的最终视角信息。

8、结合第一方面，在第六种可能的实现方式中，所述配准点云和对应的视角信息，还包括：根据所述配准点云和对应的视角信息进行联合三维建模，并对模型进行点云网格化和纹理贴图。

9、第二方面，本技术实施例提供了一种激光雷达点云与影像密集匹配点云融合建模装置，包括：预处理模块，用于对获取的激光雷达点云与影像密集匹配点云进行预处理；刚体区域模块，用于根据地物要素类型将预处理后的激光雷达点云分为刚体区域与非刚体区域，并去除所述非刚体区域的点云；建筑物区域模块，用于获取所述刚体区域内的激光雷达点云与影像密集匹配点云的建筑物区域；配准融合模块，用于对激光雷达点云与影像密集匹配点云进行粗配准，生成配准融合点云；视角信息模块，用于基于影像密集匹配点云构建搜索树，将激光雷达点云数据映射到所述搜索树并计算激光雷达点云的视角信息；优化模块，用于去除所述配准融合点云与所述视角信息中的重叠冗余数据，并对所述配准融合点云进行优化去噪生成配准点云和对应的视角信息。

10、结合第二方面，在第一种可能的实现方式中，所述获取所述刚体区域内的激光雷达点云与影像密集匹配点云的建筑物区域，包括：将所述刚体区域分为地面区域与非地面区域；对所述地面区域进行平面拟合获得地面方程，并根据所述地面方程获取所述非地面区域中每个建筑物区域的外接轮廓；利用所述外接轮廓对影像密集匹配点云进行切分，获得激光雷达点云和影像密集匹配点云的所述建筑物区域。

11、结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将所述刚体区域分为地面区域与非地面区域，包括：获取所述刚体区域的最大外接矩形区域，并将所述最大外接矩形区域划分为等距的平面网格；将所述刚体区域的激光雷达点云根据空间位置投射到对应的所述平面网格中；计算每个网格中的激光雷达点云的局部平均高度并确定整个所述平面网格中的最低平均高度；对所述局部平均高度与所述最低平均高度进行差值计算，并设置高度差阈值；将低于所述局部平均高度与所述高度差阈值之和的网格作为地面区域，将高于所述局部平均高度与所述高度差阈值之和的网格作为非地面区域。

12、结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述地面方程获取所述非地面区域中每个建筑物区域的外接轮廓，包括：将满足所述地面方程的中心点作为所述地面区域内网格的中心点，将不满足所述地面方程的中心点作为所述非地面区域的网格的中心点；去除激光雷达点云中的所述地面区域，获得所述非地面区域的点云；在所述非地面区域获取每个所述建筑物区域的所述外接轮廓。

13、结合第二方面，在第四种可能的实现方式中，所述对激光雷达点云与影像密集匹配点云进行粗配准，包括：计算激光雷达点云与影像密集匹配点云的平均地面高度差，获得高度平移量；将影像密集匹配点云作为基准数据，为激光雷达点云增加所述高度平移量；将所述建筑物区域的点云划分为多个区域，计算每个区域的平移矩阵；去除所述平移矩阵中的误差值，并计算各轴向分量的平均值获得最终平移矩阵；通过所述最终平移矩阵中的平移向量并分别对各区域进行配准融合。

14、结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述将激光雷达点云数据映射到所述搜索树并计算激光雷达点云的视角信息，包括：根据所述最终平移矩阵中的平移向量对激光雷达点云进行坐标转换，并配准到影像密集匹配点云上；搜索激光雷达点云中每个激光雷达点在所述搜索树的第一半径范围内的影像密集匹配点，并将搜索到的所述影像密集匹配点的视角信息赋值给所述激光雷达点；若在所述激光雷达点的所述第一半径范围内不存在所述影像密集匹配点，则将搜索半径扩大至第二半径范围；将所述第二半径范围内搜索到的所述影像密集匹配点的视角信息赋值给所述激光雷达点；若所述第二半径范围内不存在所述影像密集匹配点，则将所述激光雷达点标记为固有点；其中，所述视角信息赋值包括：根据所述影像密集匹配点距离所述激光雷达点的远近与出现次数构建距离和出现次数的能量权重公式，并对计算结果的加权值进行排序，将排列在前的多个视角信息作为所述激光雷达点的最终视角信息。

15、结合第二方面，在第六种可能的实现方式中，所述配准点云和对应的视角信息，还包括：根据所述配准点云和对应的视角信息进行联合三维建模，并对模型进行点云网格化和纹理贴图。

16、第三方面，本技术实施例提供了一种设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器；所述处理器执行所述可执行指令时，实现如第一方面或第一方面任一种可能实现的方式所述的方法。

17、第四方面，本技术实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质包括用于存储计算机程序或指令，当该计算机程序或指令被执行时，使如第一方面或第一方面任一种可能实现的方式所述的方法被实现。

18、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

19、本技术实施例利用激光雷达点云局部丰富的细节区域表现特征对影像密集匹配点云进行局部优化，将影像密集匹配点云的视角和颜色等属性信息赋给激光雷达点云，进而实现了一种激光雷达点云与影像密集匹配点云融合建模的方法，弥补了单一点云建模的局限，提高了最终生成的三维模型的精准度，使生成的三维模型细节表现更加丰富。