一种基于混合现实技术的配网三维场景建模方法与流程

本发明涉及配网工程技术领域，尤其涉及一种基于混合现实技术的配网三维场景建模方法。

背景技术：

混合现实技术(mixreality,mr)是一种介于虚拟场景和现实场景之间的形态，包括了增强现实和增强虚拟，是指合并现实和虚拟而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。

目前配网存在着结构不合理、供电可靠性低、供电半径长和电源分布不合理等问题，严重限制了计划检修、迎峰度夏及故障复电等工作的开展。因此，配网网架优化成为供电部门的当务之急要解决的问题，这对配网的设计工作带来新的要求和更高的设计标准。

配网设计工作开始于现场测量，目前采用红外线测距仪、gps/北斗辅助测量、滚轮、经纬仪等工具进行，具体做法根据线路长短和复杂程度的不同进行选择；在沿线测量的同时采用照相机拍摄现场的具体情况，包括现场突出好人的建筑物等地标性的参照物，以便准确将线程建筑物、道路名称等标志性参考点绘制到设计图上。

现场测量的工作量巨大，虽然步骤规范，并且会辅助许多仪器仪表，但是在测量过程中还是存在大量的人为主观因素，应此会对设计结果产生不确定的影响，不但容易由于不直观的图纸而造成设计失误，而且设计效率低下。

技术实现要素：

本发明的目的在于提供一种能够提高设计效率、减少设计失误的基于混合现实技术的配网三维场景建模方法。

为了达到上述目的，本发明采用如下技术方案：一种基于混合现实技术的配网三维场景建模方法，包括以下步骤：

s1、图像采集：采用无人机对配网工程区域进行多角度拍摄；

s2、图像预处理：对无人机拍摄的图像进行筛选、去噪、校准；

s3、获取特征点：对预处理后的图像进行特征提取；

s4、相机标定：建立相机成像的几何模型，求解相机的几何模型参数；

s5、获取稀疏点云：通过标定的结果，将图像中二维特征点反推出其三维位置，由此将所有的二维特征点反推至三维空间，形成稀疏点云；

s6、获取密集点云：对稀疏点云数据进行处理，形成密集点云；

s7、表面重建：对密集点云数据进行表面重建。

进一步的，步骤s1中，通过gps地图预先规划好无人机的飞行路由。

进一步的，步骤s3中，采用sift算法对预处理后的图像进行特征提取，包括以下步骤：

s31、尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的特征点；

s32、特征点定位：在每个候选的位置上，通过拟合的精细模型来确定位置和尺度，依据特征点的稳定程度选取特征点；

s33、方向确定：基于图像局部的梯度方向，分配给每个特征点一个位置或多个方向；所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

s34、特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将这些梯度标记为梯度算子。

进一步的，步骤s7为采用powercrust算法对密集点云数据进行表面重建。

进一步的，步骤s7为采用cuda运算平台对密集点云数据进行表面重建。

进一步的，上述的基于混合现实技术的配网工程区域三维建模方法，还包括s8、纹理映射：将纹理空间中的纹理像素映射到重建后的三维模型中的像素。

采用上述技术方案后，本发明具有如下优点：

1、本发明的一种基于混合现实技术的配网三维场景建模方法，基于无人机拍摄的多角度航拍图像，所获得的航拍图像往往存在有不少问题，如畸变、噪声等，因此图像预处理阶段主要是对图像进行筛选、去噪、校准的一个过程。

完成预处理后需要基于点云数据重建三维模型，即将三维实体使用一系列的三维空间点来表示，对于这种点云数据的获取，主要通过激光扫描或相关算法对二维图像分析得到，一般激光扫描技术用于室内或者小型物体，对于长达几千米的线路走廊地形场景来说，采用算法分析的方法构建稀疏点云。

稀疏点云来源为特征点，特征点即为图像中一些特征明显、便于检测、匹配的点，如建筑物的角、边缘点等，现在常用的检测算法有sift、surf等。在检测出每张图片所有的特征点后，对对应的特征点进行匹配，在这个匹配的过程中，需要完成相机的标定，使得后面能够通过标定的结果，将图像中二维数据点反推出其三维位置，由此就能将所有的二维特征点反推至三维空间，形成稀疏点云。

然后通过基于面片的三维立体重建算法形成密集点云，密集点云的轮廓和特征都有了明显的改善，基本可以识别。

密集点云虽然能够更加形象地还原出实物面貌，但是其仍只是大量孤立的三维空间的集合而已，要想实现真正的实物三维化，那就必须要对其进行表面重建，在对点云数据进行表面重建之后，实物的轮廓、形状已经清晰可见。

本发明可以降低现场勘查人员的工作量，同时提高整体测绘的精度到分米甚至厘米级。将这样高精度的现场三维模型，通过混合现实技术呈现给工程设计人员，可以提高工程项目的设计精度降低项目人力资源消耗。混合现实展示现场三维模型的方式更符合人类的直观感受，基于该方法的设计可以减少由于不直观的图纸而造成的设计失误等问题，而通过人工智能的方式辅助设计人员进行配网设计则可以进一步提高设计效率。

2、无人机的基于gps数据的轨迹飞行技术可以根据gps地图预先规划好飞行路由，按照多视角三维重建的需求拍摄地面数据，从而减少重复拍摄和人为失误。

3、采用sift算法对预处理后的图像进行特征提取，sift即尺度不变特征变换，sift的特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用sift特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的sift物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。sift特征的信息量大，适合在海量数据库中快速准确匹配。

4、powercrust算法是一种构建点云拓扑信息的delaunay三角网算法，对任意散乱点云输入，该算法都能获取致密的表面，同时避免同类算法的多边形化、孔洞填补以及后期处理等操作，鲁棒性强。该算法对于具有锐利边缘的物体，采样密度不均匀的散乱点集以及高噪声散乱点集也都有良好的处理效果。

5、通过cuda运算平台对三维场景重建进行并行加速，相对于单一采用cpu进行大三维场景重建的整体算法，约有20倍或以上的提升效果，保证配网线路走廊的三维重建工作经济上的可行性。

6、纹理映射通过把图像贴到表面重建后的配网工程区域三维模型的表面上，可以使表面重建后的配网工程区域三维模型更具真实感。

附图说明

下面结合附图对本发明作进一步说明：

图1为本发明的一种基于混合现实技术的配网三维场景建模方法的流程图。

具体实施方式

以下结合附图及具体实施例，对本发明作进一步的详细说明。

如图1所示，本发明提供一种基于混合现实技术的配网三维场景建模方法，包括以下步骤：

s1、图像采集：通过gps地图预先规划好无人机的飞行路由，采用无人机对配网工程区域进行多角度拍摄；

无人机的基于gps数据的轨迹飞行技术可以根据gps地图预先规划好飞行路由，按照多视角三维重建的需求拍摄地面数据，从而减少重复拍摄和人为失误。

s2、图像预处理：对无人机拍摄的图像进行筛选、去噪、校准；

获得的航拍图像往往存在有不少问题，如畸变、噪声等，因此图像预处理阶段主要是对图像进行筛选、去噪、校准的一个过程。

s3、获取特征点：对预处理后的图像进行特征提取；

特征点为图像中一些特征明显、便于检测、匹配的点，如建筑物的角、边缘点等，现在常用的检测算法有sift、surf等。

本实施例中，采用利用sift算法提取特征点。sift即尺度不变特征变换，sift的特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用sift特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的sift物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。sift特征的信息量大，适合在海量数据库中快速准确匹配。

具体的，步骤s3包括以下步骤：

s31、尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的特征点；

s32、特征点定位：在每个候选的位置上，通过拟合的精细模型来确定位置和尺度，依据特征点的稳定程度选取特征点；

s33、方向确定：基于图像局部的梯度方向，分配给每个特征点一个位置或多个方向；所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

s34、特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将这些梯度标记为梯度算子。

s4、相机标定：建立相机成像的几何模型，求解相机的几何模型参数；

在检测出每张图片所有的特征点后，对对应的特征点进行匹配，在这个匹配的过程中，需要完成相机的标定，使得后面能够通过标定的结果，将图像中二维数据点反推出其三维位置，由此就能将所有的二维特征点反推至三维空间，形成稀疏点云。

s5、获取稀疏点云：通过标定的结果，将图像中二维特征点反推出其三维位置，由此将所有的二维特征点反推至三维空间，形成稀疏点云；

完成预处理后需要基于点云数据重建三维模型，即将三维实体使用一系列的三维空间点来表示，对于这种点云数据的获取，主要通过激光扫描或相关算法对二维图像分析得到，一般激光扫描技术用于室内或者小型物体，对于长达几千米的线路走廊地形场景来说，采用算法分析的方法构建稀疏点云。

本实施例中，通过sfm算法构建稀疏点云。

s6、获取密集点云：通过pmvs算法形成密集点云；

基于面片的三维立体重建算法(pmvs算法)形成密集点云，密集点云的轮廓和特征都有了明显的改善，基本可以识别。

s7、表面重建：对密集点云数据进行表面重建；

密集点云虽然能够更加形象地还原出实物面貌，但是其仍只是大量孤立的三维空间的集合而已，要想实现真正的实物三维化，那就必须要对其进行表面重建，在对点云数据进行表面重建之后，实物的轮廓、形状已经清晰可见。

具体的，步骤s7采用powercrust算法对点云数据进行表面重建。powercrust算法是一种构建点云拓扑信息的delaunay三角网算法，对任意散乱点云输入，该算法都能获取致密的表面，同时避免同类算法的多边形化、孔洞填补以及后期处理等操作，鲁棒性强。该算法对于具有锐利边缘的物体，采样密度不均匀的散乱点集以及高噪声散乱点集也都有良好的处理效果。

或者，步骤s7采用cuda运算平台对密集点云数据进行表面重建。通过cuda运算平台对三维场景重建进行并行加速，相对于单一采用cpu进行大三维场景重建的整体算法，约有20倍或以上的提升效果，保证配网线路走廊的三维重建工作经济上的可行性。

s8、纹理映射：将纹理空间中的纹理像素映射到重建后的三维模型中的像素。

纹理映射通过把图像贴到表面重建后的配网工程区域三维模型的表面上，可以使表面重建后的配网工程区域三维模型更具真实感。

本发明的基于混合现实技术的配网工程区域三维建模方法，其展示现场三维模型的方式更符合人类的直观感受，将为设计人员带来极大的效率提升和设计精度提升，将会节约大量的人力资源成本和时间。

除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。