适用于变电站内采用vuforia算法提高MR一体机内图像重合度的方法与流程

适用于变电站内采用vuforia算法提高mr一体机内图像重合度的方法
技术领域
1.本发明属于图像模型构建技术领域，具体涉及一种适用于变电站内采用vuforia算法提高mr一体机内图像重合度的方法。


背景技术：

2.国家智能化、信息化、标准化电网的迅速发展和建立，数字化变电站试点及改造工程被多个地区采纳并实施。但在实际应用过程中仍存在一些问题，如：北斗传感器在变电站室内对工作人员的精确位置难以确定、传统的智能管控系统对人员的定位局限于二维界面，无法从深度上确定位置等弊端。
3.针对电力安全技术中心所提出的“四个管住”项目中“管住设备”的课题进行相关的技术研发，基于北斗高精度定位、uwb(超宽带)的融合定位技术，可以对变电站工作人员所处的位置进行实时监测。通过对电网现有运行设备、待运设备以及各类附属设施数量和状态信息进行优化整合，运用mr技术让工作人员精准、详细、准确的掌握作业现场所有设备的实时状态，提醒工作人员及时避开危险因素，增强作业环境的安全性，切实有效的保障了工作人员的人身安全。
4.如已有专利cn211015620u、适用于数据对比条件下相关人员保护的应用，但是侧重于但对工作人员健康状态的监测；专利cn109828654a、仅适用于数据增强现实条件下信息读取的开发，与本发明的技术方案、技术应用、有益效果上均无重合。


技术实现要素：

5.本发明所要解决的技术问题是，针对现有技术的不足，提供一种采用外部环境锚定、全息精准定位模式，实现mr一体机中虚拟目标物和真实目标物高度重合的适用于变电站内采用vuforia算法提高mr一体机内图像重合度的方法。
6.为解决上述技术问题，本发明所采用的技术方案是：
7.一种适用于变电站内采用vuforia算法提高mr一体机内图像重合度的方法，包括以下步骤：
8.步骤1、构件设备环境；
9.步骤2、对图片化采集的信息进行图片信息的识别；
10.步骤3、识别进度条读秒显示；
11.步骤4、图片基本信息优化；
12.步骤5、比例重构图片在内的真实环境模型；
13.步骤6、基本信息显示三维环境，将虚拟三维环境叠加至真实环境中。
14.所述步骤1中所述设备环境为基于高精度定位系统构建的变电站三维仿真坐标模型场域，
15.所述高精度定位系统采用北斗rtk高精度定位和uwb室内定位组合搭建，
16.所述变电站三维仿真坐标模型场域包括标准电器件模型、变电站内电器元件对应三维坐标的点云定位参数、与所述点云定位参数对应的设备铭牌信息，
17.与所述三维仿真坐标模型场域与mr一体机间实现数据交互。
18.所述步骤2的处理方法为：
19.c.作业人佩戴所述mr一体机，实现对目视区域图像的所述图片化采集；
20.d.所述图片信息的识别；将所述图片化采集的信息，使用vuforia进行图片识别，识别到该图片中所述电器元件的型号及图像姿态，采用文字提取算法，识别电器元件的所述铭牌信息，并通过所述mr一体机实现对图片所在区域位置的相关信息的检索和显示。
21.所述识别进度条读秒显示为在所述mr一体机内显示所述vuforia进行图片识别的读取进度。
22.所述图片基本信息优化将所述电器元件对应的所有信息整合到相对所述电器元件的可展开目录中，并在所述mr一体机内显示图片区域中所述电器元件所共有的参数信息。
23.所述步骤5的处理方法为：
24.c.根据所述步骤2得出的所述相关信息与所述mr一体机中读取的信息相结合，得出工作人员的定位参数；
25.d.将所述定位参数导入到所述变电站三维仿真坐标模型场域内，构建以所述定位参数为中心10*10m范围内的比例重构模型，并设置时间间隔刷新比例重构模型的相关参数。
26.所述步骤6的处理方法为：
27.c.在所述mr一体机内设置显示基本信息、显示三维环境中所述比例重构模型的展开连接；
28.d.以所述mr一体机内眼动追踪的方向为中心，将图片中所述电器元件对应所述标准电器件模型的虚拟三维环境经所述图像姿态调整叠加至真实环境中。
29.在现有技术中，对提高增强现实可视化目标中虚拟目标物和真实目标物重合度的方法，尚未发现成熟的便携式可视化终端应用技术。
30.本发明采用microsofthololens2为增强现实可视化终端的操作模式，与基于高精度定位系统构建的变电站三维仿真坐标模型场域相结合，构建基于三维仿真模型中坐标点条件下的比例重构模型、投影参数模型即图像重合度投影。
31.microsofthololens2是完全不受束缚的全息计算机。它可以改进由hololens(第一代)开启的全息计算功能，通过搭配更多用于在混合现实中协作的选项，提供更舒适的沉浸式体验。hololens2在windows全息版os上运行，它基于windows10，为用户、管理员和开发人员提供可靠、性能高且安全的平台。
32.hololens2扫描识别现实空间环境，进行空间定位功能。虚拟模型可以固定在真实空间的固定点上，也就是说可以锚定在工作的物体或表面上，实现外部环境锚定和锚定全息图的高吻合度重合度投影。进一步的，实现手部跟踪对投影模型的自然触摸、抓取和移动全息影像。
33.vuforia图片识生成的空间锚点与工作人员的定位参数相结合，映射出的空间锚点坐标比传统方法更加准确，在识别物体后，给出一个空间锚点相对参数，根据此空间锚点
相对参数来映射相对应的三维重构对象与真实对象的重叠增强现实机制。
34.通过此方法识别后，只要在摄像头2m的识别范围内，识别准确率能达到99％以上。映射出的空间锚点坐标比原有方法更加准确。
35.随着网络信息化时代的到来，高精度定位已然成为目前应用较广的实时动态测量技术，传统的rtk以及网络差分技术得到了逐渐的发展与融合，进而促进了网络rtk技术的诞生。网络rtk技术是一种基于网络通讯误差与区域误差修正的glass实时定位技术。它在一定的区域内建立多个参考站，对该区域构成网状覆盖，并以这些参考站中的一个或多个为基准，计算和播发改正信息。
36.北斗rtk高精度定位，北斗网络rtk的基本原理是利用多个连续运行北斗基准站(最少3个或3个以上基准站形成基准站网络)的观测数据，经计算处理生成格网化的差分改正数据，该数据相当于一个虚拟参考站的观测数据。
37.其具备有应用范围广、安全性高、精确度高等多种优势。其最大的优点在于用户不用建立基准站，并且用户与基准站的距离可以扩大到上百公里，在减少误差的同时也使改正信息的可靠性和精度得到一个大幅度的提升。
38.uwb室内定位，uwb全称uitrawideband，即超宽带无线定位技术，它是利用超高频信号的定向性以及稳定性，采用“时间差”和类似三角定位的原理来完成定位的，是效解决室内、隧道、变电站等卫星信号无法覆盖区域的定位而开发的高精度实时定位产品。
39.如，u-loc室内厘米级实时定位系统采用微瓦级的发射功率进行全方位的实时定位，可提供人员、物资的高精准实时定位，有效实现危险预警的管理功能。
40.在u-loc室内厘米级实时定位系统中，人员或物品上所佩戴的定位标签利用uwb脉冲信号发射出位置数据，接收机接收、放大uwb信号，经同步分配器校准接收机时钟，计算出定位标签信号到达不同接收机的时间差(tdoa)，然后定位引擎采用tdoa定位算法对标签位置进行解算，最终通过有线或无线的方式传输到信息处理及控制平台。
41.2015年，微软公司发布了第一代mr头显设备microsofthololens以及应用开发工具包，使混合现实技术的研究取得突破性进展。目前hololens在民用军用利用其关键技术所实现的解决方案应用较为广泛。西门子利用hololens增强现实技术实现机械设备全息可视化的方式用于工业的服务和维修，在未对机械进行拆解前，为产品的检修提供三维可视化服务，并提供设备拆解指导，医疗和保健领域已经有许多沉浸式技术的应用。
42.硬件部分主要采用微软hololens2商用mr一体机，作为混合现实设备，通过渲染高清全息影像，在真实世界之上叠加标准电器件模型的数字影像，全息影像会驻留在用户所放置的区域。
43.与现有技术相比，本发明的有益效果如下：
44.高精度定位系统采用北斗rtk高精度定位和uwb室内定位组合搭建，采用兼容式的设计原理，兼顾两种定位模式算法的厘米级高精度定位系统，实现双系统间的参数交互和定位精度优化，以对变电站工作人员室内外的精确位置进行定位。
45.采用北斗+uwb的室内外无缝定位系统，通过增加阈值机制有效避免室内外定位系统反复切换造成的功耗和运算量的资源浪费。
46.根据变电站三维仿真坐标模型场域具有标准型和重复性的特点，在构建高精度定位系统的基础上，采用三维激光扫描技术读取对应电器元件的外形参数和坐标参数，搭建
电器元件的云数据，随后采用二维平面包围盒拓扑结构的点云重复结构检测算法，对模板库中的标准电器件模型cad参数进行检索，实现点云形状与对应电器元件的对照，将检索到的模型和点云进行模板拟合后构建出最小重复单元模型。实现变电站三维仿真坐标模型场域的快速搭建。
47.微软hololens2商用mr一体机的后台3d可视化系统，通过gis平台采用激光扫描生成现场场景轮廓，通过素材收集和现场采集数据，绘制cad平面图和立体图的三维建模，然后根据后台数据对接接口定向开发功能。
48.将mr视野真实场景与变电站虚拟三维模型进行融合和设备标定。对真实场景目标物进行可视化渲染，基于电器元件的辨识结果，进行三维模型下虚拟目标物与真实目标物的高度重合。
49.变电站三维仿真坐标模型场域能够接入室内人员定位系统，实现在三维仿真模型内的可视化模拟。
50.在北斗rtk高精度定位和uwb室内定位相结合基础上，通过将北斗/uwb与视深传感器进行结合，精准确认电器元件的位置分布参数，并基于高精度定位系统对变电站进行的建模仿真，以获得相对位置下变电站的比例重构模型，然后利用混合现实技术将虚拟三维环境的虚拟目标物叠加至真实环境的目标物上。
附图说明
51.下面结合附图对本发明做进一步的详细说明。
52.图1：本发明的原理示意图；
53.图2：本发明mr一体机视图窗口的界面展示示意图。
具体实施方式
54.为了更好地理解本发明，下面结合实施例和附图进一步清楚阐述本发明的内容，但本发明的保护内容不仅仅局限于下面的实施例。在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。
55.如图1-2所示，本实施例提供一种适用于变电站内采用vuforia算法提高mr一体机内图像重合度的方法，包括以下步骤：
56.步骤1、构件设备环境；
57.步骤2、对图片化采集的信息进行图片信息的识别；
58.步骤3、识别进度条读秒显示；
59.步骤4、图片基本信息优化；
60.步骤5、比例重构图片在内的真实环境模型；
61.步骤6、基本信息显示三维环境，将虚拟三维环境叠加至真实环境中。
62.所述步骤1中所述设备环境为基于高精度定位系统构建的变电站三维仿真坐标模型场域，
63.所述高精度定位系统采用北斗rtk高精度定位和uwb室内定位组合搭建，
64.所述变电站三维仿真坐标模型场域包括标准电器件模型、变电站内电器元件对应
三维坐标的点云定位参数、与所述点云定位参数对应的设备铭牌信息，
65.与所述三维仿真坐标模型场域与mr一体机间实现数据交互。
66.所述步骤2的处理方法为：
67.作业人佩戴所述mr一体机，实现对目视区域图像的所述图片化采集；
68.所述图片信息的识别；将所述图片化采集的信息，使用vuforia进行图片识别，识别到该图片中所述电器元件的型号及图像姿态，采用文字提取算法，识别电器元件的所述铭牌信息，并通过所述mr一体机实现对图片所在区域位置的相关信息的检索和显示。
69.所述识别进度条读秒显示为在所述mr一体机内显示所述vuforia进行图片识别的读取进度。
70.所述图片基本信息优化将所述电器元件对应的所有信息整合到相对所述电器元件的可展开目录中，并在所述mr一体机内显示图片区域中所述电器元件所共有的参数信息。
71.所述步骤5的处理方法为：
72.根据所述步骤2得出的所述相关信息与所述mr一体机中读取的信息相结合，得出工作人员的定位参数；
73.将所述定位参数导入到所述变电站三维仿真坐标模型场域内，构建以所述定位参数为中心10*10m范围内的比例重构模型，并设置时间间隔刷新比例重构模型的相关参数。
74.所述步骤6的处理方法为：
75.在所述mr一体机内设置显示基本信息、显示三维环境中所述比例重构模型的展开连接；
76.以所述mr一体机内眼动追踪的方向为中心，将图片中所述电器元件对应所述标准电器件模型的虚拟三维环境经所述图像姿态调整叠加至真实环境中。
77.所述mr一体机为微软hololens2商用mr一体机。
78.所述标准电器件模型为所述电器元件的三维参数模型。
79.所述vuforia进行图片识别为开源平台的公开程序。
80.所述vuforia进行图片识别的识别对象为电气特征图像。
81.所述电气特征图像为所述电器元件的环绕视频图像。
82.所述相关信息包括变电站台区编号、电压等级参数、线路编号、所述电器元件的配网线路划分。
83.所述定位参数包括所述电器元件的铭牌编号、所述mr一体机反馈的距离参数和相对角度。
84.为了解决室外北斗rtk高精度定位与室内uwb定位的衔接问题，采用北斗+uwb的室内外无缝定位系统。
85.实现无缝切换的步骤为：
86.1)读取uwb室内定位系统的数据收发时间差、北斗rtk高精度定位系统检测到的卫星在轨数量；
87.2)将数据收发时间差与定位算法相结合，得出检测位置的坐标信息；
88.3)当卫星在轨数量不小于4时，采用北斗rtk高精度定位系统；
89.当卫星在轨数量小于4时，采用uwb室内定位系统。
90.根据变电站三维仿真坐标模型场域具有标准型和重复性的特点，首先利用三维激光扫描技术采集整个变电站的云数据，随后采用二维平面包围盒拓扑结构的点云重复结构检测算法。其次是利用点云形状和尺寸对模板库中的标准电器件模型cad参数进行检索，将检索到的模型和点云进行模板拟合后构建出最小重复单元模型。最后是利用构建好的最小单元模型按照检测重复模型重建后就可以快速得到整个变电站的三维仿真坐标模型场域。
91.利用专业的三维建模软件对于未覆盖设备特征进行高精度建模，并最终构建和真实场景比例一致的高精度变电站模型，并在模型中展现出变电站的周边地形环境和设备。
92.三维模型包括了几何和纹理两个部分，为了便于管理人员的识别，因而需要加强对模型纹理映射以增强模型的可视化效果。在进行模型参数化处理的时候，应同时基于精准数字模型和设备照片数据准确接入设备纹理和铭牌信息，使得纹理像素匹配于几何面。
93.实施例2
94.采用所述三维仿真坐标模型场域与头戴式北斗定位系统相结合，实现工作人员在模型场域中的仿真化动态模拟管理。
95.以所述三维仿真坐标模型场域为模拟环境，将头戴式北斗定位系统反馈工作人员的运动位置参数导入场域模型中，实现对工作人员坐标运动轨迹的直观观测，采用动态标签模型模拟的方式，更加直观，适用于复杂交互条件下多偶发性随机量运动轨迹的安全管理与调度。
96.动态标签的形式显示在高点视频画面中，能够实时掌握现场工作人员的位置信息，发现偏离指定区域、出现至限定区域等情况时，自动触发警报，并会自动在场域模型实景指挥画面当中弹出告警信息，并且支持在实景画面中直接操作。
97.所述安全管理与调度包括人员定位分析预警、周界防范系统预警。
98.人员定位分析预警：当现场工作人员的位置与运行的变电设备距离达到危险值时，工作人员的位置偏离安全作业区时，系统都会自动发出告警提示。
99.周界防范系统预警：当发现有人员进入/离开或超时逗留/徘徊于电子围墙周边禁区时，则触发警报。
100.实施例3
101.采用vuforia图像识别算法，实现对观测对象的快速检索和对比，并与测距算法相结合，得出图片中对应的设备与工作人员间的相对距离，根据观测对象电器元件的电压等级和相对距离，防范触电危险，提高近电保护效果。
102.将图片中不同电器元件与工作人员间的相对距离参数进行合并，构建基于工作人员定位点的散射式三维距离参数，并导入电器元件的型号，搭建基于型号参数的电器元件的相对空间阵列，将空间阵列的参数与三维坐标的点云定位参数相对比，相对参数一致的坐标空间即为观测对象的坐标空间。实现对观测对象的快速定位和空间划分。
103.实施例4
104.所述图片识别采用特征型号预筛的方法，进行快速检索。
105.所述所有信息包括电器元件的型号、位于所述三维仿真坐标模型场域中的坐标、铭牌信息。
106.通过mr一体机实现对所述比例重构模型的三维展示和抓取操作。
107.所述比例重构模型为可分解的展示模型，所述比例重构模型可进行电流走向的模
拟展示。
108.提高工作人员对待作业对象的直观度、便于了解作业对象的相关信息，并与维护和管理。
109.实施例5
110.所述北斗+uwb的室内外无缝定位系统，具体执行步骤为：
111.1)定位感知层实时检测标签至基站发送与接收的时间变化，并定时上报至后端切换模块，与此同时北斗终端模块实时检测接收卫星信号的数量；
112.2)后端处理模块通过标签至基站反馈的时间变化，根据定位算法实时计算检测位置坐标信息，并反馈至后端切换模块；
113.3)由于卫星信号和基站发射信号在室内外交叠处会存在一定延误，致使瞬间数据信息的判断不准确。
114.后端切换模块，将会同时针对卫星信号的检测数量和室内定位算法进行判断，当后端切换模块在窗口时间内检测到的卫星信号数量不小于4时即可切换至室外定位模式，并开启北斗定位模式，关闭uwb室内定位模式，并计算出经纬度坐标位置信息，从而实现定位；当后端切换模块检测到的卫星信号数量小于4时，此时室外位置信息无法实现定位，即可切换关闭北斗定位模式，切换至室内uwb定位模式，并重新根据室内定位算法并完成定位。阈值以卫星信号数量为基础，即卫星信号数量不小于4，即阈值达到4或以上标准时，自动切换到北斗定位模式，反之亦然。
115.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。