一种基于混合现实的月面机器人巡视导航方法及系统

本发明属于月面机器人巡视探测相关，更具体地，涉及一种基于混合现实的月面机器人巡视导航方法及系统。

背景技术：

1、随着航天技术的不断进步和完善，在月面这种微重力、强辐射、剧烈温差的极端环境下，机器人与航天员联合作业成为未来载人月球探测的重要工作模式。月球表面的微重力、光照不足和高辐射等环境特点限制了航天员的行动能力，降低了感知能力，并影响了协同作业的效率。

2、在已进行的探测任务中，一些探测任务和研究中提出了虚拟现实、混合现实的实现方案。美国的索杰纳号(sojourner)巡视器通过一个漫游车控制平台(rover controlworkstation,rcw)构建了一个虚拟现实环境，火星车驾驶员坐在显示屏幕前，戴着三维虚拟现实眼镜，通过移动显示屏上的光标来操纵虚拟火星车。洞察号是首次在深空探测领域采用混合现实技术，指引操作人员在地面复现火星表面场景。nasa与微软联合研发的onsight将“好奇号”探测车(curiosity)和火星轨道器(mro)获取的火星图像进行自动拼接并投射到真实世界中，给科学家、工程师和操作者以高度逼真和沉浸感受。现阶段的月面机器人人机交互方式多采用命令序列、gui界面、手柄等交互方式，属于受限型人机交互，交互效率较低，对于在月面环境下运动受限的航天员来说并不友好。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于混合现实的月面机器人巡视导航方法及系统，本申请实现人机协同探测，解决了航天员视野受限、行动不便导致探测效率低的问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于混合现实的月面机器人巡视导航方法，包括：s1：采用航天员佩戴的混合现实设备对月面地形进行扫描，采用kinect fusion算法在所述混合现实设备坐标系下进行实时建图、定位以及网格渲染，以实现地形重建获得重建地形文件；

3、s2：提取重建地形文件的顶点信息，获得点云文件，对所述点云文件进行平面拟合，获得地形中的最大平面；s3：将所述点云文件在所述最大平面上进行投影获得dem地图；s4：采用卷积神经网络对所述dem地图进行特征提取，对提取的特征进行分类，获得可通行区域、不可通行区域以及机器人；s5：获取机器人坐标系与混合现实设备坐标系的转换关系，将所述可通行区域、不可通行区域等地形信息转换至机器人坐标系下；s6：获取路径起始位置和目标位置，以所述目标位置为目标对所述机器人的运动路径进行路径规划，其中所述路径起始位置默认为机器人所在位置，将重建地形、规划路径以及提取特征注册至混合现实设备。

4、优选地，步骤s6中采用混合a*算法在所述可通行区域进行路径规划。

5、优选地，步骤s6还包括采用增强信息虚实融合方法将所述规划路径转换至混合现实设备，采用unity创建路径点的预制体，航天员根据预制体上的手势操作脚本和手部射线抓取脚本根据路径点序号生成可视路径，以使航天员根据规划路径和障碍物相对位置对不合理路径进行调整。

6、优选地，步骤s4还包括将分类后的重建地形注册至混合现实设备中，航天员对分类结果进行核实，对遗漏和误识别区域通过手势交互进行标记和修正。

7、优选地，所述卷积神经网络依次包括输入层、输出层、多个卷积层、多个批量归一化层、多个relu激活层、一个全连接层和一个softmax层。

8、优选地，步骤s4还包括采用训练集对所述卷积神经网络进行训练，其中所述训练集采用如下方式进行获取：利用unity中的terrain工具创建基础地形，并利用绘笔生成各类障碍物，同时在场景中加入机器人模型，利用点云标注工具标注出各类地形特征。

9、优选地，步骤s2还包括对点云文件进行滤波，去除点云文件中的异常值；采用msac算法对所述点云文件进行平面拟合。

10、优选地，步骤s3具体为将所述点云文件进行栅格化处理，而后在所述最大平面上进行投影获得dem地图。

11、本申请第二方面提供了一种基于混合现实的月球机器人巡视导航系统，包括：重建模块：用于采用航天员佩戴的混合现实设备对月面地形进行扫描，采用kinect fusion算法在所述混合现实设备坐标系下进行实时建图、定位以及网格渲染，以实现地形重建获得重建地形文件；拟合模块：用于提取对重建地形文件的顶点信息，获得点云文件，对所述点云文件进行平面拟合，获得地形中的最大平面；投影模块：用于将所述点云文件在所述最大平面上进行投影获得dem地图；分类模块：用于采用卷积神经网络对所述dem地图进行特征提取，对提取的特征进行分类，获得可通行区域、不可通行区域以及机器人；转换模块：用于获取获取机器人坐标系与混合现实设备坐标系的转换关系，将所述可通行区域、不可通行区域转换至机器人坐标系下；路径规划模块：用于获取路径起始位置和目标位置，以所述目标位置为目标对所述机器人的巡视路径进行路径规划，其中所述路径起始位置为机器人所在位置。

12、优选地，还包括显示模块以及机器人控制模块，所述显示模块设于混合现实设备中，用于将增强信息与真实物理地形融合显示；所述机器人控制模块用于控制机器人的运动。

13、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的一种基于混合现实的月面机器人巡视导航方法及系统主要具有以下有益效果：

14、1.采用混合现实设备获取地形信息，并将地形信息进行二维投影，采用卷积神经网络实现月面障碍物的检测，实现对地面地形的分类，在此基础上进行人机协同的巡视路径规划，并将地形分类结果和规划路径注册至混合现实设备，在混合现实设备中实现增强信息与真实地形的虚实融合显示，解决了航天员视野受限、行动不便导致探测效率低的问题。

15、2.航天员采用手势交互的方式对障碍物进行标记、对路径点进行调整，生成可行的巡视路径，并操控机器人完成巡视探测，无需紧密跟随机器人，更加安全。

16、3.本申请采用点云文件生成最大平面，而后在最大平面上进行投影获得二维dem地图，降低了问题复杂度，以适应月面机器人搭载的低算力设备。

17、4.本申请采用二维识别卷积神经网络对降维后的三维障碍物进行识别，相比常规三维障碍物检测算法精度更高，计算速度更快。

技术特征：

1.一种基于混合现实的月面机器人巡视导航方法，其特征在于，包括：

2.根据权利要求1所述的月面机器人巡视导航方法，其特征在于，步骤s6中采用混合a*算法在所述可通行区域进行路径规划。

3.根据权利要求1所述的月面机器人巡视导航方法，其特征在于，步骤s6还包括采用增强信息虚实融合方法将所述规划路径转换至混合现实设备，采用unity创建路径点的预制体，航天员根据预制体上的手势操作脚本和手部射线抓取脚本根据路径点序号生成规划路径，以使航天员根据规划路径和障碍物相对位置对不合理路径进行调整。

4.根据权利要求1所述的月面机器人巡视导航方法，其特征在于，步骤s4还包括将分类后的重建地形文件注册至混合现实设备中，航天员对分类结果进行核实，对遗漏和误标区域通过手势交互进行标记和修正。

5.根据权利要求1所述的月面机器人巡视导航方法，其特征在于，所述卷积神经网络依次包括输入层、输出层、多个卷积层、多个批量归一化层、多个relu激活层、一个全连接层和一个softmax层。

6.根据权利要求1或5所述的月面机器人巡视导航方法，其特征在于，步骤s4还包括采用训练集对所述卷积神经网络进行训练，其中所述训练集采用如下方式进行获取：

7.根据权利要求1所述的月面机器人巡视导航方法，其特征在于，步骤s2还包括对点云文件进行滤波，去除点云文件中的异常值；采用msac算法对所述点云文件进行平面拟合。

8.根据权利要求1或7所述的月面机器人巡视导航方法，其特征在于，步骤s3具体为将所述点云文件进行栅格化处理，而后在所述最大平面上进行投影获得dem地图。

9.一种基于混合现实的月球机器人巡视导航系统，其特征在于，包括：

10.根据权利要求9所述的月球机器人巡视导航系统，其特征在于，还包括显示模块以及机器人控制模块，所述显示模块设于混合现实设备中，用于将增强信息与真实物理地形融合显示；所述机器人控制模块用于控制机器人的运动。

技术总结
本发明属于机器人巡视探测相关技术领域，其公开了一种基于混合现实的月面机器人巡视导航方法及系统，方法包括：采用混合现实设备对月面地形进行地形重建，获得重建地形文件；提取重建地形文件的顶点信息，获得点云文件，对点云文件进行平面拟合，获得地形中的最大平面；将点云文件在最大平面上投影获得DEM地图；采用卷积神经网络对DEM地图进行特征提取并分类，获得可通行区域、不可通行区域以及机器人，并将其转换至机器人坐标系下；获取路径起始位置和目标位置，以目标位置为目标对机器人的运动路径进行路径规划，将规划路径、重建地形以及提取特征注册至混合现实设备。本申请解决了航天员视野受限、行动不便导致探测效率低的问题。

技术研发人员：李世其,陈杰,纪合超,周书香,刘裔斌
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/5/16