一种用于月表人机协同作业的穿戴式交互系统

本发明涉及一种应用于宇航员与月球探测机器人对月球进行勘探(探测)、侦察和取样(采样)、开发等作业任务的穿戴式交互系统，涉及载人月球探测开采。

背景技术：

1、月球作为距离地球最近的天体，成为了各国开展地外星体探测的首选目标，实现有人参与的载人月球探测不但在探索外层空间、扩展对月球的认识、和平利用外层空间具有非凡的战略意义，同时在满足科技发展、国家安全和社会进步、增强综合国力等方面具有十分重要的价值。

2、对空间和地外天体的探索一直推动着科学技术领域的重大突破，我们日常生活中常见的许多应用程序最初都是为空间而设计的。在地球上，人机协作应用广泛，工人-机器人混合团队已经是当前工业数字革命的核心组成部分；在未来，面向复杂未知的空间环境，宇航员和机器人团队很有可能在轨道上或行星表面共同工作。因此，人-机器人协作是未来地外空间驻人探测的重点研究方向。近年来月球探测成为各航天大国的探测重点，人机联合探测因其安全、可靠及高效而成为未来载人登月和月球探测的趋势，对于月球场地侦察、土壤样本收集、峡谷勘探、陡坡勘探、洞穴勘探、处理紧急情况等工作来说，宇航员独立完成相应任务存在较大困难，甚至无法完成，此时就需要与机器人助手相互协作，机器人携带勘探、采样等作业工具，正确地理解并执行宇航员的指令，随时为宇航员提供相应帮助，安全高效地协助宇航员完成各种复杂的作业活动和科学研究任务，从而提高月球驻人探测任务的执行效率和成功率。但目前缺少用于月面宇航员与月球探测机器人交互的设备，针对此现象发明一套便捷易携带的月面人机交互设备是非常有必要的。

3、文献[1]为宇航员月球漫步和太空行走设计了一台全地形月球漫游车，扩大了宇航员的活动范围，使更多的科学试验、资源勘探和探测活动成为现实。全地形月球漫游车可以采用无人遥控的方式执行科学探测任务，将空间可展开结构部署至预定位置，其组成与功能特点为：有限的电力生成能力、能量储存系统、电子设备、通讯系统、可携带2名宇航员、有效载荷贮存空间以及无人遥控系统。但该设备缺少便捷、直观的人机交互功能，不能实现人机协作，宇航员只能独立完成月表的勘探、取样等任务。

4、文献[2]中美国宇航局成功完成了一次宇航员和机器人协调活动的演示。在人类直接控制和自主模式下机器人执行相应任务，如在本地控制和远程控制下的自主机器人载荷移除和装载操作，以及爬山、机动升降载荷、收集地质样本、钻井和系绳操作。该系统实现了简单的人机协作，但是机器人缺少自主跟随宇航员的功能，且本地控制和远程控制过程复杂，没有实现便捷的人机交互目标，机器人无法随时协助宇航员进行作业活动。

5、[1]bridenstine j.artemis plan–nasa’s lunar exploration programoverview[r].nasa,2020.

6、[2]diftler m a,ambrose r o,bluethmann w j,et al.crew/robotcoordinated plan etary eva operations at a lunar base analog site[c]//lunarand planetary science confere nce.2007.

技术实现思路

1、本发明要解决的技术问题是：

2、本发明针对未来载人登月进行月球资源的探测取样和开发利用，提出了一种基于穿戴式交互设备的月面人机交互方案，从而实现航天员登月时宇航员和机器人团队能在轨道上或行星表面共同工作。

3、本发明为解决上述技术问题所采用的技术方案为：

4、一种用于月表人机协同作业的穿戴式交互系统，宇航员与月球探测机器人组成人-机团队在月表协同作业时，二者通过所述穿戴式交互系统(设备)进行交互；所述穿戴式交互系统包括imu体感手套5及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带11及安装在腕带11上的用于实现宇航员与探测机器人交互的部件；

5、所述穿戴式交互系统(穿戴式交互设备)为宇航员与探测机器人的交互至少提供三种交互方式：一是触控面板控制，通过触摸屏显示器中触控面板(控制面板)的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，宇航员通过imu体感手套5感知并解算宇航员不同手势获取对应任务指令，探测机器人在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，探测机器人通过语音识别宇航员所下达的任务指令；

6、宇航员通过所述穿戴式交互系统与控制探测机器人进行交互从而实现人机协作：控制探测机器人自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；还控制探测机器人接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运作业任务。

7、进一步地，宇航员通过所述穿戴式交互系统实现人机协作的具体流程为：

8、a、月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；b、到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；c、宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；d、探测机器人到达目标地点，宇航员通过交互设备下达任务指令；e、探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；f、完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。

9、进一步地，用于实现宇航员与探测机器人交互的部件包括imu指向定位单元6、相机4(可选用cmos相机)、旋转式相机画面显示器3、语音单元8、触摸屏显示器2、uwb定位单元7、通信单元9、信号指示灯10、开/关机按钮1和数据处理器(数据处理中心)；触摸屏显示器2为旋转式触摸屏显示器，其分为触控面板区12和图像显示区13；

10、触控面板区12包括多种功能按钮：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样按钮；

11、所述数据处理器实现的控制过程如下：

12、图像显示区13用于显示月球探测机器人各种状态：联机状态、跟随状态、运动状态、取样作业状态；

13、开/关机按钮1用于控制imu体感手套5和安装在腕带11上的用于实现宇航员与探测机器人交互的部件的启动与关闭，穿戴式交互系统启动后自动与月球探测机器人进行联机；

14、在联机成功后，点击触控面板12上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；uwb定位设备7提供探测机器人和宇航员的实时位置，在图像显示区13上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹；

15、点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指向，通过融合imu指向定位单元6的数据和相机4的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器3上显示所指目标的图像。

16、月球探测机器人接收目标位置信息进行路径规划，在图像显示区13上显示基于先验完全信息进行全局路径规划的预先路径；探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于月球探测机器人上的导航相机、避障相机、激光雷达这些多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区13上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面；

17、信号指示灯10的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯10不同的状态具有特定的含义：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。

18、完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。

19、进一步地，所述数据处理器配置有指向定位子系统14、指令控制子系统15、定位跟随子系统16；

20、指向定位子系统14用于解算出宇航员所指的方向和目标位置；

21、指向定位技术负责解算出宇航员所指的方向和目标位置，指向定位子系统14包括imu指向定位模块17和视觉模块18，当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，imu指向定位模块17利用imu指向定位单元6(惯性测量元件imu 6)解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标；与此同时，视觉模块18利用相机4对目标拍照并在旋转式相机画面显示器3上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统14融合imu 6的方向信息和相机4的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务；

22、指令控制子系统15包括用于形成互补并提高人机交互可靠性的手势识别模块19、语音识别模块20和触控指令模块21；指令控制子系统15负责获取和解析宇航员下达的指令，以实现宇航员与月球探测机器人交互；手势识别控制是通过安装在宇航员五指上的imu指向定位单元6(惯性测量单元imu)，即imu体感手套5来感知五指的动作和姿势，特定的动作和姿势会被手势识别模块19翻译成机器人的动作命令，使宇航员操作者无需在机器人的视线范围内就能控制机器人，实现机器人在没有完全视觉接触的情况下读取宇航员的动作指令，进行人机交互；语音识别控制是通过语音识别模块20根据月球采样任务语音库将宇航员的语音指令解释为探测机器人能理解的指令，语音库包含拍照、抓取、挖取、钻取、搬运作业任务的语音命令，探测机器人接受语音指令后执行相应动作，语音识别控制和手势识别控制进行互补，在手势识别失败时，语音识别控制可以高效地完成交互；触控指令模块21是利用旋转式触摸屏显示器2中的触控区控制面板12下达控制指令，控制面板12具有简化和基本的用户界面，其中设置有控制机器人前进、后退、运动转弯、原地转弯的运动按钮以及跟随/解除、指向模式、返回基地、拍照、钻取、抓取、挖取、搬运功能的按钮；当需要切换至手动控制时，通过控制面板12的按钮控制月球探测机器人；

23、定位跟随子系统16包括uwb定位模块22和跟随模块23，通过定位模块22和跟随模块23实现基于uwb定位方法，通过月球探测机器人上的视觉系统和跟随模块23实现基于视觉跟踪方法，两种跟随方式可供选择；

24、在相对平坦无障碍的区域使用较为简单的uwb定位方法：uwb定位模块22是基于uwb的定位方法对宇航员和月球探测机器人进行定位，uwb定位基站安装在月面着陆器上，宇航员和探测机器人携带uwb定位标签；

25、在地形较为复杂区域切换至视觉跟踪方法。

26、进一步地，视觉跟踪方法的具体实现过程：

27、月球探测机器人通过视觉相机获取向量、向量、向量的距离r，通过相机下方的云台获取向量的仰角α和转向角β，机器人通过视觉里程计测算自己的速度方向与轨迹信息；根据上述信息，设定固连在机器人的坐标系，x轴方向为机器人的速度方向，z轴为垂直月面的方向，y轴构建右手坐标系，由于云台和相机的信息，可以得到观测点a在机器人坐标系下的坐标：

28、

29、同理，可得向量、向量在相应的坐标系下的坐标；

30、

31、

32、采用视觉里程计去测量机器人的移动轨迹，并通过移动轨迹的微分得到机器人的速度方向，即可以获知坐标系o1x1y1z与坐标系o2x2y2z与坐标系o3x3y3z之间的坐标变换矩阵，通过坐标变换即可获得坐标系o1x1y1z下的a、b、c三点的坐标；机器人固连坐标系与机器人运动有关，为了获取惯性系下宇航员的坐标，设置惯性坐标系oxyz并且再通过坐标变换矩阵可将非惯性系下坐标转化到惯性系；

33、由于航天员的轨迹是只收到重力的抛物线，获得三点a、b、c的惯性系下的坐标即可得到抛物线的落点位置；设置落点的包络面，机器人做到包络面中心的路径规划，从而实现对宇航员的跟踪以及周围环境的避障；

34、跟随模块23的功能是实现月球探测机器人对宇航员的跟随，在基于uwb定位方法的跟随中，跟随模块23从uwb定位模块22获取宇航员每时刻的位置信息，并以一定时间间隔(如5秒)将宇航员位置确定为探测机器人的航路点，再将航路点坐标发送给机器人，最后机器人采用局部路径规划的方法实现对宇航员的跟随；在基于视觉跟踪方法的跟随中，跟随模块23为探测机器人下达跟随指令，机器人能够自主跟随宇航员，并携带勘探、采样等工具随时为宇航员提供相应帮助。

35、进一步地，所述数据处理器还配置有图像显示模块24；图像显示模块24控制着旋转式触摸屏显示器2和旋转式相机画面显示器3的图像显示，触摸屏显示器2的图像显示区13实时显示宇航员和月球探测机器人的具体位置以及行动路径，且图像显示区13还可以显示探测机器人的工作状态，包括联机状态、跟随状态和任务状态；相机画面显示器3实时显示探测机器人在前往目标地点过程中所拍摄的图像，宇航员可以通过图像及时了解探测机器人所处的环境，同时，视觉模块18将这些图像与在指向模式下拍摄的目标图像进行比对，以确保探测机器人能准确到达指定目标位置完成相应科研和作业任务。

36、进一步地，所述数据处理器还配置有无线通信模块25；无线通信模块25采用无线局域网通信技术进行图像传输和数据传输，从而实现宇航员、月球探测机器人、着陆器基站三者之间的通信及信息交互；月球探测机器人拍摄的图像通过无线通信模块25中的图传模块发送到交互设备，再经过图像显示模块24处理后，相机画面显示器3实时显示出所传回的图像；宇航员下达的任务指令以及探测机器人的位置信息和反馈信息通过无线通信模块25中的数传模块进行数据传输，实现人机的信息交互。

37、进一步地，所述无线通信模块25采用基于ieee 802.11.ax标准的无线局域网接入技术。

38、进一步地，所述数据处理器还配置有信号反馈模块26；信号反馈模26块根据无线通信模块25返回的数据控制信号指示灯10的状态，信号指示灯10发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况；信号指示灯10状态含义：红灯熄灭，关机状态；红灯常亮，开机状态；红灯连续闪烁，未联机；绿灯常亮，联机成功；机器人接收指令成功，绿灯闪烁一次；机器人接收指令失败，绿灯连续闪烁；正常作业，蓝灯常亮；作业失败，蓝灯连续闪烁；作业完成，蓝灯熄灭。

39、进一步地，所述imu体感手套5为带有五个imu传感器的imu体感手套5，体感手套上每个手指套上对应设有一个imu传感器。

40、本发明具有以下有益技术效果：

41、对空间和地外天体的探索一直推动着科学技术领域的重大突破，宇航员和机器人团队很有可能在轨道上或行星表面共同工作，为此，本发明提出一种基于穿戴式交互设备的月面人机交互方案，以针对未来载人登月进行月球资源的探测取样和开发利用，实现航天员登月时宇航员和机器人团队能在轨道上或行星表面共同工作。

42、在月球表面进行科学探测、取样等任务时，考虑到宇航员可能会遇到有价值但存在危险无法进入的勘探区域，如斜坡、洞穴、沟等崎岖复杂的地形环境因素，或者复杂地理环境的钻取、搬运等宇航员无法单独完成的任务，本发明提供的直观、便捷的人机交互系统，使月球探测机器人能够实现对宇航员的自动跟随，携带勘探、采样等作业工具，协助宇航员完成月面探测与采样任务，随时为宇航员提供相应帮助；同时宇航员可以通过穿戴式交互设备与机器人进行交互协作，下达任务指令，月球探测机器人接收指令后自主或半自主完成任务。本发明使月球探测机器人成为宇航员的得力助手，在极端环境下协作，能够迅速、准确地执行宇航员的指令，高效地协助宇航员完成各种科学研究任务和作业活动，从而提高月球驻人探测任务的执行效率和成功率。

43、本发明提供的用于宇航员与月球探测机器人在月面进行探测、取样等任务的穿戴式交互系统(设备)致力于月球探测机器人成为宇航员的得力助手，使其能够跟随宇航员外出进行人机协同作业，也能够独立自主地完成探测取样等任务。该交互设备能够实时显示宇航员与探测机器人的具体位置和机器人的工作状态，确保月面的作业安全；同时，该交互设备提供了手势控制、语音控制和触屏面板控制三种交互方式，三种方式形成互补，手势控制和语音控制使人机交互更加直观，实现了宇航员与探测机器人之间的实时交互，提高了人机交互的便捷性、准确性和可靠性。该穿戴式交互设备有力地支撑了未来载人登月进行月球探测开采任务，提高月球资源探测效率和开采成功率。本发明对月球进行无人探月及载人登月，在科学、技术和经济等方面都具有重大意义。