一种基于VR的主动式机器人遥操作系统

本发明属于人工智能中的操作技能学习领域，具体是一种基于vr的主动式机器人遥操作系统。

背景技术：

1、机器人在现实世界中被普遍应用，用以代替人进行重复的枯燥任务，以及危险环境中的搜索救援。一般来说，为了完成不同的任务，机器人必须预先编程；一个任务或环境的微小变化可能需要对机器人重新编程，这可能是一个冗长而耗时的过程。从演示中进行学习(lfd)，提供了一种直观的方式来轻松地教授机器人新技能。在lfd中，任务不是通过编程来学习的，而是通过人类演示来学习的。遥操作人机交互是一种主观高效的演示方法，人类的远程操作控制能够帮助机器人完成任务。

2、近年来，基于2d接口(如键盘，鼠标等)的机器人遥操作技能学习已经得到了广泛的研究，但是这些方法不能反映人类与世界的六自由度自然交互。虚拟现实技术近年来得到了广泛的发展，以oculus quest和htc vive为代表的虚拟现实设备的发售，打破了价格昂贵的门槛。虚拟现实空间和定位技术提供了一种直观的方法，可以将人类的动作直接映射到机器人的动作空间。

3、遥操作在机器人领域具有重要意义，特别是当人们无法进入机器人工作空间时，它提供了一种利用人类智能远程控制机器人的替代方案。虽然已有很多关于遥操作学习的研究，但大多集中于应用为动觉示教而开发的lfd方法，事实上，大部分的机械臂都不支持拖动示教。基于遥操作的机器人演示不针对特定类型的机械臂，更具有通用性。

4、此前的遥操作方案一直受到机器人向操作者呈现的环境与机器人现实工作环境脱节的困扰。简单来说，机器人通常在三维环境中操作，而传统的遥操作方法使用二维的方法将环境呈现给人类，通常依靠计算机显示器显示传感器数据，使用操作感，游戏手柄或者键盘来驱动机器人。这些2d遥操作控制方案对人类操作者来说非常的不直观，控制空间和机器人的动作空间是异构的，导致机器人不能按照自然的轨迹运动。因此，迫切需要在3d空间中研究与研发机器人遥操作和交互系统。

5、在3d空间进行遥操作的方法已经有一些进展，依赖于一些新的设备，如可穿戴设备，体感相机，vr等。如文献1：fang,bin,et al.“robotic teleoperation systems usinga wearable multimodal fusion device.”international journal of advancedrobotic systems,july 2017,doi:10.1177/1729881417717057.建立了机器人远程操作系统与可穿戴多模态融合装置。文献2：learning manipulation tasks from vision-basedteleoperation提出了一种基于人手跟踪的遥操作系统，以减轻机器人对特定工具的控制要求。演示过程中记录的数据被用来训练深度模仿学习模型，使机器人能够模仿任务。文献3：novel learning from demonstration approach for repetitive teleoperationtasks使用一个三自由度的触觉设备来进行遥操作，并将记录的轨迹利用dmp方法进行学习。

6、之前的研究表明，虚拟现实界面可以是远程操作机器人的有效手段，比传统的键盘和显示器界面更直观。此外虚拟现实技术的发展，以及消费级虚拟现实设备产品的发售，满足了实现基于vr的机器人遥操作方案的软硬件基础。ros reality是一个使用消费级虚拟现实硬件的支持ros的机器人虚拟现实框架。文献4：barentine c,mcnay a,pfaffenbichler r,et al.a vr teleoperation suite with manipulation assist[c]//companion of the 2021acm/ieee international conference on human-robotinteraction.2021:442-446介绍并记录了基于vr的带有操纵辅助控制算法的机器人控制范例的开发，该算法允许人类操作员指定较大的操纵目标，同时将定位，操纵和抓握的底层细节留给机器人本身。文献5：baxter’s homunculus:virtual reality spaces forteleoperation in manufacturing使用虚拟现实控制室(vrcr)来分离用户和机器人的输入和输出，并在它们之间提供可调整的映射。控制室映射到机器人内部的空间，以提供机器人内部的同位感。

技术实现思路

1、针对上述问题，本发明提出一种基于vr的主动式机器人遥操作系统，构建基于头盔显示器和操作手柄的虚拟现实系统，在虚拟环境中构建与真实生产环境一致的数字孪生环境，装配示范者以第一人称的操作方式控制机械臂进行作业，借助与真实装配环境相符合的工具、工艺设备，对虚拟环境中工业产品进行装配操作；装配过程中涉及的末端执行器、零件、工具、工艺设备、部件、组合体等实体，以及实体之间的对准、趋近、抓取、插孔、旋紧等操作，根据已定义的实体与操作全部直接生成动态操作知识图谱；建立操作知识图谱的初次架构，操作知识图谱可以不断进行知识更新将新的实体与动作加入本体库中。知识图谱可以作为操作技能的标准格式，用于不同智能体间的操作技能传递，本发明也可以扩展到其他操作技能学习领域。

2、所述基于vr的主动式机器人遥操作系统，包括vr设备、数字孪生环境以及ros节点；

3、vr设备供操作员与数字孪生环境进行交互；数字孪生环境使用unity引擎开发，包含虚拟机械臂；ros节点装有机器人操作系统，用于驱动控制真实机械臂；

4、vr设备对数字孪生环境下的虚拟机械臂进行操控，牵引虚拟机械臂的末端进行运动，ros节点的控制程序接收来自虚拟机械臂的运动信息，驱动真实机械臂完成跟虚拟机械臂相同的运动。

5、所述vr设备包括一个vr头盔与一对蓝牙手柄；操作员佩戴vr头盔，操纵蓝牙手柄实现对虚拟机械臂的操控，使其与真实的机械臂执行对应动作。

6、所述数字孪生环境执行操作完成装配任务，具体流程如下：

7、首先，导入机械臂urdf模型，为机械臂模型添加bio ik组件并指定关节，进一步限制关节的旋转角度为负180度到正180度；

8、使用bio ik对机械臂进行实时的逆运动学求解，通过使用末端执行器pee和当前关节的位置pi以及相对于目标pt的之间使用点积和叉积运算来完成，由此可计算出当前关节关于导出法向量所需的角度变化δθi，计算公式如下所示：

9、

10、

11、然后，在虚拟机械臂中创建机械臂末端球体，让机械臂末端跟随球体；

12、接着，添加混合现实工具包，为target添加控制器跟踪使其能跟随操作手柄；

13、最后，ros节点启动与虚拟环境进行通信；从虚拟环境发布的joint_waypoints话题上订阅虚拟机械臂的运动信息，ros节点的控制程序使用moveit运动规划包进行运动规划，将规划出的轨迹控制命令驱动真实机械臂，达到真实机械臂与虚拟机械臂保持同步姿态，实时交互完成遥操作任务。

14、所述操作员对机器人的vr遥操作的同时，提出一种包含属性序列与动作基元的层次化技能表达方法，将动作划分为属性序列与动作基元两个层次，用于构建操作知识图谱。利用决策树分类器来学习基于对象信息的人类运动和人类行为之间的映射，得到识别人类示范动作基元的语义规则。针对该语义规则不能解析出涉及操作对象类型的旋拧等细粒度动作的问题，在决策树的训练过程中加入涉及操作对象的语义信息，扩充了训练得到的语义规则。

15、本发明的优点在于：

16、1)、一种基于vr的主动式机器人遥操作系统，使用vr设备，让操作人员可以直观的、沉浸式的对机械臂进行操作。

17、2)、一种基于vr的主动式机器人遥操作系统，可以实现在6自由度的连续空间内对机械臂的末端姿态进行控制实验遥操作。