基于混合现实技术的远程机械臂操作系统及人机交互方法

本发明属于遥操作机器人，具体涉及一种基于混合现实技术的远程机械臂操作系统及人机交互方法。

背景技术：

1、当发生诸如火灾、毒气泄漏、自然灾害等突发事故时，需要救援人员进入或接近现场进行抢救工作的安全成本与技术难度极大。为提供一种解决此类问题的技术思路，本发明提出了一种基于混合现实技术的远程机械臂操作系统。该系统通过搭建混合现实系统框架，辅助操作者实现对极端环境下工作的灾后救援机器人远程操纵与监测系统的设计思路。

2、而混合现实技术将可视化、人机交互和自动分析方法整合为一体，支持用户以视觉的方式感知数据，通过交互方式对数据进行探索。传统的人机交互功能依赖可视化交互设备实现可视化交互功能，其中信息的输出通过二维显示屏实现、指令的输入功能则是依赖键盘与鼠标实现。随着混合现实技术的发展，如今出现了更加自然直观的多模态人机交互方式，其中包含了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴设备交互、人机对话交互、及其他人机交互方式。人机交互的目的在于感知人类的交互意图，当前已有一些用于人机交互的设备，例如，vahid pooryousef等人通过对柔性印制线路板进行设计开发，制作出依赖触觉进行交互的vr手套、microsoft公司开发了能够应用在动作捕捉中的深度摄像头kinect等，然而，这些产品的成本相对较高，在使用时会受到一定程序的限制。此外，近年来，一些基于普通摄像头的人机交互方法因其成本和处理效率等方面的优势也得到了广泛的应用。然而，基于图像的人体关键点检测方法是实现利用摄像头进行动作识别与交互的重要方法，其主要是通过将人体结构映射为若干关键点的几何拓扑关系。例如，基于堆叠漏斗型神经网络的stacked hourglass网络模型、基于caffe深度学习框架的open pose多人二维姿态估计方法及基于media pipe框架改进的模型等。鉴于mediapipe框架的开源特点，使得这类方法在基于图像的人机交互系统上得到了广泛应用。

3、此外，在机械臂控制方面，通常机械臂的主动操作多应用柔顺控制，分为基于机械结构实现的被动柔顺和通过反馈传感设备实现对机械臂的柔顺控制。目前主要研究方向为通过自适应阻抗控制技术实现对电流环的动态调整。两种控制方式都对于操作环境的局限性极大，并不利于遥操作机械臂普及。如今新兴的人机交互方式同样需要特定的环境布置传感设备，其成本与应用环境的局限性极大。

技术实现思路

1、为解决上述现有技术存在的问题，本发明通过采用基于视觉的动作捕捉功能以实现人机交互，采用unity引擎构建虚拟仿真环境，同时通过ros系统实现无线数据通讯功能实现指令的发布与接收，提供了一种基于混合现实的可移动机械臂操作控制系统，目的在于降低应用成本、环境因素限制与设备操作难度的问题，以使得混合现实技术能够用于在特殊环境下的机械臂操作。

2、为实现上述目的，本发明的具体方案如下：

3、基于混合现实技术的远程机械臂操作系统，包括机械臂平台及、机械驱动模块、摄像头、计算机及安装在计算机上的人机交互模块和虚拟现实交互模块，所述人机交互模块、机械驱动模块和虚拟现实交互模块相互连接，机械驱动模块连接机械臂平台，计算机和机械臂平台末端分别安装摄像头，每个摄像头均连接人机交互模块，人机交互模块通过计算机上和机械臂平台末端的摄像头获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境，采用感知哈希算法进行滤波后提取操作者的关键点2d数据，并进行关键点深度估计和提取操作者的关键点坐标，实现对操作者的肢体手势动作进行识别；机械驱动模块通过人机交互模块实现对操作者的肢体手势动作的捕捉与判断后，将操作者的姿势映射为相应的机械臂驱动控制指令和驱动轮驱动控制指令，并对指令执行发布、接收、解析工作，以实现对机械臂和驱动轮的远程控制；虚拟现实交互模块包括car节点和even节点，car节点用于部署机械臂的数字化模型，负责接收、解析与模拟由机械臂平台发布的设备工况数据，even节点用于搭载工作环境数字化虚拟模型并展示机械臂平台上的摄像头采集的工作实际场景。

4、进一步地，所述机械臂平台包括平台面板、机械臂、摄像头、激光雷达、激光雷达处理器、驱动轮、电机、底盘控制器、电池和顶层决策器，所述机械臂安装在平台面板底部前端，摄像头和激光雷达分别安装在平面板顶部，激光雷达连接激光雷达处理器，平台面板底部两侧分别安装驱动轮，每个驱动轮连接电机，每个电机连接底盘控制器，所述机械臂、摄像头、激光雷达处理器和底盘控制器分别连接顶层决策器，电池分别提供机底盘控制器和顶层决策器的工作电压。

5、进一步地，所述感知哈希算法的计算公式如下：

6、

7、式中，i0为历史帧图像压缩至[10,9]像素；i1为输入帧图像压缩至[10,9]像素；dh为hamming距离；abs(·)为求绝对值函数；ε()为阶跃函数；i表示像素横坐标，属于[0,10]；j表示像素纵坐标，属于[0,9]。。

8、进一步地，所述关提取操作者的关键点坐标的方法，包括如下步骤：

9、s1.获取操作者肢体手势动作的图像数据后，定位操作者位置并与环境进行分割处理；

10、s2.进入人体关键点坐标预测，通过匹配输入图像与人体关键点模型，定位目标关键点在图像中的分布坐标，并通过坐标检测环节判断被遮挡部分关键点置信度；

11、s3.由图像渲染环节接收由图像分割处理输出的图像数据流与坐标检测环节校正后输出的关键点分布坐标，在图像数据流中进行标记，最终输出标记了关键点的图像流与关键点坐标数据。

12、进一步地，所述关键点深度估计的计算公式如下：

13、

14、式中，hk表示k关键点深度值；hi表示i关键点深度值；li，j表示i，j关键点间到摄像头平面投影距离；l0，i，j表示i，j关键点间实际距离。

15、进一步地，所述机械臂驱动控制指令的计算公式为：

16、i-1ti＝rx(αi-1)×dx(ai-1)×rz(θi)×dz(di)

17、

18、式(5)中，ai-1表示沿xi-1轴，从zi-1移动到zi的距离；αi-1表示沿xi-1轴，从zi-1旋转到zi的角度；di表示沿zi轴，从xi-1移动到xi的距离；θi表示沿zi轴，从xi-1旋转到xi的角度；i-1ti表示从第i-1个坐标系到第i个坐标系的变换矩阵；rx表示绕x轴旋转的变换矩阵；dx表示x轴平移的变换矩阵；rz表示绕z轴旋转的变换矩阵；dz表示沿z轴平移的变换矩阵；

19、所述驱动轮驱动控制指令的计算公式为：

20、

21、式(6)中，vx表示底盘x轴方向速度分量；vy表示底盘y轴方向速度分量；ω为底盘z轴方向自转角速度；(a，b)表示为车的旋转中心到各轮子的距离坐标；v1w表示一号轮旋转速度；v2w表示二号轮旋转速度；v3w表示三号轮旋转速度；v4w表示四号轮旋转速度；

22、一种所述的基于混合现实技术的远程机械臂操作系统实现人机交互的方法，其特征在于，包括如下步骤：

23、步骤1，安装在计算机上的人机交互模块通过安装在计算机和机械臂平台末端的摄像头分别获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境；

24、步骤2，人机交互模块通过感知哈希算法进行滤波后提取图像数据中操作者的关键点2d数据，并进行关键点深度估计和提取操作者的关键点坐标以识别对操作者的肢体手势动作后，向机械驱动模块发布指令；

25、步骤3，机械驱动模块接收指令后，根据预设映射关系实现通过操作者的肢体动作控制机械臂和驱动轮运动，并反馈机械臂和驱动轮运动情况到虚拟现实交互模块，操作者通过虚拟现实交互模块实现对机械臂平台运动情况进行可视化监控。

26、本发明的优点

27、1、本发明的基于混合现实技术的远程机械臂操作系统及人机交互方法基于mediapipe框架，通过调用视频图像数据，实现对设备的远程控制。

28、2、本发明采用感知哈希算法作为人机交互模块节流器核心算法，通过比较hamming距离确定有效输入指令，降低系统对设备算力需要的同时提高了系统的鲁棒性。

29、3、本发明提出了基于空间几何的人体关键点三维信息估计算法，通过人体关键点平面拓扑结构推导关键点深度信息，有效提高交互方法的应用范围。

30、4、本发明中建立了基于感知哈希算法的视频节流器，并优化关键点深度估算模型；此外，改进了机械臂的d-h参数模型，建立了本系统mecanum四轮结构的运动学模型，并结合unity引擎，建立了机械臂平台反馈三维模型。