基于混合现实的机械臂遥操作系统及交互界面构建方法与流程

本发明属于混合现实技术和机器人技术领域，具体涉及一种基于混合现实的机械臂遥操作系统及交互界面构建方法。

背景技术：

混合现实技术(mr)是通过在现实场景中呈现虚拟场景的信息，并在现实场景，虚拟场景和操作者之间产生信息交互，是一种以增强操作者真实感和临场感为目的的人机交互技术。

人机交互设计和遥操作在机器人技术领域中占据着重要的作用，人机交互是指人与机器人之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与机器人之间的信息交换过程。遥操作是指对机器人进行远程操作，在地震救援、海底资源勘探、核物质清理等危险复杂的场景中应用非常广泛。而在对机器人的实际遥操作过程中，由于信息传输存在时延、机械臂控制算法不完善等原因，往往存在机械臂操作滞后、人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率。

技术实现要素：

为改善机械臂操作滞后和人机交互界面不直观的问题，本发明提出一种能预测机械臂未来运动，并通过混合现实技术直接呈现给操作者的机械臂遥操作系统及交互界面构建方法。

为实现上述目的及其他相关目的，本发明拟公开一种基于混合现实的机械臂遥操作系统，包括用于操作者获取操作信息的本地端和用于机械臂响应所述操作信息并执行对应操作的远程端，其特征在于，所述本地端由操纵手杆、vr头显、宿主机组成，所述远程端由目标机、控制箱、双目相机、云台组成，所述vr头显由操作者佩戴，所述操纵手杆由操作者控制，所述宿主机分别与vr头显和操纵手杆电性连接，所述宿主机还分别与目标机和双目相机无线通信连接，所述控制箱分别与目标机、机械臂和云台电性连接，所述vr头显和双目相机内均设有惯性测量单元，所述双目相机设置在云台上，所述宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入vr头显中构建出混合现实交互界面。

具体的，操作者佩戴vr头显在本地端控制操纵手杆，宿主机接收操纵手杆的位姿信息，并通过网络把控制信号发送给远程端的目标机；目标机将接收到的位姿信息进行处理，进而把控制信号传送给控制箱，控制箱把相应的控制信号传送给机械臂，机械臂执行相应的动作；同时，本地端的宿主机通过远程端的双目相机获取机械臂的运动以及机械臂所在的场景；并利用双目视觉，宿主机将从双目相机中获取的远程端现实场景映射到操作者佩戴的vr头显中，使得操作者可以身临其境的看到机械臂控制场景。同时，vr头显中存在惯性测量单元(imu)，用于捕捉操作者头部的运动，并将运动信息传输给宿主机；宿主机将接收到的操作者头部运动信息通过网络传输给目标机，目标机将接收到的信息进行处理，通过控制箱将控制信号传送给云台，使得安装有双目相机的云台实现对操作者头部的运动跟踪；宿主机借助混合现实技术在vr头显中构建混合现实交互界面。

进一步，所述无线通信连接为网络、wifi、蓝牙中的一种。

进一步，所述操纵手杆采用游戏手柄或航模遥控杆，并在所述操纵手杆上设置对所述机械臂的控制按键组。

进一步，所述混合现实交互界面为虚拟机械臂与真实机械臂处于同一位置。

采用上述方案，该发明针对机械臂遥操作中存在的操作滞后、人机交互界面不直观等问题，利用双目视觉和运动跟踪，通过使用双目相机、云台和vr头显，加强操作时的临场感；并借助混合现实交互技术，将机械臂的虚拟模型整合进vr头显中的现实场景画面中，以利用虚拟机械臂预测真实机械臂的未来运动，大大改善了机械臂操作滞后，人机交互界面不直观的问题，有利于完成更复杂的工作，提高了工作效率。

本发明还提供一种基于混合现实的交互界面构建方法，其特征在于，包括：

1)调整云台，使双目相机处于水平；

2)在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿p；

3)启动上述的基于混合现实的机械臂遥操作系统；

4)系统启动初始，宿主机将虚拟机械臂导入vr头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为p，即使得虚拟机械臂与真实机械臂处于同一位置；

5)随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；

6)宿主机根据双目相机的imu数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置。

优选的，所述机械臂遥操作的运动控制算法为：t＝t1+t2+t3；其中：t为机械臂遥操作存在的时延，t1为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，t2为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，t3为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。

采用上述方案，宿主机可以根据接收到的操纵手杆位姿信息直接解算出机械臂呈现的相应姿态，进而使vr头显中的虚拟机械臂直接呈现该姿态，该过程存在虚拟时延t’，由于t’远小于t，保证了虚拟机械臂可以根据操纵手杆输入的位姿信号呈现快速响应，从而实现对机械臂未来运动的预测。

本发明的优点在于：

1、本发明通过使用双目相机、vr头显以及对操作者头部运动进行运动跟踪的方式，加强了操作者操作机械臂的临场感和真实感，可以直观地观察出机械臂和场景的相对位置关系。

2、本发明通过vr头显中混合现实交互界面的虚拟机械臂，快速呈现出机械臂的运动姿态，从而明显改善机械臂的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。

3、本发明使用方便，精度高，通用性强，可以应用于地震救援，海底勘探等危险复杂场景。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明实施例的整体控制框图；

图2为本发明实施例的混合现实交互界面合成图；

图3为虚拟机械臂与真实机械臂运动控制算法原理图；

附图标记：操作者1、操纵手杆2、vr头显3、宿主机4、目标机5、控制箱6、双目相机7、云台8、机械臂9。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

如图1-2，本发明实施例的基于混合现实的机械臂实时遥操作系统，包括本地端和远程端，本地端用于操作者1获取操作信息，远程端用于机械臂9响应所述操作信息并执行对应操作，所述本地端包括宿主机4、vr头显3、操纵手杆2和混合现实交互界面；所述远程端包括目标机5、控制箱6、双目相机7和云台8；宿主机4分别与目标机5和双目相机7通过网络建立起实时的遥操作系统，从而实现本地端与远程端之间的网络连接；双目相机7安装在云台8上。

下面结合附图对本发明做更进一步的解释。

图1为本发明实施例的整体控制框图，操作者1在本地端控制操纵手杆2，连接操纵手杆2的本地端宿主机4接收操纵手杆2的位姿信息，并通过网络把控制信号发送给远程端目标机5；目标机5将接收到的信号进行处理，进而把控制信号传送给控制箱6，控制箱6把相应的控制信号传送给机械臂9，机械臂9执行相应的动作；同时，本地端的宿主机4通过远程端的双目相机7获取机械臂9的运动以及机械臂9所在的场景，进而宿主机4将从双目相机7中获得的远程端现实场景映射到操作者1佩戴的vr头显3中，使得操作者1可能身临其境的看到机械臂9控制场景；同时，vr头显3中存在惯性测量单元(imu)，用于捕捉操作者头部的运动，并将运动信息传输给宿主机4，然后宿主机4将接收到的操作者头部运动信息通过网络传输给目标机5，目标机5将接收到的信息进行处理，通过控制箱将控制信号传送给云台8，使得安装有双目相机7的云台8实现对操作者头部的运动跟踪。

图2为本发明实施例的混合现实交互界面合成图；宿主机4先建立机械臂的虚拟模型，并将其导入vr头显3中显示的现实场景。宿主机4可以通过双目相机7获取远程端现实场景的深度信息；同时根据在双目相机7中imu(惯性测量单元)，确定双目相机7在远程端场景中的相对位置。通过借助以上两个特性，宿主机4可以确定真实机械臂在真实场景中的具体位置，进而使vr头显3中的虚拟机械臂与真实机械臂处于同一位置；其主要包括以下步骤：

(1)开始初始化，调整云台，使双目相机处于水平；

(2)在远程端以双目相机为原点，确定真实机械臂相对于双目相机的位姿p，初始化完成；

(3)启动整个基于混合现实的机械臂遥操作系统；

(4)系统运行开始时，宿主机将虚拟机械臂导入vr头显的现实画面，并利用双目视觉原理，使虚拟机械臂相对于操作者视点的相对位姿为p，这样虚拟机械臂便与真实机械臂处于同一位置；

(5)随着操作者头部的运动，安装有双目相机的云台也发生相应的跟随运动，此时，宿主机根据双目相机的惯性测量单元的imu数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置。

图3为虚拟机械臂与真实机械臂运动控制算法原理图。操纵手杆2产生的位姿信息同时传递给远程端的机械臂9和虚拟机械臂，虚拟机械臂能预测真实机械臂的未来运动，所以操作者可以根据虚拟机械臂的运动进行操作。操纵手杆2的位姿信息传递给远程端的目标机5时存在通信时延t1，目标机5通过控制箱6控制机械臂9，该过程存在控制时延t2，远程端的双目相机7将机械臂9的运动画面传输回本地端时存在通信时延t3；机械臂9遥操作存在的时延t＝t1+t2+t3；宿主机4可以根据接收到的操纵手杆2位姿信息直接解算出机械臂9呈现的相应姿态，进而使vr头显3中的虚拟机械臂直接呈现该姿态，该过程存在虚拟时延t’，由于t’的值非常小，保证了虚拟机械臂可以根据操纵手杆2输入的位姿信号呈现快速响应，从而实现对机械臂9未来运动的预测。

采用本发明的优点是，操作者在对机器人进行遥操作时，加强了操作者操作机械臂的临场感和真实感，可以直观地观察出机械臂和场景的相对位置关系；同时明显改善机械臂的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。

采用游戏手柄或航模遥控杆设置的操作手杆方式，容易让熟悉游戏手柄或航模遥控杆的用户群根据喜好选择熟悉的控制方式。当然，本发明操作手杆也可以采用其他形式的遥控杆方式，而不限于游戏手柄。

上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。