一种基于VR的机器人遥操作系统及其遥操作方法与流程

本发明涉及机器人遥操作技术领域，尤其涉及一种基于3d建模、vr头显设备和遥操作制技术的机器人遥操作系统及其遥操作方法。

背景技术：

在作业环境恶劣、作业危险较高或人力无法完成等作业领域，机器人作业越来越普遍，操作人员可以远程控制机器人进行作业，降低人身完全风险。机器人遥操作系统的实现很大程度上改变了机器人的作业方式并拓展了机器人的作业能力，人们甚至不需要出现在机器人作业环境中，可以直接在本地或外地控制机器人作业。但是机器人遥操作系统也存在一定的问题，机器人遥操作人机交互系统需要尽可能准确地获取操作者的控制意图并下发控制指令，传统的交互设备普遍需要操作者适应设备，操作方式比较机械化，机器人运动范围受限，操作灵敏度和灵活性都不够，交互过程不自然。另外，遥操作系统一般通过网络进行数据交互，根据数据控制机器人动作，数据传输过程如果出现延迟会直接影响系统判断，进而导致机器人操作失误，甚至引起重大事故。

随着国内电力设备的扩建，带电作业越发频繁，带电作业的危险级别很高，作业难度较大，由于带电作业对灵活性、精准度、及时性等的要求较高，现有的大部分机器人遥操作系统无法满足带电作业要求，很多带电作业都只能由人工完成，工作人员需要承担巨大的风险，作业的效率也很难保证，研究一个操作更方便、交互性更好、精准度更高的机器人遥操作系统来完成要求更高的作业至关重要。

技术实现要素：

为了解决机器人遥操作系统操作灵敏度不足、交互性体验差、时延影响精准度的问题，本发明提出了一种基于vr的机器人遥操作系统及其遥操作方法，通过vr头显装置生成虚拟场景，在虚拟场景中模拟机器人动作，预先规划机器人动作，远程遥控带电作业机器人在实际作业环境中动作，灵活性和精准度高，提高带电作业效率，减少人力成本，降低人身安全风险。

为解决上述技术问题，本发明采用了如下技术手段：

一种基于vr的机器人遥操作系统，主要包括：

作业机器人，用于在作业环境中执行动作指令并将执行结果传送给上位机，所述上位机包括vr头显装置和机器人规划装置；

摄像装置，用于采集作业环境和作业对象的影像，并将采集的影像传送给vr头显装置；

vr头显装置，用于根据作业机器人和摄像装置采集的影像实时生成虚拟机器人和虚拟场景，所述虚拟场景与作业环境完全相同；

机器人规划装置，用于在虚拟环境中对虚拟机器人进行动作规划，生成动作指令或动作指令集；

遥控装置，用于发送动作指令或动作指令集到作业机器人，控制作业机器人执行动作；

后台服务器，用于存储机器人动作规划、动作执行生成的日志数据，并根据所述日志数据进行深度学习。

进一步的，所述作业机器人包括带电作业车和至少两个机械手臂，所述机械手臂选用六自由度机械手臂，机械手臂安装在所述带电作业车上，所述摄像装置通过连接件安装在带电作业车顶部。

进一步的，所述作业机器人还包括力传感器、触觉传感器和距离传感器，所述力传感器、触觉传感器和距离传感器安装在所述机械手臂上。

进一步的，所述摄像装置选用双目同频摄像头。

进一步的，所述遥控装置包括数据发送模块、数据接收模块和控制模块，所述数据发送模块将机器人执行装置规划的动作指令或动作指令集通过局域网传输给所述数据接收模块，数据接收模块通过串口将动作指令或动作指令集传输给所述控制模块，控制模块通过串口连接所述作业机器人，控制作业机器人执行动作指令或动作指令集。

一种基于vr的机器人遥操作方法，主要包括以下步骤：

s1、通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型，生成虚拟机器人和vr虚拟场景；

s2、利用摄像装置实时获取作业环境与作业对象的视频影像，并将视频影像传送到vr头显装置；

s3、利用opencv处理视频影像，将处理后的视频影像与s1生成的vr虚拟场景同步叠加，获得最终的虚拟场景；

s4、在虚拟场景中利用高度临场感的可视化方法对虚拟机器人进行动作规划，生成动作指令或动作指令集；

s5、通过局域网将动作指令或动作指令集发送给作业机器人，驱动作业机器人执行动作指令或动作指令集；

s6、作业机器人执行动作指令过程中，根据安装在机械手臂上的传感器测量的数据修正作业机器人的动作指令；

s7、将步骤s4、s5、s6的日志数据存储在后台服务器中，根据存储的数据进行深度学习，优化虚拟场景构建、动作规划、动作执行的算法。

进一步的，所述步骤s1中通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型，具体操作如下：

针对有图纸或照片的固定建模对象，通过3dmax建模为建模对象手工构建模型；针对没有图纸或照片的固定建模对象，通过高精度三维激光扫描仪获取建模对象的点云数据，并根据点云数据构建模型；针对不固定建模对象，通过摄像装置实时采集建模对象点云数据，结合深度检测功能构建模型；所述建模对象包括作业机器人、作业对象和作业环境。

进一步的，所述步骤s4的具体操作为：

在虚拟场景中利用nvidiaphysx物理引擎模拟机械手臂每个关节的物理运动，获得虚拟环境下的碰撞检测数据，根据作业内容和碰撞检测数据，利用高度临场感的可视化方法对作业机器人进行动作规划，生成动作指令或动作指令集。

进一步的，所述步骤s6中的传感器包括力传感器、触觉传感器和距离传感器。

进一步的，所述步骤s6的具体操作为：

s61、作业机器人执行动作指令过程中，安装在机械手臂上的传感器实时采集力度、触觉、距离数据，当采集到的任一数据超出设定的范围，作业机器人停止执行当前动作；

s62、判断数据超值原因：

1）虚拟环境存在偏差时，根据视频影像校准虚拟环境，重新规划作业机器人动作，生成新的动作指令；

2）作业机器人动作执行存在偏差时，根据已经执行的动作和传感器数据调整动作执行参数，重新规划作业机器人动作，生成新的动作指令；

s63、控制作业机器人执行新的动作指令。

采用以上技术手段后可以获得以下优势：

本发明提出了一种基于vr的机器人遥操作系统及其遥操作方法，通过vr头显装置和遥操作技术实现非接触式交互，作业机器人和摄像装置安置在作业环境中，vr头显装置、机器人规划装置和遥控装置等设置在任一安全位置，摄像装置辅助vr头显装置生成与作业环境完全一致的虚拟场景，在虚拟场景中预先对虚拟机器人进行动作规划，生成可以满足作业需求的动作指令或动作指令集，然后通过遥控装置控制机器人动作。在虚拟环境中预先规划动作，可以节省时间和成本，规划结构直观，同时能够很大程度减少数据传输延迟为遥操作带来的不便。利用传感器实时采集传感数据，当数据超出设定的范围，立即停止当前动作并规划新的动作，可以避免作业机器人操作失误，提高带电作业机器人操作的安全性和精准度，沉浸式虚拟现实技术能够提供更好的操作体验，操作者的活动范围不受限制，操作灵活性更高，实时保存规划动作、执行动作的日志数据并进行深度学习，可以不断完善系统算法，提高预规划的效果。本发明系统及方法具有更高的灵活性、安全性和精准度，能够代替人工进行带电作业，实现带电作业智能化，提升带电作业的效率，降低相关操作人员的人身风险。

附图说明

图1为本发明一种基于vr的机器人遥操作系统的结构示意图；

图2为本发明一种基于vr的机器人遥操作方法的步骤流程图；

图中1是作业机器人，2是摄像装置，3是vr头显装置，4是机器人规划装置，5是遥控装置，6是后台服务器。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

一种基于vr的机器人遥操作系统，如图1所示，主要包括作业机器人1、摄像装置2、vr头显装置3、机器人规划装置4、遥控装置5和后台服务器6；

作业机器人是系统中的受控对象，主要用来在作业环境中执行动作指令并将动作指令执行结果传送给vr头显装置和机器人规划装置。作业机器人包括带电作业车和至少两个机械手臂，机械手臂根据作业需求安装在带电作业车的侧面或顶部，为了更好的完成作业动作，机械手臂选用六自由度机械手臂，可以根据不同的动作指令调用不同位置的机械手臂执行动作。在机械手臂上还安装有多个传感器，包括力传感器、触觉传感器和距离传感器等，力传感器实时采集机械手臂的力度，触觉传感器实时采集机械手臂抓手的触觉，当抓手触碰作业环境中的物体或者作业对象，触觉传感器传出相应的触觉信号，距离传感器主要采集机械手臂与作业对象、作业环境内物体的距离，比如使用作业机器人检修输电铁塔上的电力金具，力传感器在机械手臂运动时采集机械手臂的力，触觉传感器在机械手臂触碰任一物体时产生触觉信号，距离传感器测量机械手臂与高压电线、塔身、电力金具等物体的距离，生成距离信号。

本发明系统中包括多个摄像装置，这些摄像装置通过连接件安装在带电作业车顶部，并面向不同角度，摄像装置选用双目同频摄像头，双目同频摄像头可以获取到更清晰完整的影像，摄像装置实时采集作业环境和作业对象的影像后将采集的影像传送给vr头显装置。本发明实施例中选用了stereolabs的zed摄像头，该摄像头具备点云扫描和深度检测功能，可以帮助vr头显装置构建虚拟模型、生成虚拟场景。

vr头显装置主要用于构件虚拟机器人和虚拟场景，并将虚拟影像呈现给操作者，vr头显装置会根据作业机器人的数据构件虚拟机器人模型，虚拟机器人的外形、大小、位置、功能等与作业机器人完全相同，虚拟机械手臂的关节及其约束条件与真实机械手臂的大小臂伸展极限约束一致，从而保证虚拟机器人可以完成的动作作业机器人也可以完成，根据作业机器人上传感器采集的数据和摄像装置采集的影像实时生成与作业环境完全相同的虚拟场景和虚拟作业对象。

机器人规划装置是系统中的核心装置，机器人规划装置会根据具体作业内容预先在虚拟环境中对虚拟机器人进行动作规划，机器人的运动一般是连续的，且具有一定的惯性，为了精确控制作业机器人运动，可以生成动作指令或包含一连串动作指令的动作指令集。

遥控装置主要包括数据发送模块、数据接收模块和控制模块，数据发送模块一般安装在虚拟端，用于将机器人规划装置规划的动作指令或动作指令集通过局域网传输给数据接收模块，数据接收模块和控制模块一般安装在作业机器人附近或作业机器人上，数据接收模块通过串口连接控制模块，将接收到的动作指令或动作指令集传输给控制模块，控制模块通过串口连接机械手臂的驱动装置，控制作业机器人执行动作指令或动作指令集。

后台服务器主要用于存储和学习，后台服务器与系统内的系统装置通过网络连接，实时存储视频影像、虚拟影像、机器人动作规划、动作执行、传感器数据等日志数据，同时后台服务器会根据存储的日志数据进行深度学习，协助系统调整参数，完善整个作业流程。

本发明还提出了一种基于vr的机器人遥操作方法，如图2所示，主要包括以下步骤：

s1、通过手工建模和点云建模构建作业机器人、作业对象和作业环境模型，作业对象指作业机器人操作的设备或物体，比如高压电线检修作业中高压电线就是作业对象，作业环境指作业对象所处的自然环境或人造环境，比如高压电线所处的野外或大厦。根据需要构建模型的对象的不同，具体可以分成以下3种情况：

1）针对有图纸或照片的固定建模对象，比如作业机器人、有详细图纸的输电铁塔等，直接通过3dmax建模为建模对象手工构建模型，考虑到这些固定建模对象经常使用，可以将建好的模型存储在vr头显装置或后台服务器上，下次需要使用的时候直接调取建好的模型。

2）针对没有图纸或照片的固定建模对象，比如出现在作业对象附近的建筑物，可以通过高精度三维激光扫描仪获取建模对象的点云数据，并根据点云数据构建模型，三维扫描仪可以安装在作业机器人上。

3）针对不固定建模对象，比如作业环境中的自然物，通过摄像装置自带的点云扫描功能实时采集建模对象点云数据，再结合摄像装置的深度检测功能构建模型。

根据具体情况选用上述3中方法完成作业机器人、作业对象和作业环境的建模，在vr头显设备中生成虚拟机器人和vr虚拟场景；

s2、利用安装在作业机器人顶部的多个摄像装置实时获取作业环境与作业对象的视频影像，并通过局域网将视频影像实时传送到vr头显装置。

s3、利用opencv处理不同视角的视频影像，将处理后的视频影像与s1生成的vr虚拟场景同步叠加，如果vr虚拟场景构建存在偏差，根据视频影像调整vr虚拟影像，获得与实际作业环境和作业对象完全一致的虚拟场景。opencv是一个跨平台的计算机视觉库，可以用来开发实时的图像处理、计算机视觉以及模式识别程序。

s4、作业机器人使用多个6自由度的机械手臂，在不同的作业环境中，机械手臂的运动路径规划难度非常大，为了保证作业机器人动作的精准度，需要预先在虚拟场景中进行动作规划，虚拟场景可以给操作人员提供很好的临场感，在虚拟场景操作虚拟机器人可以达到较为理想的规划效果。操作员在虚拟场景中利用nvidiaphysx物理引擎模拟机械手臂每个关节的物理运动，获得虚拟环境下的碰撞检测数据，根据作业内容和碰撞检测数据，利用高度临场感的可视化方法对作业机器人进行动作规划，生成动作指令或动作指令集。

s5、遥控装置通过局域网将动作指令或动作指令集发送给作业机器人，驱动作业机器人执行动作指令或动作指令集。

s6、作业机器人执行动作指令过程中，根据安装在机械手臂上的传感器测量的数据修正作业机器人的动作指令，具体操作如下：

s61、作业机器人执行动作指令过程中，安装在机械手臂上的力传感器、触觉传感器和距离传感器等传感器实时采集机械手臂力度、触觉和距离数据，当采集到的任一数据超出设定的范围，作业机器人立即停止执行当前动作。比如，

s62、判断数据超值原因，原因一般有两个：

1）虚拟环境构建存在偏差导致规划的动作错误，vr头显装置根据实时获取的视频影像重新校准虚拟环境，然后机器人规划装置重新规划作业机器人动作，生成新的动作指令。

2）作业机器人动作执行时存在偏差，根据已经执行的动作日志数据和传感器数据调整动作执行参数，重新规划作业机器人动作，生成新的动作指令。

s63、控制作业机器人执行新的动作指令。

下面用一个具体的例子解释步骤s6，在虚拟场景中规划一个控制机械手臂移动到某个特定位置的动作后，如果机械手臂在执行该动作的过程中，距离传感器检测到机械手臂的某个关节和作业环境中的电力金具的距离小于系统设置的安全距离，则立即停止机器手臂的活动，同时把各项传感器数据传送给vr头显装置和机器人规划装置，并进行报警，操作员接收到警报后，可以查看不同位置的双目摄像头传送的实时3d视频和虚拟场景，结合传感器数据判断是哪个部分出现偏差，如果是虚拟场景重建的偏差，则结合实景视频重新校准虚拟场景；如果是作业机器人执行规划动作的精度有误差，则根据动作规划和执行的日志数据进行参数调整，然后再重新规划动作。

s7、完成一个作业任务或完成一个动作的过程可以称为一次作业流程，完成一次作业流程后，后台服务器会将步骤s4、s5、s6的日志数据存储起来，也就是动作规划过程、动作执行过程和动作修正过的日志数据存储起来，同时后台服务器也可以存储虚拟模型、虚拟场景、摄像装置拍摄的视频影像、传感器数据等，后台服务器将根据存储的数据进行深度学习，优化虚拟场景构建、动作规划、动作执行的算法。本发明实施例中采用keras作为主要的深度学习库，tensorflow作为后端。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。