基于虚拟现实控制的建筑机器人的制作方法

本发明涉及机械控制领域，特别涉及一种基于虚拟现实技术的大型建筑机械手人机协同控制系统。

背景技术：

随着城市化进程的高速发展，对建筑行业的施工安全性、高效性提出了新的挑战，尤其是在危险工况条件下，在提高施工效率的同时，保障施工人员的安全已成为大家关注的重点问题。为了解决上述问题，科研工作者正在研究和开发能够在高温、高压、高空、深水、化学甚至是核辐射环境中满足高质量、高标准建筑作业要求的建筑机器人。

目前，虽然基于虚拟现实的机器人已经越来越多的用于家庭服务和工业巡检等行业，但是建筑行业由于其工况环境恶劣，对机器人的负载要求高，现场条件复杂造成对人-机交互的灵活度要求高。现有的用于家庭服务和工业巡检的机器人，虽然也有基于虚拟现实、通过vr技术增强操作人员的临场感，使操作人员能身临其境的做出操作。但是，这种操作通常是操作人员手握感应器，即感应器位于操作人员手柄的终端，相当于是将感应器虚拟为一个点。通过手握感应器只能单点控制末端执行器，捕捉这个点的位移、旋转等，在通过逆解求取整个机械臂的姿态，由于逆解算法的多解性，这种方法会导致在复杂的建筑场景下无法对整个机械臂的姿态进行精确控制，会增加作业风险；

另外，虽然目前有一些建筑机械、比如机械臂、吊车、吊臂等用于建筑现场，但这些建筑机械都是通过遥控指挥，无法真实模拟人为了应对现场情况而做出的精细化动作。

技术实现要素：

本发明的目的在于提供一种能够在机械臂或机器人上复原人在应对现场事件时做出的实际应对动作的基于虚拟现实控制的建筑机器人。

基于虚拟现实控制的建筑机器人，其特征在于：包括机械臂，机械臂包括基座、第一支臂和第二支臂，第一支臂与基座铰接，第二支臂与第一支臂铰接，第二支臂的末端设置执行器；第一支臂和第二支臂约束在同一个平面内绕各自的铰链转动。第一支臂与基座之间的铰链称为肩关节铰链，第二支臂与第一支臂之间的铰链称为肘关节铰链。基座固定，第一支臂绕肩关节铰链做靠近或远离肩关节的转动，第二支臂绕肘关节铰链做靠近或远离肩关节的转动。第一支臂和第二支臂在同一个平面内运动。

第一支臂和基座之间有牵引第一支臂转动的第一牵引组件，第二支臂和第一支臂之间有牵引第二支臂转动的第二牵引组件。牵引组件的结构采用现有技术，比如，电机、液压牵引等。

本发明的第一目的在于提供一种以肘关节角度和肩关节角度表征人的手臂状态、能够捕捉人的手臂的实时动作的关节运动角度估计方法。

上述机械臂的基座相当于人的肩膀，第一支臂相当于手的上臂，第二支臂相当于手的下臂，肩关节铰链相当于肩关节，肘关节铰链相当于肘关节。获得人的肩关节角度和肘关节角度后，直接对应成机械臂的肩关节铰链的角度和肘关节铰链的角度，即可在机械臂上复原人的手臂实际动作。

作为优选的方案：基于h∞滤波捕捉手臂关节运动角度的估计方法包括以下操作：

建立系统状态方程，xk＝ak，k-1·xk-1+uk-1+γk-1wk-1，其中，k表示离散化时刻，xk为k时刻系统状态向量，和分别为第k时刻人肘部和肩部关节角度；ak，k-1为状态转移矩阵，uk-1是k-1时刻系统输入向量，vh(k-1)表示第k-1时刻手臂末端在运动平面内沿运动方向的线速度、ve(k-1)表示第k-1时刻手臂肘部在运动平面内沿运动方向的线速度，l1和l2分别表示手肘到手掌的距离以及肩关节到肘关节的距离；wk-1表示第k-1时刻的系统噪声向量，且其中分别表示第k-1时刻肘关节角系统噪声和肩关节系统噪声；г为系统噪声输入矩阵，取γk-1为

建立观测方程，zk＝hk·xk+vk，其中，zk为k时刻观测向量，其中和分别为通过关节位置直接计算得出的第k时刻肘关节角度与肩关节角度观测值；h为观测阵，vk表示k时刻观测噪声向量，是第k时刻肘关节角的观测噪声，是第k时刻肩关节角的观测噪声，上角标^t表示对矩阵转置；

用h∞滤波递推，滤除自然人手臂在持久负重时出现的不自觉抖动，得到k时刻的肘关节角度和肩关节角度状态估计值：kk是滤波增益矩阵。

优选的，建立状态方程的操作为：

步骤1.根据旋转角速度和线速度的转换关系，计算肘部和肩部关节角度θe、θs与手臂末端和肘部末端在运动平面内沿运动方向的线速度vh、ve之间的关系，得到状态方程表达式如下：

其中，l1和l2分别表示手肘到手掌的距离以及肩关节到肘关节的距离，vh、ve分别为各个时刻手臂末端和肘部在运动平面内沿运动方向的线速度，可以利用虚拟现实系统中的手柄和绑定在关节部位的追踪器来获取；t表示连续时间，δt表示时间间隔；

步骤2.将公式(1)所示的状态方程离散化，获得离散化后的状态方程的矩阵形式表达式如下：

xk＝ak，k-1·xk-1+uk-1+γk-1wk-1(2)

其中，k表示离散化时刻；x为系统状态向量，且xk＝[x1x2]^t，即和分别为第k时刻的操作员手臂肘部和肩部关节角度，上角标^t表示对矩阵转置；ak，k-1为状态转移矩阵，u为系统输入向量，且uk-1＝[u1u2]^t，vh(k-1)、ve(k-1)表示第k-1时刻手臂末端和肘部在运动平面内沿运动方向的线速度，l1和l2分别表示手肘到手掌的距离以及肩关节到肘关节的距离，即上角标^t表示对矩阵转置；w表示系统噪声向量，且其中分别表示k-1时刻肘关节角系统噪声和肩关节系统噪声；γ为系统噪声输入矩阵，取γk-1为

优选的，建立观测方式的操作为：

步骤1.通过向量夹角计算公式计算关节角度的变化值，得到k时刻与k-1时刻之间人手臂运动变化的角度，表达式如下：

其中，向量和分别是k时刻和k-1时刻肘关节指向手臂末端的向量，向量和是k时刻和k-1时刻肩关节指向肘关节的向量，(xh，yh，zh)是手臂末端三维坐标，(xe，ye，ze)是肘关节三维坐标，(xs，ys，zs)是肩关节三维坐标；

根据关节角度变化公式(3)，得到肩关节和肘关节角度的观测值θe_m和θs_m，第k时刻的如下所示：

步骤2.离散化后的观测方程的矩阵形式为：

zk＝hk·xk+vk(5)

其中，k表示离散化时刻；zk为k时刻观测向量，hk为k时刻观测阵，vk表示k时刻观测噪声向量；由于观测向量与状态向量都是指肘关节角度与肩关节角度，所以其中和分别为第k时刻利用关节位置信息基于向量夹角公式直接计算得出的肘关节角度与肩关节角度观测值；是第k时刻肘关节角的观测噪声，是第k时刻肩关节角的观测噪声，上角标^t表示对矩阵转置。

经过h∞滤波后，能够去除或削弱关节抖动等干扰造成的估计误差，实现精确的运动捕捉。

优选的，在优化手臂关节运动角度前，在操作者的肩膀、肩关节和手上臂分别绑定虚拟现实追踪器，该传感器可以提供肩关节、轴关节和手腕的三维位置和速度信息。在进行操控前，先在操作者的手臂上将传感器安装到位，之后再结合本发明提出的基于h∞滤波捕捉手臂关节运动角度的估计方法，即可实时捕捉操作者的肘关节角度和肩关节角度。

本发明的第二方面，在于提供一种能够通过人机交互的方式、将人的操控动作准确的传递到机械臂、控制机械臂的运动控制系统。

作为优选的方案，建立处理器与操作者手臂上的所有传感器的信号连接关系，获得所有传感器的位置信号，计算获得操作者的肩关节角度和肘关节角度；建立处理器与机械臂的通讯管理，将操作者的肩关节角度和肘关节角度发送到机械臂，使机械臂的肩关节铰链角度等于肩关节角度，使机械臂的肘关节铰链角度等于肘关节角度。

优选的，控制系统具有传动模式和监督模式，传动模式下，操作者手臂的传感器、处理器和机械臂建立通讯，人手臂的肩关节角度作为机械臂的肩关节铰链角度的控制目标，人手臂的肘关节角度作为机械臂的肘关节铰链角度的控制目标；监督模式为机械臂按路径规划运动；路径规划根据现有技术做出；

传动模式和监督模式的切换操作包括：获得目标物和目标物距离ld在ld>lthr时，采用传动模式；在ld<lthr时，采用监督模式。

优选的，建筑机器人以虚拟现实3d头盔为主体，结合双目相机、单目相机构建信息反馈子系统，其中，双目相机固定在机械臂的末端，单目相机固定于能够拍摄到场景图像的建筑机器人基座顶端不同方位。单目相机用于拍摄场景信息，识别目标物。双目相机用于对目标物实现测距。识别目标物和对目标物测距使用现有技术实现。

优选的，单目相机有多个，所有单目相机获得的图像拼接形成全域场景图像。图像拼接采用现有技术实现。机械臂末端图像和拼接后的工作场景图像经过处理和渲染后传输给虚拟现实头盔，并在虚拟现实场景中展现；

本法明优点在于：

1.增加操作人员的临场感，辅助操作者进行作业规划，降低作业难度；

2.利用h∞鲁棒滤波来进行手臂关节角度估算，实时且准确的捕捉手臂运动；

3.通过结合传动模式和自主控制模式实现建筑机械手的半自主作业控制，提高了大型建筑机械的控制灵活性和效率，降低作业难度；

4.提出的基于虚拟现实的大型建筑机械手人机协同控制系统，保障危险工况下建筑作业人员的安全，提高建筑作业效率。

附图说明

图1是机械臂结构示意图。

图2是竖直平面内运动关节角示意图。

图3是关节映射图。

图4是系统整体框图。

图5是水平面内运动关节角示意图。

具体实施方式

结合附图，进一步详细说明本发明的方案。

如图1所示，基于虚拟现实控制的建筑机器人，包括机械臂，机械臂包括基座1、第一支臂2和第二支臂3，第一支臂2与基座1铰接4，第二支臂3与第一支臂2铰接4，第二支臂3的末端设置执行器；第一支臂2和第二支臂3约束在同一个平面内绕各自的铰链转动。第一支臂2与基座1之间的铰链称为肩关节铰链，第二支臂3与第一支臂2之间的铰链称为肘关节铰链。基座1固定，第一支臂2绕肩关节铰链做靠近或远离肩关节的转动，第二支臂3绕肘关节铰链做靠近或远离肩关节的转动。第一支臂2和第二支臂3在同一个平面内运动。

如图2所示，第一支臂2和基座1之间有牵引第一支臂2转动的第一牵引组件，第二支臂3和第一支臂2之间有牵引第二支臂3转动的第二牵引组件。牵引组件的结构采用现有技术，比如，电机、液压牵引等。

作为一种实施方式，提供一种以肘关节角度和肩关节角度表征人的手臂状态、能够捕捉人的手臂的实时动作的关节运动角度估计方法。

如图3所示，上述机械臂的基座1相当于人的肩膀，第一支臂2相当于手的上臂，第二支臂3相当于手的下臂，肩关节铰链相当于肩关节，肘关节铰链相当于肘关节。获得人的肩关节角度和肘关节角度后，直接对应成机械臂的肩关节铰链的角度和肘关节铰链的角度，即可在机械臂上复原人的手臂实际动作。

考虑到大型建筑机械的作业臂是使用液压作为动力驱动源的，其关节结构简单，自由度低。因此，在本发明设计中规定，控制过程中手臂只能在垂直地面的平面内运动，通过身体的旋转来改变运动平面，在同一时刻内只能控制一个关节变化。通过对操作员手臂运动规则的限制来对手臂关节结构进行简化，减少各个关节自由度。由此，将手臂肘、肩关节运动角度与建筑机械作业臂肘、肩关节运动角度映射；此外，将操作人员手臂绕身体纵轴旋转角度(手臂基座1关节角度)与建筑机械作业臂绕基座1纵轴旋转角度(作业臂基座1关节角度)进行映射。

作为一种实施方式：基于h∞滤波捕捉手臂肘、肩关节运动角度的估计方法包括以下操作：建立系统状态方程，xk＝ak，k-1·xk-1+uk-1+γk-1wk-1，其中，k表示离散化时刻；x为系统状态向量，x＝[θeθs]^t，θe和θs分别为人肘部和肩部关节角度；ak，k-1为状态转移矩阵，u是系统输入向量是k-1时刻手臂末端和肘部在竖直平面内沿运动方向的线速度，l1和l2分别表示手肘到手掌的距离以及肩关节到肘关节的距离；w表示系统噪声向量，且其中分别表示k-1时刻肘关节角系统噪声，和肩关节系统噪声；γ为系统噪声输入矩阵，取γk-1为建立观测方程，zk＝hk·xk+vk，其中，k表示离散化时刻；z为观测向量，其中和分别为第k时刻通过关节位置直接计算得出的肘关节角度与肩关节角度观测值；h为观测阵，v表示观测噪声向量，是第k时刻肘关节角的观测噪声，是第k时刻肩关节角的观测噪声；上角标^t表示对矩阵转置；用h∞滤波递推，滤除自然人手臂在持久负重时出现的不自觉抖动等误差，得到k时刻的肘关节角度和肩关节角度状态估计值：kk是滤波增益矩阵。

作为一种实施方式，建立状态方程的操作为：

步骤1.根据旋转角速度和线速度的转换关系，计算肘部和肩部关节角度θe、θs与手臂末端和肘部末端在运动平面内沿运动方向的线速度vh、ve之间的关系，得到连续时间下的状态方程表达式如下：

其中，l1和l2分别表示手肘到手掌的距离以及肩关节到肘关节的距离，各个时刻手臂末端和肘部在运动平面内沿运动方向的线速度vh、ve可以利用虚拟现实系统中的手柄和绑定在关节部位的追踪器来获取；t表示连续时间，δt表示时间间隔；

步骤2.将公式(1)所示的状态方程离散化，获得离散化后的状态方程的矩阵形式表达式如下：

xk＝ak，k-1·xk-1+uk-1+γk-1wk-1(2)

其中，k表示离散化时刻；x为系统状态向量，且xk＝[x1x2]^t，即和分别为第k时刻的操作员手臂肘部和肩部关节角度，上角标^t表示对矩阵转置；ak，k-1为状态转移矩阵，u为系统输入向量，且uk-1＝[u1u2]^t，vh(k-1)表示第k-1时刻手臂末端在运动平面内沿运动方向的线速度、ve(k-1)表示第k-1时刻手臂肘部在运动平面内沿运动方向的线速度，l1表示手肘到手掌的距离，l2表示肩关节到肘关节的距离，即上角标^t表示对矩阵转置；γ为系统噪声输入矩阵，取γk-1为w表示系统噪声向量，且其中表示k-1时刻肘关节角系统噪声、表示k-1时刻肩关节系统噪声。

作为一种实施方式，建立观测方式的操作为：

步骤1.通过向量夹角计算公式计算关节角度的变化值，得到k时刻与k-1时刻之间手臂运动变化角度，表达式如下：

其中，向量和分别是k时刻和k-1时刻肘关节指向手臂末端的向量，向量和是k时刻和k-1时刻肩关节指向肘关节的向量，(xh，yh，zh)是手臂末端三维坐标，(xe，ye，ze)是肘关节三维坐标，(xs，ys，zs)是肩关节三维坐标；

根据关节角度变化公式(3)，得到肩关节和肘关节角度的观测值θe_m和θs_m，第k时刻的如下所示：

步骤2.离散化后的观测方程的矩阵形式为：

zk＝hk·xk+vk(5)

其中，k表示离散化时刻；zk为k时刻观测向量，hk为k时刻观测阵，vk表示k时刻观测噪声向量；由于观测向量与状态向量都是指肘关节角度与肩关节角度，所以其中和分别为第k时刻利用关节位置信息基于向量夹角公式直接计算得出的肘关节角度与肩关节角度观测值；是第k时刻肘关节角的观测噪声，是第k时刻肩关节角的观测噪声，上角标^t表示对矩阵转置。

经过h∞滤波后，能够去除或削弱关节抖动等干扰造成的估计误差，实现精确的运动捕捉。

h∞滤波是将鲁棒控制设计中引入的性能指标h∞范数应用于滤波，以解决系统中存在的各种不确定性噪声问题，它对噪声的不确定性具有很强的鲁棒性。因此，在无法确切知道手臂关节抖动，传感器噪声等干扰信号的统计特性的情况下，本发明中利用h∞滤波来估计人臂各关节的角度值。

作为一种实施方式，对于所描述的系统状态方程和测量方程，建立次优h∞滤波的递推过程，对于一定的正数γ，次优h∞滤波递推过程主要包括以下三个步骤：

状态线性组合的估计

是yk-1的估计值，yk-1为系统的待估计的向量，是xk-1的估计值，lk-1为给定的状态量线性组合矩阵，由于需要估计的量就是状态变量xk-1，所以取lk-1为

时间修正状态一步预测：

估计误差方差阵：

其中pk的初始值p0可选为γ为给定正数，可根据实验效果进行调节，i为单位矩阵；

量测修正

滤波增益矩阵：

状态估计：

h∞滤波是在鲁棒控制设计中引入性能指标h∞范数应用于滤波，以解决系统中存在的各种不确定性噪声问题，它对噪声的不确定性具有很强的鲁棒性。在无法确切知道手臂关节抖动，传感器噪声等干扰信号的统计特性的情况下，利用h∞滤波来估计人臂各关节的角度值，从而降低噪声的干扰。

作为一种实施方式，在优化手臂关节运动角度前，在操作者的肩膀、肩关节和手上臂分别绑定虚拟现实追踪器，该传感器用来捕捉肩关节、轴关节和手腕的三维位置和速度信息。

在进行操控前，先在操作者的手臂上将传感器安装到位，之后再结合本发明提出的基于h∞滤波捕捉手臂关节运动角度的估计方法，即可被实时捕捉操作者的肘关节角度和肩关节角度。

作为一种实施方式，为保证建筑机器手作业的安全性和灵巧性问题，采用人机协同控制系统通过基于关节映射的人机双臂主动运动传递来实现对建筑机械作业臂的控制，从而保证作业臂构型在运动过程中始终与人体手臂构型相似，通过人的主观意识保证操作中的安全性和灵巧性。

通过关节角度计算和递推计算从而实时估算操作过程中操作员手臂各关节角度值，并削弱关节抖动等干扰造成的估算误差，实现精确的运动捕捉。此外，当操作人员手臂在沿身体纵轴旋转时，通过佩戴在身体上身的mems陀螺仪计算身体沿纵轴旋转角度并映射到机械臂基座沿纵轴的旋转角度。

本发明的第二方面，在于提供一种能够通过人机交互的方式、将人的操控动作准确的传递到机械臂、控制机械臂的运动控制系统。

作为一种实施方式，建立处理器与操作者手臂上的所有传感器的信号连接关系，获得所有传感器的位置和速度信息，计算获得操作者的肩关节角度和肘关节角度；建立处理器与机械臂的通讯管理，将操作者的肩关节角度和肘关节角度发送到机械臂，使机械臂的肩关节铰链角度等于肩关节角度，使机械臂的肘关节铰链角度等于肘关节角度。

作为一种实施方式，控制系统具有传动模式和监督模式，传动模式下，操作者手臂的传感器、处理器和机械臂建立通讯，人手臂的肩关节角度作为机械臂的肩关节铰链角度的控制目标，人手臂的肘关节角度作为机械臂的肘关节铰链角度的控制目标；监督模式为机械臂按路径规划运动；路径规划根据现有技术做出；

传动模式和监督模式的切换操作包括：获得建筑机械作业臂末端和目标物距离ld，在ld＞lthr时，采用传动模式；在ld＜lthr时，采用监督模式。

作为一种实施方式，如图4所示，工作模式流程包括以下步骤：

步骤1.操作员通过对机械手下达指令设置作业任务和目的；

步骤2.信息反馈子系统测量作业臂末端到目标物的相对距离ld；

步骤3.如果ld＞lthr时，进行人机双臂传动控制模式；

此时作业规划完全由操作人员根据3d头盔中看见的作业场景和多源传感器信息来进行运动规划；此过程中，作业臂的运动速度较快，运动幅度较大，能加快作业效率；其中，lthr根据实际工况设计的距离阈值，本发明专利中取作业臂长度lb的1/2，即lthr＝lb/2；

步骤4.如果ld＜lthr时，进行人机双臂自主控制模式；

控制单元根据作业臂末端三维位置和目标物三维位置进行作业路径规划，控制作业臂运动。在这个过程中，操作员主要承担监督功能，在将要发生碰撞等危险情况时，触发急停按钮；

步骤5.作业臂末端到达指定目标处，操作员通过手柄按键控制末端执行器进行抓取、堆砌、挖掘和穿凿等任务。

作为一种实施方式，以虚拟现实3d头盔为主体，结合双目相机、单目相机构建信息反馈子系统，其中，双目相机固定在机械臂的末端，单目相机固定于能够拍摄到场景图像的建筑机器人基座顶端不同方位。单目相机用于拍摄场景信息，识别目标物。双目相机用于对目标物实现测距。识别目标物和对目标物测距使用现有技术实现。单目相机有多个，所有单目相机获得的图像拼接形成全域场景图像。图像拼接采用现有技术实现。机械臂末端图像和拼接后的工作场景图像经过处理和渲染后传输给虚拟现实头盔，并在虚拟现实场景中展现；

作为一种实施方式，如图5所示，大型建筑机械的作业臂是使用液压作为动力驱动源的，其关节结构简单，自由度低。控制过程中手臂只能在垂直地面的平面内运动，通过身体的旋转来改变运动平面，在同一时刻内只能控制一个关节变化。通过对操作员手臂运动规则的限制来对手臂关节结构进行简化，减少各个关节自由度。由此，将手臂肘、肩关节运动角度和与建筑机械作业臂肘、肩关节运动角度的映射；将操作人员手臂绕身体纵轴旋转角度(手臂基座关节角度)与建筑机械作业臂绕基座纵轴旋转角度(作业臂基座关节角度)进行映射。

本法明的有益效果，增加操作人员的临场感，辅助操作者进行作业规划，降低作业难度；利用h∞鲁棒滤波来进行手臂关节角度估算，实时且准确的捕捉手臂运动；通过结合传动模式和自主控制模式实现建筑机械手的半自主作业控制，提高了大型建筑机械的控制灵活性和效率，降低作业难度；提出的基于虚拟现实的大型建筑机械手人机协同控制系统，保障危险工况下建筑作业人员的安全，提高建筑作业效率。

在缺少本文中所具体公开的任何元件、限制的情况下，可以实现本文所示和所述的发明。所采用的术语和表达法被用作说明的术语而非限制，并且不希望在这些术语和表达法的使用中排除所示和所述的特征或其部分的任何等同物，而且应该认识到各种改型在本发明的范围内都是可行的。因此应该理解，尽管通过各种实施例和可选的特征具体公开了本发明，但是本文所述的概念的修改和变型可以被本领域普通技术人员所采用，并且认为这些修改和变型落入所附权利要求书限定的本发明的范围之内。

本文中所述或记载的文章、专利、专利申请以及所有其他文献和以电子方式可得的信息的内容在某种程度上全文包括在此以作参考，就如同每个单独的出版物被具体和单独指出以作参考一样。申请人保留把来自任何这种文章、专利、专利申请或其他文献的任何及所有材料和信息结合入本申请中的权利。