一种应用人形机器人的空间站维修与维护方法与流程

本发明涉及航天空间站的维修与维护技术领域,具体是一种应用人形机器人的空间站维修与维护方法。

背景技术：

随着“神舟七号”的发射成功以及我国三期航天工程工作的深入开展，将有大量的空间探测、在轨装配、在轨维护和在轨更换等任务，这些任务不可能仅仅依靠宇航员完成，对空间机器人的需求越来越迫切，目前，国际上成熟的空间机器人主要是空间机械臂，主要有美国航天飞机上使用的机械臂canadarm，国际空间站上的机械臂canadarm2,“暴风雪”号航天飞机上的机械臂，欧洲机械臂era，日本实验舱上的机械臂jemrms，以及欧洲舱内服务机器人rotex。

上述机器装置均以空间站维修和维护为目的，这些机器装置的都需要人进行远程控制，其实际控制带来两个问题:

1.需要在任务开始之前进行精确编程及控制，缺乏自我学习能力，宇航员操作难度较大，没办法实现精准控制的任务。

2.不具有人体骨骼结构与长度、关节比例、转角幅度、速度等形态，无法完全模拟宇航员对未知的太空领域探索。

技术实现要素：

本发明为了解决现有技术的问题，提供了一种应用人形机器人的空间站维修与维护方法，在进行空间站维修及维护时，应用虚拟现实显示系统使人体完全沉浸于空间站环境，通过实时分析操作员动作，将人体动作无失真还原，使其具备动作控制精准、遂行多种精准控制任务的能力。

本发明提供的空间站维修机器人，包括虚拟现实显示系统、体感采集系统和仿人机器人系统，所述的虚拟现实显示系统由头戴式显示器、wifi模块、3d显示程序及光迹追踪模块组成；体感采集系统由kinect体感器、计算机、wifi模块和体感软件组成，仿人机器人系统由机械结构及舵机、驱动器、视觉模块、姿态传感器模块、机器人控制器、电源及损管模块和无线透传模块组成。

进一步改进，虚拟现实系统为头戴式显示器，由计算机算出左右两眼的影像，将之显示于显示器内的液晶屏幕上，可有效排除外界干扰，使人完全沉浸于仿人机器人所处空间站环境。

进一步改进，所述的体感采集系统基于kinect体感技术，将骨骼追踪算法应用于人体姿态识别，并控制人形机器人实时模仿人体动作，从而完美实现人与仿人机器人的灵魂绑定。

本发明提供的一种应用人形机器人的空间站维修与维护方法，包括以下步骤:

宇航员通过头戴式虚拟现实显示器，显示器应用wifi模块连接人形机器人路由器，并打开头戴式虚拟现实显示器的3d显示程序，使其完全沉浸于人形机器人所处空间站环境。

通过应用体感技术传感器与openni骨骼识别算法库获取人体的深度图像，利用深度图像识别出人体关节点并提取空间坐标，通过滤波、空间向量计算、腿部姿势识别，并应用wifi模块向人形机器人控制器提供控制数据。

人形机器人系统通过无线路由器向显示器无线模块传输的视觉信号，并接受体感系统传输的人体参数，机器人控制器通过各种算法解析出舵机驱动器所需要的控制命令，实现对人形机器人维修与维护空间站的精准控制。

本发明有益效果在于:

1、本发明虚拟现实显示系统，提供了一个适合人类与人形机器人沟通且具有多重感知能力的接口，透过这个接口，强化了人类感受客观物理世界多维信息的能力。

２、本发明体感采集系统应用体感技术传感器，获取kinect体感器返回的原始数据搭建三维空间数据，通过对三维空间数据的计算得到角度、深度、数值等值独立出点，构建出面，构建出点到面的距离，计算出机器人运动最大最小范围即最佳运动弧度，轨迹等参数，应用这些参数实现对人形机器人运动的精准控制。

３、本发明人形机器人系统，结合机器学习算法，借助姿态传感器返回的姿态数据及压力传感器返回的重心位置数据等大量数据的分析得到相对最稳定的步态方法，克服在动态运动中带来的舵机误差及压力惯性带来的种种不定因素带来的影响自平衡的问题，从而完美还原人体本身动感与灵性。

附图说明

图1为本发明实施例的虚拟现实系统图。

图2为本发明实施例的人形机器人系统图。

图3为本发明实施例的体感采集系统图。

图4为本发明实施例的骨骼识别流程图。

图5为本发明实施例的kinect空间坐标系。

图6为本发明实施例的仿人机器人系统。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明虚拟现实显示系统如图1所示，包括头戴式显示器、无线wifi模块、3d显示程序及光迹追踪模块等构成，虚拟现实显示系统通过无线wifi模块连接仿人机器人无线路由器获取机器人视频信号，并应用3d显示程序通过3d计算机绘图、3d音效与光迹追踪模块创造出一个空间站模拟环境，且人体通过光迹追踪模块实时地与虚拟的环境互动。虚拟现实显示系统可以随时感知、侦测使用者在虚拟环境中的活动，而实时作出适当的反应与回馈；虚拟场景依新的信息显像在头戴式显示器的屏幕上，而其它如音响、触觉、力回馈等效果也同样反应到使用者的虚拟现实输出设备上，如此重复完成一个模拟周期，让人体完美融入到空间站的模拟环境之中。

本发明体感采集系统如图1所示，包括kinect体感器、无线wifi模块、计算机和体感软件组成，起动计算机上体感软件驱动kinect体感器捕获人体深度图像，使用openni从中识别人体关节并提取空间坐标，建立机器人空间控制的三维矢量坐标系，得到关节间角度矢量，积分减法得到深度矢量，通过滤波、空间向量运算、腿部姿态检测，计算机器人舵机转角，并通过计算机的无线wifi模块与仿人机器人无线路由器相连发送给机器人控制器，满足仿人机器人实时性控制需求。

本实施例的图2为本发明系统骨骼识别流程图：

步骤ａ，对于深度图像，通过openni提供的depthgenerator.getmetadata(depthmd)函数进行获取，获取的深度图像存储在scenemetadata类型的矩阵中，采用的是openni提供的骨骼算法库予以完成，其识别算法依赖于所采集到的深度图像，具体的函数调用为usergenerator.getuserpixels(0,scenemd)。openni骨骼识别算法库内部实现原理为根据获取到的深度图像，分离前景与背景，并利用模版匹配的方式，定位人体不同的关节。

步骤ｂ，对人体关节角度的计算如图３所示kinect空间坐标系，使用空间向量法完成关节角度的计算。kinect所使用的空间坐标系不同于常见的空间坐标系，其x轴与y轴的零点与传统空间坐标系相同，但其z轴坐标零点为kinect传感器，正方向为kinect指向的正前方。由向量的可平移性质及方向性，可以推导出kinect坐标系中任意两个不重合的坐标点a(x1,y1,z1)，b(x2,y2,z2)经过变换，可转化到传统空间坐标系中，对其组成的向量ab，可以认为是从坐标轴零点引出。转化公式为：

ab=(x2-x1,y2-y1,z1-z2)

据上式将人体关节角度计算简化为对空间向量夹角的计算。

步骤c，实际人体左臂动作的计算过程，据人体动作，左臂提取出的关节点在kinect空间坐标系中的向量，经过变换后转化为普通坐标系中的向量。

步骤d，对于肘关节角度的计算，可以直接使用空间向量es和eh的夹角得出，计算过程如下：

对于大臂的上下摆动角度，可以将向量es投影到xoy平面上，并求其与y坐标轴的夹角得出，计算过程及公式类似于肘关节角度的计算过程。

为了求取空间平面夹角，需要首先求取两平面的法向量，再根据法向量计算出两平面夹角。计算过程如下：

es=(sx-ex,sy-ey,ez-sz)

eh=(hx-ex,hy-ez,ez-hz)

n1=eh*es

n2=(0,150,0)

cosα=n1∗n2/｜n1｜｜n2｜

步骤e，腿部姿态检测，通过识别人体腿部特定动作，支持机器人前进、后退、左转、右转、下蹲、站立，需要对人体腿部姿态进行检测，从而控制机器人完成相应动作。检测算法首先检测左腿髋关节是否达到确认度阀值，若达到，则先检测是否为下蹲姿势，若不为下蹲，则检测左侧髋关节指向膝关节的向量相对于前、左、后三个方向哪个方向的权值更大，并取其权值最大的作为机器人控制信号，其分别对应与机器人的前进、左转、后退动作；若未达到阀值，则检测右髋关节是否达到确认度阀值，若达到，则检测右侧髋关节指向膝关节的向量相对于前、右、后三个方向哪个方向的权值更大，并取其权值最大的作为机器人控制信号，其分别对应与机器人的前进、右转、后退动作；若未达到阀值，则判定为机器人站立动作。

本发明仿人机器人系统如图4所示，包括机械结构及舵机1、驱动器2、视觉模块3、姿态传感器模块4、机器人控制器5、电源及损管模块6和无线透传模块7；具体结构如下:

1、机械结构及舵机

实现上述发明应用的是一种人形机器人,由头部、躯干和四肢构成,其特征在于：采用完整版加藤一郎结构体，全身由金属零件构成，具有18个自由度；头部采用双舵机双轴设计机构，可以让视觉摄像头在横纵两个方向扫描拍摄。躯干通过使用加厚加强的双u形件将头部和四肢连接在一起，结实牢固的躯体保证了机器人的四肢连接起来更稳定。在每个舵机2个方向的转动来保证左右肩的前后运动、左右跨的左右摆动以及头部转塔的左右运动。中心采用掏空设计，一来可以减轻机器人的负载，二来可以作为电池及控制板的安装位置。腿部用金属连接件与舵机的安装支架连接，实现高强度的结构支撑。在每个舵机2个方向的转动下，来保证腿部的前后左右的转动。实现机器人腿部的灵活运动。左右臂用金属连接件与舵机的安装支架连接，实现高强度的结构支撑。在每个舵机2个方向的转动下，来保证左右臂的前后左右的转动。在大臂前段采用加长高强度手臂支架，实现摔倒迅速爬起及机体摔倒的支撑力。全身18个特种数字伺服舵机，每个舵机重65g，尺寸45×35×25mm，采用空心杯电机，扭力达到25kg.cm，速度0.18秒/60度；舵机可以采用并行连接也支持总线连接；18个金属舵盘，与软件同步实现初始坐标补偿；该机器人通过构建完整的行走模型、静平衡步伐方程与动平衡步伐方程的交接带函数，完成标准“加腾一郎”派行走与高速奔跑。

2、驱动器:

驱动器以stc12c5a60s2芯片为核心,分为微控制器模块、舵机及传感器驱动模块、电源模块等，驱动器与控制器采用spi通讯方式对接；同时联动控制18个数字伺服电机。机器人采用复用pwm周期的方式，完成对多路舵机的同时调速工作。设定舵机的调速分组，手臂的六个舵机分为一组，腿部的十个舵机分为两组；在进行调速前，要对指定分组内的舵机角度进行降序排序，排序的同时要更新对应舵机的管脚掩码，并求出每一路舵机与其相邻较大舵机的差值，并依此作为pwm时间分片调整的依据；

在进行调速时，首先记录舵机组中所需要时间最长的舵机，并用一个pwm周期减去它，计算出最后需要以低电平填充的时间，然后给指定舵机组的所有舵机施以高电平信号，并延时至所需高电平时间最小的舵机，利用掩码运算，将其对应的管脚置零，尔后继续延时至需求时间第二短舵机与其差值构成的时间片，此时第二路舵机的调速时间为与第一路舵机的差值加上第一路舵机的调速时间，其结果即为第二路舵机实际需要的调速时间，调速完成后，再次利用掩码计算，将其对应管脚置低电平，依次重复上述过程，直至舵机组内所有舵机调速完成，最后再利用先前计算出的pwm填充时间，进行延时操作，完成一次完整的pwm调速工作。

3、视觉传感器模块:

机器人搭载独立的双目视觉系统，视觉处理芯片采用32位armcortex-m4/m0mcu4核处理器及安装于机器人头部的2个面阵ccd摄像头组成，视觉系统支持视频回传，将每秒50贞，每贞640×400像素的数据通过串行外设接口spi传输给机器人控制器。并由视觉控制器之上的图像传感信息处理模块对传感信息进行处理.该模块除了对传感信息进行处理之外，还应根据当前的图像信息获取效果对视觉传感器进行控制.控制信号由前端解码器解码，并发送至视觉传感器完成焦距、光圈等参数的调节，达到更好的传感信息获取效果及视觉追踪功能，机器人控制器通过视觉控制器传来的物体坐标来实现自我矫正和跟踪，在完成后又向视觉控制器获取更新的数据，依次往复，在视觉控制器和机器人控制器的完美配合下，保证目标处于摄像头的中心点附近，再通过头部2个舵机的变化数值实现头部跟踪和全身矫正。

4、姿态传感器模块

姿态传感器模块包括加速度计adxl345、磁强计hmc5883l和陀螺仪l3g4200d等传感器，工作时水平固定在机体上。姿态传感器模块与机器人驱动模块之间通过i2c总线通信，选用硬件i2c模式，完成主机对从机指令的写入及数据的读取。陀螺仪直接测量机体的旋转角速率，旋转角速率经过对时间的积分可得到相应的三轴转动角度关系。结合加速度计和磁强计得到三维的角度关系，融合加速度计和陀螺仪的测量结果，磁强计的测量结果用于计算机体朝向方位值，进而补偿偏向误差。陀螺仪的测量结果对时间实时积分可得到原始角度，加速度计测量重力方向并计算机体倾斜角度，较长时间则用加速度计的测量值修正陀螺仪对时间积分所产生的漂移，最后将未修正的测量结果与误差信号相加即可得到机体姿态角，并通过串口输出显示。

5、机器人控制器:

采用以达芬奇技术dsp+arm双核处理器为核心的专用计算机系统硬件平台，利用达芬奇框架和h.264算法组件搭建一个高质量、低成本的基于sip的流媒体传输系统。通过dsp编码模块，sip信令控制模块，rtp/rtcp实时数据传输模块，directshow播放模块，采用第三方公司提供数字视频软件开发包、soc视图化分析器、集成开发工具，构建机器人控制器。

6、电源及损管模块

机器人使用7.4v1800mah的锂电池组作为电源，该电池组具有1800mah的电池容量，能够为系统提供峰值5a的电流，并采用“升压－降压”供电方案，即通过扩展板自带的升压单元，将锂电池组的7.4v先升至9.0v给机器人驱动器供电，然后9.0v通过驱动器自带的降压电路为驱动器提供5v电源，通过lm2596降压模块为控制器及摄像头供电。此外引出7.4v电源接口，分别向机器人手臂和机器人下肢进行供电,并提供可以用无线遥控器控制的供电模块，分别控制三路继电器的吸合，从而实现对机器人控制器、机器人手臂、机器人下肢分别供电。在机器人出现异常时，能及时切断相关电源，尽可能减少机器人的损坏。

７、无线透传模块

无线透传模块支持802.11b/g/n无线标准，支持uart数据通讯接口，外置天线ipex连接器，用于实现串口到wifi数据包的双向透明转发，模块内部完成协议转换，串口一侧串口数据透明传输，wifi网络一侧是udpip数据包，通过串口使用at指令进行设置，一次设置永久保存。

无线透传通信协议采用协议头+协议主体+协议尾三部分进行封装，其正确性校验首先是依赖串口对每一字节的自动校验，另一部分是对协议体长度进行求和校验。由于对机器人进行控制时，需要读取缓冲区数据，这就要求保证当前被读取的缓冲区不能进行写入操作。故三缓冲区模型，其核心思想是采用三个独立的缓冲区，其中一个缓冲区为读取安全，另外两个缓冲区进行通信协议的接收工作。保证在任意时间，有一个缓冲区可以被安全读取，另外两个缓冲区负责接收新到达的数据，当需要获取新数据时，需要将读取缓冲区与两个接收缓冲区中完成接收的缓冲区所指向的内存块指针进行交换，从而获取新数据。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。