一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法

本发明涉及人机交互智能控制技术领域，尤其是一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法。

背景技术：

空间站作为航天站，是一种放置在太空中、固定在轨道上长期运行的巨型卫星，以载人从事各种太空活动，形成多用途航天中心。在实际运行中，空间站可以和多个航天器进行同时对接，形成大型轨道联合体。空间站的多种优势除了用于科学实验，还被应用在军事领域中，具有独特的军事应用功能，空间机器臂对于空间站的正常运行起着巨大的作用。

早期的空间站舱外空间机械臂控制通过键盘、按钮和示教盒进行的，操作复杂，只能完成简单任务。近几年，人机交互应用于国际空间站在轨操作，人机交互技术的研究核心是利用新型交互逻辑实现人体行为机能增强，建立异源多模态的人机交互范式，实现人与装备之间智能、自然的人机交互能力，建立一体化协同的信息流通机制。北京空间飞行器总体设计部研究人员提出了一种在轨人机交互系统。该系统的体系构架主要包括传感层、感知层和行为层三部分，感知层中有多源传感器能实时获取有效的视觉、听觉等多模态信息，感知层能进行各种特征分类、挖掘等复杂的运算，行为层则利用输入的指令直接驱动机器臂末端执行机构执行各项空间任务。

技术实现要素：

本发明所要解决的技术问题在于，提供一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法，消除了航天员由于在空间失重环境下身体不便或环境受限等原因在与空间机械臂进行交互时遇到的输入障碍，具有较高的控制可靠性。

为解决上述技术问题，本发明提供一种面向空间机械臂在轨操作的视线定位和语音控制系统，包括：图形用户模块、目标定位模块、语音信号采集模块、模式识别模块和控制模块；其中，图形用户模块用于用户操作选择及显示解码结果，目标定位模块用于定位操作者注视矩形块位置，语音信号采集模块用于采集四类语音信号，模式识别模块用于识别语音信号，控制模块将四类语音信号的解码结果通过udp网络通信传入构建的unity环境中，转换为控制信号，控制太空环境中的空间机械臂移动。

优选的，图形用户模块包括按键接口模块和解码结果显示模块，当操作者点击按键接口模块中的拍照按键时，opencv调用摄像头对操作者拍照；当操作者点击按键接口模块中的定位按键时，解码结果显示模块显示注视矩形块序号；当操作者点击按键接口模块中的录音时，利用电脑自带的麦克风采集语音信号；当操作者点击按键接口模块中的动作时，解码结果显示模块显示语音信号的解码结果。

优选的，目标定位模块包括图像采集模块、图像处理模块和图像识别模块，操作者注视机械臂初始位置或目标位置矩形块时，利用图像采集模块拍摄受试者人脸图像；图像处理模块利用opencv中的人眼识别分类器识别左、右眼图像，利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；图像识别模块采用卷积神经网络和高斯过程回归得到注视矩形块序号。

优选的，语音信号采集模块利用电脑自带的麦克风采集语音信号，每次采集时间持续1s，采集频率为16khz。

优选的，模式识别模块识别语音信号采集模块采集的语音信号，提取梅尔倒谱系数作为特征，采用循环神经网络进行分类，得到解码结果。

优选的，控制模块包括unity搭建的环境、空间机械臂模型和udp网络通信，用unity3d平台搭建空间机械臂模型；利用udp网络通信将模式识别模块得到的解码结果传递给unity3d平台，控制空间机械臂的中臂和大臂顺时针或逆时针运动。

相应的，一种面向空间机械臂在轨操作的视线定位和语音控制系统的控制方法，包括如下步骤：

s1、在unity3d平台中搭建一个空间机械臂，操作者注视空间机械臂初始位置，点击图形用户界面的拍照按键，操作者脸部图像，点击图形用户界面的定位按键，获取初始位置矩形块的序号，显示在屏幕上；受试者注视目标位置，点击图形用户界面的拍照按键，受试者脸部图像，点击图形用户界面的定位按键，获取目标位置矩形块的序号，显示在屏幕上；

s2、当初始位置矩形块的序号与目标位置矩形块的序号不同时，点击图形用户界面的录音按键，采集语音信号；

s3、点击图形用户界面的动作按键，提取语音信号特征，将解码结果显示在屏幕上，并将解码结果利用udp网络通信发送到电脑中，unity3d读取解码结果，控制空间机械臂运动；

s4、观察空间机械臂是否到达目标位置，若到达，则结束操作，若未到达，则返回步骤s2，直到空间机械臂到达目标位置。

优选的，步骤s1具体包括以下步骤：

s11、将电脑屏幕平均分为16×9块矩形，每块矩形标有序号且大小相同，为3.32×3.32cm²，以1号矩形块的左上角为坐标原点，计算每块矩形块左上角坐标；

s12、操作者注视空间机械臂末端的初始位置所在矩形，调用opencv中的摄像机拍摄操作者脸部图像，用opencv中的基于haar特征的级联boosted左、右眼分类器截取左、右眼图像；利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；将处理后的图像输入卷积神经网络中，将左右眼图像得到的坐标，输入高斯过程回归，得到操作者注视矩形坐标，计算矩形块序号；

s13、操作者注视空间机械臂末端的目标位置所在矩形块，调用opencv中的摄像机拍摄操作者脸部图像，用opencv中的基于haar特征的级联boosted左、右眼分类器截取左、右眼图像；利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；将处理后的图像输入卷积神经网络中，将左右眼图像得到的坐标，输入高斯过程回归，得到操作者注视矩形坐标，计算矩形块序号，判断初始位置矩形块与目标位置矩形块的相对位置，规划空间机器臂运动路径。

优选的，步骤s2具体为：用麦克风采集语音信号，生成wav格式语音文件，采集时间为1s，采集频率为16khz，音频声道数为2。

优选的，步骤s3具体包括以下步骤：

s31、将语音信号预加重、分帧、加窗后提取梅尔倒谱系数作为特征，将梅尔倒谱系数特征用主成分分析方法降维，采用循环神经网络对提取的特征进行分类，得到语音信号的解码结果；

s32、利用udp网络通信将解码结果发送到本机地址，unity3d从本机接收解码结果，将其作为控制信号控制空间机械臂中臂或大臂顺时针或逆时针运动。

本发明的有益效果为：本发明通过采集航天员的生物信息(眼睛图像、语音信号)控制空间机械臂在轨移动至目标位置；语音信号提取梅尔倒谱系数特征，采用循环神经网络进行分类，移动空间机械臂到达指定位置，该方法将眼睛图像和语音等生物信息融合，通过神经解码，实现航天员在轨操作空间机械臂，提高航天员在失重太空操作空间机械臂的稳定性与可靠性；本发明针对航天员在太空中失重的情况，采用通过生物信息控制太空环境下的空间机械臂移动的方法完成移动到指定位置的任务，达到较好的人-机交互效果。

附图说明

图1为本发明的方法流程示意图。

图2为本发明图形用户界面示意图。

图3为本发明目标定位模块屏幕矩形块分割示意图。

图4为本发明目标定位模块人眼检测haar-like特征示意图。

图5为本发明目标定位模块haar-like特征积分示意图。

图6为本发明目标定位模块双线性插值示意图。

图7为本发明目标定位模块示意图。

图8为本发明目标定位模块卷积神经网络示意图。

图9为本发明模式识别模块示意图。

图10为本发明模式识别模块循环神经网络示意图。

具体实施方式

如图1所示，一种面向空间机械臂在轨操作的视线定位和语音控制系统，包括：图形用户模块、目标定位模块、语音信号采集模块、模式识别模块和控制模块，其中，图形用户模块用于用户操作选择及显示解码结果，目标定位模块用于定位操作者注视矩形块位置，语音信号采集模块用于采集四类语音信号，四类语音信号包括left、right、down、up，控制模块将四类语音信号的解码结果通过udp网络通信传入构建的unity环境中，转换为控制信号，控制三维仿真环境中的空间机械臂运动。

用unity3d平台搭建虚拟空间机械臂，受试者注视空间机械臂初始位置，点击图形用户界面的拍照按键，受试者脸部图像，点击图形用户界面的定位按键，获取初始位置矩形块的序号，显示在屏幕上；受试者注视目标位置，点击图形用户界面的拍照按键，受试者脸部图像，点击图形用户界面的定位按键，获取目标位置矩形块的序号，显示在屏幕上；语音信号利用电脑自带的麦克风采集，每次采集时间持续1s，采集频率为16khz音频声道数为2；语音信号，提取梅尔倒谱系数作为特征，并用主成分分析方法降维，采用循环神经网络进行解码，得到解码结果；利用udp网络通信将解码结果传递给unity3d平台，控制空间机械臂移动至目标位置。

如图2所示，一种面向空间机械臂在轨操作的视线定位及语音控制方法，包括以下步骤：

s1、在unity3d平台中搭建一个三维空间机械臂仿真模型，操作者注视空间机械臂初始位置，点击图形用户界面的拍照按键，操作者脸部图像，点击图形用户界面的定位按键，获取初始位置矩形块的序号，显示在屏幕上；操作者注视目标位置，点击图形用户界面的拍照按键，操作者脸部图像，点击图形用户界面的定位按键，获取目标位置矩形块的序号，显示在屏幕上。具体的：

s11、将电脑屏幕平均分为16×9块矩形，每块矩形标有序号且大小相同，为3.32×3.32cm²，以1号矩形块的左上角为坐标原点，计算每块矩形块左上角坐标，如图3所示。

s12、操作者注视空间机械臂末端的初始位置所在矩形，调用opencv中的摄像机拍摄操作者脸部图像，用opencv中的基于haar特征的级联boosted左、右眼分类器截取左、右眼图像；haar-like特征是一些可以用来表示边缘、线性或者特定方向分布的黑白相间的矩形块。用haar-like特征可以描述人眼的特征，当某个特征通过了所有分类器的筛选时，可判定该区域为人眼区域。基于haar特征的adboost截取人眼图像步骤如下：

1)计算特征值：

f＝σpw-σpb；

haar-like特征图如图4所示，其中，pw表示白色矩形块的像素值，pb表示黑色矩形块的像素值。

2)为了简化特征值的计算过程，引入积分图的概念，如图5所示：

其中，p(x,y)表示坐标为(x,y)点的像素值。xa、xf、xc、xe、xb、xd分别为a、f、c、e、b、d点的横坐标，ya、yf、yc、ye、yb、yd分别为a、f、c、e、b、d点的纵坐标

3)使用adaboost算法训练区分人脸和非人脸的强分类器，方法如下：

(a)给定训练样本集s{(x1,y1),(x2,y2),...,(xn,yn)}，其中yi∈{0,1}，yi＝0代表负样本(非人眼)，yi＝1代表正样本(人眼)，n为样本总数

(b)初始化样本权重为

(c)归一化权重为其中wt,i表示第t轮训练中第i个样本的权重

在当前样本权重下，训练每一个矩形特征所对应的弱分类器hj，计算hj对应的加权错误率εj：

其中wt,i表示第t轮训练中第i个样本的权重，hj(xi)表示第j个弱分类器对第i训练样本的判断输出值。选出具有最小加权错误率的弱分类器即为此论训练得到的最佳弱分类器；

更新样本权重为

其中βt＝εt/(1-εt)，第i个样本正确分类ei＝0，第i个样本错误分类ei＝1；

(d)得到强分类器：

利用多级强分类器级联筛选并截取人眼部分。

利用双线性插值原理使图像大小为130*130像素，双线性插值原理如下：

如图6所示。利用周围点的像素值计算中心点像素值，达到扩大图片大小的目的。

其中，q11,q12,q21,q22,r1,r2,p分别代表对应坐标下的像素值。

将图像进行灰度和直方图均衡化处理:

gray＝0.299*r+0.587*g+0.114*b

其中，r表示r通道的像素值，g表示g通道的像素值，b表示b通道的像素值，gray表示图片的灰度值。

灰度直方图是灰度级的函数,反映的是图像中具有该灰度级像素的个数,横坐标是灰度级,纵坐标是该灰度级出现的频率(即像素的个数)，灰度直方图描述的是图像灰度级的分布情况。为了增加图像灰度的动态范围，提高图像的对比度，将直方图均衡化。

将均衡后的图像灰度值标准化：

其中，z表示标准化后的灰度值，x表示均衡化后灰度值，μ表示灰度值均值，σ表示灰度值方差。

将处理后的标准化灰度值输入卷积神经网络(cnn)中，卷积神经网络如图8所示。将左右眼图像得到的坐标，输入高斯过程回归(gpr)，得到操作者注视矩形坐标，计算矩形块序号。如图7所示。

高斯过程回归选择径向基核计算协方差。

其中，xi和xj表示第i个和第j个样本，ki,j表示xi和xj之间的协方差方程，α设置为0.1，l为长度尺度，设为0.5。

s13、操作者注视空间机械臂末端的目标位置所在矩形块，调用opencv中的摄像机拍摄操作者脸部图像，用opencv中的基于haar特征的级联boosted左、右眼分类器截取左、右眼图像；利用双线性插值原理使图像大小为130*130像素，将图像进行灰度和直方图均衡化处理；将处理后的图像输入卷积神经网络中，将左右眼图像得到的坐标，输入高斯过程回归，得到操作者注视矩形坐标，计算矩形块序号，判断初始位置矩形块与目标位置矩形块的相对位置，规划空间机器臂行动路线。目标定位模块卷积神经网络示意图如图4所示。

s2、当初始位置矩形块的序号与目标位置矩形块的序号不同时，点击图形用户界面的录音按键，采集语音信号；

s21、用麦克风采集语音信号，生成wav格式语音文件，采集时间为1s，采集频率为16khz，音频声道数为2；

s3、点击图形用户界面的动作按键，提取语音信号特征，得到解码结果，语音信号识别过程如图9所示。将解码结果显示在屏幕上，并将解码结果利用udp网络通信发送到电脑中，unity3d读取解码结果，控制三维虚拟环境中的空间机械臂运动；

s31、读取语音信号文件，将语音信号预加重、分帧、加汉明窗后提取梅尔倒谱系数(melfrequencycepstralcoefficients，mfcc)作为特征，将语音信号提取的梅尔倒谱系数特征用主成分分析方法(principlecomponentanalysis，pca)降维，每帧选取12个主要成分。

将400个采样点集合成一个观测单位，称为帧，为了避免相邻两帧的变化过大，两相邻帧之间取240个重复的取样点，将语音信号分为了98帧。将每一帧上加上汉明窗，增加帧左端和右端的连续性。汉明窗的公式如下：

其中，a取0.46，n为采样点个数。

分帧后的信号为s(n)，则加汉明窗后的信号为：

s′(n)＝s(n)×w(n，a)；

将分帧信号经过快速傅里叶变换得到频谱上的能量分布：

将经过快速傅里叶变换的信号取绝对值的平方得到语音信号的能量谱。将能量谱通过一组有40个三角形滤波器的滤波器组。

第m个三角滤波器的频率响应定义为：

其中，f(m)表示第m个三角滤波器的中心频率，

第m个滤波器对分帧信号进行滤波后得到的能量值为：

三角带通滤波器对频谱进行平滑化，并消除谐波的作用，突显语音信号的共振峰。

将得到的能量值进行离散余弦变换(discretecosinetransform,dct)，得到梅尔倒谱系数：

其中，l为梅尔倒谱系数的阶数，取12。m为三角滤波器的个数，取40。

s32、采用循环神经网络对语音信号提取的特征进行解码，得到解码结果，循环神经网络(rnn)结构如图10所示。

s32、利用udp网络通信将解码结果发送到本机地址，unity3d从本机接收解码结果，将其作为控制信号控制三维虚拟环境中的空间机械臂运动。如表1所示，当语音信号为left时，空间机械臂小臂逆时针转动；当语音信号为right时，空间机械臂小臂顺时针转动；当语音信号为down时，空间机械臂中臂逆时针转动；当语音信号为up时，空间机械臂中臂顺时针运动。

表1控制指令与空间机械臂动作对应关系

s4、观察三维虚拟仿真环境中空间机械臂是否到达目标位置，若到达，则结束操作，若未到达，则返回步骤s2，直到空间机械臂到达目标位置；

综上，操作者利用图形用户界面完成移动空间机械臂达到目标位置的任务，操作者注视初始位置，当点击拍照按键时，拍摄操作者脸部图像，点击定位按键，获取初始位置矩形块的序号，显示在屏幕上；操作者注视目标位置，点击拍照按键，拍摄操作者脸部图像，点击定位按键，获取目标位置矩形块的序号，显示在屏幕上。点击录音按键，用电脑自带的麦克风采集语音信号；点击动作按键，模式识别模块解码四类语音信号(left、right、down、up)结果；控制模块将语音信号的解码结果通过udp网络通信传入构建的unity环境中，转换为控制信号，控制虚拟仿真环境中的空间机械臂移动至目标位置。本发明针对航天员在太空中失重的情况，采用通过生物信息控制太空环境下的空间机械臂移动的方法完成移动至目标位置的任务，达到较好的人-机交互效果。

本发明将视线跟踪技术与语音识别技术应用到失重环境下空间机械臂的末端定位与姿态控制。视线跟踪与语音控制摆脱了对肢体动作的要求，突破了依赖航天员操作鼠标键盘、操作杆等传统手动控制的局限性，消除了由于在空间失重环境下身体不便或环境受限等原因在与空间机械臂进行交互时遇到的输入障碍，实现双向多模态人机交互，完成空间机械臂在太空捕获失效的卫星、或完成空间站装备作业，增强我国在太空领域的优势。