一种基于手势和眼动的无人机操控方法、装置和系统与流程
本申请涉及无人机技术领域，尤其涉及一种基于手势和眼动的无人机操控方法、装置和系统。
背景技术：
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，或者由车载计算机完全地或间歇地自主地操作。伴随科技的发展，面对人类无法胜任的高难度、高风险与高含量的任务，无人机应运而生。它替代有人驾驶的飞机去执行这些任务。无人机是一种用无线电来操控的设备，遂有人称其为遥控驾驶航空器。它能够趋于完美的利用人工智能、信号处理和自动驾驶等精尖技术，并由于它具有体积小、无人驾驶和航程远等优势被广泛应用，在自然环境考察、科普研究、农业领域、维护国家主权与公共卫生安全等等许多方面都有所应用。目前这种趋于多元化的应用使得各国都加快探索、开发的步伐。
目前，市面上的消费级无人机产品大小种类繁多，操作方式也各有不同，最常使用的无人机控制需要配备双手操控的双杆遥控器。随着无人机技术的不断成熟，现在的无人机智能化步伐十分迅速，无人机自动避障、路径规划、自动巡航、智能跟随、一键返航等功能改进创新层出不穷，无人机的功能越多越完善，这使得无人机操控方法也是越来越复杂、不可避免的无人机的零部件也会越来越多，在丰富功能体验的同时，也使得操作十分不便，无人机炸机坠毁的事也屡见不鲜。尤其是对于对无人机不熟悉的新手而言，一本厚厚的说明书以及繁复的控制程序是不太友好的，而且一旦发生事故，伤及人员，更是得不偿失。因此在无人机功能如此复杂多样化的前提下，简化用户操作，实现多模态的无人机控制方式是十分钟重要的。
综上所述，需要提供操作方法简单的多模态无人机控制方法、装置和系统。
技术实现要素：
为解决以上问题，本申请提出了一种基于手势和眼动的无人机操控方法、装置和系统。
一方面，本申请提出一种基于手势和眼动的无人机操控方法，包括：
手戴设备采集手势信号，发送至头戴设备；
头戴设备处理手势信号，得到控制指令；
头戴设备采集眼动信号并处理，得到模式指令；
头戴设备发送所述控制命令与模式命令至无人机，控制无人机飞行。
优选地，所述处理手势信号，得到控制指令，包括：
对所述手势信号进行预处理、特征提取和特征处理，得到手势识别结果；
根据手势识别结果得到对应的控制指令。
优选地，所述采集眼动信号并处理，得到模式指令，包括：
采集眼动信号，对所述眼动信号进行预处理、特征提取和特征处理，得到眼动识别结果；
根据眼动识别结果得到对应的模式指令。
优选地，还包括：
头戴设备接收无人机所采集的周围环境的视频流数据和深度数据，处理所述视频流数据和深度数据，生成周围环境的全息影像并显示。
优选地，还包括：
头戴设备接收无人机所获取的自身的位姿数据，解算所述位姿数据，得到姿态样式并显示。
第二方面，本申请提出一种基于手势和眼动的无人机操控装置，包括：手戴设备和头戴设备；所述手戴设备，用于采集手势信号，发送至头戴设备；
所述头戴设备，用于处理手势信号，得到控制指令；采集眼动信号并处理，得到模式指令；发送所述控制命令与模式命令至无人机，控制无人机飞行。
优选地，所述头戴设备还用于处理环境和深度数据，生成周围环境的全息影像并显示；解算位姿数据，得到姿态样式并显示。
优选地，所述头戴设备包括：
眼动采集模块，用于采集眼动信号，并传输至人体生理信号处理模块；
第一通信模块，用于接收所述手势信号，传输至人体生理信号处理模块；
人体生理信号处理模块，用于对所述手势信号和所述眼动信号进行处理，得到控制指令和模式指令；
控制模块，用于将控制指令和模式指令发送至第一通信模块，控制显示模块显示。
优选地，所述头戴设备还包括：
图像处理和空间映射模块，用于处理视频流数据和深度数据，生成周围环境的全息影像；
无人机位姿解算模块，用于解算位姿数据，得到姿态样式；
显示模块，用于显示全息影像、姿态样式和无人机信息；
第一通信模块，还用于接收视频流数据和深度数据，传输至图像处理模块，接收位姿数据，传输至位姿解算模块，接收无人机信息，发送控制指令和模式指令至无人机。
第三方面，本申请提出一种基于手势和眼动的无人机操控系统，其采用上述的装置，还包括：
无人机，用于采集无人机周围环境和深度数据，发送至头戴设备；采集无人机的位姿数据，发送至头戴设备；根据控制命令与模式命令飞行。
本申请的优点在于：基于手势和眼动相结合，简化了无人机的操控方法，实现多模态的无人机操控。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：
图1是本申请提供的一种基于手势和眼动的无人机操控方法的步骤示意图；
图2是本申请提供的一种基于手势和眼动的无人机操控装置的示意图；
图3是本申请提供的一种基于手势和眼动的无人机操控装置的手戴设备示意图；
图4是本申请提供的一种基于手势和眼动的无人机操控装置的操控手势示意图；
图5是本申请提供的一种基于手势和眼动的无人机操控装置的眼动采集界面示意图；
图6是本申请提供的一种基于手势和眼动的无人机操控装置的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本申请的实施方式，提出一种基于手势和眼动的无人机操控方法，如图1所示，包括：
手戴设备采集手势信号，发送至头戴设备；
头戴设备处理手势信号，得到控制指令；
头戴设备采集眼动信号并处理，得到模式指令；
头戴设备发送所述控制命令与模式命令至无人机，控制无人机飞行。
所述处理手势信号，得到控制指令，包括：
对所述手势信号进行预处理、特征提取和特征处理，得到手势识别结果；
根据手势识别结果得到对应的控制指令。
通过手戴设备采集使用者的手势信息(手势信号)，并将手势信号传输到头戴设备进行分析处理，分析出的结果映射为对应的控制指令发送到无人机，控制无人机做出相应的姿态以及方向的变化。
所述传输方式包括无线方式。
头戴设备采集使用者的眼动信息，进行处理分析，分析出的结果映射为对应的模式指令发送到无人机，使无人机做出相应的模式变换。
手势信号的识别方法包括：基于数据手套的方法、基于肌电信号的方法、基于计算机视觉的方法和基于可穿戴传感器的方法等。
手势信号的识别算法包括：深度学习算法、反向传播(backpropagation，bp)神经网络算法、动态时间规整(dynamictimewarping，dtw)算法和隐马尔可夫模型(hiddenmarkovmodel，hmm)模型等。
手势信号的识别算法以隐马尔可夫模型为例，一个hmm可由λi＝(s,o,a,b,π)来描述，亦可简写为λi＝(π,a,b)，其中，s为隐含状态集合，o为观测状态集合，a为隐含状态的转移概率矩阵，b为观测状态概率分布，π为初始状态概率分布向量。
步骤包括:鉴于加速度数据的时序性，选用bakis类型hmm(自左到右的hmm模型)分别对各个手势动作进行建模，并初始化模型参数λi＝(a,b,π)；分别反复采集各个手势动作信号的数据，并利用baum-welch算法来对手势模型λi进行训练，使模型参数尽可能趋于收敛，得出对应手势的最优λi；选用viterbi算法作为各个手势对应的hmm识别方法，即将输入手势的加速度特征序列分别与训练好的λi进行计算评估，取其概率输出最大的λi为对应手势动作的识别结果。
所述采集眼动信号并处理，得到模式指令，包括：
采集眼动信号，对所述眼动信号进行预处理、特征提取和特征处理，得到眼动识别结果；
根据眼动识别结果得到对应的模式指令。
眼动信号的算法包括：反向传播(backpropagation，bp)算法、支持向量机(supportvectormachine,svm)算法和动态时间规整(dynamictimewarping，dtw)算法等。
眼动信号的识别算法以支持向量机算法为例，对眼动信号的特征提取基于下述过程实现：
设可分数据集d＝{(xi，yi)|i＝1，2，…,n}，其中输入向量xi∈rd，rd为d维实数平面，目标数据为yi∈{-1,+1}，若xi∈rd属于第1类，则yi标记为正，即yi＝1，若属于第2类，则yi标记为负，即yi＝-1。
可分数据集d为眼动数据，是经过眼动采集处理后得到的数据。
内积函数(核函数)k(xi,x)可以通过下述三种算法进行求解：
多项式函数：
k(xi,x)＝[1+(xi·x)]d
其中d为d维空间(实数平面)，xi·x表示xi与x内积；
多层神经网络函数：
k(xi,x)＝tanh(v(xi·x)+c)
其中，h()表示函数，v表示一个标量，c表示位移参数；
径向基函数：
其中σ为径向基函数(radialbasisfunctionnetwork，rbf)核的超参数；
求解后得到最优决策函数为：
其中sgn为符号函数，*表示所确定的最优决策函数中的最优参数，ai为拉格朗日乘子，偏值参数b在求解中通过以下公式求解：
其中nnsv为标准支持向量数，jn为标准支持向量的合集，j为支持向量的合集。
所述方法还包括：
头戴设备接收无人机所采集的周围环境的视频流数据和深度数据，处理所述视频流数据和深度数据，生成周围环境的全息影像并显示。
所述方法还包括：
头戴设备接收无人机所获取的自身的位姿数据，解算所述位姿数据，得到姿态样式并显示。
根据本申请的实施方式，还提出一种基于手势和眼动的无人机操控装置，包括：手戴设备和头戴设备；
所述手戴设备，用于采集手势信号，发送至头戴设备；
所述头戴设备，用于处理手势信号，得到控制指令；采集眼动信号并处理，得到模式指令；发送所述控制命令与模式命令至无人机，控制无人机飞行。
手戴设备包括带有微电机系统(micro-electro-mechanicalsystem，mems)惯性传感器的指环。
头戴设备为包括眼动仪和摄像头的头戴式智能增强现实(augmentedreality，ar)系统设备。
所述头戴设备还用于处理环境和深度数据，生成周围环境的全息影像并显示；解算位姿数据，得到姿态样式并显示。
如图2所示，所述头戴设备包括：
眼动采集模块，用于采集眼动信号，并传输至人体生理信号处理模块；
第一通信模块，用于接收所述手势信号，传输至人体生理信号处理模块；
人体生理信号处理模块，用于对所述手势信号和所述眼动信号进行处理，得到控制指令和模式指令；
控制模块，用于将控制指令和模式指令发送至第一通信模块，控制显示模块显示。
所述对所述手势信号和所述眼动信号进行处理，包括：数字信号预处理、特征信号提取和特征信号处理。
采集到的手势信号和眼动信号均由人体生理信号处理模块进行处理，通过对数字信号(手势信号和眼动信号)进行预处理，对数字化的生理电信号去基线漂移、工频陷波等处理，得到更干净的数字信号，之后，对经过预处理的数字信号进行特征信号提取和特征处理。
如图2所示，所述手戴设备包括：手势采集模块和第二通信模块。
所述手戴设备还包括电源模块。
所述手势采集模块包括：加速度计、陀螺仪、arm处理器、数据采集单元。
所述数据采集单元包括数模转换器(analog-to-digitalconverter，adc)。
手势控制用于调整无人机飞行速度和方向。
眼动控制用于微观的飞行姿态调整和模式转化。
在控制无人机调整俯仰、偏航、测滚角度以及无人机加速减速时，通过第二通信模块将手戴设备上的人手运动轨迹传输到头戴设备中的人体生理信号处理模块、并根据分析好的识别结果发送指令给无人机系统使无人机按照人手运动轨迹进行位姿调整。
如图3所示，以手戴设备采集食指、中指、无名指、小拇指第二指节的手势信号为例。
如图4所示，以五种手势对应五个对应指令为例，五种手势分别为五指张开、握拳、手掌旋内旋外、手掌前屈后伸、手掌外展内收，手势对应的指令为减速、加速、滚转、俯仰、偏航方式。
手势信号的识别算法以隐马尔可夫模型为例，为每个手势建立一个hmm模型。每个手势有单独的开始和结束状态。根据手势的复杂度，不同手势的状态数不相同。手势识别的正确率会随着状态数的增加而提高，然而模型的复杂度以及计算时间的复杂度也会随之增加。将状态个数设置为5到10个，针对手势的复杂性设置不同的状态数目。基于有时序特征的传感器数据的手势模型，通常使用自左到右模型(bakis类型hmm)。
自左到右模型中，状态只能从较低下标的状态转移到较高下标的状态。后边的状态不能跳转到前边的状态。因此，在此模型中，从后向前转移的概率设置成0，假设步长超过2的转移概率为0。为了保证自左向右模型的每个状态都是可达的，模型最初的状态为状态1，也即初始的状态1发生的概率为1，其他的状态概率为0。
自左向右模型λi＝(π,a,b)，其中a为隐含状态的转移概率矩阵，b为观测状态概率分布，π为初始状态概率分布向量，它是一个1×n阶矩阵，πi表示模型在手势开始时处于状态i的概率，需要满足以下条件：
π1＝1
πi,i≠1＝0
即初始状态空间概率分布为：π＝(1,0,…,0)。
其次是第二个参数a，状态转移矩阵，对于自左向右模型来说，一个8状态的自左向右模型的转移矩阵为：
状态转移矩阵a中的每个状态转移到自身、下一个、下下一个的概率相同，从后面状态转移到前边状态以及转移到步长超过2的状态的概率为0，符合手势数据与时序相关的特征。
参数b，它的元素bij是指状态i对应观察值为j的概率。以状态数是5到10为例，设当前状态数为10，则b为：
利用baum-welch算法来对手势模型λi进行训练，使模型参数尽可能趋于收敛，得出对应手势的最优λi。
选用viterbi算法作为各个手势对应的hmm识别方法，即将输入手势的加速度特征序列分别与训练好的λi进行计算评估，取其概率输出最大的λi为对应手势动作的识别结果。
如图5所示，眼动采集界面屏幕呈现的区域为视觉三维界面，左上角区域代表定位模式、右上角区域代表姿态模式、左下角区域代表运动模式、右下角区域代表一键返航模式。定位模式通过卫星定位来进行自动增稳、悬停、返航等标准操作。运动模式是定位模式基础上的加速模式，自动避障关闭，速度提升。姿态模式不使用定位，速度提升、更平滑但较危险。一键返航模式无人机自动测定与返航点的高度和水平距离，自动返航。
眼动信号的识别算法以支持向量机算法为例，在进入眼动捕捉(眼动采集)后，会根据眼球相对的位移轨迹使用svm特征识别测算出使用者进入了哪种模式。在进入该模式前，在屏幕上将显示进入该模式的10秒倒计时，并且在无人机进入该模式后锁定当前模式，避免误操作。
以根据人体眼动，按顺序依次左上、左下、右上、右下所产生的标记为例，在根据人体眼动按顺序依次左上、左下、右上、右下所产生的标记的眼动信号经过a/d转换电路后，进行训练，并将训练后的初始化参数输入给支持量机分类器分类。svm是基于统计学习理论和结构风险最小化原则，其基本思想是把输入空间的样本通过非线性变换映射到高维特征空间，然后在特征空间中求取把样本线性分开的最优分类面。利用支持向量机算法将肌电信号分类用于无人机的模式变换。
以基于svm的眼动信号特征提取为例，通过非线性映射，svm使得输入向量x映射到一个高维的特征空间，通过定义适当的内积函数实现非线性变换，最终在这个高维空间中构造最优分类超平面z。
设可分数据集d＝{(xi,yi)|i＝1,2,…,n}，其中输入向量xi∈rd，rd为d维实数平面，目标数据为yi∈{-1,+1}，如果xi∈rd属于第1类，则yi标记为正，即yi＝1，如果属于第2类，则yi标记为负，即yi＝-1。
通过映射这些输入向量到一个高维的再生核希尔伯特空间(reproducingkernelhilbertspace，rkhs)，其中线性机是由最小化一个正则化泛函所构造的。针对训练样本集为非线性的情况，分类超平面方程为：
其中，w表示超平面的法向量，w∈rd进行了规范化处理；
通过该函数在可能为无限大维数的线性空间中构造最优分类超平面，并求解分类器的决策函数；b∈r为偏置参数。
支持向量(supportvector，sv)就是那些在h1与h2上距离最优超平面最近的点。h1和h2分别是过两个样本中距离h(超平面)最近点的直线。
决策函数为：
其中sgn为符号函数。svm通过以下的二次规划问题进行求解：
如果在一个高维空间中，数据仍然不是可分离的，可以增加惩罚系数
yi(＜w，φ(xi)＞+b)≥1-ξi,ξi≥0，i＝1,…,l,
其中，φ(xi)为高维空间中的非线性函数，c为惩罚参数，c越大表示对错误分类的惩罚越大，c>0，ξi为松弛变量，ξi>＝0。c—支持向量分类机的对偶最优问题如下：
其中标量积φ(xi)·φ(xj)(高维空间中的
多项式函数：
k(xi,x)＝[1+(xi·x)]d
其中d为d维实数平面，xi·x表示xi与x内积；
多层神经网络函数：
k(xi,x)＝tanh(v(xi·x)+c)
其中，h()表示函数，v表示一个标量，c表示位移参数；
径向基函数：
其中σ为径向基函数(radialbasisfunctionnetwork，rbf)核的超参数；
求解后得到最优决策函数为：
其中sgn为符号函数，*表示所确定的最优决策函数中的最优参数，ai为拉格朗日乘子，偏值参数b在求解中通过以下公式求解：
其中nnsv为标准支持向量数，jn为标准支持向量的合集，j为支持向量的合集。
使用人体生理信号处理模块对采集到的手势信号和眼动信号的原始信号进行预处理，基于自适应高通滤波器和自适应50hz的工频陷波滤波器对手势信号和眼动信号进行滤波处理，然后用有限长单位冲激响应(finiteimpulseresponse，fir)滤波器对手势信号和眼动信号进行滤波处理，根据信号的有效频段特征，选取手势信号的截止频率为：2hz和200hz，选取眼动信号的截至频率为8hz和90hz。
手势信号与眼动信号同步采集。手势采集模块和眼动采集模块之间通过蓝牙连接，实现同步采集。
所述手势信号采用异步控制的策略输出控制指令。
所述眼动信号采用异步控制的策略输出模式指令。
如图6所示，预设好步长和阈值，系统根据步长来截取数据并用于特征提取和分类，当得到的预测结果相关系数值p达到阈值ptrd时才将此数据片段记为一次有效数据；当得到的预测结果相关系数值p达不到阈值ptrd时，返回重新进行信号采集。当累计有3次相同眼动、手势，且有效的预测结果，即ntrd＞3时，输出控制指令和/或模式指令。
所述头戴设备还包括：
图像处理和空间映射模块，用于处理视频流数据和深度数据，生成周围环境的全息影像；
无人机位姿解算模块，用于解算位姿数据，得到姿态样式；
显示模块，用于显示全息影像、姿态样式和无人机信息；
第一通信模块，还用于接收视频流数据和深度数据，传输至图像处理模块，接收位姿数据，传输至位姿解算模块，接收无人机信息，发送控制指令和模式指令至无人机。
所述无人机信息包括动力、电量、高度、速度等多个重要参数信息。
头戴设备可以实时显示无人机周围环境的全息影像、无人机的姿态样式和无人机信息，能够实现沉浸式的操纵无人机，了解无人机当前的飞行环境。
根据本申请的实施方式，还提出一种基于手势和眼动的无人机操控系统，其采用上述的装置，还包括：
无人机，用于采集无人机周围环境和深度数据，发送至头戴设备；采集无人机的位姿数据，发送至头戴设备；根据控制命令与模式命令飞行。
所述周围环境数据包括周围环境的视频流数据。
本申请的方法中，通过手势和眼动相结合，简化了无人机的操控方法，实现多模态的无人机操控。通过增强现实技术，并在增强现实系统中实现手势与无人机交互、眼动与无人机交互、无人机图像实时显示，为无人机控制呈现一个场景更加立体的、信息更加丰富的、环境更加自然亲切的无人机交互界面。通过采集手势信号和眼动信号对无人机进行操控，操作方便，学习简单，减少炸机的风险。基于手势和眼动的双模态无人机操控方法，比单一手柄控制方式分类风险低、可分类模式多样化、环境适应性强、操作简单，在控制无人机的飞行过程中，手、眼、机能够更加自然和协调配合，充分实现系统全面、动态的优势组合。基于mems传感器的手势识别方式具有很高的可靠度和辨识精度。比起基于图像识别的手势控制方式，基于mems传感器的手势识别方式不受环境光、背景色的影响，采集数据稳定，信号处理简单。基于mems传感器的手势控制方式在面临复杂环境时候，不容易受到突然而来的雾霾、阴雨、雷暴等天气的影响，当有物体不小心遮挡在手与摄像设备之间，也不会受到影响。头戴设备在眼镜界面前方的虚拟屏幕中能够显示无人机的动力、电量、高度、速度等多个重要参数信息，方便实时掌握无人机的飞行状态。还可以切换到无人机的航拍画面，即可沉浸式地操纵无人机，了解当前飞行环境，给人以身临其境的体验。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！