扩展现实环境下基于图像动态手势无人机控制装置及方法

本发明涉及到扩展现实无人机控制领域，具体的，涉及一种扩展现实环境下基于图像动态手势无人机控制装置及方法。

背景技术：

1、在人们的日常生活中，手势是人们最常使用的交流方式之一，在社交中扮演了重要的角色。同时，随着人工智能与人机交互技术的不断发展，手势识别技术的准确性和鲁棒性得到了大幅提升，在虚拟现实、增强现实和扩展现实领域也存在着广泛应用。现阶段，通过分类或回归模型实现静态手势识别并将单一指令发送至无人机的控制形式较为常见，但这种方法的灵活性和实时性较差，无法满足实际应用需求。无人机控制包含多个自由度，静态手势不仅限制了指令的复杂度，同时在指令切换和系统识别耗时方面存在较大缺陷，使无人机的效能大大降低。在这种情况下，基于动态手势识别方法为无人机控制提供了新的选择。

2、扩展现实环境(extended reality,xr)是通过计算机将真实世界与虚拟世界相结合，构成的可实现人机交互的虚拟环境，主要包括增强现实(augmented reality,ar)、虚拟现实(virtual reality,vr)、混合现实(mixed reality,mr)，旨在为体验者带来虚拟世界与现实世界之间无缝切换的“沉浸感”。

3、目前基于图像的手势识别方法按手势实时性可分为静态手势和动态手势，静态手势识别仅针对单个手型，主要包括手势分割及手势识别两部分，maciej czupryna和michalkawulok等人通过提取手势的几何特征来完成分类。tofighi等人使用二值化手势图像并统计其直方图特征完成手势分割，最后对形态学处理后的图像进行归一化。浙江大学赵亚飞等人提出了一种基于方向梯度直方图和pca-lda的静态手势识别方法，在增加旋转样本后，该方法的识别准确率可达95％以上。然而，当前静态手势识别方法依旧存在着难以识别区分度较小的手势、实时性差，以及识别指令有限的缺点。

4、随着深度摄像机与动作捕获设备的普及，基于图像动态手势识别技术逐渐成为主流，整个识别流程由四个关键步骤组成：手势检测与分割、手势追踪、特征提取和手势分类。其中，手势检测与分割可以基于运动信息、外观特征、学习算法或骨架模型完成，手势具有的高自由度以及手势背景的复杂性，单一方法难以避免噪声的影响，采用多方法综合可以大幅度提高手势检测与分割效果。在动态手势识别中，持续不断的手势追踪对于手势识别十分重要，这意味着空间分割和时间分割对于识别动态手势是极其必要的。常见的手势追踪算法主要包括基于运动信息的手势追踪、基于匹配的手势追踪、基于扩展外观模型匹配的手势追踪、基于稀疏表示的手势追踪以及基于深度信息的手势追踪。yuan等人提出了一种基于多特征融合的模型，并将其应用于视觉追踪的相关滤波框架中，该模型在提高追踪器的跟踪性能和鲁棒性方面非常有效。khan等人结合运动目标的空间信息，有效解决了运动目标遮挡带来的跟踪效果下降的问题。上海交通大学邓瑞等人利用kinect获取图像信息，根据距离分割方法定位手势，实现并优化了基于隐马尔科夫模型的动态手势识别，通过该手势识别系统可进行三维场景下的视频会议。喻纯等人基于触摸手检测的智能电子设备手势捕获与识别方案，通过设置镜面装置使得智能电子设备如手机能够捕捉新手势以及构建双目视觉系统。

技术实现思路

1、本发明的目的在于提供一种扩展现实环境下基于图像动态手势无人机控制装置及方法，解决现有的动态手势控制无人机时控制界面不直观，控制精度不搞，用户难以快速掌握的问题，将基于图像动态手势识别与xr环境相结合应用到无人机控制领域，可使得用户摆脱无人机遥控器的限制，快速、灵活地发送指令实现无人机控制。

2、本技术的第一方面，提供了本技术第一方面的第一扩展现实环境下基于图像动态手势无人机控制装置，包括依次通讯连接的手部信息采集模块、信息处理模块、手势检测模块、交互界面模块、无人机控制模块；所述手部信息采集模块用于持续采集无人机操作者的手部图像；所述信息处理模块用于识别所述手部图像中手部关键点的三维坐标信息；所述手势检测模块用于根据所述手部关键点的三维坐标信息进行手势检测，并输出检测结果；所述交互界面模块用于接收所述检测结果，根据检测结果更新扩展现实交互显示内容，并生成交互响应；所述交互响应用于指示下一时刻无人机飞机状态；所述无人机控制模块，基于所述交互响应对无人机进行控制。

3、根据本技术第一方面的第一扩展现实环境下基于图像动态手势无人机控制装置，提供了根据本技术第一方面的第二动态手势无人机控制装置，所述基于所述交互响应对无人机进行控制，具体为，在所述交互界面生成与无人机第一飞机状态对应的第一显示标识；基于所述手势检测结果改变所述第一显示标识生成第二显示标识，以使得无人机根据所述第二显示标识改变飞机状态。

4、根据本技术第一方面的第二扩展现实环境下基于图像动态手势无人机控制装置，提供了根据本技术第一方面的第三动态手势无人机控制装置，所述显示标识包括状态图案和状态文本；状态图案用于以图像形式映射出无人机的飞机状态；状态文本用于以文本形式指示当前手部图像相对于状态图案的具体位置信息。所述图像形式可以理解为状态图案+颜色。

5、根据本技术第一方面的第三扩展现实环境下基于图像动态手势无人机控制装置，提供了根据本技术第一方面的第四动态手势无人机控制装置，所述指示标识为状态球，其颜色指示无人机的不同飞行状态，在飞控状态下，状态球球心为指令的坐标原点，无人机速度由状态球指向指尖的向量按比例计算，状态文本指示当前指尖相对于以所述状态球为原点的坐标系下的坐标。

6、根据本技术第一方面的第一扩展现实环境下基于图像动态手势无人机控制装置，提供了根据本技术第一方面的第五动态手势无人机控制装置，所述手部信息采集模块用于采集操作者的手部图像，具体为，通过可穿戴设备包含的摄像头采集。

7、本技术的第二方面，提供了本技术第二方面的第一扩展现实环境下基于图像动态手势无人机控制方法，包含持续采集无人机操作者的手部图像；识别所述手部图像中的三维坐标信息；根据所述三维坐标信息进行手势检测，并输出检测结果；接收所述检测结果，根据检测结果更新扩展现实交互显示内容，并生成交互响应；所述交互响应用于指示下一时刻无人机飞机状态；基于所述交互响应对无人机进行控制。

8、根据本技术第二方面的第一扩展现实环境下基于图像动态手势无人机控制方法，提供了根据本技术第二方面的第二动态手势无人机控制方法，所述基于所述交互响应对无人机进行控制，具体为，在所述交互界面生成与无人机第一飞机状态对应的第一显示标识；基于所述手势检测结果改变所述第一显示标识生成第二显示标识，以使得无人机根据所述第二显示标识改变飞机状态。

9、根据本技术第二方面的第二扩展现实环境下基于图像动态手势无人机控制方法，提供了根据本技术第二方面的第三动态手势无人机控制方法，所述第一显示标识和第二显示标识包括状态图案和状态文本；状态图案用于以图像形式映射出无人机的飞机状态；状态文本用于以文本形式指示当前手部图像相对于状态图案的具体位置信息。

10、根据本技术第二方面的第三扩展现实环境下基于图像动态手势无人机控制方法，提供了根据本技术第二方面的第四动态手势无人机控制方法，所述指示标识为状态球，其颜色指示无人机的不同飞行状态，在飞控状态下，状态球球心为指令的坐标原点，无人机速度由状态球指向指尖的向量按比例计算，状态文本指示当前指尖相对于以所述状态球为原点的坐标系下的坐标。

11、根据本技术第二方面的第一扩展现实环境下基于图像动态手势无人机控制方法，提供了根据本技术第二方面的第五动态手势无人机控制方法，所述手部信息采集模块用于采集操作者的手部图像，具体为，通过可穿戴设备包含的摄像头采集。

12、本技术有益效果为：本发明提出了一种基于扩展现实环境的动态手势控制无人机方案。该方案利用可穿戴设备所附带摄像头采集手部图像，将其输入至三维手势识别模块生成手部关键点坐标信息，完成手部姿态识别进而控制无人机。在现有研究的基础上，将基于图像动态手势识别与扩展现实环境相结合应用到无人机控制领域，有利于用户摆脱遥控器的限制，快速、灵活地发送指令实现无人机控制，这种控制方法不仅更加简单直观，而且有助于用户快速掌握。该方案可应用于消费级无人机控制，或具有特定便捷性需求的工程及军事领域。具体地，相比于现有的使用控制器的控制方法，本方法可以摆脱控制器的束缚，减少硬件依赖，不会出现控制器故障，电池续航差或馈电等情况。方法控制流程简单，学习成本更低，对于初学者更容易上手。相比于现有的静态手势识别无人机控制方法，本方法不受预设手势动作数量限制。既可以传递的灵活地发送控制指令，达到快速地对无人机进行多种角度多种轨迹的飞行控制，又避免了逐次静态手势识别在无人机控制过程中带来的顿挫感，提升操控体验。