一种基于手环和长短时记忆神经网络的肢体语言控制系统

本发明涉及一种基于手环和长短时记忆神经网络的肢体语言控制系统及控制方法，属于无人机控制方法。

背景技术：

1、传统的无人机多为遥控手柄或手机等控制方式，这些控制方式复杂繁琐，控制体验不佳。

2、此外，微型无人机已逐渐开始大面积使用，遥控手柄等控制器体积较大，便携性较差，也不利于微型无人机的推广使用。

3、由于上述原因，有必要提出一种新的无人机控制方法。

技术实现思路

1、为了克服上述问题，本发明人进行了深入研究，设计出一种基于手环和长短时记忆神经网络的肢体语言控制系统，该系统包括手环和无人机，

2、所述手环上设置有三轴加速度传感器，用于采集手臂运动信息，

3、所述手环上设置有信息发射芯片，将采集的信息向外发送，

4、所述无人机上设置有信息接收芯片，用于接收手环向外发送的信息，

5、所述无人机上设置有机载计算机，在机载计算机中设置有手臂运动识别模块，用于将接收的信息转化为无人机控制指令。

6、在一个优选的实施方式中，所述发射芯片和接收芯片为蓝牙芯片。

7、在一个优选的实施方式中，所述手臂运动识别模块为神经网络模型，包括填充层、掩码层、长短时记忆单元层和全连接层。

8、本发明还提供了一种基于手环和长短时记忆神经网络的肢体语言控制方法，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。

9、在一个优选的实施方式中，所述手臂运动识别模块为神经网络模型，通过多种手臂动作信息对神经网络模型进行训练，使得神经网络模型能够将不同的手臂动作与控制指令信息进行对应。

10、在一个优选的实施方式中，在对神经网络模型进行训练时，重复进行多组手臂动作，采集获得多组手臂动作信息，所述多组手臂动作包括手臂上抬、下压、左移、右移、前移、后移。

11、在一个优选的实施方式中，每组动作重复100次及以上，由手环中设置的三轴加速度传感器输出采集的数据，所述手臂动作信息为多次重复动作时采集到的连续数据。

12、在一个优选的实施方式中，采集完成后，使用滑动窗口将连续数据分割为长度为n的数据序列，将分割后的数据序列以及对应的手臂动作作为一个训练样本。

13、在一个优选的实施方式中，进行无人机控制时，手臂运动识别模块将采集到的数据全部发送至无人机机载计算机中，形成连续数据，机载计算机将连续数据分割为长度为n的数据序列，每一个数据序列对应一次检测数据，将检测数据输入训练好的神经网络模型。

14、在一个优选的实施方式中，所述手臂运动识别模块包括填充层、掩码层、长短时记忆单元层和全连接层，

15、使用填充层检查检测数据的长度，若检测数据长度不足n，则采用0将检测数据长度填充至n长度，

16、使用掩码层屏蔽填充的数据，使得填充数据不影响识别结果。

17、本发明所具有的有益效果包括：

18、(1)通过手环实现对无人机的控制，使得操作者能通过手臂的动作便捷操控无人机的同时，更直观地观察无人机周围飞行环境，面对突发状况能及时做出飞行命令指令的变更；

19、(2)使操作者运用身体更直观地代入无人机飞行的同时，便于操作者学习，时间效益良好；

20、(3)指令的识别精度高、准确度高；

21、(4)控制用手环小巧便携，价格实惠。

技术特征：

1.一种基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，该系统包括手环和无人机，

2.根据权利要求1所述的基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，

3.根据权利要求1所述的基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，

4.一种基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

5.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

6.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

7.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

8.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

9.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

10.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，

技术总结
本发明公开了一种基于手环和长短时记忆神经网络的肢体语言控制系统，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。本发明公开的基于手环和长短时记忆神经网络的肢体语言控制系统，通过手环实现对无人机的控制，使得操作者能通过手臂的动作便捷操控无人机的同时，更直观地观察无人机周围飞行环境，面对突发状况能及时做出飞行命令指令的变更。

技术研发人员：何绍溟,邢孝锋,刘子超,柴剑铎,金天宇,王江,林德福
受保护的技术使用者：北京理工大学长三角研究院（嘉兴）
技术研发日：
技术公布日：2024/1/15