一种手语翻译手套控制方法及系统

本发明涉及电子信息，具体涉及一种手语翻译手套控制方法及系统。

背景技术：

1、前对于聋哑人与正常人之间的交流，需要正常人能够读懂聋哑人的哑语才能够进行，对于读不懂聋哑人的哑语或手势的正常人，如何理解聋哑人通过手势表达的含义，成为一个两者间的沟通的难题。

2、解决这个问题以提高聋哑人的生活质量，就需要一个具有语音翻译功能的手语手套，在手语手套的设计中，通常使用弯曲传感器和加速度计陀螺仪来实现对手势的识别，然而，这种基于标准手势语音库的手势识别并不能很好地满足每个人的需求，原因是每个人的手型、手指长度并不一致，从而导致他们做出的手势可能不能和标准的手势相匹配，最后出现误差；

3、公布号cn109542220a的中国专利公开了一种带有校准和学习功能的手语手套、系统及方法，所述手套包括：手套本体；若干根弯曲传感器，每根弯曲传感器分别设置于所述手套本体的各手指上，以获取手指的弯曲程度的数据；加速度计与陀螺仪，设置于所述手套本体的手腕处，用于获取手腕的旋转角度数据及旋转速度；至少两个蓝牙模块，用于实现上位机、手套之间以及移动设备端之间的通信；微处理单元，用于根据所述蓝牙模块接收到的信号进行手势姿态数据采集，并将采集的手势数据通过所述蓝牙模块传送至另一手语手套或上位机，以便进行预测手势或学习手势，通过本发明，可解决现有技术由于打手语习惯不同或手指大小长度不一样造成的识别率下降的问题，同时也可解决传统手语手套词汇量小的问题。

4、上述技术存在以下不足：

5、1、现有的手套控制方法仅能识别使用者当前作出与手语语料库相匹配手势时才能进行识别，对使用者未录入手语语料库的手势无法识别，使用局限性大。

6、2、现有手套的控制系统对动态手势的开始和结束没有判断处理，导致手套使用过程中容易误判手势。

7、因此，亟需一种手语翻译手套控制方法及系统解决上述问题。

技术实现思路

1、本发明的目的是提供一种手语翻译手套控制方法及系统，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：一种手语翻译手套控制方法，所述控制方法包括以下步骤：

3、s1：采集端根据使用者做出的开始手势进入识别状态，采集使用者在开始手势后做出的所有手势，并将手势数据传输至处理端；

4、s2：处理端接收手势数据后，该段手势数据与手语语料库数据对应的手势直接识别，该段手势数据与手语语料库不对应的手势存入手语语料库，并基于视频和传感器相互结合方式下的训练模型判断出该段手势数据所代表的手语含义；

5、s3：采集端根据使用者做出的结束手势退出识别状态，处理端将手势数据基于无线通信发送至终端设备。

6、在一个优选的实施方式中，步骤s2中，处理端识别动态手势基于tinyml实现，步骤s3中，处理端将手势数据基于无线通信发送至终端设备通过mqtt协议实现，mqtt基于publish/subscribe模式的物联网通信协议。

7、在一个优选的实施方式中，步骤s2中，所述训练模型基于卷积神经网络实现，处理逻辑为：

8、s2.1：设系统l有n层(l1......ln)，输入是i，输出是o；

9、s2.2：过程表示为：i＝>l1＝>l2＝>......＝>ln＝>o；

10、s2.3：输出o等于输入i，输入i经过系统l变化后没有信息损失；

11、s2.4：输入i经过每一层li没有信息损失。

12、在一个优选的实施方式中，所述训练模型输出方法包括以下步骤：

13、(1)输入图像通过三个滤波器及一个可加偏置进行卷积，卷积后产生三个特征映射图；

14、(2)特征映射图中相邻四个像素为一组再进行相加求平均值，再进行加权值、加偏置；

15、(3)通过激活函数得到三个层的特征映射图，映射图再经过滤波，像素值被栅格化，并连接成一维向量输入到传统的神经网络中，得到输出。

16、在一个优选的实施方式中，所述卷积神经网络包括局部感受野、权值共享以及时间、空间采样，局部感受野：通过局部区域的感知能够发现样本数据的一些局部特征；权值共享：卷积神经网络中每一层的由多个特征图组成，每个特征图包括多个神经单元，同一个特征图的所有神经单元共享同一个卷积核，一个卷积核代表样本的一类特征；空间采样：样本采样打乱某个特征的具体位置。

17、本发明还提供一种手语翻译手套控制系统，所述控制系统用于实现一种手语翻译手套控制方法，包括采集模块、处理模块、传输模块以及供电模块；

18、采集模块根据使用者做出的开始手势进入识别状态，并识别使用者的动态手势，根据做出的结束手势退出识别状态，处理模块接收手势数据，该段手势数据与手语语料库数据对应的手势直接识别，该段手势数据与手语语料库不对应的手势存入手语语料库，并基于训练模型判断出该段手势数据所代表的手语含义。

19、在一个优选的实施方式中，所述传输模块将手势数据基于无线通信发送至终端设备，供电模块为采集模块、处理模块以及传输模块不间断供电。

20、在一个优选的实施方式中，所述采集模块包括运动采集单元以及手机弯曲采集单元；运动采集单元为mpu6050运动处理传感器，手机弯曲采集单元包括五个flex2.2弯曲度传感器。

21、在一个优选的实施方式中，所述处理模块为raspberryzeropi2w树莓派处理器，所述供电模块为树莓派电源ups模块，传输模块采用mqtt协议与终端设备无线传输数据。

22、在一个优选的实施方式中，所述手语语料库构建包括以下步骤：

23、(1)分别取手套在完全张开状态和握拳状态的数据；

24、(2)对数据进行二元一次函数求参数操作；

25、(3)使弯曲度传感器在手套在完全张开状态的数值为0，在握拳状态的数值为90。

26、在上述技术方案中，本发明提供的技术效果和优点：

27、1、本发明通过识别使用者做出开始手势后再进入识别状态，从而避免使用者佩戴手套期间做出无关手势时，手套误判手势，在手势识别过程中，将该段手势数据中与手语语料库不对应的手势存入手语语料库，并基于训练模型判断出该段手势数据所代表的手语含义，提高手套对手势的识别精度，在手势完成后，根据使用者作出结束手势退出识别状态。

28、2、本发明通过深度学习算法精准分析手势数据，手势数据传输至训练好的深度学习模型，模型使用yolo算法对单帧图像的内容进行目标检测，并结合已识别的手势数据对未识别手势数据的内容进行分析，从而识别该段手势数据，提高手套的识别精度。

29、3、本发明使用tinyml进行手语识别，不使用上位机，有效保护使用者的隐私。

30、4、本发明通过使用mqtt协议进行远程结果展示，实现了真正意义上的无线手套。

31、5、本发明通过对各个传感器和各种原件的位置设计，我们的mpu6050运动传感器放置于虎口位置，更为美观且节省空间，弯曲度传感器采用flex2.2系列，只需要覆盖掌指关节，便于整只手的自由活动，其余原件均放置于手背上方，保证了小空间的同时实现了便携式设计和可充电设计。