一种基于数据手套的手语手势识别系统的制作方法

本发明涉及手势控制技术，具体是一种基于数据手套的手语手势识别系统。

背景技术：

世界卫生组织最新统计数据显示，在全世界范围内有数量超过6亿的各类残疾人，占全世界人口总数的10%。截至年底我国有各类残疾人8400多万，占国内总人口数的6.34%，这使得我国成为世界上残疾人数最多的国家。聋哑人约占残疾人总数的33%，大约2780万人，其中一小部分仅有听力障碍或语言障碍，大部分则听力和语言均无法实现正常沟通，生活中手语成为他们交流的主要方式。然而，使用手语交流在很多方面具有局限性，特别是在和其它不了解手语的正常人沟通时显得尤为突出，如果手语能够被自动识别并转换为语音或图像等容易被正常人所理解的形式，必然能够帮助聋哑人克服社交障碍，为约亿万人口的家庭带来福音。

手语是由大量具有含义且高度结构化的人体动作集，手语动作以多种手势动作组合为主体，部分需要辅之以表情姿势等表达含义。面部表情多用于表达情感如疑问、高兴、失落等。因此，手势识别是实现手语翻译的关键。多种手语手势的高准确率识别往往需要复杂的算法支撑，从而需要强大的处理器以实现实时分析，导致设备便携性受到影响^[4-5]。从实用的角度出发，为聋哑人设计的手语翻译装置需具备便携性和实时性等特点。

在智能设备迅速发展的今天，人们之间的交流方式多种多样，但最主要依然是语言交流。正常人通过谈话交流，聋哑人之间通过手语交流。然而聋哑人和不熟悉手语的普通人之间却难以进行交流，这就迫切需要一种可以实现手语和正常语言转换的工具。

技术实现要素：

本发明的目的在于提供一种基于数据手套的手语手势识别系统以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。

作为本发明进一步的方案：所述数据手套包括加速度传感器、弯曲度传感器和磁传感器。

作为本发明进一步的方案：包含以下步骤：a、手势姿态信息的采集；b、手势姿态信息的提取和分类；c、手势姿态信息的处理。

作为本发明进一步的方案：步骤a具体是：通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度以及手指之间的空间夹角。

作为本发明进一步的方案：步骤b具体是：采用svm(支持向量机算法)对弯曲传感器、加速度传感器和磁传感采集的数据进行特征提取，每个手势提取6个手势节点，从这些节点中计算出14个特征向量来表示一个手语动作，并采用决策树分类法对特征向量进行分类。

作为本发明进一步的方案：步骤c具体包括：①融合多传感器信息的手语手势识别算法；采用隐马尔科夫模型时序信号的特征识别，输入为时序特征，输出为模型计算得到的该观测信号属于该模板模型的似然概率，实现对数据的识别②建立标准手势姿态库，对同一手势生成的数据进行深度学习训练并分析，将提取分类后的手势姿态信息与标准库进行对比、查找、匹配。

作为本发明进一步的方案：所述6个手势节点为5个手指以及一个手掌中心点。

与现有技术相比，本发明的有益效果是：本发明基于数据手套的手语手势识别系统能够对手语手势实现精准的识别效果，帮助聋哑人完成和正常人之间的信息沟通，并且其使用方便，精确度高。

附图说明

图1为数据手套的手语识别整体设计框图。

图2为数据手套的手语识别硬件设计框图。

图3为决策树框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明实施例中，一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。

所述数据手套包括加速度传感器、弯曲度传感器和磁传感器。

包含以下步骤：a、手势姿态信息的采集；b、手势姿态信息的提取和分类；c、手势姿态信息的处理。

步骤a具体是：通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度以及手指之间的空间夹角。

步骤b具体是：采用svm(支持向量机算法)对弯曲传感器、加速度传感器和磁传感采集的数据进行特征提取，每个手势提取6个手势节点，从这些节点中计算出14个特征向量来表示一个手语动作，并采用决策树分类法对特征向量进行分类。

步骤c具体包括：①融合多传感器信息的手语手势识别算法；采用隐马尔科夫模型时序信号的特征识别，输入为时序特征，输出为模型计算得到的该观测信号属于该模板模型的似然概率，实现对数据的识别②建立标准手势姿态库，对同一手势生成的数据进行深度学习训练并分析，将提取分类后的手势姿态信息与标准库进行对比、查找、匹配。

6个手势节点为5个手指以及一个手掌中心点。

本发明的工作原理是：数据手套的手语识别整体设计框图如图1所示，通过数据手套对加速度传感器、磁传感器、弯曲传感器采集的信息进行特征提取，采用决策树分类法对特征向量分类，并将分类后的手势姿态信息与标准库对比匹配、识别，显示出结果。

2.设计数据采集器：

系统中所使用到的传感器有三种：弯曲传感器、加速计和磁传感器。其中弯曲传感器和磁传感器传输的模拟量，需要模数转换器配合，而加速度传感器传输的是数字量可直接与处理器通信。通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度，手指之间的空间夹角。

3.硬件系统的搭建：

数据手套采集的手势姿态信息通过usb数据线传输到电脑上位机中，数据手套的手语识别硬件设计框图如图2所示。

4.手势姿态数据信息的提取与分类：

设计活动段分割测试平台，其目的是将不断变化的连续多通道信号中提取出与动作执行有关的信号，并将分割结果映射到弯曲、加速度和磁传感器信号中，对弯曲、加速度和磁传感器信号提取出具有代表性的特征参数，以实现手势动作的特征提取。

分类器是完成手语手势翻译最终识别的核心部分，是整个系统正确工作的关键。本文采用的分类器是基于决策树的分类器，在决策树中分别使用最近邻、支持向量机和隐马尔可夫模型实现多层分类。我们采用两个不同的hmm（隐马尔科夫模型）对同一手势的手掌弯曲度特征值和运动轨迹特征分别建模，并将两个模型所得的似然概率融合在一起形成最终的识别概率。决策树结构如图2所示，共有三层，分别为单双手分类、朝向分类和多流隐马尔可夫分类。

5.标准手势姿态库建立与训练：基于各类手势特征的提取和分析，初步建立本文手势姿态库。建立手势姿态训练上位机，对各类手势进行深度学习、训练，以完善手势姿态库，对易识别的手势记录分析，确保其分类条件不会影响其他手势，且不是误操作，对识别率较低的手势，分析原因，加深学习和训练，最大限度提高手势识别率。搭建手势识别器，验证本文手势姿态库。