一种基于多加速度传感器和ZigBee网络的手势采集系统的制作方法
【技术领域】
[0001]本发明属于人工智能技术领域，特别涉及一种一种基于多加速度传感器和ZigBee网络的手势采集系统。
【背景技术】
[0002]语言是人们思想交流和感情传递的工具，人们在交流的时候通常除了使用有声语言外还经常借助人体语言(包括手势语言)来辅助交流，手势语的直观形象是有声语言的重要补充。近些年，随着移动计算技术和微机电系统的发展，手势识别技术逐渐成为人机交互领域研究的热点，其自然便捷、形象直观等诸多优点也成为其发展的一个主要因素。目前主流的手势识别方法有两种:一种是基于图像设备获取人的手势动作图像，之后进行图像分析并识别。另一种是基于微传感器获取手部不同部位的动作信息，进而通过与模型的匹配得到动作者的实时手势信息。由于人手是复杂的变形体，同时手势具有多样性、多意性以及空间上的差异性等特点，所以基于图像设备的手势识别技术在一定程度上存在局限性。而基于微传感器的手势识别系统只需获取手部各部位的动作数据，通过算法便可还原动作者的意图。该类系统在任何环境和空间里都能间接获得动作者的手势信息，基本能够克服基于图像设备识别的弊端，故基于微传感器的手势识别研究逐渐得到重视。
[0003]现有的基于微传感器的手势识别研究大概分为两类:一类是基于多类型传感器阵列的数据手套研究。另外一类是基于单传感器的研究。前者研究计算复杂度高并且数据量大，无法应用在现有的移动平台中。后者虽然能够解决数据量大的问题，但是无法准确反应动作者的手指信息，进而无法准确判断细微的手势。本发明给出了一种基于ZigBee和多加速度传感器的手势识别方法。该方案采用ADXL335三轴加速度传感器分别采集五个手指和手背上的加速度信息，信息通过多路开关依次送到终端节点进行A/D转换，并将处理后的数据整理发送。接收端收到数据后对手势动作依次进行滤波取整、抖动判定以减少因为噪声和抖动带来的差异。同时利用单个动作之间停顿时间的门限阈值检测动作的起始。最后对手势信息特征进行提取，构建离散隐马尔可夫模型以实现对手势的识别。
【发明内容】
[0004]系统所采用的手势信息采集芯片主要采用TI公司生产的CC2430和三轴加速度传感器ADXL335。整个系统两个部分:发送端模块和接收端模块。发送端模块包括加速度数据的采集、A/D转换以及数据发送。利用位于手指和手背上的六个加速度传感器，通过MAX338多路开关，分别将各传感器的X轴、Y轴、Z轴分量分别送给CC2430。该芯片利用其内部的A/D对模拟量进行转换，并将信息通过射频方式发给接收端。考虑到用户佩戴位置的偏差对识别率的影响，系统对其硬件结构进行了相应的改善。为了保证佩带位置没有太大变化，将各传感器固定于一个软质手套上，并将手指位置用胶带固定牢，使用时以指甲盖为各传感器的参考点，以保证每次佩戴时，各加速度传感器位置基本保持一致。接收端模块采用与发送端相同的核心芯片CC2430，其主要完成包括:数据接收、滤波取整、特征提取、数据量化、抖动判定、模型训练与建立、模型匹配、结果输出与控制等。用户通过串口可以将接收到的加速度信息传输至上位机，便于对数据进行二次处理。
[0005]该方案与其他方案相比，其优势在于:首先，克服了传统的单传感器手势识别系统对手部动作检测的局限性。系统采用多传感器的设计，分别利用放置在五根手指和手背上的6个加速度传感器，实时的感知每根手指和手掌的具体动作，从而更好更全面的获取动作者尽可能多的信息，以便完整的还原用户的意图。其次，由于ZigBee网络的最大传输速度250kb/s，能够保证手势数据的实时传输另外CC2430采用8051F增强型内核，其处理速度能够满足识别算法的基本要求。最后，ZigBee技术的应用可以方便的将该装置进行移植和改进。众所周知，许多手语是通过两只手协同动作，表达一个固定的意思。而目前的手势识别系统大都只考虑的单手的情况，对双手的情况并未作出考虑，利用ZigBee的自组网特性，可以方便的使两只手套组成一个网络，为后续扩展提供了极大的便利条件。
[0006]手势动作的起点、终点检测是手势识别的第一个步骤，也是一个重要的步骤。在识别过程中，若不能准确判断动作起始点和终点，则不能完整的提取出该动作的一系列加速度特征序列，从而不能完整的还原出动作者的意图，给后续处理带来很多麻烦。经过研究发现人的手势动作即具有连续性也有其分割性。每个手势动作看起来是连续的，实际每个手势都有短暂的停顿时间。在这段时间内，由于没有手势产生，所以各方向的加速度值也相对平稳。当有手势发生时，加速度值则突然变的剧烈，利用这个特点可以把一串连续手势分割成一组单手势组合。
[0007]人手在做每个动作的过程中难免会发生颤抖或偏移，不同的人在做同一手势过程中也会存在细微的差别。如何断定该动作是抖动还是动作者的手势对于动作的完整性来说也是至关重要的一步，因此要在识别过程中加入抖动判定过程，以解决这些抖动带来的干扰。系统在抖动判定方法的设计上，依据大量采集到手势信息得出，从极限情况出发，即由于人与人之间存在差异产生的最大抖动可能，得出的同一手势，最大数据抖动范围在-11-11之间。C(t)为采集到的某个人的手势数据，Y(t)为经过抖动判断后输出的决策信息。
[0008]系统所采用的手势识别算法是基于隐马尔可夫模型(HMM)识别算法，其核心思想是一种基于转移概率和传输概率的随机模型。在进行匹配算法之前，首先为每个手势建立手势模型，通过训练得到状态转移概率矩阵A和输出概率矩阵B。识别时通过最优状态序列Viterbi算法计算未知手势在状态转移过程中的最大概率，根据最大概率对应的模型进行判决。该算法的优势在于不需要时间规整，可节约判决时的计算时间和存储量，但带来的问题是训练时计算量较大。系统利用HMM模型对采集的手势进行判别。
【附图说明】
[0009]图1为识别原理图。
【具体实施方式】
[0010]下面结合附图对本发明的实施例作进一步详细阐述:
[0011]系统利用动作停顿时间门限阈值和抖动阈值的方法对抖动和细微动作做出相应的区分，从实验结果来看能够达到准确判断和识别的目的。同时系统采用隐马尔可夫模型对训练样本数据和测试样本数据进行识别，平均训练样本识别率达到99%。这个结果表明，采用多加速度传感器中每个动作的加速度数据作为特征量，之后利用HMM和Viterbi算法进行训练、识别以及优化的方法，在手势交互过程中，能达到较好的识别效果。
【主权项】
1.一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器，将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法，对0-9十个手势进行判断，在20位实验者中得到了 98%以上的识别率，同时由于其使用了 ZigBee网络，系统移植性也得到了进一步加强。
2.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于将不同方向轴上的信息传送给接收端。
3.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。
4.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于利用隐马尔可夫(HMM)模型识别算法。
【专利摘要】本发明提出了一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器，将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法，对0-9十个手势进行判断，在20位实验者中得到了98％以上的识别率，同时由于其使用了ZigBee网络，系统移植性也得到了进一步加强，对后续手势识别研究有一定的参考价值。
【IPC分类】G06F3-01
【公开号】CN104656883
【申请号】CN201310601411
【发明人】李童, 吴滨
【申请人】江南大学
【公开日】2015年5月27日
【申请日】2013年11月20日