一种快速三维动态手势识别系统及手势数据采集设备的制造方法
专利名称:一种快速三维动态手势识别系统及手势数据采集设备的制造方法
【专利摘要】本实用新型提出了一种快速三维动态手势识别系统，包括手势识别的硬件平台和接收端；其中，外观小巧的手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关；所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场，获得手势的原始数据；所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端；所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性，并利用这五个特征量对手势能量进行分类识别。本实用新型体积小，携带使用方便，具有很好的应用前景。
【专利说明】
-种快速H维动态手势识别系统及手势数据采集设备
技术领域
[0001] 本实用新型属于人机交互技术领域，尤其设及一种动态手势识别系统及手势数据 采集设备。
【背景技术】
[0002] 人工智能的发展促使着与其相关的应用层出不穷，其中作为人工智能的重要内 容一一人机交互技术，也受到越来越多的关注。人机交互研究的是人类如何与机器进行沟 通，从而控制机器，自如地实现人们所希望的功能。过去传统的人机交互方式有按键、键盘、 触摸屏和语音技术等。但上述方式都在效率、准确性、自然性上存在诸多局限，运也使得人 们开始寻找效率更高、交互更加自然的方式。
[0003] 现有的人机交互技术存在W下缺点：
[0004] (1)机械键盘交互是最成熟，但同时也是最低效的交互方式，因其成本、损耗、低效 等各种原因，正在被移动设备慢慢淘汰；
[0005] (2)触摸屏操作作为近几年新兴的人机交互方式，W其操作简洁、符合用户习惯、 学习成本低、可多点触控等优点，成为新一代移动设备有效的交互方式。但是，触控技术不 可避免的需要用户在触模板上进行操作，限制了触控技术的应用场景和范围。
[0006] (3)语音识别目前也是一种非常成熟的交互方式，识别率较高，尤其是随着iPhone 中Siri的出现，基于自然语音的识别技术使得语音交互方式迈上了一个新的台阶。然而，语 音交互方式会受到地区语言差异W及个人语音差异的影响，同时，自然语音识别需要时刻 联网、能耗高的缺点，大大限制了语音技术在可穿戴设备中的应用。
[0007] 随着各方面技术的进步，人们希望得到更好的人机交互体验，对交互的实时性、识 别率等硬性指标的要求也越来越苛刻，甚至开始希望通过一些自身的微小信息，例如手指 信息、声波信息、眼珠信息、脑电波信息、肌肉信息等来实现与机器的沟通。运促使许多专家 学者不断地寻找挖掘更便捷、更快速、更准确、更自然的人机交互方式，并开始关注利用人 类自身的身体语言来实现机器控制，而其中手势作为变化方式最多、最能够表达人们意愿 的方式之一，成为了关注的重点。在脑电波控制世界的时代来临之前，手势是最有可能改变 传统人机交互方式的研究切入点。因为手势是身体姿态最多变、最具有表达性的一项，它可 W最大可能地表达人们的想法和意愿。不通过任何媒介，直接利用一个简单的手势动作就 可W操控生活，是目前人们所追求的理想人机交互方式。运种全新的操作方式，使得人类在 运个物物相连的互联智能时代，真正实现用自己的手来掌控自己的生活。手势也会将人机 交互方式从传统的平面二维识别技术扩展到了空间=维识别技术，实现更多技术发展的可 能性。本实用新型所要做的=维动态手势识别技术，搭配一个集成了=轴加速度计、=轴巧 螺仪、磁力计、处理忍片和低功耗蓝牙的微型硬件平台，来与PC端或其他终端实现友好的人 机交互方式。
[000引手势识别技术的发展过程中产生过几种主流的解决方案，例如:基于数据手套的 方案:起步最早，也是最直接处理问题的一种方案。该方案具有数据量小、速度高、受环境影 响较小和能够直接获取手势数据等诸多优点。但是要求用户穿戴复杂的手套，大大降低了 用户体验，并且对附着其上的传感器披覆较高硬度的保护层在技术上有一定难度，而相对 脆弱的设备在携带上也存在不方便。基于机器视觉的处理方案：当前最热口的手势识别技 术解决方案，也就是摄像头图像处理，比如说微软的Kinect。最大的优点是用户无需佩戴任 何设备，人机交互性好。但是运种技术对于空间、环境有比较大的限制性，因此除了一些大 型的体感游戏使用，在生活中的推广度并不高。基于SEMG的方案:处在多学科交叉的领域， 除了和数据手套方案一样需要用户佩戴电极外，和机器视觉的方案类似，该方案也容易受 外部环境和用户等因素的干扰。外部环境的干扰包括电磁环境的干扰和环境湿度变化造成 的测量电极接触电阻的变化。同时，用户的身体和精神状态在不同的情况下具有不同的基 准值，导致系统难W标定。 【实用新型内容】
[0009] 为了解决现有技术中问题，本实用新型设计了一个外观小巧的硬件平台，用加速 度计采集用户手势的3轴加速度，巧螺仪来采集用户手势的3轴角速度，磁力计来采集用户 手势的巧由磁感应强度，然后将数据传输给接收端，在接收端采用特征分析算法，在确保一 定的精确度和实时性的基础上，分别对移动、旋转、打钩、画叉、晃动、敲击等自身具有一定 区分度的=维动态手势进行识别，从而实现相应的应用。
[0010] 本实用新型通过如下技术方案实现：
[0011] -种快速=维动态手势识别系统，所述系统包括手势识别的硬件平台和接收端； 其中，所述手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、3轴巧螺仪 和巧邮兹力计、MCU微处理器、蓝牙模块、裡电池充电电路、裡电池W及电源开关;所述3轴加 速度计测量加速度、3轴巧螺仪测量角速度和巧邮兹力计测量磁场，获得手势的原始数据;所 述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述接收端根据 原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性，并利用运五 个特征量对手势能量进行分类识别。
[0012] 进一步地，所述硬件平台通过裡电池进行供电，当电量过低时使用MiniUsb接口给 裡电池进行充电。
[0013] 进一步地，所述无线通信方式为蓝牙、RF或WIFI。
[0014] 进一步地，所述硬件平台还包括摄像头，用于接受手势输入。
[0015] 进一步地，所述接收端为PC机，所述PC机包括无线通信模块。
[0016] 进一步地，所述接收端为智能终端，所述智能终端包括无线通信模块。
[0017] 进一步地，所述硬件平台不附加任何按键。
[0018] 进一步地，所述硬件平台为手持设备或者为可穿戴式设备。
[0019] 本实用新型还提供了一种快速=维动态手势数据采集设备，所述采集设备采集手 势数据，其包括巧由加速度计、3轴巧螺仪和巧邮兹力计、MCU微处理器、蓝牙模块、裡电池充电 电路、裡电池W及电源开关;所述巧由加速度计测量加速度、3轴巧螺仪测量角速度和3轴磁 力计测量磁场，获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始 数据传送给接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能 量最大轴、角速度单边性，并利用运五个特征量对手势能量进行分类识别;所述接收端为智 能终端或PC机。
【附图说明】
[0020]图1是本实用新型的手势识别系统的硬件平台及PC接收端硬件框图；
[0021 ]图2是本实用新型的手势识别方法的具体实现方案流程图；
[0022] 图3是机体坐标系b系和用户坐标系n系示意图；
[0023] 图4是手势长度计算流程图；
[0024] 图5是手势预分类结构图；
[0025] 图6是移动类手势细划分流程图；
[0026] 图7是旋转类手势细划分流程图。
【具体实施方式】
[0027] 下面结合【附图说明】及【具体实施方式】对本实用新型进一步说明。
[0028] 本实用新型的手势识别硬件平台及PC接收端硬件框图如附图1所示。手势识别硬 件平台外观精致小巧，不附加任何按键，可W手拿，也可W作为手环或者指环穿戴在手上， 作为智能可穿戴式设备来进行手势控制。其上集成了 9轴传感器模块(3轴加速度计测量加 速度、3轴巧螺仪测量角速度和3轴磁力计测量磁场）、MCU微处理器、蓝牙模块、裡电池充电 电路、裡电池W及电源开关等。通过裡电池给平台进行供电，当电量过低时使用MiniUsb接 口给电池进行充电。
[0029] 手势识别的硬件平台作为手势数据的采集设备，通过蓝牙通信的方式将采集到的 9轴传感器数据W及解算后的巧自姿态数据传送给PC接收端进行数据处理及手势识别。蓝牙 通信技术可W用别的无线通信技术来代替，例如RF, Wifi等。
[0030] 因为对实时性需求较高，本实用新型采用的细分特征值法，其要求每个动作之间 的特征量或特征量集合相互独立，因此在选择手势动作时，需要对手势进行大量的样本观 察和分析，通过样本采集和波形观察，最终确定了可W采用特征识别法的W下的6大类动 作，共10个动作，如表1所示：
[0031] 表1手势集定义
[0032]
[0033] 上述的手势动作之间具有一定的区分度，它们各自的传感器信息所构成的特征量 之间具有比较高的可识别性，因此可W根据不同手势的特征值建立不同的分类器。首先根 据计算出来的特征值对六大类手势进行预分类，识别出其所在的类别，再设计算法针对旋 转类和移动类动作进行细划分，识别出运动的方向，从而实现利用细分特征值分析法快速 高效地实现手势的分类和识别。
[0034] 基于运动传感器的手势识别方法的具体实现方案如附图2所示，采用细分特征值 法，首先需要切割出手势的有效时间段，即从所有读取到的原始数据中截取从手势的起点 到终点的段落，然后再对切割下来的数据段进行坐标系的转换，从机体坐标系转换到用户 坐标系。进行了切割和坐标系转换之后的手势数据段才能用来提取特征进行手势识别。
[0035] [差分法进行手势切割]
[0036] 在某一个时刻k下，当前加速度和角速度相对于上一时刻k-1下的差值的绝对值之 和即为当前的加速度和角速度的差分值：
[0037] (J)
[00；3 引 0)
[0039] 其中，巧K、跨、zr表示邮刻下的S轴力魄度值，义严、IT、Zf表示k时 刻下的=轴角速度值。
[0040] k时刻与k-1时刻的加速度变化值A a。。和角速度变化量A agr就是当前时刻下的加 速度和角速度差分值，运个差分值可W看出手势前后的波动情况，只要设定一个阔值，那么 就可W认为超过了运个阔值的时间点是手势的起点，在识别出起点后，若差分值出现了小 于阔值了的时刻点，就是手势的终点。
[0041] 但是运种计算方法下用户无意识下手势瞬间的抖动会造成判断结果出现偏差，因 此我们将单点的差分法进行算法优化，变成滑动窗口的差分法。我们在一个窗口（长度为N) 内对加速度和角速度的两两时刻前后数值变化量求和，并适当提高阔值，提高对手势起点 和终点的判别精确度，隔离抖动误差的效果更好。在运种情况下再去进行判断，可W有效地 提高准确性，减少判断失误。由于本实用新型中采用的运动传感器采样率为f = 50化，而据 大量样本统计可知一个手势大概是Is左右，也就是50个采样点左右，因此根据经验设窗口 长度为N=7-10均可。经过平滑窗口处理后的加速度和角速度差分值分别为：
[0042] (3)
[0043] (4)
[0044] 因为同时采用的加速度和角速度一个窗口长度内的差分值来作为判断依据，而加 速度和角速度不一定能够同时在一个时刻上到达阔值，因此还需要再增加一个判断条件， 即加速度和角速度分别检测出来的起点或终点时刻差值如果超过5个采样时间点，则认为 该起点或终点无效。综上所述，当且仅当同时满足下面的判断条件：
[0045] AaccN(M)>5thi,M=Ai,Ai+l, . . . ,Ai+N (5)
[0046] AagrN(M)>5th2,M = A2,A2+l, . . . ,A2+N (6)
[0047] 并且 |Ai-A2|<5,贝ljA=min(Ai，A2)为手势起点。
[0048] 若满足下面判断条件：
[0049] AaccN(M)<5thi,M=Bi,Bi+l, . . . ,Bi+N (7)
[0050] AagrN(M)<Sth2，M = ^，B2+l，...，B2+N (8)
[00引]并且|B广B2|巧，贝ljB=max(Bi，B2)为手势终点。
[0052] [手势数据坐标系转换]
[0053] 由上文可W得知，传感器坐标系是机体坐标系b系，它随着传感器运动而改变，"东 北天"：用户坐标系（即地理坐标系)n系则固定保持不变。机体坐标系b系和用户坐标系n系 分别如附图3所示。
[0054] 用户在做手势动作的途中会随时改变传感器机体坐标系，而后续利用特征分析法 制定的一套判断标准是不变的，此时如果仍使用机体坐标系下测量出的原始数据来进行判 断显然是错误的。因此首先应该把手势切割后的所有有效测量数据通过旋转矩阵转换到用 户坐标系下，才能对运些数据使用同一套判断标准。如上文介绍，归一化后的四元数可W描 述刚体的定点运动，因此借助四元数即可轻松实现向量的坐标系转换，b坐标系到n坐标系 的转换矩阵如下：
[0化5] 微
[0056] 已知上式，就可W将数据进行坐标系转换，公式如下：
[0057]
([0)
[005引由转换矩阵的可逆性，可求出机体坐标系到用户坐标系的转换矩阵，从而将运动 传感器采集到的手势数据进行机体到用户坐标系的转换。
[0059] [细分特征值法实现手势识别]
[0060] 本实用新型定义的手势集中各个手势都有其自己相较于其它手势而言的比较明 显的特征，因此采用特征分析法能够快速、准确地对其进行识别。而特征分析法的关键在于 选取具有代表意义的特征量来设计预分类器，先识别手势所属的大类，再具体细划分手势 具体的动作。不同的数据采集方式所构成的特征量是不同的，因为使用的是运动传感器，采 集到的数据是加速度、角速度和磁感应强度，W及由姿态解算求出的姿态角，因此构成特征 量的数据即为上述运些运动数据。
[0061] 手势动作之间具有一定的区分度，它们各自的传感器数据信息所构成的特征量之 间具有比较高的可辨识性，因此可W根据不同手势的特征值建立不同的分类器，利用特征 分析法即可快速实现手势的分类和识别。
[0062] 选取合适有效的特征量是特征分析法区分手势的关键，好的特征量能直接降低手 势识别算法的复杂度，并能提高识别准确率，由此为基础来设计一个合理有效的分类器。经 过大量样本采集和观测，本研究定义了五个特征量，分别是手势长度、手势能量、波峰数(包 括加速度波峰数、角速度波峰数和姿态角波峰数）、角速度能量最大轴、角速度单边性，并利 用运五个特征量来构造一个手势大类的预分类器，W此来首先识别当前的用户手势属于哪 一大类：
[0063] (I)手势长度:手势起点到终点的采样数；
[0064] LEN=B-A (11)
[0065] 其中，A、B为数据段的起点和终点。本实用新型采样频率是f = 50化，大量试验证 明，手势长度必须大于20个采样点才有效，若小于20个采样点则不认为是一个手势，手势长 度计算流程如附图4所示。
[0066] (2)手势能量:手势起点到终点之间加速度和角速度绝对值之和；
[0067] (12)
[0068] 其中，A、B为数据段的起点和终点；gxi，gyi，gzi为手势数据在x、y、z轴上的角速度； 曰xi,ayi,azi为手势数据在x、y、z轴上的加速度。
[0069] (3)波峰数:每个手势动作的加速度或角速度或者姿态角的波峰数W及波峰波谷 的先后出现次序都会有所差异，波峰数可W反映出手势的来回运动次数。
[0070] 计算时易将轻微抖动也算进去，因此本实用新型给变化量设定了一个阔值，加速 度阔值设为±〇.7gm/s2,角速度阔值设为±12化S，姿态角阔值设为±30°，并且规定超过阔 值的采样点数大于5才有效。先分别计算单轴上的波峰数(单轴上波峰数与波谷数的较大 值），总的波峰数等于=轴波峰数之和。
[0071] (4)角速度能量最大值:每个轴上的角速度能量计算分别公式为：
[0072]
(1巧
[007引因此角速度能量最大轴即max化wx、Ewy、Ewz)所在的坐标轴，判断轴即为判断旋转 轴，旋转轴的准确判断对于识别旋转类手势十分关键；
[0074] (5)角速度单边性反映在某轴上的角速度呈现出单符号性，3个角速度中只要其中 一个满足单边性，就认为其整体角速度满足了单边性。
[0075] 确定了 W上运5个特征值之后，就可W根据各类手势的特征值规律，来设计手势动 作的预分类器，结构图如附图5所示。手势预分类结构图用于识别当前用户的手势属于哪一 大类，而对于其中的移动类和旋转类，还需要再进一步结合具体的特征量来进行细划分。从 附图5可W看出，敲击类和移动类通常速度都比较慢，动作维持时间短，因此手势能量小。而 对于能量较大的剩余手势中，若角速度能量最大轴出现在y轴，则明显是旋转类。但对于晃 动、画叉和打钩的分类，总体而言，前两类的长度、能量和加速度波峰数大于打钩，但由于手 势存在随意性，人们在做运些手势时容易产生类似的单个特征量，因此不能只用某个特征 量来进行区分。本实用新型设计了一个线性判别函数，将=个特征量换算为一种细分特征 值f，在单个特征量区分的基础上再用判别函数来进行区分，从而使分类准确度达到最高。 根据特征量样本得到的线性判别分类函数为：
[0076] f = a礼脚+b 地+C 冲+d (14)
[0077] 式中LEN为手势长度，E为手势能量，P为加速度波峰数，a，b，C，d为常系数。
[0078] 通过上文所述的预分类器，已经可W较精确地识别出当前用户手势属于哪一大 类，但是对于旋转类和移动类，还需要进一步地进行手势细化分，识别出其机体的运动方 向。
[0079] 1.移动类细划分出上、下、左、右：
[0080] 在观察移动类手势的特征量时发现，如果手势是向左右两个方向移动的，那么水 平面上的加速度发生的变化比较大，而其中对于向左的手势动作，X轴加速度先出现波谷再 出现波峰，向右移动的X轴加速度则刚好相反，先出现波峰再出现波谷；如果手势是上下移 动的，则垂直方向上的加速度发生的变化比较大，其中向上运动时Z轴加速度先出现波峰再 出现波谷，向下运动时Z轴加速度先出现波谷再出现波峰。
[0081] 因此可W首先通过判断X轴和Z轴加速度平均幅值谁更大来判断出上下还是左右 移动，再根据具体的波峰波谷出现的顺序来识别是具体的上、下、左、右。加速度在一个手势 有效长度A-B时间段内的平均幅值计算公式如下：
[0082] (15)
[0083] (化）
[0084] 其中，A、B分别是手势动作数据段的起点和终点；axi、azi分别是手势在X轴、Z轴下 的加速度;AMx、AMz分别是手势在X轴、Z轴中的加速度平均幅值。
[0085] 通过判断手势在X轴、Z轴中的加速度平均幅值AMx、AMz哪个更大，可W得到手势当 前是集中在水平面运动还是垂直面运动，然后再根据X轴和Z轴上各自加速度的波峰波谷出 现的顺序来判断具体的运动方向，流程图如附图6所示。
[0086] 2.旋转类手势细划分为顺时针和逆时针两个方向：
[0087] 因为旋转类手势是发生在水平面上的，因此只要观察y轴角速度波峰波谷出现的 先后顺序就能识别出用户当前是在顺时针旋转还是逆时针旋转，如果y轴角速度先波谷后 波峰，则是逆时针旋转，反过来先波峰后波谷则是顺时针旋转，流程图如附图7所示。
[0088] 通过在W上理论分析，我们可W更进一步地实现内容丰富、形式多样化的功能应 用。
[0089] -、可自定义的复杂手势识别
[0090] 类似于编码原理，用户可W根据自己的喜好把一系列的较复杂的手势设定为快捷 键快速打开某些应用。由于复杂手势识别需要大量复杂的实时计算和储存，单纯在手势识 别硬件平台上无法完成，因此需要将消除误差后的传感器数据W及姿态解算后的数据通过 蓝牙传输到智能终端，在智能终端中进行复杂手势的识别。复杂手势识别技术可W由W下 几种方式之一来实现。
[0091] 1.基于隐性马尔科夫模型(HMM)的手势识别
[0092] 隐性马尔科夫模型化idden Markov Model-HMM)是一个由马尔科夫过程和一个一 般随机过程组成的双重随机过程，HMM在语音识别中的应用已相当成熟，由于手势序列和语 音序列很相似，因此HMM也逐渐被用于手势识别中，并且获得了比较高的识别精度。HMM分别 用=种算法解决=个问题：
[0093] 评估问题一-前后向算法:求给定模型下观测序列的概率；
[0094] 解码问题一-Viterbi算法:求给定模型下对应于观测序列的状态序列；
[00M] 训练问题一一Ba皿-Welch算法:产生该状态序列的最优模型；
[0096] 首先训练好一个手势库储存在智能终端，包含了数字012'''9和英文小写字母 abc…，W及一些特殊的图形（画叉，打钩，问号…），每一种手势对应一种HMM模型A。用户可 W为每一种手势自定义一个快捷功能(例如打钩表示立刻播放最喜爱的歌曲）。在开启快捷 键模式下，用户输入相应手势后，硬件平台便利用蓝牙传输模块将传感器数据传输到智能 终端，智能终端对数据进行评估和解码，识别出用户的手势，从而进行相应的操作。
[0097] 复杂手势识别中的HMM算法可W用别的手势识别算法来取代，例如模板匹配法、神 经网络、支持向量机(SVM)等。
[0098] 2.结合语音的手势识别
[0099] 先用手势画出笔画，然后通过语音确定要写的字或句段。智能终端中可保存用户 的自造词包，W后对应用户的口音可直接打出确定的字、句或实现相应的功能。
[0100] 二、体感游戏
[0101] 目前大部分的智能终端都包含有体感游戏，因此可W结合硬件平台上的传感器， 把9轴模块滤波处理后的数据通过蓝牙发送给智能终端，即可把手势识别硬件平台当做迷 你游戏手柄来使用。此外，目前市面上流行的基于机器视觉的体感游戏（如kinect)灵敏度 仍不够，体验效果不佳，但是通过在智能终端上集成摄像头，再结合硬件平台，大体定位出 硬件平台的位置，再进一步通过硬件平台上的巧螺仪等数据进行精细定位，在很大程度上 提高了识别精度和灵敏度。
[0102] S、AR现实增强
[0103] 结合智能终端上的摄像头W及手势识别硬件平台，在智能终端上实现A放见实增强 的效果。实现过程：
[0104] 首先硬件平台的形状和颜色都是为了摄像头更好定位而设计。圆形的色圈，简单 的轮廓外形，都有利于摄像头对硬件平台更快，更准确的定位，为AR技术的实现做好虚拟物 品定位准备，其次就是只能终端预先存好虚拟物品素材，最后就在摄像画面显示的同时，在 标定位置显示出相应的文字或者虚拟物品。
[01化]现实效果包括：
[0106] 1.摄像对硬件平台的定位跟踪，终端上的摄像画面随着硬件平台的移动而改变。
[0107] 2.摄像头可W对持有硬件平台的人定位，并通过衣服图库的选取实现用户换衣试 衣体验，让终端变成试衣镜。
[0108] 3.通过对硬件平台的定位，还可W实现硬件平台的变身，例如变成一捧花，一个茶 壶，一把剑等等，达到神奇的AR效果。
[0109] 四、控制PPT等应用的播放
[0110] PC端广泛存在需要方向性控制的操作，如PPT的播放、图片的切换、网页的上下滑 动等，传统的鼠标控制在距离上限制较大，操控性低，影响人与PC端的友好交互。
[0111] 目前流行的控制PPT的播放方式（其他应用类似)有两种：通过键盘或者PPT翻页 笔。当通过键盘控制PPT播放时，操纵者必须站在电脑旁边，运样就不利于与讲台下的观众 进行交流与互动，用户体验性差;虽然使用PPT翻页笔可W实现远程操控PPT，但是其同样是 W按键的形式，必须随时拿在手上，用户体验同样不是太好。
[0112] 通过分析，我们发现PPT的操控命令大致存在四种:开始播放，上翻页，下翻页W及 结束播放。于是我们定义了四种手势，分别与运四种命令相对应，
[0113] 最终通过手势就达到了控制PPT播放的目的，且由于手势识别硬件平台精致小巧， 可直接穿戴在手上，不影响正常的手势交流，进一步提高了用户体验。
[0114] 五、手语识别系统
[0115] 由于先天或者后天的不幸导致我们身边可能有残疾的朋友，往往需要学习手语才 能和他们进行交流。手语的研究有助于改善和提高聋哑人的生活学习和工作条件，为他们 提供更好的服务。
[0116] 通过穿戴手势识别硬件平台，采集手语样本，然后通过自定义复杂手势识别对每 种手语进行建模，最后进行手语识别。通过借助于智能终端强大的计算能力W及对识别算 法的改进，可W达到很高的识别精度，极大的改善聋哑人的生活质量，使得其可W用手语和 正常人进行交流。
[0117] W上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能 认定本实用新型的具体实施只局限于运些说明。对于本实用新型所属技术领域的普通技术 人员来说，在不脱离本实用新型构思的前提下，还可W做出若干简单推演或替换，都应当视 为属于本实用新型的保护范围。
【主权项】
1. 一种快速三维动态手势识别系统，其特征在于，所述系统包括手势识别的硬件平台 和接收端;其中，所述手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、 3轴陀螺仪和3轴磁力计、Μ⑶微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关； 所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场，获得手势的原 始数据;所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述 接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性， 并利用这五个特征量对手势能量进行分类识别。2. 根据权利要求1所述的系统，其特征在于:所述硬件平台通过锂电池进行供电，当电 量过低时使用MiniUsb接口给锂电池进行充电。3. 根据权利要求1所述的系统，其特征在于:所述无线通信方式为蓝牙、RF或WIFI。4. 根据权利要求1所述的系统，其特征在于:所述硬件平台还包括摄像头，用于接受手 势输入。5. 根据权利要求1所述的系统，其特征在于:所述接收端为PC机，所述PC机包括无线通 信模块。6. 根据权利要求1所述的系统，其特征在于:所述接收端为智能终端，所述智能终端包 括无线通信模块。7. 根据权利要求1所述的系统，其特征在于:所述硬件平台不附加任何按键。8. 根据权利要求1所述的系统，其特征在于:所述硬件平台为手持设备或者为可穿戴式 设备。9. 一种快速三维动态手势数据采集设备，其特征在于，所述采集设备采集手势数据，其 包括3轴加速度计、3轴陀螺仪和3轴磁力计、Μ⑶微处理器、蓝牙模块、锂电池充电电路、锂电 池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁 场，获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始数据传送给 接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角 速度单边性，并利用这五个特征量对手势能量进行分类识别;所述接收端为智能终端或PC 机。
【文档编号】G06K9/00GK205721628SQ201620310639
【公开日】2016年11月23日
【申请日】2016年4月13日
【发明人】韩啸, 张钦宇, 刘易, 徐开放, 杨智翔, 李荣华
【申请人】哈尔滨工业大学深圳研究生院
【专利摘要】本实用新型提出了一种快速三维动态手势识别系统，包括手势识别的硬件平台和接收端；其中，外观小巧的手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关；所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场，获得手势的原始数据；所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端；所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性，并利用这五个特征量对手势能量进行分类识别。本实用新型体积小，携带使用方便，具有很好的应用前景。
【专利说明】
-种快速H维动态手势识别系统及手势数据采集设备
技术领域
[0001] 本实用新型属于人机交互技术领域，尤其设及一种动态手势识别系统及手势数据 采集设备。
【背景技术】
[0002] 人工智能的发展促使着与其相关的应用层出不穷，其中作为人工智能的重要内 容一一人机交互技术，也受到越来越多的关注。人机交互研究的是人类如何与机器进行沟 通，从而控制机器，自如地实现人们所希望的功能。过去传统的人机交互方式有按键、键盘、 触摸屏和语音技术等。但上述方式都在效率、准确性、自然性上存在诸多局限，运也使得人 们开始寻找效率更高、交互更加自然的方式。
[0003] 现有的人机交互技术存在W下缺点：
[0004] (1)机械键盘交互是最成熟，但同时也是最低效的交互方式，因其成本、损耗、低效 等各种原因，正在被移动设备慢慢淘汰；
[0005] (2)触摸屏操作作为近几年新兴的人机交互方式，W其操作简洁、符合用户习惯、 学习成本低、可多点触控等优点，成为新一代移动设备有效的交互方式。但是，触控技术不 可避免的需要用户在触模板上进行操作，限制了触控技术的应用场景和范围。
[0006] (3)语音识别目前也是一种非常成熟的交互方式，识别率较高，尤其是随着iPhone 中Siri的出现，基于自然语音的识别技术使得语音交互方式迈上了一个新的台阶。然而，语 音交互方式会受到地区语言差异W及个人语音差异的影响，同时，自然语音识别需要时刻 联网、能耗高的缺点，大大限制了语音技术在可穿戴设备中的应用。
[0007] 随着各方面技术的进步，人们希望得到更好的人机交互体验，对交互的实时性、识 别率等硬性指标的要求也越来越苛刻，甚至开始希望通过一些自身的微小信息，例如手指 信息、声波信息、眼珠信息、脑电波信息、肌肉信息等来实现与机器的沟通。运促使许多专家 学者不断地寻找挖掘更便捷、更快速、更准确、更自然的人机交互方式，并开始关注利用人 类自身的身体语言来实现机器控制，而其中手势作为变化方式最多、最能够表达人们意愿 的方式之一，成为了关注的重点。在脑电波控制世界的时代来临之前，手势是最有可能改变 传统人机交互方式的研究切入点。因为手势是身体姿态最多变、最具有表达性的一项，它可 W最大可能地表达人们的想法和意愿。不通过任何媒介，直接利用一个简单的手势动作就 可W操控生活，是目前人们所追求的理想人机交互方式。运种全新的操作方式，使得人类在 运个物物相连的互联智能时代，真正实现用自己的手来掌控自己的生活。手势也会将人机 交互方式从传统的平面二维识别技术扩展到了空间=维识别技术，实现更多技术发展的可 能性。本实用新型所要做的=维动态手势识别技术，搭配一个集成了=轴加速度计、=轴巧 螺仪、磁力计、处理忍片和低功耗蓝牙的微型硬件平台，来与PC端或其他终端实现友好的人 机交互方式。
[000引手势识别技术的发展过程中产生过几种主流的解决方案，例如:基于数据手套的 方案:起步最早，也是最直接处理问题的一种方案。该方案具有数据量小、速度高、受环境影 响较小和能够直接获取手势数据等诸多优点。但是要求用户穿戴复杂的手套，大大降低了 用户体验，并且对附着其上的传感器披覆较高硬度的保护层在技术上有一定难度，而相对 脆弱的设备在携带上也存在不方便。基于机器视觉的处理方案：当前最热口的手势识别技 术解决方案，也就是摄像头图像处理，比如说微软的Kinect。最大的优点是用户无需佩戴任 何设备，人机交互性好。但是运种技术对于空间、环境有比较大的限制性，因此除了一些大 型的体感游戏使用，在生活中的推广度并不高。基于SEMG的方案:处在多学科交叉的领域， 除了和数据手套方案一样需要用户佩戴电极外，和机器视觉的方案类似，该方案也容易受 外部环境和用户等因素的干扰。外部环境的干扰包括电磁环境的干扰和环境湿度变化造成 的测量电极接触电阻的变化。同时，用户的身体和精神状态在不同的情况下具有不同的基 准值，导致系统难W标定。 【实用新型内容】
[0009] 为了解决现有技术中问题，本实用新型设计了一个外观小巧的硬件平台，用加速 度计采集用户手势的3轴加速度，巧螺仪来采集用户手势的3轴角速度，磁力计来采集用户 手势的巧由磁感应强度，然后将数据传输给接收端，在接收端采用特征分析算法，在确保一 定的精确度和实时性的基础上，分别对移动、旋转、打钩、画叉、晃动、敲击等自身具有一定 区分度的=维动态手势进行识别，从而实现相应的应用。
[0010] 本实用新型通过如下技术方案实现：
[0011] -种快速=维动态手势识别系统，所述系统包括手势识别的硬件平台和接收端； 其中，所述手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、3轴巧螺仪 和巧邮兹力计、MCU微处理器、蓝牙模块、裡电池充电电路、裡电池W及电源开关;所述3轴加 速度计测量加速度、3轴巧螺仪测量角速度和巧邮兹力计测量磁场，获得手势的原始数据;所 述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述接收端根据 原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性，并利用运五 个特征量对手势能量进行分类识别。
[0012] 进一步地，所述硬件平台通过裡电池进行供电，当电量过低时使用MiniUsb接口给 裡电池进行充电。
[0013] 进一步地，所述无线通信方式为蓝牙、RF或WIFI。
[0014] 进一步地，所述硬件平台还包括摄像头，用于接受手势输入。
[0015] 进一步地，所述接收端为PC机，所述PC机包括无线通信模块。
[0016] 进一步地，所述接收端为智能终端，所述智能终端包括无线通信模块。
[0017] 进一步地，所述硬件平台不附加任何按键。
[0018] 进一步地，所述硬件平台为手持设备或者为可穿戴式设备。
[0019] 本实用新型还提供了一种快速=维动态手势数据采集设备，所述采集设备采集手 势数据，其包括巧由加速度计、3轴巧螺仪和巧邮兹力计、MCU微处理器、蓝牙模块、裡电池充电 电路、裡电池W及电源开关;所述巧由加速度计测量加速度、3轴巧螺仪测量角速度和3轴磁 力计测量磁场，获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始 数据传送给接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能 量最大轴、角速度单边性，并利用运五个特征量对手势能量进行分类识别;所述接收端为智 能终端或PC机。
【附图说明】
[0020]图1是本实用新型的手势识别系统的硬件平台及PC接收端硬件框图；
[0021 ]图2是本实用新型的手势识别方法的具体实现方案流程图；
[0022] 图3是机体坐标系b系和用户坐标系n系示意图；
[0023] 图4是手势长度计算流程图；
[0024] 图5是手势预分类结构图；
[0025] 图6是移动类手势细划分流程图；
[0026] 图7是旋转类手势细划分流程图。
【具体实施方式】
[0027] 下面结合【附图说明】及【具体实施方式】对本实用新型进一步说明。
[0028] 本实用新型的手势识别硬件平台及PC接收端硬件框图如附图1所示。手势识别硬 件平台外观精致小巧，不附加任何按键，可W手拿，也可W作为手环或者指环穿戴在手上， 作为智能可穿戴式设备来进行手势控制。其上集成了 9轴传感器模块(3轴加速度计测量加 速度、3轴巧螺仪测量角速度和3轴磁力计测量磁场）、MCU微处理器、蓝牙模块、裡电池充电 电路、裡电池W及电源开关等。通过裡电池给平台进行供电，当电量过低时使用MiniUsb接 口给电池进行充电。
[0029] 手势识别的硬件平台作为手势数据的采集设备，通过蓝牙通信的方式将采集到的 9轴传感器数据W及解算后的巧自姿态数据传送给PC接收端进行数据处理及手势识别。蓝牙 通信技术可W用别的无线通信技术来代替，例如RF, Wifi等。
[0030] 因为对实时性需求较高，本实用新型采用的细分特征值法，其要求每个动作之间 的特征量或特征量集合相互独立，因此在选择手势动作时，需要对手势进行大量的样本观 察和分析，通过样本采集和波形观察，最终确定了可W采用特征识别法的W下的6大类动 作，共10个动作，如表1所示：
[0031] 表1手势集定义
[0032]
[0033] 上述的手势动作之间具有一定的区分度，它们各自的传感器信息所构成的特征量 之间具有比较高的可识别性，因此可W根据不同手势的特征值建立不同的分类器。首先根 据计算出来的特征值对六大类手势进行预分类，识别出其所在的类别，再设计算法针对旋 转类和移动类动作进行细划分，识别出运动的方向，从而实现利用细分特征值分析法快速 高效地实现手势的分类和识别。
[0034] 基于运动传感器的手势识别方法的具体实现方案如附图2所示，采用细分特征值 法，首先需要切割出手势的有效时间段，即从所有读取到的原始数据中截取从手势的起点 到终点的段落，然后再对切割下来的数据段进行坐标系的转换，从机体坐标系转换到用户 坐标系。进行了切割和坐标系转换之后的手势数据段才能用来提取特征进行手势识别。
[0035] [差分法进行手势切割]
[0036] 在某一个时刻k下，当前加速度和角速度相对于上一时刻k-1下的差值的绝对值之 和即为当前的加速度和角速度的差分值：
[0037] (J)
[00；3 引 0)
[0039] 其中，巧K、跨、zr表示邮刻下的S轴力魄度值，义严、IT、Zf表示k时 刻下的=轴角速度值。
[0040] k时刻与k-1时刻的加速度变化值A a。。和角速度变化量A agr就是当前时刻下的加 速度和角速度差分值，运个差分值可W看出手势前后的波动情况，只要设定一个阔值，那么 就可W认为超过了运个阔值的时间点是手势的起点，在识别出起点后，若差分值出现了小 于阔值了的时刻点，就是手势的终点。
[0041] 但是运种计算方法下用户无意识下手势瞬间的抖动会造成判断结果出现偏差，因 此我们将单点的差分法进行算法优化，变成滑动窗口的差分法。我们在一个窗口（长度为N) 内对加速度和角速度的两两时刻前后数值变化量求和，并适当提高阔值，提高对手势起点 和终点的判别精确度，隔离抖动误差的效果更好。在运种情况下再去进行判断，可W有效地 提高准确性，减少判断失误。由于本实用新型中采用的运动传感器采样率为f = 50化，而据 大量样本统计可知一个手势大概是Is左右，也就是50个采样点左右，因此根据经验设窗口 长度为N=7-10均可。经过平滑窗口处理后的加速度和角速度差分值分别为：
[0042] (3)
[0043] (4)
[0044] 因为同时采用的加速度和角速度一个窗口长度内的差分值来作为判断依据，而加 速度和角速度不一定能够同时在一个时刻上到达阔值，因此还需要再增加一个判断条件， 即加速度和角速度分别检测出来的起点或终点时刻差值如果超过5个采样时间点，则认为 该起点或终点无效。综上所述，当且仅当同时满足下面的判断条件：
[0045] AaccN(M)>5thi,M=Ai,Ai+l, . . . ,Ai+N (5)
[0046] AagrN(M)>5th2,M = A2,A2+l, . . . ,A2+N (6)
[0047] 并且 |Ai-A2|<5,贝ljA=min(Ai，A2)为手势起点。
[0048] 若满足下面判断条件：
[0049] AaccN(M)<5thi,M=Bi,Bi+l, . . . ,Bi+N (7)
[0050] AagrN(M)<Sth2，M = ^，B2+l，...，B2+N (8)
[00引]并且|B广B2|巧，贝ljB=max(Bi，B2)为手势终点。
[0052] [手势数据坐标系转换]
[0053] 由上文可W得知，传感器坐标系是机体坐标系b系，它随着传感器运动而改变，"东 北天"：用户坐标系（即地理坐标系)n系则固定保持不变。机体坐标系b系和用户坐标系n系 分别如附图3所示。
[0054] 用户在做手势动作的途中会随时改变传感器机体坐标系，而后续利用特征分析法 制定的一套判断标准是不变的，此时如果仍使用机体坐标系下测量出的原始数据来进行判 断显然是错误的。因此首先应该把手势切割后的所有有效测量数据通过旋转矩阵转换到用 户坐标系下，才能对运些数据使用同一套判断标准。如上文介绍，归一化后的四元数可W描 述刚体的定点运动，因此借助四元数即可轻松实现向量的坐标系转换，b坐标系到n坐标系 的转换矩阵如下：
[0化5] 微
[0056] 已知上式，就可W将数据进行坐标系转换，公式如下：
[0057]
([0)
[005引由转换矩阵的可逆性，可求出机体坐标系到用户坐标系的转换矩阵，从而将运动 传感器采集到的手势数据进行机体到用户坐标系的转换。
[0059] [细分特征值法实现手势识别]
[0060] 本实用新型定义的手势集中各个手势都有其自己相较于其它手势而言的比较明 显的特征，因此采用特征分析法能够快速、准确地对其进行识别。而特征分析法的关键在于 选取具有代表意义的特征量来设计预分类器，先识别手势所属的大类，再具体细划分手势 具体的动作。不同的数据采集方式所构成的特征量是不同的，因为使用的是运动传感器，采 集到的数据是加速度、角速度和磁感应强度，W及由姿态解算求出的姿态角，因此构成特征 量的数据即为上述运些运动数据。
[0061] 手势动作之间具有一定的区分度，它们各自的传感器数据信息所构成的特征量之 间具有比较高的可辨识性，因此可W根据不同手势的特征值建立不同的分类器，利用特征 分析法即可快速实现手势的分类和识别。
[0062] 选取合适有效的特征量是特征分析法区分手势的关键，好的特征量能直接降低手 势识别算法的复杂度，并能提高识别准确率，由此为基础来设计一个合理有效的分类器。经 过大量样本采集和观测，本研究定义了五个特征量，分别是手势长度、手势能量、波峰数(包 括加速度波峰数、角速度波峰数和姿态角波峰数）、角速度能量最大轴、角速度单边性，并利 用运五个特征量来构造一个手势大类的预分类器，W此来首先识别当前的用户手势属于哪 一大类：
[0063] (I)手势长度:手势起点到终点的采样数；
[0064] LEN=B-A (11)
[0065] 其中，A、B为数据段的起点和终点。本实用新型采样频率是f = 50化，大量试验证 明，手势长度必须大于20个采样点才有效，若小于20个采样点则不认为是一个手势，手势长 度计算流程如附图4所示。
[0066] (2)手势能量:手势起点到终点之间加速度和角速度绝对值之和；
[0067] (12)
[0068] 其中，A、B为数据段的起点和终点；gxi，gyi，gzi为手势数据在x、y、z轴上的角速度； 曰xi,ayi,azi为手势数据在x、y、z轴上的加速度。
[0069] (3)波峰数:每个手势动作的加速度或角速度或者姿态角的波峰数W及波峰波谷 的先后出现次序都会有所差异，波峰数可W反映出手势的来回运动次数。
[0070] 计算时易将轻微抖动也算进去，因此本实用新型给变化量设定了一个阔值，加速 度阔值设为±〇.7gm/s2,角速度阔值设为±12化S，姿态角阔值设为±30°，并且规定超过阔 值的采样点数大于5才有效。先分别计算单轴上的波峰数(单轴上波峰数与波谷数的较大 值），总的波峰数等于=轴波峰数之和。
[0071] (4)角速度能量最大值:每个轴上的角速度能量计算分别公式为：
[0072]
(1巧
[007引因此角速度能量最大轴即max化wx、Ewy、Ewz)所在的坐标轴，判断轴即为判断旋转 轴，旋转轴的准确判断对于识别旋转类手势十分关键；
[0074] (5)角速度单边性反映在某轴上的角速度呈现出单符号性，3个角速度中只要其中 一个满足单边性，就认为其整体角速度满足了单边性。
[0075] 确定了 W上运5个特征值之后，就可W根据各类手势的特征值规律，来设计手势动 作的预分类器，结构图如附图5所示。手势预分类结构图用于识别当前用户的手势属于哪一 大类，而对于其中的移动类和旋转类，还需要再进一步结合具体的特征量来进行细划分。从 附图5可W看出，敲击类和移动类通常速度都比较慢，动作维持时间短，因此手势能量小。而 对于能量较大的剩余手势中，若角速度能量最大轴出现在y轴，则明显是旋转类。但对于晃 动、画叉和打钩的分类，总体而言，前两类的长度、能量和加速度波峰数大于打钩，但由于手 势存在随意性，人们在做运些手势时容易产生类似的单个特征量，因此不能只用某个特征 量来进行区分。本实用新型设计了一个线性判别函数，将=个特征量换算为一种细分特征 值f，在单个特征量区分的基础上再用判别函数来进行区分，从而使分类准确度达到最高。 根据特征量样本得到的线性判别分类函数为：
[0076] f = a礼脚+b 地+C 冲+d (14)
[0077] 式中LEN为手势长度，E为手势能量，P为加速度波峰数，a，b，C，d为常系数。
[0078] 通过上文所述的预分类器，已经可W较精确地识别出当前用户手势属于哪一大 类，但是对于旋转类和移动类，还需要进一步地进行手势细化分，识别出其机体的运动方 向。
[0079] 1.移动类细划分出上、下、左、右：
[0080] 在观察移动类手势的特征量时发现，如果手势是向左右两个方向移动的，那么水 平面上的加速度发生的变化比较大，而其中对于向左的手势动作，X轴加速度先出现波谷再 出现波峰，向右移动的X轴加速度则刚好相反，先出现波峰再出现波谷；如果手势是上下移 动的，则垂直方向上的加速度发生的变化比较大，其中向上运动时Z轴加速度先出现波峰再 出现波谷，向下运动时Z轴加速度先出现波谷再出现波峰。
[0081] 因此可W首先通过判断X轴和Z轴加速度平均幅值谁更大来判断出上下还是左右 移动，再根据具体的波峰波谷出现的顺序来识别是具体的上、下、左、右。加速度在一个手势 有效长度A-B时间段内的平均幅值计算公式如下：
[0082] (15)
[0083] (化）
[0084] 其中，A、B分别是手势动作数据段的起点和终点；axi、azi分别是手势在X轴、Z轴下 的加速度;AMx、AMz分别是手势在X轴、Z轴中的加速度平均幅值。
[0085] 通过判断手势在X轴、Z轴中的加速度平均幅值AMx、AMz哪个更大，可W得到手势当 前是集中在水平面运动还是垂直面运动，然后再根据X轴和Z轴上各自加速度的波峰波谷出 现的顺序来判断具体的运动方向，流程图如附图6所示。
[0086] 2.旋转类手势细划分为顺时针和逆时针两个方向：
[0087] 因为旋转类手势是发生在水平面上的，因此只要观察y轴角速度波峰波谷出现的 先后顺序就能识别出用户当前是在顺时针旋转还是逆时针旋转，如果y轴角速度先波谷后 波峰，则是逆时针旋转，反过来先波峰后波谷则是顺时针旋转，流程图如附图7所示。
[0088] 通过在W上理论分析，我们可W更进一步地实现内容丰富、形式多样化的功能应 用。
[0089] -、可自定义的复杂手势识别
[0090] 类似于编码原理，用户可W根据自己的喜好把一系列的较复杂的手势设定为快捷 键快速打开某些应用。由于复杂手势识别需要大量复杂的实时计算和储存，单纯在手势识 别硬件平台上无法完成，因此需要将消除误差后的传感器数据W及姿态解算后的数据通过 蓝牙传输到智能终端，在智能终端中进行复杂手势的识别。复杂手势识别技术可W由W下 几种方式之一来实现。
[0091] 1.基于隐性马尔科夫模型(HMM)的手势识别
[0092] 隐性马尔科夫模型化idden Markov Model-HMM)是一个由马尔科夫过程和一个一 般随机过程组成的双重随机过程，HMM在语音识别中的应用已相当成熟，由于手势序列和语 音序列很相似，因此HMM也逐渐被用于手势识别中，并且获得了比较高的识别精度。HMM分别 用=种算法解决=个问题：
[0093] 评估问题一-前后向算法:求给定模型下观测序列的概率；
[0094] 解码问题一-Viterbi算法:求给定模型下对应于观测序列的状态序列；
[00M] 训练问题一一Ba皿-Welch算法:产生该状态序列的最优模型；
[0096] 首先训练好一个手势库储存在智能终端，包含了数字012'''9和英文小写字母 abc…，W及一些特殊的图形（画叉，打钩，问号…），每一种手势对应一种HMM模型A。用户可 W为每一种手势自定义一个快捷功能(例如打钩表示立刻播放最喜爱的歌曲）。在开启快捷 键模式下，用户输入相应手势后，硬件平台便利用蓝牙传输模块将传感器数据传输到智能 终端，智能终端对数据进行评估和解码，识别出用户的手势，从而进行相应的操作。
[0097] 复杂手势识别中的HMM算法可W用别的手势识别算法来取代，例如模板匹配法、神 经网络、支持向量机(SVM)等。
[0098] 2.结合语音的手势识别
[0099] 先用手势画出笔画，然后通过语音确定要写的字或句段。智能终端中可保存用户 的自造词包，W后对应用户的口音可直接打出确定的字、句或实现相应的功能。
[0100] 二、体感游戏
[0101] 目前大部分的智能终端都包含有体感游戏，因此可W结合硬件平台上的传感器， 把9轴模块滤波处理后的数据通过蓝牙发送给智能终端，即可把手势识别硬件平台当做迷 你游戏手柄来使用。此外，目前市面上流行的基于机器视觉的体感游戏（如kinect)灵敏度 仍不够，体验效果不佳，但是通过在智能终端上集成摄像头，再结合硬件平台，大体定位出 硬件平台的位置，再进一步通过硬件平台上的巧螺仪等数据进行精细定位，在很大程度上 提高了识别精度和灵敏度。
[0102] S、AR现实增强
[0103] 结合智能终端上的摄像头W及手势识别硬件平台，在智能终端上实现A放见实增强 的效果。实现过程：
[0104] 首先硬件平台的形状和颜色都是为了摄像头更好定位而设计。圆形的色圈，简单 的轮廓外形，都有利于摄像头对硬件平台更快，更准确的定位，为AR技术的实现做好虚拟物 品定位准备，其次就是只能终端预先存好虚拟物品素材，最后就在摄像画面显示的同时，在 标定位置显示出相应的文字或者虚拟物品。
[01化]现实效果包括：
[0106] 1.摄像对硬件平台的定位跟踪，终端上的摄像画面随着硬件平台的移动而改变。
[0107] 2.摄像头可W对持有硬件平台的人定位，并通过衣服图库的选取实现用户换衣试 衣体验，让终端变成试衣镜。
[0108] 3.通过对硬件平台的定位，还可W实现硬件平台的变身，例如变成一捧花，一个茶 壶，一把剑等等，达到神奇的AR效果。
[0109] 四、控制PPT等应用的播放
[0110] PC端广泛存在需要方向性控制的操作，如PPT的播放、图片的切换、网页的上下滑 动等，传统的鼠标控制在距离上限制较大，操控性低，影响人与PC端的友好交互。
[0111] 目前流行的控制PPT的播放方式（其他应用类似)有两种：通过键盘或者PPT翻页 笔。当通过键盘控制PPT播放时，操纵者必须站在电脑旁边，运样就不利于与讲台下的观众 进行交流与互动，用户体验性差;虽然使用PPT翻页笔可W实现远程操控PPT，但是其同样是 W按键的形式，必须随时拿在手上，用户体验同样不是太好。
[0112] 通过分析，我们发现PPT的操控命令大致存在四种:开始播放，上翻页，下翻页W及 结束播放。于是我们定义了四种手势，分别与运四种命令相对应，
[0113] 最终通过手势就达到了控制PPT播放的目的，且由于手势识别硬件平台精致小巧， 可直接穿戴在手上，不影响正常的手势交流，进一步提高了用户体验。
[0114] 五、手语识别系统
[0115] 由于先天或者后天的不幸导致我们身边可能有残疾的朋友，往往需要学习手语才 能和他们进行交流。手语的研究有助于改善和提高聋哑人的生活学习和工作条件，为他们 提供更好的服务。
[0116] 通过穿戴手势识别硬件平台，采集手语样本，然后通过自定义复杂手势识别对每 种手语进行建模，最后进行手语识别。通过借助于智能终端强大的计算能力W及对识别算 法的改进，可W达到很高的识别精度，极大的改善聋哑人的生活质量，使得其可W用手语和 正常人进行交流。
[0117] W上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能 认定本实用新型的具体实施只局限于运些说明。对于本实用新型所属技术领域的普通技术 人员来说，在不脱离本实用新型构思的前提下，还可W做出若干简单推演或替换，都应当视 为属于本实用新型的保护范围。
【主权项】
1. 一种快速三维动态手势识别系统，其特征在于，所述系统包括手势识别的硬件平台 和接收端;其中，所述手势识别的硬件平台作为手势数据的采集设备，其包括3轴加速度计、 3轴陀螺仪和3轴磁力计、Μ⑶微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关； 所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场，获得手势的原 始数据;所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述 接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性， 并利用这五个特征量对手势能量进行分类识别。2. 根据权利要求1所述的系统，其特征在于:所述硬件平台通过锂电池进行供电，当电 量过低时使用MiniUsb接口给锂电池进行充电。3. 根据权利要求1所述的系统，其特征在于:所述无线通信方式为蓝牙、RF或WIFI。4. 根据权利要求1所述的系统，其特征在于:所述硬件平台还包括摄像头，用于接受手 势输入。5. 根据权利要求1所述的系统，其特征在于:所述接收端为PC机，所述PC机包括无线通 信模块。6. 根据权利要求1所述的系统，其特征在于:所述接收端为智能终端，所述智能终端包 括无线通信模块。7. 根据权利要求1所述的系统，其特征在于:所述硬件平台不附加任何按键。8. 根据权利要求1所述的系统，其特征在于:所述硬件平台为手持设备或者为可穿戴式 设备。9. 一种快速三维动态手势数据采集设备，其特征在于，所述采集设备采集手势数据，其 包括3轴加速度计、3轴陀螺仪和3轴磁力计、Μ⑶微处理器、蓝牙模块、锂电池充电电路、锂电 池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁 场，获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始数据传送给 接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角 速度单边性，并利用这五个特征量对手势能量进行分类识别;所述接收端为智能终端或PC 机。
【文档编号】G06K9/00GK205721628SQ201620310639
【公开日】2016年11月23日
【申请日】2016年4月13日
【发明人】韩啸, 张钦宇, 刘易, 徐开放, 杨智翔, 李荣华
【申请人】哈尔滨工业大学深圳研究生院
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1