专利名称：一种手势侦测方法及侦测装置的制作方法
技术领域：
本发明涉及手语识别领域，尤其是一种手势侦测方法及侦测装置。
背景技术：
随着现代计算机技术的高速发展，越来越多的人机交互系统要求对手部动作实现高精度的捕捉及还原，在三维虚拟环境下如虚拟现实系统等人机交互系统，要求辅助的手部动作侦测设备能够实时、精确的捕捉和还原操作人员的手部动作变化过程，很多高危环境不适合人员现场处理，需要远程操控智能机器人机械手进行危险作业，这种情况需要能够精确操控远程的智能机器人机械手动作。手势识别方法需要精确检测手部和手指的运动轨迹，以及计算出手部各个手指在运动中姿势变化，并把这种动作变化进行数字式量化，便于计算机实现手部动作同步还原。现有的手势侦测设备主要有以下几种
1、采用直线位移式传感器的数据手套，通过检测手指弯曲引起的直线位移传感器位移量，通过位移量转换成手指弯曲程度量。这种数据手套一般是机械骨架式应用结构，机械结构复杂。2、使用光纤弯曲传感器的数据手套，利用光纤弯曲时引起的激光信号衰减和干涉来检测手指弯曲状态，根据激光信号衰减量转换成手指弯曲程度量。3、使用加速度传感器的数据手套技术，美国有一种使用一组加速度传感器来测量各个手指动作的数据手套，通过手指上的加速度传感器检测的加速度值来转换成手指的运动状态。这种方法对手指的抖动处理要求很高，抖动干扰大。4、利用视觉分析的数据手套，在手套上安装识别点，利用摄像头捕捉识别点的运动，通过视频分析处理识别出手套的运动状态。外围设备复杂、系统昂贵。
发明内容
本发明要解决的技术问题是提供一种硬件设备简洁、成本低廉、处理效率高的手势侦测方法及侦测装置。为了解决上述技术问题，本发明所采用的技术方案是 一种手势侦测方法，包括以下步骤
采用传感器侦测手部和手指运动的数据采集流程；
将传感器采集的数据信号转换成代表手势的特征数据阵列的数据处理流程； 将代表手势的特征数据阵列传输给对手势进行识别的后台的数据传输流程； 所述数据采集流程采用一个安装在手背上的数字式三轴加速度传感器检测手部运动在X、Y、Z三轴上的矢量运动加速度值，采用多个安装在各手指活动关节部位的弯曲传感器检测各手指的弯曲运动；所述数据处理流程根据数字式三轴加速度传感器的矢量运动加速度值得到手部在Χ、Υ、Ζ三轴方向与重力方向的夹角值，根据弯曲传感器的信号计算得到各弯曲传感器的弯曲角度值，所述X、Y、Z三轴方向与重力方向的夹角值及各弯曲传感器的弯曲角度值在关键帧的数据构成代表手势的特征数据阵列。
3
进一步，所述弯曲传感器的个数为5个、9个、14个或17个。进一步作为优选的实施方式，所述数据采集流程、数据处理流程、数据传输流程通过状态机采用多线程并行的工作模式。一种手势侦测装置，包括一对采集数据进行运算处理的中央处理器单元，所述中央处理器单元通过端口分别连接有传感器单元、电源单元、数据通信单元及一存储需要掉电保护的系统参数的存储模块，传感器单元包括一个数字式三轴加速度传感器和多个弯曲传感器，所述每个弯曲传感器依次通过一信号调理电路连接至数据采样电路，所述数字式三轴加速度传感器和数据采集电路与中央处理器单元的端口连接。 进一步，所述弯曲传感器的个数为5个、9个、14个或17个。进一步，所述数据通信单元为UART模块、USB端口模块或者蓝牙端口模块。进一步，所述电源单元为锂电池和/或USB供电模块。本发明的有益效果是本发明手势侦测方法通过结合弯曲传感器和数字式三轴加速度传感器对手部和手指的运动变化的实时检测，通过数据处理得到由加速度传感器在X、 Y、z轴上与重力方向夹角值及各弯曲传感器的弯曲角度值在关键帧的数据构成代表手势的特征数据阵列，所述手势侦测方法可对手部运动姿势和手指运行进行实时侦测，精度高；进一步，所述手势侦测方法通过采用多线程并行处理的模式，改进了传统的数据采集、数据处理、数据传输的串行工作模式，提高了数据采样、数据处理及数据传输的效率；所述手势侦测装置结合了加速度传感器和弯曲传感器，结构简单，成本低，采样精度高，处理效率高。
下面结合附图对本发明的具体实施方式
作进一步说明 图1是手势侦测方法的基本流程图2是本发明加速度传感器在X、Y、Z三轴矢量分布图； 图3是本发明加速度传感器在X、Y、Z三轴矢量与重力夹角分布图； 图4是弯曲传感器示意图5是弯曲传感器和加速度传感器与关节位置、弯曲范围的对应表。图6是采用6个传感器实施例的传感器分布示意图； 图7是采用10个传感器实施例的传感器分布示意图8是采用15个传感器实施例的传感器分布示意图； 图9是采用18个传感器实施例的传感器分布示意图； 图10是本发明优选的手势侦测方法的流程图； 图11是本发明手势侦测装置的原理框图； 图12是本发明手势侦测装置的硬件结构图； 图13是弯曲传感器信号处理电路电路原理图； 图14是弯曲传感器信号调理电路电路原理图。
具体实施例方式手势侦测主要解决以下两个技术问题
1、手部运动姿势的侦测手部运动姿势侦测是指在手部运动过程中的姿势变化，包括转动、平移、倾斜、翻转等动作，主要是指手部的整体运动侦测，本发明中采用数字式三轴加速度传感器来确定手部的空间姿势；
2、手指运行的侦测手指运行的侦测是指各个手指的弯曲、伸展、绕动(拇指)等运行侦测。本发明在结合结合数字式三轴加速度传感器和弯曲传感器的基础上，开发了一种手势侦测方法及侦测装置。参照图1，一种手势侦测方法，包括以下步骤 采用传感器侦测手部和手指运动的数据采集流程；
将传感器采集的数据信号转换成代表手势的特征数据阵列的数据处理流程； 将代表手势的特征数据阵列传输给对手势进行识别的后台的数据传输流程。所述数据采集流程采用一个安装在手背上的数字式三轴加速度传感器检测手部运动在X、Y、Z三轴上的矢量运动加速度值，采用多个安装在各手指活动关节部位的弯曲传感器检测各手指的弯曲运动；所述数据处理流程根据数字式三轴加速度传感器的矢量运动加速度值得到手部在X、Y、Z三轴方向与重力方向的夹角值，根据弯曲传感器的信号计算得到各弯曲传感器的弯曲角度值，所述X、Y、Z三轴方向与重力方向的夹角值及各弯曲传感器的弯曲角度值在关键帧的数据构成代表手势的特征数据阵列。所述加速度传感器可以同时侦测到任何时刻手部在X、Y、Z三轴上的矢量运动加速度值，参照图2，X、Y、Z三轴组成相互垂直的空间三维坐标系，静态时X、Y、Z三轴上侦测到的矢量加速度值为重力在三轴上的分量加速度值，运动时X、Y、Z三轴上侦测到的矢量加速度值为重力加速度和运动加速度在三轴上的分量加速度值的合成加速度值，任意时刻重力在x、Y、z三轴上的分量加速度值不受运动加速度影响，因此任意时刻根据Χ、Υ、Ζ三轴上侦测的矢量加速度值ax、aY、aZ，结合三维空间运动算法，可以计算出运动加速度与重力加速度的合成矢量加速度avg，通过三角函数关系可以计算出加速度avg与X、Y、Z三轴的矢量空间夹角的大小，设定Z轴与重力重合时的位置为初始参考位置，则根据加速度avg与X、 Y、Z三轴的矢量空间夹角的大小结合三维空间的八个相限，可以实时确定三轴加速度传感器的空间姿势。参照图3，所述加速度传感器在X、Y、Z三轴与重力方向的夹角分别为exg、 θ yg、θ zg，在 Χ、Υ、Ζ 方向的加速度值分别为 DataX、DataY、DataZ，所述 DataX、DataY、DataZ 分别是重力和运动在三轴上分量的合加速度值，角度与加速度存在如下特定的三角函数关系
F( θ Xg) =atan ( sqrt (DataY * DataY + DataZ * DataZ) / DataX) ) * 180 / PI(1)
F( θ yg )=atan ( sqrt (DataX * DataX + DataZ * DataZ) / DataY) ) * 180 / PI(2)
F( θ Zg) =atan ( sqrt (DataX * DataX + DataY * DataY) / DataZ) ) * 180 / PI(3)
通过上述公式(1) (3)可以计算出任意时刻加速度传感器X、Y、Z三轴与重力方向的夹角，由于加速度传感器检测到的X、Y、Z三轴方向上的加速度值为矢量值，故计算出来的夹角值为-90° +90°，结合加速度传感器在Χ、Υ、Ζ三轴方向上加速度的矢量方向，可以确定加速度传感器在任意时刻的运动姿势。在数据处理过程中，使用时先对加速度传感器进行初始化动作，以初始化的状态为参考点，在运动过程中，检测加速度传感器在X、Y、Z三轴方向上矢量加速度的值并对矢量加速度值在时间上做二次积分，可以分别计算出在X、Y、Z 轴三个方向的移动距离以及移动方向。
参照图4，所述弯曲传感器米用力敏材料来侦测手指的弯曲、伸展、绕动(拇指)等动作，通过把不同的弯曲传感器安装在各个手指运动自由度的关键位置，实现对各个手指自由度方向上的运动侦测，所述弯曲传感器的作用是把手指的弯曲、伸展、绕动(拇指)等动作转换成可量测的电信号，数据处理流程通过数据分析及算法处理，将电信号转换成带代表弯曲传感器弯曲的角度值，弯曲传感器的弯曲特性见以下表达式
θ bend =μ f (Ri) + H......... (4)
所述θ bend为弯曲的角度值，f (Ri)是一个多次项函数，Ri是弯曲传感器的电阻变化值，μ为弯曲特性曲线系统校正系数，H为弯曲特性偏移补偿系数。所述f (Ri)的函数关系如下
权利要求
1.一种手势侦测方法，包括以下步骤采用传感器侦测手部和手指运动的数据采集流程；将传感器采集的数据信号转换成代表手势的特征数据阵列的数据处理流程；将代表手势的特征数据阵列传输给对手势进行识别的后台的数据传输流程；其特征在于所述数据采集流程采用一个安装在手背上的数字式三轴加速度传感器检测手部运动在x、Y、z三轴上的矢量运动加速度值，采用多个安装在各手指活动关节部位的弯曲传感器检测各手指的弯曲运动；所述数据处理流程根据数字式三轴加速度传感器的矢量运动加速度值得到手部在X、Y、Z三轴方向与重力方向的夹角值，根据弯曲传感器的信号计算得到各弯曲传感器的弯曲角度值，所述X、Y、Z三轴方向与重力方向的夹角值及各弯曲传感器的弯曲角度值在关键帧的数据构成代表手势的特征数据阵列。
2.根据权利要求1所述的一种一种手势侦测方法，其特征在于弯曲传感器的个数为5 个、9个、14个或17个。
3.根据权利要求1所述的一种一种手势侦测方法，其特征在于所述数据采集流程、数据处理流程、数据传输流程通过状态机采用多线程并行的工作模式。
4.一种手势侦测装置，包括一对采集数据进行运算处理的中央处理器单元，所述中央处理器单元通过端口分别连接有传感器单元、电源单元、数据通信单元及一存储需要掉电保护的系统参数的存储模块，其特征在于传感器单元包括一个数字式三轴加速度传感器和多个弯曲传感器，所述每个弯曲传感器依次通过一信号调理电路连接至数据采样电路， 所述数字式三轴加速度传感器和数据采集电路与中央处理器单元的端口连接。
5.根据权利要求4所述的一种一种手势侦测装置，其特征在于所述弯曲传感器的个数为5个、9个、14个或17个。
6.根据权利要求4所述的一种一种手势侦测装置，其特征在于所述数据通信单元为 UART模块、USB端口模块或者蓝牙端口模块。
7.根据权利要求4所述的一种一种手势侦测装置，其特征在于所述电源单元为锂电池和/或USB供电模块。
全文摘要
本发明公开了一种手势侦测方法及装置，所述方法包括数据采集、数据处理及数据传输流程，所述数据采集流程采用一个安装在手背上的数字式三轴加速度传感器检测手部运动在X、Y、Z三轴上的矢量运动加速度值，采用多个安装在各手指活动关节部位的弯曲传感器检测各手指的弯曲运动；所述数据处理流程根据数字式三轴加速度传感器的矢量运动加速度值得到手部在X、Y、Z三轴方向与重力方向的夹角值，根据弯曲传感器的信号计算得到各弯曲传感器的弯曲角度值，所述X、Y、Z三轴方向与重力方向的夹角值及各弯曲传感器的弯曲角度值在关键帧的数据构成代表手势的特征数据阵列。本发明成本低，采样精度高，处理效率高，可广泛应用于手语识别领域。
文档编号G06F3/01GK102426477SQ20111022713
公开日2012年4月25日 申请日期2011年8月9日 优先权日2011年8月9日
发明者姚以鹏, 王兵, 王可炜, 王磊, 郝志峰, 陈曦, 黄昌正 申请人:广东科学中心, 广州畅途软件有限公司