一种基于三轴加速度传感器人体动作识别方法
【专利摘要】一种基于三轴加速度传感器人体动作识别方法，本发明包括以下步骤：1)获取人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征；3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。本发明的有益效果为，提升了人体动作识别的准确率，使人体动作分类正确率更高。
【专利说明】
-种基于H轴加速度传感器人体动作识别方法
技术领域
[0001] 本发明属于人体动作识别方法技术领域，尤其是属于基于=轴加速度传感器技术 和多列双向长短期记忆人工神经网络技术的人体动作识别方法技术领域。
【背景技术】
[0002] 随着手机、平板等电子设备的普及，其中内含的带有加速度传感器的移动设备也 在人们生活中普及。带有加速度传感器的移动设备可W很方便地捕获人体的动作，通过捕 获人体的动作，从而提升了用户体验感，并为附带有该系统的设备提供了很好的发展机会。 因此，基于移动设备的人体动作识别系统受到了研究人员越来越多的关注，特别是多媒体 大数据领域的关注。
[0003] 提取特征和分类在模式识别领域是很重要的两个步骤。提取特征分对于时域特征 的提取和对于频域特征的提取两种。
[0004] 对于时域特征的提取，提取特征（人体加速度特征)一般只考虑了一维的情况，对 时间轴上的原始信号直接进行特征提取，研究者用均值作为特征，通常会用一个窗函数来 过滤随机峰值和噪声，运种方法的计算复杂度和对硬件的要求比较低;有用最大最小值，方 差和标准差的方法来做人体动作识别的问题，运种方法对于步行和跑步等差别较大的动作 的识别有不错效果，但对于原地踏步、快速走、上下楼梯等动作的识别不是很理想。对于频 域特征的提取，大多数的研究者依赖快速傅里叶变换，离散傅里叶变换，离散余弦变换分解 时域信号到频域上，频域上要得到比较好的区分信号，需要进行较长的采样时间，运样会很 大程度上影响实时性。
[0005] 目前，上述两种提取特征的方法，人体动作识别的效果并不理想。
[0006] 特征提取后，就是对所提的特征进行分类，现有的分类器如，k近邻分类器化-順）， 支持向量机(SVM )，多层感知机(MLP )，k均值化-mean S )，都是不错的分类器，但运些传统的 分类器，并不是最优的选择。
【发明内容】
[0007] 本发明正是为了克服上述现有技术的缺陷，提供了一种采用了双向长短期记忆人 工神经网络(BLSTM)的分类器，其对特征有很好的分类，能达到理想的效果。
[000引本发明采用如下技术方案实现。
[0009] -种基于=轴加速度传感器人体动作识别方法，本发明包括W下步骤：1)获取人 体所佩戴移动设备输出的=轴加速度信号；2)对原始信号滤除噪声提取动作分类特征;3) 采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。
[0010] 本发明步骤1)，W=轴加速度信号的合加速度峰值为中屯、，截取一小段信号作为 待识别的人体动作样本。
[0011] 本发明=轴加速度信号的峰值通过W下方式获得：
[0012] -个采样窗口获取的人体动作=轴加速度信号，可W表示为一个包含M= 1000个 样本点的矩阵B = [Bi，化，…，Bm]，每一个样本点Bi是一个3维向量：
[OOU] Bi=(bxi，byi，bzi)T (I)
[0014] bxi，byi，bzi分别表示第i个样本的x，y，z .3个抽h的倍号，巧此每个样本点合加速 度构成矩阵B'=[||Bi| |，|阳I I，…，I IBmML运J
[0015] 因此，合加速度信号的峰值可W有W下的方式计算：
[0016] D = UB'，wl)-L(B'，w2) (2)
[0017] L表示均值滤波器，Wl和w2(wl>w2)是均值滤波器的窗口大小，取差值D的局部极 大值就是加速度信号的峰值。
[0018] 本发明样本截取方式，其信号的长度定义为250个采样点；
[0019] 本发明步骤2)，提取的特征是：原始加速度信号特征，加速度信号的范数特征，两 方向加速度信号特征作为人体动作识别的特征。
[0020] 本发明步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。
[0021] 本发明步骤3)采用S个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双 方向的长短期记忆人工神经网络(MBLSTM)，其输出结果为前端的S个化STM输出的平均值。
[0022] 本发明步骤2)，对原始信号滤除噪声提取动作分类特征过程如下：
[0023] 在人体动作识别发明中，=轴加速度传感器的一个采样窗口的输出表示为一个包 含N=250个样本点的矩阵A= [Al，A2，…，An]，每一个样本点Ai是一个3维向量：
[0024] Ai= (axi ,Syi ,azi) (3)
[00剧 axi，ayi，azi分别表示第i个样本的x，y，z3个轴上的信号;A作为原始加速度信号特 征。
[0026] 毎个挣本点合加速度构成矩阵A'=[MAi||，| |A2| I，…，I IAnI I]，运里
，A/就是加速度信号的范数特征。
[0027] 加速度信号的均值可W有W下的方式计算：
W 近 （4)
[0029: (5) 障； （巧
[0031； 分别表示x，y，zS轴上人体动作信号的均值。
[0032]接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间 内，水平方向上的加速度信号的均值很小，所W竖直方向上的单位向量ev表示为：
[00削
仍
[0034]所W第i个样本垂直方向上的信号Vi可W用下式估计：
[0035] Vi = Ai ? ev (8)
[0036] 第i个样本水平方向上的信号的范数出为：
[0037] 出=I IA广Vi I I (9)
[003引 V=[Vi，V2，...，Vn巧阳=化，出，…，曲]就是两方向特征；即得到原始加速度信号特 征，加速度信号的范数特征，两方向加速度信号特征。
[0039] -种双向长短期记忆人工神经网络(BLSTM)分类器，该分类器设置为5层，且上一 个层的输出作为下一个层输入;该分类器包括一个输入层、一个前向传播层、一个双向长短 期记忆人工神经网络(BLSTM)层、一个汇总层、一个SOf tmax层依序连接组成。
[0040] 本发明分离器的工作过程如下：1)输入层:输入的序列被分割成大小为3的块，然 后每个块被扫描成一个向量作为第1个隐藏层的输入;2)第2个隐藏层是前向传播层，第1个 隐藏层的输出作为第2隐藏层的输入;3)双向长短期记忆人工神经网络(BLSTM)层是第3个 隐藏层包含了若干个双向长短期记忆人工神经网络(BLSTM)单元，第2个隐藏层的输出作为 第3隐藏层的输入;4)第4个隐藏层是汇总层，每隔一段时间会汇总第3层所有的输出；5) SOf tmax层:汇总层的输出作为最后一层:SOftmax层的输入，最后一层有C路输出，代表人体 动作的类别数。
[0041] 本发明的有益效果为，本发明从多个方向提取、结合了不同的加速度信号特征，使 得提取的特征有更强的判别能力，提升了人体动作识别的准确率;确立采用多个双向长短 期记忆人工神经网络(BLSTM)分类器对不同特征进行分类，并对分类结果求平均，使人体动 作分类正确率更高。本发明通过优化了的特征提取方法和分类器的结构，最终达到人体动 作的高效识别，具有突出的进步和显著效果。
[0042 ]下面结合附图和【具体实施方式】对本发明作进一步解释。
【附图说明】
[0043] 图1为本发明的原理结构示意图。
【具体实施方式】
[0044] -种基于=轴加速度传感器人体动作识别方法，本发明包括W下步骤：1)获取人 体所佩戴移动设备输出的=轴加速度信号；2)对原始信号滤除噪声提取动作分类特征;3) 采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。
[0045] 本发明步骤1)，W=轴加速度信号的合加速度峰值为中屯、，截取一小段信号作为 待识别的人体动作样本。
[0046] 本发明=轴加速度信号的峰值通过W下方式获得：
[0047] -个采样窗口获取的人体动作=轴加速度信号，可W表示为一个包含M= 1000个 样本点的矩阵B =[Bi，化，…，Bm]，每一个样本点Bi是一个3维向量：
[004引 Bi=(bxi，byi，bzi)T (1)
[0049] bxi，byi，bzi分别表示第i个样本的x，y，z，3个细H的倍写.巧化每个样本点合加速 度构成矩阵B'=MlBiI I，|帕||，…，MBmM]，运里
[0050] 因此，合加速度信号的峰值可W有W下的方式计算：
[0051] D = UB'，wl)-L(B'，w2) (2)
[0052] L表示均值滤波器，Wl和w2(wl>w2)是均值滤波器的窗口大小，取差值D的局部极 大值就是加速度信号的峰值。
[0053] 本发明样本截取方式，其信号的长度定义为250个采样点；
[0054] 本发明步骤2)，提取的特征是：原始加速度信号特征，加速度信号的范数特征，两 方向加速度信号特征作为人体动作识别的特征。
[0055] 本发明步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。
[0056] 本发明步骤3)采用S个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双 方向的长短期记忆人工神经网络(MBLSTM)，其输出结果为前端的S个化STM输出的平均值。
[0057] 本发明步骤2)，对原始信号滤除噪声提取动作分类特征过程如下：
[005引在人体动作识别发明中，=轴加速度传感器的一个采样窗口的输出表示为一个包 含N=250个样本点的矩阵A= [Al，A2，…，An]，每一个样本点Ai是一个3维向量：
[0059] Ai= (axi，ayi，azi)T (3)
[00側 axi，ayi，azi分别表示第i个样本的x，y，z3个轴上的信号;A作为原始加速度信号特 征。
[0061] 毎个挣本点合加速度构成矩阵A'=[MAi||，| |A2| I，…，I IAnI I]，运里
，A/就是加速度信号的范数特征。
[0062] 加速度信号的均值可W有W下的方式计算：
闺 （4) 國 (5) 幽： （巧
[0066] ，今，4：分别表示x，y，zS轴上人体动作信号的均值。
[0067] 接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间 内，水平方向H的力n巧底倍号的均值很小，所W竖直方向上的单位向量ev表示为：
[0068]
(7)
[0069] 所W第i个样本垂直方向上的信号Vi可W用下式估计：
[0070] Vi = Ai ? ev (8)
[0071] 第i个样本水平方向上的信号的范数出为：
[0072] 出=I I A广Vi I I (9)
[007引 V= [Vi，V2,…，Vn巧日H=化，出，…，曲]就是两方向特征；即得到原始加速度信号特 征，加速度信号的范数特征，两方向加速度信号特征。
[0074] -种双向长短期记忆人工神经网络(BLSTM)分类器，该分类器设置为5层，且上一 个层的输出作为下一个层输入;该分类器包括一个输入层、一个前向传播层、一个双向长短 期记忆人工神经网络(BLSTM)层、一个汇总层、一个SOf tmax层依序连接组成。
[0075] 本发明分离器的工作过程如下：1)输入层:输入的序列被分割成大小为3的块，然 后每个块被扫描成一个向量作为第1个隐藏层的输入;2)第2个隐藏层是前向传播层，第1个 隐藏层的输出作为第2隐藏层的输入;3)双向长短期记忆人工神经网络(BLSTM)层是第3个 隐藏层包含了若干个双向长短期记忆人工神经网络(BLSTM)单元，第2个隐藏层的输出作为 第3隐藏层的输入;4)第4个隐藏层是汇总层，每隔一段时间会汇总第3层所有的输出；5) SOf tmax层:汇总层的输出作为最后一层:SOftmax层的输入，最后一层有C路输出，代表人体 动作的类别数。
[0076] 实施例:实验选100个人，用智能手机收集了人体动作的=轴加速度信号，包括跳， 慢跑，正常走，原地踏步，快速走，上楼梯，下楼梯巧巾人体动作。用包含250点的窗，将峰值点 置于窗的中屯、截取信号，得到的每个人体动作信号的数量如表1:
[0077] 表1样本统计
[007引
[0079] 实验中，分别对比了两方向加速度信号特征VH，加速度信号的特征A和加速度信号 均值的范数特征;实验中，随机选择所有人中的50，60，70，80个作为训练集，表中记为Ptr， 随机选择所有人中的20个作为测试集，选择训练集中的5分之1作为验证集。每个实验重复 10次，都用双向长短期记忆人工神经网络(BLSTM)来进行分类，对W上S种特征的错误率， 如表2,表3,表4所示：
[0080] 为了说明本方法的有效性，选择了k近邻分类器化-NN)，支持向量机(SVM)，集成流 型排序保留化MR)，双向的长短期记忆人工神经网络(化STM)来进行对比，运里都用两方向 特征来作为输入的特征。随机选择所有人中的40和80个作为训练集，剩下的作为测试集，选 择训练集中的5分之1作为验证集。每个试验重复5次，算出平均错误率。对比结果如表5所 /J、- O
[0081] 表2加速度信号特征A对应的实验结果
[0082]
[0083]表3加速度信号范数特征对应的实验结果 「00841
[0089] 通过表2,表3,表4的实验结果，从合计错误率来看，在用相同分类器的条件下，两 方向加速度信号特征V H得到的错误率要比加速度信号的均值特征Al和加速度信号均值的 范数特征错误率要低，运说明了两方向加速度信号特征V H比其他2种特征更有区分能 力。
[0090] 通过表5的实验结果，在输入相同特征的情况下，多列双向长短期记忆人工神经网 络(M化STM)分类器的平均错误率要远低于其他4中分类器的错误率，说明MBLSTM分类器分 类能力优于其他4种分类器。
【主权项】
1. 一种基于三轴加速度传感器人体动作识别方法，其特征在于，包括以下步骤:1)获取 人体所佩戴移动设备输出的三轴加速度信号；2)对原始信号滤除噪声提取动作分类特征； 3)采用多个分类器进行分类，并将输出结果的平均值作为最终输出结果。2. 根据权利要求1所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于， 步骤1)的实现方法，以三轴加速度信号的合加速度峰值为中心，截取一小段信号作为待识 别的人体动作样本。3. 根据权利要求1或2所述的一种基于三轴加速度传感器人体动作识别方法，其特征在 于，步骤2)，提取的特征是:原始加速度信号特征，加速度信号的范数特征，两方向加速度信 号特征作为人体动作识别的特征。4. 根据权利要求1或3所述的一种基于三轴加速度传感器人体动作识别方法，其特征在 于，所述的步骤2)，对原始信号滤除噪声提取动作分类特征过程如下： 在人体动作识别发明中，三轴加速度传感器的一个采样窗口的输出表示为一个包含N 个样本点的矩阵Α=[Αι，Α2，···，An]，每一个样本点Ai是一个3维向量： Ai-(Elxi，Elyi，Elzi ) ( 3 ) axl，ayl，azl分别表示第i个样本的x，y，z3个轴上的信号;A作为原始加速度信号特征； 每个样本点合加速度构成矩阵A' = [ I I Ai I I，I I A2 I I，…，I I An I I ]，这里/就是加速度信号的范数特征； 加速度信号的均值可以有以下的方式计算：i，?分别表示x，y，z三轴上人体动作信号的均值； 接下来，考虑到加速度信号能被分解到水平和竖直2个方法上，由于在一段时间内，水 平方向上的加速度信号的均值很小，所以竖直方向上的单位向量ev表示为：(7) 所以第i个样本垂直方向上的信号1可以用下式估计： Vi=Ai · ev (8) 第i个样本水平方向上的信号的范数出为： Hi=| |Ai-Vi| (9) V= [Vi，V2，…，VN]和H= [m，H2，…，Hn]就是两方向特征；即得到原始加速度信号特征， 加速度信号的范数特征，两方向加速度信号特征。5. 根据权利要求1所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于， 步骤3)采用双向长短期记忆人工神经网络(BLSTM)分类器进行分类。6. 根据权利要求1或5所述的一种基于三轴加速度传感器人体动作识别方法，其特征在 于，步骤3)采用三个双向长短期记忆人工神经网络(BLSTM)分类器构成多列双方向的长短 期记忆人工神经网络(MBLSTM)，其输出结果为前端的三个BLSTM输出的平均值。7. 根据权利要求2所述的一种基于三轴加速度传感器人体动作识别方法，其特征在于， 所述的三轴加速度信号的合加速度峰值通过以下方式获得： 一个采样窗口获取的人体动作三轴加速度信号，可以表示为一个包含Μ个样本点的矩 阵8=[81，82，"_，8(?]，每一个样本点&是一个3维向量 ： Bi= (bxi，byi，bzi)T (1) bxi，byi，bzi分别表不第i个样本的x，y，z，3个轴上的信号，因此每个样本点合加速度构 成矩阵以=[| |Bi| |，| |β2| |，···，| |Bm| |]，这里因此，合加速度信号的峰值可以有以下的方式计算： D = L(B，，wl)-L(B，，w2) (2) L表示均值滤波器，wl和w2(wl>w2)是均值滤波器的窗口大小，取差值D的局部极大值 就是加速度信号的峰值。8. -种双向长短期记忆人工神经网络分类器，其特征在于，该分类器设置为5层，且上 一个层的输出作为下一个层输入;该分类器包括一个输入层、一个前向传播层、一个双向长 短期记忆人工神经网络层、一个汇总层、一个softmax层依序连接组成。9. 根据权利要求8所述的一种双向长短期记忆人工神经网络分类器，其特征在于，该分 离器的工作过程如下：1)输入层:输入的序列被分割成大小为3的块，然后每个块被扫描成 一个向量作为第1个隐藏层的输入;2)第2个隐藏层是前向传播层，第1个隐藏层的输出作为 第2隐藏层的输入;3)双向长短期记忆人工神经网络层是第3个隐藏层包含了若干个双向长 短期记忆人工神经网络单元，第2个隐藏层的输出作为第3隐藏层的输入;4)第4个隐藏层是 汇总层，每隔一段时间会汇总第3层所有的输出；5) S〇ftmax层：汇总层的输出作为最后一 层:softmax层的输入，最后一层有C路输出，代表人体动作的类别数。
【文档编号】G06K9/62GK105956558SQ201610290443
【公开日】2016年9月21日
【申请日】2016年4月26日
【发明人】陶大鹏
【申请人】陶大鹏