一种基于动态时间规划的人体步态监测算法

1.本发明涉及一种步态识别方法领域，特别涉及一种基于动态时间规划的人体步态监测算法。


背景技术：

2.传统的异常步态诊断主要通过患者察觉自身姿态异常后就医，医生通过患者主诉并观察患者的临床表现及既往病史来判断，对异常步态无法精确地定量分析和定性诊断。缺乏对疾病的早期检测预警和康复指导。相关技术的现阶段发展情况如下：
3.随着骨骼数据提取技术发展，通过技术手段获取人体的运动参数，依据步态分析特征，如图1所示为行走姿态特征的分析，为人体步行功能提供精准的评估，提供疾病早期检测和康复解决方案。
4.如图2所示为影响采集建模分析图示。可穿戴设备进行的建模分析，采用基于深度卷积神经网络的骨骼数据定位提取特征技术，通过对人体步态的监测、评估实现对疾病极早期预警，对康复做规范指导，对提高全民健康水平，生活质量作用巨大。
5.传统的步态异常诊断需要医生依靠自身经验观察病人的临床表现及发病史来判断。因而，无法系统的、标准化的分析患者步态异常的原因，并形成有效的治疗方案。
6.目前，基于机器视觉的人体静态/半动态检测装置和基于传感器的全身可穿戴式检测装置等技术的步态评估产品已经处于测试应用阶段，可以初步对步态进行一定程度的识别判断。基于机器视觉的步态识别方法是通过提取人体轮廓，生成轮廓图，轮廓图是随着时间变化形成运动序列，再针对轮廓图进行特征分析而实现步态识别，人体静止态下准确率高，但运动态下误差多，精度差。


技术实现要素：

7.本发明的目的是为了解决现有的步态识别方法存在的识别精度低的问题，而提出一种基于动态时间规划的人体步态监测算法。
8.一种基于动态时间规划的人体步态监测算法，所述算法通过以下步骤实现：
9.利用视觉传感器进行人体步态视频采集，建立人体步态模型的步骤；
10.基于视觉传感器采集的人体步态视频，通过深度卷积建立包含空间、时间、运动趋势的人体步态模型，获得人体正常步行时的骨骼节点；通过深度分析从这些骨骼节点中选取20个人体骨骼关键节点，并计算各步态关键骨骼节点的对应位置；对步行时人体骨骼数据节点运动、位置变化进行深度分析，提取人体步行姿态的特征参数，基于动态时间规整和步态参数相结合，分析出人体正常态下，单一行进周期内20个骨骼关键节点的运动曲线，建立人体步态的标准化模型；
11.采用传感器骨骼技术获取的骨骼运动信息的步骤；
12.基于传感器骨骼技术获取的骨骼运动信息，通过深度卷积神经网络建立包含空间、时间、运动趋势的人体步态模型，获得20个人体骨骼关键节点，并计算各节点的对应位
置；
13.步态监测识别算法的训练步骤；
14.利用k-means聚类算法的思想，将采集到的多组静态样本，通过训练算法，得到目标静态模板；其中，每个步态定义九种动作姿态，实际采样时，根据每组动作的步态特征采集，训练样本为每组30次采集，为获取到训练后的模板，k-means聚类算法的实现过程如下：
15.1)从30组数据中，随机选取两组作为聚类中心；
16.2)其余组数据依次与聚类中心计算相似性，将最为相似的纳入到聚类结果所在的类里；
17.3)调整计算聚类中心，对聚类中的所有元素计算均值；若聚类中心不发生变化，则为最终的动作模板，若发生变化，则重复操作2和3，直到聚类中心不发生变化；
18.动作识别的步骤：
19.通过定义规则集，利用关节点间位置的相对变化，通过几个关节点的位置关系来分析人体姿态及动作；
20.人体步态骨骼诊断评估的步骤；
21.采用层次分析法进行人体步态骨骼诊断,层次分析法全称analytic hierarchy process，简称ahp，对设定的元素两两比较，通过不同的重要性赋予不同的权重a，并构造出由a
ij
组成的n*n矩阵，通常称为判别矩阵，为：
[0022][0023]
层次排序是对各个因子的重要性排序，根据矩阵a求得特征值及特征向量，并找到判别矩阵a的最大特征值λ
max
和其对应的特征向量ω，经归一化处理，最大特征值的计算方法如下：
[0024]
aω＝λ
max
ω
[0025]
通过求解判断矩阵λ
max
对应的特征向量w＝(x1,x2,k,xn)
t
，得到权重xi，判断矩阵a中对应的a
ij
为判断一致性比例为：
[0026][0027]
其中，ri值可通过9阶判断矩阵表格查询；
[0028]
表1矩阵表格
[0029][0030]
当cr的值小于0.1时，认为该判断矩阵是可以接受的，当λ
max
越大于n的值，则非一致性程度就越强，得到的判断矩阵就不能真实的反应各因子之间的重要程度，当不满足一致性时，则对判断矩阵中的元素进行权衡。
[0031]
本发明的有益效果为：
[0032]
传统的步态异常诊断需要医生依靠自身经验观察病人的临床表现及发病史来判断。因而，无法系统的、标准化的分析患者步态异常的原因，并形成有效的治疗方案。
[0033]
本发明利用视觉传感器进行人体步态视频采集，通过深度卷积建立包含空间、时间、运动趋势的人体步态模型，获得人体正常步行时的骨骼节点。通过深度分析从这些骨骼节点中选取20个人体骨骼关键节点，并计算各步态关键骨骼节点的对应位置。对步行时人体骨骼数据节点运动、位置变化进行深度分析，提取人体步行姿态的特征参数，基于动态时间规整和步态参数相结合，分析出人体正常态下，单一行进周期内20个骨骼关键节点的运动曲线，建立人体步态的标准化模型，并基于正常步态标准模型设计步态时空参数和动作识别的人体步态监测评估系统。人体步态监测评估系统通过对被测人的步态进行监测与分析，建立被测人的步态特征模型，通过将被测人步态特征模型与标准模型对比，对比出20个关键节点的运动曲线差异，按着病理学经验对差异进行分析，形成对应的人体步态骨骼诊断评估报告。利用深度卷积神经网络，通过提取人体20个骨骼关键节点进行步态诊断评估，识别率最高可达98％。
[0034]
本发明步态分析通过精准定量的步态分析，来判断是否发生异常以及可能发生的疾病，并对后期的治疗效果给出科学的评价，达到辅助医生进行疗效评估的作用。
附图说明
[0035]
图1为本发明背景技术涉及的行走姿态特征图示；
[0036]
图2为本发明背景技术涉及的影响采集建模分析图示；
[0037]
图3为本发明涉及视觉传感器进行人体步态视频采集图示；
[0038]
图4为人体骨骼特征关节点图示；
[0039]
图5为视频采集装置坐标系图示；
[0040]
图6为本发明涉及的数据采集流程；
[0041]
图7为本发明涉及的评分系统结构层次模型；
[0042]
图8为本发明方法包括的主要步骤流程。
具体实施方式
[0043]
具体实施方式一：
[0044]
本实施方式的一种基于动态时间规划的人体步态监测算法，如图8所示，所述算法通过以下步骤实现：
[0045]
利用视觉传感器进行人体步态视频采集，如图3所示，建立人体步态模型的步骤；
[0046]
基于视觉传感器采集的人体步态视频，通过深度卷积建立包含空间、时间、运动趋势的人体步态模型，获得人体正常步行时的骨骼节点；通过深度分析从这些骨骼节点中选取20个人体骨骼关键节点，并计算各步态关键骨骼节点的对应位置；对步行时人体骨骼数据节点运动、位置变化进行深度分析，提取人体步行姿态的特征参数，基于动态时间规整和步态参数相结合，分析出人体正常态下，单一行进周期内20个骨骼关键节点的运动曲线，建立人体步态的标准化模型；
[0047]
本发明利用视觉传感器进行人体步态视频采集，通过深度卷积建立人体步态模
型，通过计算机精准计算出20个人体步态骨骼运动节点，对步行时骨骼运动节点进行深度分析，提取人体步行姿态的特征参数，将动态时间规整和步态参数相结合，实现对步态的分析与监测，设计步态时空参数和动作识别的评估系统，得到人体步态骨骼诊断评估报告。
[0048]
采用传感器骨骼技术获取的骨骼运动信息的步骤；
[0049]
基于传感器骨骼技术获取的骨骼运动信息，通过深度卷积神经网络建立包含空间、时间、运动趋势的人体步态模型，获得20个人体骨骼关键节点，并计算各节点的对应位置；用于依据步态分析方法、动态时间归整算法、层次分析方法对步态进行评估。
[0050]
步态监测识别算法的训练步骤；
[0051]
利用k-means聚类算法的思想，将采集到的多组静态样本，通过训练算法，得到目标静态模板；其中，每个步态定义九种动作姿态或更多，实际采样时，根据每组动作的步态特征采集，训练样本为每组30次采集，为获取到训练后的模板，k-means聚类算法的实现过程如下：
[0052]
1)从30组数据中，随机选取两组作为聚类中心；
[0053]
2)其余组数据依次与聚类中心计算相似性，将最为相似的纳入到聚类结果所在的类里；
[0054]
3)调整计算聚类中心，对聚类中的所有元素计算均值；若聚类中心不发生变化，则为最终的动作模板，若发生变化，则重复操作2和3，直到聚类中心不发生变化；
[0055]
动作识别的步骤：
[0056]
通过定义规则集，利用关节点间位置的相对变化，通过几个关节点的位置关系来分析人体姿态及动作；优点是实现简单，基于简单的动作识别效率高，能够达到实时在线的姿态的识别的目的；
[0057]
人体步态骨骼诊断评估的步骤；
[0058]
本发明主要采用层次分析法进行人体步态骨骼诊断,层次分析法全称analytic hierarchy process，简称ahp，它是一种实用而又简便灵活的多准则决策方法，对一些较为模糊、复杂、难于完全定量分析的问题做出决策的简易方法。它将一些复杂问题中的因素按照影响程度及相互关联的程度按照层次划分，通过数学力法计算每一层元素间重要程度的相关性，计算两两元素之间的权值比重，通过层次间的总排序计算每个元素对于总体的相对权值。对设定的元素两两比较，通过不同的重要性赋予不同的权重a，并构造出由a
ij
组成的n*n矩阵，通常称为判别矩阵，为：
[0059][0060]
层次排序是对各个因子的重要性排序，根据矩阵a求得特征值及特征向量，并找到判别矩阵a的最大特征值λ
max
和其对应的特征向量ω，经归一化处理即为对于上一层的重要性的排序权值，最大特征值的计算方法如下：
[0061]
aω＝λ
max
ω
[0062]
通过求解判断矩阵λ
max
对应的特征向量w＝(x1,x2,k,xn)
t
，得到权重xi，判断矩阵a
中对应的a
ij
为一致性的判断是为了确定各因子的排序是否准确，从而对算法进行一个修正。判断一致性比例为：
[0063][0064]
其中，ri值可通过9阶判断矩阵表格查询；
[0065]
表1矩阵表格
[0066][0067]
当cr的值小于0.1时，认为该判断矩阵是可以接受的，当λ
max
越大于n的值，则非一致性程度就越强，得到的判断矩阵就不能真实的反应各因子之间的重要程度，当不满足一致性时，则对判断矩阵中的元素进行权衡。
[0068]
具体实施方式二：
[0069]
与具体实施方式一不同的是，本实施方式的一种基于动态时间规划的人体步态监测算法，所述的k-means聚类算法采用动态时间规整，全称为dynamic time warping，缩写为dtw：利用动态规划(dp)找到两个不同序列的最小的匹配路径，消除时间轴上的差别，通过扩大或缩短未知量的长度，直到与参照模板的长度一致，该方法能够使重叠度达到最大化。由于不同人执行相同动作的时间不完全相同，一般的算法要求两个序列的特征量的长度要相等，时间轴上两个序列的特征值也要互相对应，dtw算法是目前解决该问题最为有效的办法。
[0070]
设参照模板的序列为x和测试模板的序列为y，x和y都为步态特征提取后的序列，时间长短可以不一致，即设x与y的序列分别为：
[0071]
x＝(x1,x2,x3,k,xm)
[0072]
y＝(y1,y2,y3,k,yn)
[0073]
m与n表示样本的数量，若m与n相等，则直接计算两个序列的距离，但是在本发明中，模板样本的维度低于测试样本的维度，所以要使用该算法；若m与n不等，则需要将两个序列对齐，而传统的方式是对短的序列放大，或将长的序列缩小，由于没有考虑到时间因素，所以这样的方式是不对的，针对这一问题，选用动态时间规整方法，将两个序列对齐，具体为：
[0074]
设两个时间序列长度为|x|和|y|，规整路径w的形式为wk＝ij，其中i为x对应的第i个元素对应的下标，j为y中对应的下标，其中k的范围如下式
[0075]
max(|x|,|y|)≤k≤|x|+|y|
[0076]
规整路径代价最小的路径，其中分母k用于补偿因不同路径产生不同的长度：
[0077]
[0078]
要求d(a
1 b1)到d(a
m bm)的距离的最优值，即求最短的规整路径，用欧式距离作为两者的度量方式，算得从w1＝(1,1)到wk＝(m,n)累计和最小的那一组相似度越高，取小的数值作为计算结果。
[0079]
具体实施方式三：
[0080]
与具体实施方式一或二不同的是，本实施方式的所述的一种基于动态时间规划的人体步态监测算法，所述的利用视觉传感器进行人体步态视频采集，建立人体步态模型的步骤中，还需要装配pc机、红外发射器与红外传感器；
[0081]
所述的视觉传感器采用微软推出的kinect体感控制器，该设备装配一款三维体感摄像头传感器，可以同时获取人体深度图像信息、彩色图像信息和人体骨骼信息，可通过usb接口与pc机通信。红外发射器与红外传感器配合使用，用于3d深度信息的获取，根据红外线的发射与接收原理，离摄像头越近的物体呈现亮色，反之呈现暗色。利用自主研发的检测系统实现异常步态监测。
[0082]
一种基于动态时间规划的人体步态监测算法实施例：
[0083]
1.1人体步态骨骼数据采集过程。
[0084]
监测设备采用微软的kinect设备，该设备装配一款三维体感摄像头传感器，可以同时获取人体深度图像信息、彩色图像信息和人体骨骼信息，可通过usb接口与pc机通信。红外发射器与红外传感器配合使用，用于3d深度信息的获取，根据红外线的发射与接收原理，离摄像头越近的物体呈现亮色，反之呈现暗色，深度摄像头的像素为640*480；彩色摄像头用于获取原始图像，以每秒30帧的传输速度采集图片信息，彩色图像的编码格式可以设定为rgb或yuv，彩色摄像头的像素为1280*1080。数据采集流程如图6所示。
[0085]
骨骼数据的来源包括两部分，一部分为通过彩色摄像头采集到的彩色数据，另一部分为通过红外摄像头采集到的深度数据。彩色摄像头获取目标rgb图像信息，通过增量直方图算法得到颜色直方图，然后通过粒子滤波算法计算权值，深度摄像头通过光编码技术获取目标深度信息，采用彩色数据与深度数据融合再计算权值的方式，实现对目标对象的跟踪。
[0086]
利用深度卷积提取人体图像特征，得到人体的20个骨骼关节点，结合对步态的识别方向，选取的人体骨骼的特征关节点如下，通过设定中心位置，分别确定各个采样点到中心位置的距离，以此作为采样变量，可以通过基数设定，比对距离偏差从而判定骨骼位置。图4为人体骨骼特征关节点图示；图5为视频采集装置坐标系图示。
[0087]
1.2步态监测识别算法训练过程。
[0088]
利用k-means聚类算法的思想，将采集到的多组静态样本，通过训练算法，得到目标静态模板。其中，每个步态定义九种动作姿态或更多，实际采样时，根据每组动作的步态特征采集，训练样本为每组30次采集，为获取到训练后的模板，k-means的实现过程如下：
[0089]
1)从30组数据中，随机选取两组作为聚类中心；
[0090]
2)其余组数据依次与聚类中心计算相似性，将最为相似的纳入到聚类结果所在的类里；
[0091]
3)调整计算聚类中心，对聚类中的所有元素计算均值；若聚类中心不发生变化，则为最终的动作模板，若发生变化，则重复操作2和3，直到聚类中心不发生变化。
[0092]
动作识别通过定义规则集，利用关节点间位置的相对变化，通过几个关节点的位
置关系来分析人体姿态及动作。优点是实现简单，基于简单的动作识别效率高，能够达到实时在线的姿态的识别的目的；但缺点却显而易见，当操作的动作增大时，就会增加动作的复杂性，以及歧义性，并且实现更多的代码，逻辑复杂。
[0093]
项目中的算法采用动态时间规整(dynamic time warping，dtw)：利用动态规划(dp)找到两个不同序列的最小的匹配路径，消除时间轴上的差别，通过扩大或缩短未知量的长度，直到与参照模板的长度一致，该方法能够使重叠度达到最大化。由于不同人执行相同动作的时间不完全相同，一般的算法要求两个序列的特征量的长度要相等，时间轴上两个序列的特征值也要互相对应，dtw算法是目前解决该问题最为有效的办法。
[0094]
设参照模板的序列为x和测试模板为y，x和y都为步态特征提取后的序列，时间长短可以不一致，即设x与y的序列分别为：
[0095]
x＝(x1,x2,x3,k,xm)
[0096]
y＝(y1,y2,y3,k,yn)
[0097]
m与n表示样本的数量，大小可以不同，若m与n相等，则可直接计算两个序列的距离，但是在本次设计中，模板样本维度肯定较测试样本维度低，所以要使用该算法；若m与n不等，则需要将两个序列对齐，而传统的方式是对短的序列放大，或将长的序列缩小，由于没有考虑到时间因素，所以这样的方式是不对的，针对这一问题，选用动态时间规整方法。
[0098]
两个时间序列长度为|x|和|y|，规整路径w的形式为wk＝ij，其中i为x对应的第i个元素对应的下标，j为y中对应的下标，其中k的范围如式
[0099]
max(|x|,|y|)≤k≤|x|+|y|
[0100]
规整路径代价最小的路径，其中分母k用于补偿因不同路径产生不同的长度：
[0101][0102]
要求d(a
1 b1)到d(a
m bm)的距离的最优值，即求最短的规整路径，用欧式距离作为两者的度量方式，算得从w1＝(1,1)到wk＝(m,n)累计和最小的那一组相似度越高，计算结果应取小的数值。
[0103]
1.3人体步态骨骼诊断评估过程。
[0104]
本项目进行步态骨骼诊断主要采用层次分析法(analytic hierarchy process，简称ahp)，它是一种实用而又简便灵活的多准则决策方法，对一些较为模糊、复杂、难于完全定量分析的问题做出决策的简易方法。它将一些复杂问题中的因素按照影响程度及相互关联的程度按照层次划分，通过数学力法计算每一层元素间重要程度的相关性，计算两两元素之间的权值比重，通过层次间的总排序计算每个元素对于总体的相对权值。
[0105]
对设定的元素两两比较，通过不同的重要性赋予不同的权重a，并构造出由a
ij
组成的n*n矩阵，通常称为判别矩阵，为
[0106][0107]
层次排序是对各个因子的重要性排序，根据矩阵a 求得特征值及特征向量，并找到判别矩阵a的最大特征值λ
max
和其对应的特征向量ω，经归一化处理即为对于上一层的重
要性的排序权值，最大特征值的计算方法如下：
[0108]
aω＝λ
max
ω
[0109]
通过求解判断矩阵λ
max
对应的特征向量w＝(x1,x2,k,xn)
t
，就可以得到我们想要的权重xi，判断矩阵a中对应的a
ij
为一致性的判断是为了确定各因子的排序是否准确，从而对算法进行一个修正。一致性比例为：
[0110][0111]
其中ri值可通过9阶判断矩阵表格查询；
[0112]
表1矩阵表格
[0113][0114]
当cr的值小于0.1时，认为该判断矩阵是可以接受的，当λ
max
越大于n的值，则非一致性程度就越强，得到的判断矩阵就不能真实的反应各因子之间的重要程度，当不满足一致性时，就要对判断矩阵中的元素进行权衡。设计图7所示的评分系统结构层次模型进行表示。