一种肢体康复训练辅助方法及系统、介质、设备与流程

本发明涉及计算机视觉处理技术应用领域，特别涉及一种基于人体姿态识别的肢体康复训练辅助方法及系统、介质、设备。

背景技术：

包括对于脑卒中、帕金森症等神经系统疾病患者而言，他们很大程度会出现肌肉僵直、行为笨拙等运动障碍情况，而大量研究也表明针对性的康复训练是有助于神经系统疾病的治疗，尤其是对由其引起的肢体瘫痪等运动障碍的缓解有极大的帮助，也因此肢体康复训练成为神经系统疾病治疗中的重要一环。同时神经系统疾病也属于高发疾病之一，单就帕金森症我国患病人数就超过200万人，而由于中风、脑血栓、高血压引起的神经系统疾病的病人也在逐年增加，这使得对有效的康复训练辅助系统的需求居高不下。

而目前类似的康复训练辅助装备基本是基于传感器实现，对于肢体运动功能障碍的患者来说是一种不小的阻碍，并且有些辅助设备的穿戴、安设过程也极为不便，有些患者因此消极参与康复训练甚至拒绝做康复训练，从而导致该类辅助系统实用性差，效果不明显。并且因为复杂传感器的佩戴或是机械的辅助装置还可能在康复训练过程中对患者身体造成身体的物理损伤也是一大问题。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供一种肢体康复训练辅助方法及系统、介质、设备，此方法及系统、介质、设备通过多分支预测和多阶段迭代，通过提高关节点热点图和肢体方向矢量场预测的准确性来提高姿态识别准确性，进而增强康复训练的辅助效果。

本发明的目的通过以下的技术方案实现：一种肢体康复训练辅助方法，包括步骤：

采集使用者动作姿态图像；

对图像进行卷积计算，得到图像特征图；预测特征图的关节点热点图和肢体方向矢量场，并进行t次预测迭代，每次迭代时将两个训练分支的识别信息合成一个阶段预测，生成使用者关节点热点图和肢体方向矢量场，从关节点热点图中获取关节点位置，通过对两个分支的识别信息形成互补，可以有效提高预测的准确性，而多阶段的迭代结构也使得识别准确度逐步提高；

利用肢体连接贪心算法进行关节点连接，得到使用者的姿态信息；

根据训练好的动作姿态模型评估使用者的姿态信息，得到使用者动作姿态评估结果；

将使用者动作姿态评估结果反馈给使用者。

优选的，对所述使用者动作姿态图像进行降低图像像素和抽帧处理，具体步骤为：

计算使用者动作姿态图像像素的长宽与取样像素的长宽的比例，作为间隔长度，在使用者动作姿态图像图像上按照间隔长度取像素点，从而使得图像画面大小与取样像素一致，并减小图像画面处理帧率，从而提升处理速度并保证实时性。

优选的，所述对图像进行卷积计算，得到图像特征图的具体步骤为：

首先利用vgg-19卷积神经网络模型对图像进行卷积计算，vgg-19模型利用连续的几个3x3的卷积核代替较大的卷积核(11x11，7x7，5x5)，从而增加网络深度来保证学习更复杂的模式，选用该模型利于多分支训练的效果；

通过该模型前10层的卷积层的卷积计算处理提取出图像特征，从而得到特征图。

优选的，所述从关节点热点图中获取关节点位置的步骤具体为：

利用非最大抑制算法，搜索关节点局部峰值作为关节点位置。

更进一步的，所述得到使用者的姿态信息的步骤具体为：

每一个肢体都有确定的两个关节点，基于关节点位置信息，对可能连接成肢体的两个关节点所包含所有配对情况逐一计算该两点连线上的点在肢体方向矢量场的积分，也即计算可能连接成肢体的两个关节点连线上所有像素点位置的单位向量在肢体方向(即连线方向)的大小之和；

对所有配对情况通过积分值的大小进行排序，把积分最高的配对点进行连接，肢体连接数量取决与关节点数量，连接完该肢体后选择下一个肢体进行连接。通过识别关节点再拼接成肢体的方式能够有效减少错误识别的干扰，相比与直接识别肢体的方式准确度要高很多，并且在识别有多个人的肢体信息同时出现的画面时也能正确识别，不会造成影响；

从连接好的肢体中找到连通肢体数量最多的姿态信息作为使用者的姿态信息；该步骤运算量较小，并且能正确的从多个姿态信息中提取出使用者姿态信息，能够准确追踪定位使用者。

优选的，所述评估使用者的姿态信息的步骤具体为：

将使用者的姿态信息输入到svm评估模块中的动作姿态模型中，得到使用者动作姿态评估结果；

所述动作姿态模型的生成步骤为：

根据设定的姿态要求，预先利用监督学习的方法行训练，具体是通过收集一组经过多分支多阶段卷积神经网络识别的骨架信息加入专业判定动作是否合格的标签形成的已知类别的样本；

根据样本生成训练集和测试集，利用训练集挑战svm分类器的参数，利用测试集验证模型的训练效果。支持动作姿态模型的训练效果突出，只需要小样本规模就能达到较高的识别准确率，并且对训练样本的依赖性不强，所以很适合支持更复杂的骨架信息训练。

一种肢体康复训练辅助系统，包括视频采集模块、关节点识别模块、肢体构建模块、svm评估模块、输出模块；

所述视频采集模块用于采集使用者动作姿态图像；

所述关节点识别模块用于对图像进行卷积计算，得到图像特征图；预测特征图的关节点热点图和肢体方向矢量场，并t次预测迭代，每次迭代时将两个训练分支的识别信息合成一个阶段预测，生成使用者关节点热点图和肢体方向矢量场，并从关节点热点图中获取关节点位置；

所述肢体构建模块用于利用肢体连接贪心算法进行关节点连接，得到使用者的姿态信息；

所述svm评估模块，内置训练好的动作姿态模型，用于评估使用者的姿态信息，得到使用者动作姿态评估结果；

所述输出模块用于将使用者动作姿态评估结果反馈给使用者。

优选的，所述视频采集模块为摄像头或可拍照的移动设备。

一种存储介质，存储有程序，所述程序被处理器执行时，结合视频采集模块获取的图像实现上述肢体康复训练辅助方法。

一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，结合视频采集模块获取的图像实现上述的肢体康复训练辅助方法。

优选的，所述计算设备为处理机或云服务器。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过多分支预测和多阶段迭代，通过提高关节点热点图和肢体方向矢量场预测的准确性来提高姿态识别准确性，进而增强康复训练的辅助效果。

2、本发明通过识别关节点再拼接成肢体的方式能够有效减少错误识别的干扰，相比与直接识别肢体的方式准确度要高很多，并且在识别有多个人的肢体信息同时出现的画面时也能正确识别。

3、本发明基于人体姿态识别技术，直接使用摄像头来代替传感器，使用方便快捷，减少了传感器给神经系统疾病患者所带来的负担，并且识别范围更广，能对使用者的康复训练过程给与有效的指导。

4、本发明能实现外部架构和后台架构分离，后台架构可以搭建云计算框架，实现多台外部设备共享一个后端架构处理，可大大节省成本。并且外部架构可以是简单的移动设备，方便了患者安置和使用设备进行康复训练。

5、本发明基于svm支持向量机动作姿态模型来对人体姿势进行评估，从而能精确地判断使用者达到康复训练的动作要求，如果未到达要求再利用应用系统给出相应的指导，从而增强了在该系统康复训练的辅助效果。

6、本发明的应用模块可以通过游戏或积分奖励机制等模式来提升使用者做康复训练的积极性，并可利用3维动画的形式来来对使用者进行有效地训练动作的指导，增强了该系统的实用性。

附图说明

图1是本发明实施例1一种基于人体姿态识别的肢体康复训练辅助方法基于的系统模块组成和方法运行流程的示意图。

图2是本发明实施例1关节点识别模块所识别获取的信息示意图。

图3是本发明实施例1肢体构建模块连接关键点构建肢体过程示意图。

图4是本发明实施例2的一种基于人体姿态识别的肢体康复训练辅助方法基于的系统模块组成和方法运行流程的示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供的实施例，但本发明的实施方式不限于此。

实施例1

近年来，计算机技术突发猛进，图像识别技术也日渐成熟，通过对摄像头捕获的2d视频图像进行人体姿态识别，并能精准获取使用者肢体部位的位置和方向。而同时计算机算力(即计算机运算速度)的提升和图像处理技术的增强，使得实时识别识别姿态数据进行人机交互成为现实。此外，基于人体姿态识别装置相比传感器装置使用更加方便、识别范围大、价格也更低。

如图1所示，本实施例提供了一种基于人体姿态识别的肢体康复训练辅助方法的具体实施方式，包括以下步骤：

步骤1、利用视频采集模块上的彩色摄像头对使用者的动作姿势进行拍摄，采集使用者动作姿态图像并抽帧实时传送给关节点识别模块，为提升处理速度和保证实时性，会进行降低图像像素和减小传输帧率的处理。首先对使用者动作姿态图像像素进行处理，计算图像像素的长宽与取样像素(像素大小为256*256)的长宽的比例作为间隔长度，在原图像上按照间隔长度取像素点，从而使得画面大小固定在256*256的像素大小，并减小画面处理帧率，例如减低到30帧每秒，即每秒取30帧样本画面传输给关节点识别模块进行处理。

步骤2、后台架构将实时图像交给关节点识别模块中的卷积神经网络进行处理，该处理过程如下：

步骤2.1、首先利用vgg-19卷积神经网络模型对图像进行卷积计算，vgg-19模型利用连续的几个3x3的卷积核代替较大的卷积核(11x11，7x7，5x5)，从而增加网络深度来保证学习更复杂的模式，选用该模型利于多分支训练的效果。通过该模型前10层的卷积层的卷积计算处理提取出图像特征，从而得到一组可输入到训练分支的第一阶段的特征图f。

步骤2.2、将特征图f输入到该卷积神经网络的两个训练分支中，每个分支都是一个迭代预测结构，并进行t次预测迭代。

步骤2.3、在第一分支中预测了每个点的不同关节点(肢体连接点)的置信值，置信值的维度为2，在第二分支中预测了每个特征图中每一个像素点出现肢体可能的方向矢量，即肢体可能的朝向方向，上述两个分支预测过程独立，这两个分支都是不同的识别回归算子，提取出不同的信息。

步骤2.4、通过两个分支的预测结果，利用肢体朝向信息调节关节点的热点位置，利用关节点热点位置调节肢体朝向信息，形成不同分支的信息互相校正，并将识别信息与原始特征图f进行融合，而新的特征图f会进行下一次阶段迭代(步骤2.3)，利用这两个分支合成一个阶段预测，对两个分支的识别信息形成互补，可以有效提高预测的准确性，而多阶段的迭代结构也使得识别准确度逐步提高。每个阶段的迭代会使得识别结果越来越精确。利用这两个分支合成一个阶段预测，对两个分支的识别信息形成互补，可以有效提高预测的准确性，而多阶段的迭代结构也使得识别准确度逐步提高利用多分支多阶段预测结构能使得识别准确度大幅提升、算力下降。

步骤3、实时图像通过上述神经网络的处理，可以得到各关节的关节点热点图和肢体方向矢量场，关节点热点图和肢体方向矢量的大小规模与原始图像像素大小一样，但关节点热点图中的每一个像素点的值是不同关节点的2维置信值(这两个维度都是用来计算峰值)，所以维度是总的关节点种类数量*置信值维度2，而肢体方向矢量场每一个关节点是一个矢量。对每一个关节点热点图用非最大抑制(nms)算法，提取各个关节点的局部峰值作为关节点位置，由于每个关节点信息可能有多个峰值，所以同一种关节点可能存在多个关节点位置信息。该组关节点位置信息和步骤2中的肢体矢量场是关节点识别模块最终得到的内容。以图2的图像为例，用关节点识别模块识别处理图2中的右臂图像，可获取5个关节点信息，相同形状为同种关节点，分别为两个右肩点p11和p12(菱形)、为两个右肘点p21和p22(圆环)、一个右手腕点p31(圆)，而其中的箭头代表肢体矢量场中该像素点的矢量方向(为单位向量)，其他不在肢体上的点在矢量场中的矢量值为零。

步骤4、利用肢体构建模块构建出使用者的姿态信息，步骤如下：

步骤4.1、利用肢体连接贪心算法来进行关节点连接，具体步骤如下：

每一个肢体都有确定的两个关节点，基于步骤3中获取的关节点位置信息(每个关节点可能存在多个峰值即存在多个可能点)，对可能连接成肢体的两个关节点所包含所有配对情况逐一计算该两点连线上的点在肢体方向矢量场的积分，也即计算可能连接成肢体的两个关节点连线上所有像素点位置的单位向量在肢体方向(即连线方向)的大小之和；对所有配对情况通过积分值的大小进行排序，把积分最高的配对点进行连接，肢体连接数量取决与关节点数量，连接完该肢体后选择下一个肢体进行连接。如图3所示的右臂图，通过关节点识别模块获取了5个关节点信息，而通过该肢体连接贪心算法连接右肩和右肘时，总共有a、b、c、d四条肢体连接可选，积分连线上在肢体矢量场中的矢量值，由图二的矢量场可得p11到p21和p12到p22上的积分矢量值更大，故连接a、d肢体，而后再连接e肢体。通过识别关节点再拼接成肢体的方式能够有效减少错误识别的干扰，相比与直接识别肢体的方式准确度要高很多，并且在识别有多个人的肢体信息同时出现的画面时也能正确识别，不会造成影响。

步骤4.2、从连接好的肢体中找到连通肢体数量最多的姿态信息作为使用者的姿态信息(把肢体作为边的话可形容为从图中找到最多边的连通子图)。如图3所示，最后连接的肢体有三条，即a、d、e，因为a与d、e不连通，故选择d、e作为使用者的肢体信息。该步骤运算量较小，并且能正确的从多个姿态信息中提取出使用者姿态信息，能够准确追踪定位使用者。

步骤5、将使用者的姿态信息输入到svm评估模块中的动作姿态模型中，得到使用者动作姿态评估结果。该动作姿态模型是根据设定的姿态要求先前利用监督学习的方法行训练，具体是通过收集一组经过前面多分支多阶段卷积神经网络识别的骨架信息加入专业判定动作是否合格的标签形成的已知类别的样本，利用这组样本生成训练集和测试集，利用训练集挑战svm分类器的参数，利用测试集验证模型的训练效果。支持向量机动作姿态模型的训练效果突出，只需要小样本规模就能达到较高的识别准确率，并且对训练样本的依赖性不强，所以很适合支持更复杂的骨架信息训练。

步骤6、数据预处理模块将使用者姿态信息(肢体的位置和方向信息)和使用者动作姿态评估结果转变为应用模块可接收识别的数据形式，并发送给应用模块。

步骤7、应用模块获取后台架构(包括关节点识别模块、肢体构建模块、svm评估模块、数据预处理模块)发送的数据，利用姿态信息来对虚拟训练场景进行实时调整，并通过使用者动作姿态评估结果来判断患者的康复训练动作是否合格，如果不合格则分析肢体信息给出相应的指导；如果合格则通过积分奖励等机制增加积分来激励患者，并记录完成过程时间，并生成下一个康复训练要求。

步骤8、以显示屏作为输出设备来把应用模块的信息反馈给使用者，实现交互。

实施例1的实现是基于专业的硬件设备(包括摄像头、显示器、处理机等)，前后架构是一体的，数据传输方式是利用存储地址传输，并且也使用高端的gpu来进行处理，实时性和准确新都会更高。

实施例2

如图4所示，本实施例是康复训练辅助方法的另一种实施方式，在该实施例中保持图1的基本架构不变，将系统外部设备(即视频采集模块、应用模块、输出模块)替换为移动设备(可以是手机、平板等)。而后台架构搭建成云服务器框架，外部架构与后台架构利用网络实现连接，该实施方式具体步骤如下：

步骤一、移动端app软件获取移动设备摄像头权限，移动设备摄像头拍摄患者的康复训练动作画面数据交给移动端app的实时图像处理模块，实时图像处理模块降低实时图像分辨率并将其以流数据(一组顺序、大量、快速、连续到达的数据序列)形式通过网络发送给后台架构云服务器进行处理。

步骤二、后台架构云服务器对数据进行接收，并交给后台架构处理线程进行处理，这里后台架构与图1所示的后台架构相同，因此处理过程与实施例1的后台架构处理过程相同，这里不再赘述。通过后台架构处理完成后将回复数据发送给移动端设备。

步骤三、移动设备app的数据分析模块接收后台架构云服务器的数据，获取到使用者的姿态信息和动作评估数据，对姿态信息进行分析，并对状态评估结果做出响应，选择相应的动作指导策略或新的康复训练动作。

步骤四、参数和场景更新模块利用患者肢体信息更新使用者在虚拟训练场中的状态，并根据数据分析模块的分析的策略来进行来做出相应的动作指导，如果是康复训练动作通过，则更替新的康复训练场景。

步骤五、通过移动设备屏幕将信息反馈给使用者。

实施例2通过搭建后台云架构和设计专门的app，使得移动设备可变为辅助训练装置，设备结构简单便携。

实施例3

本实施例公开了一种康复训练辅助系统，包括视频采集模块、关节点识别模块、肢体构建模块、svm评估模块、应用模块、数据预处理模块、输出模块；

所述视频采集模块用于采集使用者动作姿态图像；

所述关节点识别模块用于对图像进行卷积计算，得到图像特征图；预测特征图的关节点热点图和肢体方向矢量场，并t次预测迭代，每次迭代时将两个训练分支的识别信息合成一个阶段预测，生成使用者关节点热点图和肢体方向矢量场，并从关节点热点图中获取关节点位置；

所述肢体构建模块用于利用肢体连接贪心算法进行关节点连接，得到使用者的姿态信息；

所述svm评估模块，内置训练好的动作姿态模型，用于评估使用者的姿态信息，得到使用者动作姿态评估结果；

所述数据预处理模块用于将使用者姿态信息(肢体的位置和方向信息)和使用者动作姿态评估结果转变为应用模块可接收识别的数据形式，并发送给应用模块。

所述应用模块用于获取后台架构发送的数据，利用姿态信息来对虚拟训练场景进行实时调整，并通过使用者动作姿态评估结果来判断患者的康复训练动作是否合格，如果不合格则分析肢体信息给出相应的指导；如果合格则通过积分奖励等机制增加积分来激励患者，并记录完成过程时间，并生成下一个康复训练要求。

所述输出模块用于将使用者动作姿态评估结果反馈给使用者。

所述视频采集模块为摄像头或可拍照的移动设备。

实施例4

本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，结合视频采集模块、应用模块、输出模块实现实施例1的康复训练辅助方法，如下：

采集使用者动作姿态图像；

对图像进行卷积计算，得到图像特征图；预测特征图的关节点热点图和肢体方向矢量场，并t次预测迭代，每次迭代时将两个训练分支的识别信息合成一个阶段预测，生成使用者关节点热点图和肢体方向矢量场，从关节点热点图中获取关节位置，通过对两个分支的识别信息形成互补，可以有效提高预测的准确性，而多阶段的迭代结构也使得识别准确度逐步提高；

利用肢体连接贪心算法进行关节点连接，得到使用者的姿态信息；

根据训练好的动作姿态模型评估使用者的姿态信息，得到使用者动作姿态评估结果；

将使用者姿态信息(肢体的位置和方向信息)和使用者动作姿态评估结果转变为应用模块可接收识别的数据形式，并发送给应用模块；

应用模块用于获取后台架构发送的数据，利用姿态信息来对虚拟训练场景进行实时调整，并通过姿态评估信息来判断患者的康复训练动作是否合格，如果不合格则分析肢体信息给出相应的指导；如果合格则通过积分奖励等机制增加积分来激励患者，并记录完成过程时间，并生成下一个康复训练要求；

将使用者动作姿态评估结果反馈给使用者。

本实施例中所述的存储介质可以是rom、ram、磁盘、光盘等介质。

实施例5

本实施例公开一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，结合视频采集模块、应用模块、输出模块实现实施例1公开的康复训练辅助方法，如下：

采集使用者动作姿态图像；

对图像进行卷积计算，得到图像特征图；预测特征图的关节点热点图和肢体方向矢量场，并t次预测迭代，每次迭代时将两个训练分支的识别信息合成一个阶段预测，生成使用者关节点热点图和肢体方向矢量场，从关节点热点图中获取关节位置，通过对两个分支的识别信息形成互补，可以有效提高预测的准确性，而多阶段的迭代结构也使得识别准确度逐步提高；

利用肢体连接贪心算法进行关节点连接，得到使用者的姿态信息；

根据训练好的动作姿态模型评估使用者的姿态信息，得到使用者动作姿态评估结果；

将使用者姿态信息(肢体的位置和方向信息)和使用者动作姿态评估结果转变为应用模块可接收识别的数据形式，并发送给应用模块；

应用模块用于获取后台架构发送的数据，利用姿态信息来对虚拟训练场景进行实时调整，并通过姿态评估信息来判断患者的康复训练动作是否合格，如果不合格则分析肢体信息给出相应的指导；如果合格则通过积分奖励等机制增加积分来激励患者，并记录完成过程时间，并生成下一个康复训练要求；

将使用者动作姿态评估结果反馈给使用者。

所述本实施例的计算设备为处理机或云服务器。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。