一种基于运动意图识别模型的脑卒中患者康复方法及系统

1.本发明涉及计算机虚拟现实和智能康复技术领域，尤其涉及一种基于肌电运动意图识别模型的脑卒中患者康复方法及系统。


背景技术：

[0002]“脑卒中”又称“中风”、“脑血管意外”，是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，包括缺血性和出血性卒中，缺血性卒中的发病率高于出血性卒中，占脑卒中总数的60％～70％。颈内动脉和椎动脉闭塞和狭窄可引起缺血性脑卒中，年龄多在40岁以上，男性较女性多，严重者可引起死亡，出血性卒中的死亡率较高，调查显示，城乡合计脑卒中已成为我国第一位死亡原因，也是中国成年人残疾的首要原因，脑卒中具有发病率高、死亡率高和致残率高的特点，其中腕内翻是脑卒中常见的临床表现，患者手臂肌肉萎缩，失去手部的抓拿作用，十分不便，现有的手部康复训练包括三种方式：
[0003]
第一种是采用人工的方式，需要护士医生或者家人的辅助完成，这不仅需要大量的资金支持，也占用了家人的时间，训练中，手掌的急伸急缩对患者也不好。
[0004]
第二种是辅助康复功能训练手套，用于被动训练，主要分为气动手套和电动手套两种，均能够对患者的手功能障碍侧手进行康复训练，然而这种训练方式功能单一，往往只能进行被动手部动作训练，无法根据患者自身的运动意图进行主动的手部功能强化。
[0005]
第三种，近年来，利用脑机接口技术辨识人脑意图，实现人脑与计算机或外部设备的通讯与控制，已被广泛应用于医疗康复训练当中。其中，运动想象作为一种内源性脑电电位的诱发范式，具有无需外界刺激、训练时间相对较短的特点，适应于基于脑机接口的运动康复医疗设备。如现有技术cn111544854a公开了一种基于脑肌电信号深度学习融合的脑卒中运动康复方法：使用者根据显示屏中的符号提示进行相应的运动想象，产生的运动想象脑电信号及肌电信号，通过脑电信号采集装置、康复运动装置中肌电信号采集装置进行采集，并依次进行a/d转换、放大、陷波、滤波、截取预处理；经过预处理后的脑电、肌电信号通过无线通信方式传输至上位机，上位机对脑电信号、肌电信号进行特征提取、特征融合和分类，以及进行运动意图辨识和疲劳监测，输出辨识结果和疲劳度；辨识结果和疲劳度通过无线通信方式回传至康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。然而该技术方案康复对象部位是针对全肢体康复，肌电采集的位点为全肢体，并未区分健侧和患侧，采集的信号非常难以进行分类和区别，采集的信号为脑电和肌电的综合识别信号，所识别的运动意图仅依据脑电信号，存在一定的误差，肌电信号仅应用于识别疲劳度，以防止高强度康复训练患者产生肌肉疲劳或拉伤，因此信号能够反应真实运动意图的置信度低。
[0006]
因此，现有技术的康复方案缺乏基于肌电信号的运动意图识别模型的建立过程，特别是缺乏基于更易获得且容差率较低的肌电信号建立具有完善的运动意图的识别模型，因此无法针对性的实现主动手部功能强化康复训练的脑卒中患者的康复治疗辅助系统和
康复方案。


技术实现要素：

[0007]
为了解决现有技术中存在的问题，本发明提供了如下一种基于肌电运动意图识别模型的脑卒中患者康复方法及系统，基于所采集的患者不同动作时的表面肌电信号，进行数据样本扩展后建立肌电运动意图识别模型，基于识别模型可以较高准确率的识别运动意图从而进行有效的主动康复治疗。
[0008]
本发明一方面提供了一种基于肌电运动意图识别模型的脑卒中患者康复方法，所述运动意图识别模型为基于肌电信号的运动意图识别模型，所述方法用于重度患者的镜像治疗以及中度和轻度患者的助动治疗，包括：
[0009]
s1，所述重度或中度脑卒中患者将患侧手固定在康复辅具中；并将肌电采集传感器固定在所述重度患者的健侧手的对应位置以及中度或轻度脑卒中患者的患侧手的对应位置；
[0010]
s2，根据提示进行相应的运动，肌电采集传感器采集健侧手或患侧手的肌电信号；
[0011]
s3，基于所述肌电信号建立所述基于肌电信号的运动意图识别模型；
[0012]
s4，基于肌电信号的运动意图识别模型确定所述脑卒中患者的运动意图；
[0013]
s5，基于所述脑卒中患者的运动意图控制所述康复辅具做出对应的动作，完成一次患侧手的康复运动；
[0014]
s6，多次重复s2-s5，完成患侧手的康复运动。
[0015]
优选的，所述方法还包括：
[0016]
s7，对所述患侧手的康复运动的康复效果进行评估；
[0017]
s8，基于所述康复效果评估所述脑卒中患者的康复参与度，基于所述康复参与度调整康复策略。
[0018]
优选的，所述s3，基于所述肌电信号建立所述基于肌电信号的运动意图识别模型包括：
[0019]
s31，对所述肌电信号进行预处理并获得建立肌电运动意图识别模型所需的第一部分数据集数据；
[0020]
s32，将预处理后的肌电信号进行数据增强获得第二部分数据集数据；
[0021]
s33，建立基于长短时序双流肌电信号的交叉注意力多尺度融合运动意图识别网络；
[0022]
s34，将第一部分数据集数据和第二部分数据集数据组成肌电训练数据集，并将所述肌电训练数据集输入所述运动意图识别网络中进行训练学习，获得肌电运动意图识别模型。
[0023]
优选的，所述s31的所述预处理包括降噪、归一化、取绝对值以及数据分割，其中：
[0024]
s311，所述降噪包括：根据所述肌电信号的特点设置滤波器类型和系数以及盲源分离的方法；基于所述滤波器和盲源分离方法滤除原始的所述肌电信号中的工频干扰、运动伪迹和/或多通道串扰原因造成的噪声，从而获得滤除噪声后的肌电信号；
[0025]
s312，所述归一化包括：基于z-score或最大最小归一化的方法将所述滤除噪声后的肌电信号限定到有利于模型训练的合适的大小，获得归一化肌电信号；
[0026]
s313，所述取绝对值包括：将所述归一化肌电信号的全部序列取绝对值；
[0027]
s314，数据分割：将取绝对值后的归一化肌电信号的全部序列切割为多个肌电时序窗，将所述多个肌电时序窗作为数据集数据。
[0028]
优选的，所述s32包括基于随机取窗和时延信号增强的方式扩充所述数据集数据，其中：
[0029]
s321，将取绝对值后的归一化肌电信号的全部序列进行随机取窗，包括：在每一类动作序列内随机选取窗的起始点，并根据窗长确定终止点从而获得随机取窗肌电时序窗；
[0030]
s322，将取绝对值后的归一化肌电信号的全部序列进行时延信号增强，包括：随机选取s314的所述多个肌电时序窗中其中一个肌电时序窗的一段采样点并删除；选取所述其中一个肌电时序窗的下一时刻与删除采样点点数相同的采样点放入窗尾，形成时延信号增强的肌电时序窗。
[0031]
优选的，所述s33的基于长短时序双流肌电信号的交叉注意力多尺度融合运动意图识别网络包括双流transformer编码器、交叉注意力模块、多尺度特征融合模块以及运动意图分类模块，其中：
[0032]
所述双流transformer编码器包括通道注意力模块、长序列切片变换模块、短序列切片变换模块、再注意力模块以及前馈神经网络模块；
[0033]
所述交叉注意力模块用于同时学习由所述长序列切片变换模块和短序列切片变换模块获得的长序列分支和短序列分支的识别信息；
[0034]
所述多尺度特征融合模块用于将通过所述交叉注意力模块的所述长序列分支所学习到的所述识别信息和所述短序列分支所学习到的所述识别信息进行融合后输出多尺度融合特征；
[0035]
所述运动意图分类模块：使用全连接对所述多尺度融合特征进行运动意图分类得到运动意图输出结果。
[0036]
优选的，建立所述双流transformer编码器包括：
[0037]
s331，建立通道注意力模块，包括：根据肌电信号的时序性特征以及多通道肌电信号的空间特征，计算各个通道之间的联系，其中一个通道对应一个肌电传感器，多个肌电传感器分布在不同肌肉群上；学习空间分布中每个通道的信号特征对康复动作识别的重要性，并自适应调整各通道的识别权重，使经过所述通道注意力模块的肌电时序窗形成通道注意力；
[0038]
s332，建立长/短序列切片变换模块，包括：将形成所述通道注意力的肌电时序窗按照一定时间采样点数进行切片处理，分别形成较多采样点的长序列和较少采样点的短序列；将每个切片的所述长序列和所述短序列变换为一维数据；
[0039]
s333，建立再学习注意力模块，包括在双流transformer编码器中增加再注意力机制：所述再注意力机制基于在多头注意力之间用一个带有可学习参数的变换矩阵形成；
[0040]
s334，建立前馈神经网络，所述前馈神经网络由多个全连接层构成。
[0041]
优选的，所述再学习注意力机制的数学表达如式(2)所示：
[0042][0043]
其中变换矩阵为θ
t
，norm函数为求取最大奇异值或范数。
[0044]
优选的，所述s34包括：
[0045]
将s314中的所述数据集数据、s321中获取的随机取窗肌电时序窗以及s322中获取的所述时延信号增强的肌电时序窗组成肌电训练数据集，并将所述肌电训练数据集输入运动意图识别网络中进行训练学习。
[0046]
优选的，所述s7包括：
[0047]
基于肌电采集传感器绘制肌肉健康状态图，基于所述肌肉健康状态图评估肌肉健康状况，所述肌肉健康状态图的绘制包括：计算肌肉活跃程度，并基于所述肌肉活跃程度对不同位置的肌肉偏瘫程度进行可视化标注；
[0048]
基于图像传感器评估康复手势准确度，所述图像传感器安装在用于提供提示的位置，例如计算机屏幕上方，用于获得所述患侧手和所述健侧手的手指实时运动图像；基于所述手指实时运动图像绘制康复手势准确度评分表格，基于所述康复手势准确度评分表格评估康复手势准确度，其中所述康复手势准确度评分表格为百分制表格，包括患侧手的手指的三维坐标、所述健侧手的手指的三维坐标以及根据两个三维坐标的契合程度分值；
[0049]
所述图像传感器用于获得所述患侧手和所述健侧手的实时运动图像；基于所述实时运动图像评估康复手势执行速度，将所述患者患侧手完成康复训练时间和标准康复训练完成时间作为标准对比计算得分，所述标准康复训练完成时间为健康人完成相同动作的时间，基于所述标准对比计算得分绘制康复手势执行速度评分表格，基于所述康复手势执行速度评分表格评估康复手势执行速度，其中所述康复手势执行速度评分表格为百分制表格，包括患侧手的移动速度、所述健侧手的移动速度、标准动作移动速度，以及根据患侧手的移动速度和所述健侧手的移动速度或标准动作移动速度获得的动作完成时间分值。
[0050]
优选的，所述s8，基于所述康复效果评估所述脑卒中患者的康复参与度，基于所述康复参与度调整康复策略包括：
[0051]
s81，基于所述康复效果评估所述脑卒中患者的康复参与度，包括：评价参与水平和评价注意力，所述评价参与水平包括利用面部和手部肌电信号评价所述脑卒中患者的情感状态和疲劳程度，作为康复的参与水平指标，所述评价注意力包括利用肌电信号，测量theta波和beta波的能量，并将所述theta波和beta波的能量比值tbr作为康复的注意力指标；
[0052]
s82，基于所述康复参与度调整康复策略包括提高参与水平和提高注意力，所述提高参与水平包括根据患者情感状态和疲劳程度在线调整康复模式，提高所述脑卒中患者的参与水平，所述提高注意力包括根据所述脑卒中患者的注意力情况，优化康复参数和反馈模式，提高康复时的注意力。
[0053]
本发明的第二方面提供过一种基于运动意图识别模型的脑卒中患者康复系统，所述运动意图识别模型为基于肌电信号的运动意图识别模型，所述康复系统用于重度患者的镜像治疗以及中度和轻度患者的助动治疗，包括：
[0054]
康复辅具和传感器固定模块，用于将所述脑卒中患者的患侧手固定在康复辅具中；并将肌电采集传感器固定在所述重度患者的健侧手的对应位置以及中度或轻度脑卒中患者的患侧手的对应位置；
[0055]
肌电信号采集模块，用于根据提示进行相应的运动，肌电采集传感器采集健侧手或患侧手的肌电信号；
[0056]
模型建立模块，用于基于所述肌电信号建立所述基于肌电信号的运动意图识别模型；
[0057]
运动意识确定模块，用于基于肌电信号的运动意图识别模型确定所述脑卒中患者的运动意图；
[0058]
康复模块，用于基于所述脑卒中患者的运动意图控制所述康复辅具做出对应的动作，完成一次患侧手的康复运动。
[0059]
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
[0060]
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
[0061]
本发明提供的基于运动意图识别模型的脑卒中患者康复方法、系统、电子设备以及计算机可读存储介质，具有如下有益的技术效果：
[0062]
采集患者在不同动作下的表面肌电信号，进行预处理后将全部信号截取为肌电时序窗作为数据集数据，并对数据集数据进行数据增强，扩充训练样本。对肌电信号进行长短序列的切片并分别输入至双流transformer编码器，充分提取信号长时序列和短时序列的信息。对提取出来的特征使用交叉注意力模块和多尺度特征融合模块，兼顾肌电时序窗中的长时序列和短时序列信息，并进行特征融合最终形成交叉注意力多尺度transformer网络，最后通过意图分类模块得出患者运动意图，实现高准确率的运动意图识别。
附图说明
[0063]
图1为本发明所述基于运动意图识别模型的脑卒中患者康复方法的流程图。
[0064]
图2为本发明所述的交叉注意力多尺度transformer运动意图识别网络结构示意图。
[0065]
图3为现有技术传统transformer模型层与层之间的相似程度比较示意图。
[0066]
图4为本发明所述的再注意力机制的原理图，其中图4(a)为改进前的多头注意力机制对应的模块原理图，图4(b)为基于图4(a)多头注意力机制下改进的再注意力模块原理图。
[0067]
图5为本发明所述基于肌电运动意图识别模型的脑卒中患者康复系统的原理架构图。
[0068]
图6为本发明所述电子设备结构示意图。
具体实施方式
[0069]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
[0070]
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
[0071]
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调
用存储在存储器内的数据，执行终端的各种功能和处理数据。
[0072]
存储器可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory，rom)。存储器可用于存储指令、程序、代码、代码集或指令。
[0073]
显示屏用于显示各个应用程序的用户界面。
[0074]
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
[0075]
实施例一
[0076]
提供了一种基于肌电运动意图识别模型的脑卒中患者康复方法，用于重度脑卒中患者的镜像治疗以及中度和轻度病人的助动治疗，其中：
[0077]
(一)重度病人
[0078]
适用对象：brunnstorm分期i(无随意运动(迟缓期))、ii(仅有极细微的屈曲)病人。
[0079]
患者特点：患侧手无随意运动或者仅有细微弯曲，没有可靠的表达运动意图的肌电信号。
[0080]
措施：镜像治疗，采集健侧手肌电信号识别动作，从而控制患侧手的康复辅具运动。
[0081]
(二)中度病人
[0082]
适用对象：brunnstorm分期iii(整体抓握，使用勾状抓握但不能放松，不能伸指)、iv(能侧方捏及松开拇指，手指有半随意的小范围伸展)、v(可做球状、圆柱状抓握，手指可一起伸展但不能单独伸展)病人。
[0083]
患者特点：患侧手仅有部分自主运动，但具有较为可靠的表达运动意图的肌电信号。
[0084]
措施：助动治疗，按照特定康复动作采集患侧手肌电信号识别手势动作，从而控制康复辅具进行康复运动；或镜像治疗，采集健侧手肌电信号识别动作，从而控制患侧手的康复辅具运动。
[0085]
(三)轻度病人
[0086]
适用对象：brunnstorm分期vi病人。
[0087]
患者特点：所有抓握均能完成，但速度准确度比健侧差，此阶段病人动作均可自我执行。
[0088]
措施：助动治疗，按照特定康复动作采集患侧手肌电信号识别手势动作，从而控制康复辅具进行康复运动。
[0089]
如图1所示，方法包括：
[0090]
s1，所述脑卒中患者将患侧手固定在康复辅具中，本实施例中康复辅具为气动康复手套；并将肌电采集传感器固定在所述重度患者的健侧手的对应位置以及中度或轻度脑卒中患者的患侧手的对应位置；轻度脑卒中患者可以将患侧手固定在康复辅具上也可以不佩戴；s2，根据提示进行相应的运动，肌电采集传感器采集健侧手或患侧手的肌电信号；s3，基于所述肌电信号建立所述基于肌电信号的运动意图识别模型；s4，基于肌电信号的运动意图识别模型确定所述脑卒中患者的运动意图；s5，基于所述脑卒中患者的运动意图控制
所述康复辅具做出对应的动作，完成一次患侧手的康复运动；s6，多次重复s2-s5，完成患侧手的康复运动。
[0091]
作为优选的实施方式，所述方法还包括：s7，对所述患侧手的康复运动的康复效果进行评估；s8，基于所述康复效果评估所述脑卒中患者的康复参与度，基于所述康复参与度调整康复策略。
[0092]
作为优选的实施方式，所述s3，基于所述肌电信号建立所述基于肌电信号的运动意图识别模型包括：s31，对所述肌电信号进行预处理并获得建立肌电运动意图识别模型所需的第一部分数据集数据；s32，将预处理后的肌电信号进行数据增强获得第二部分数据集数据；s33，建立基于长短时序双流肌电信号的交叉注意力多尺度融合运动意图识别网络；s34，将第一部分数据集数据和第二部分数据集数据组成肌电训练数据集，并将所述肌电训练数据集输入所述运动意图识别网络中进行训练学习，获得肌电运动意图识别模型。
[0093]
作为优选的实施方式，所述s31的所述预处理包括降噪、归一化、取绝对值以及数据分割，其中：s311，所述降噪包括：根据所述肌电信号的特点设置滤波器类型和系数以及盲源分离的方法；基于所述滤波器和盲源分离方法滤除原始的所述肌电信号中的工频干扰、运动伪迹和/或多通道串扰原因造成的噪声，从而获得滤除噪声后的肌电信号；s312，所述归一化包括：基于z-score或最大最小归一化的方法将所述滤除噪声后的肌电信号限定到有利于模型训练的合适的大小，获得归一化肌电信号；s313，所述取绝对值包括：将所述归一化肌电信号的全部序列取绝对值；步骤s313的实施是由于归一化的肌电信号中，每段动作段的信号幅值有正有负，但无论正负均可表现肌肉的收缩，不进行绝对值处理可能会抵消掉有用信息；s314，数据分割：这是由于肌电信号是一个时间序列，根据采样设备的采样率会采集一段长序列，因数据过长无法对数据进行训练和识别，因此将取绝对值后的归一化肌电信号的全部序列切割为多个肌电时序窗，即取窗，将所述多个肌电时序窗作为数据集数据。
[0094]
作为优选的实施方式，所述s32包括基于随机取窗和时延信号增强的方式扩充所述数据集数据，其中：s321，将取绝对值后的归一化肌电信号的全部序列进行随机取窗，包括：在每一类动作序列内随机选取窗的起始点，并根据窗长确定终止点从而获得随机取窗肌电时序窗；s321操作的目的是可以取到s314实施过程中无法取到的肌电时序窗，以增加训练集的样本多样性；s322，将取绝对值后的归一化肌电信号的全部序列进行时延信号增强，包括：随机选取s314的所述多个肌电时序窗中其中一个肌电时序窗的一段采样点并删除；选取所述其中一个肌电时序窗的下一时刻与删除采样点点数相同的采样点放入窗尾，形成时延信号增强的肌电时序窗；s322实施的目的在于肌电采集装置会有内部元器件或者传输收发时产生数据遗漏的问题，这样可以增加系统的样本量和鲁棒性。
[0095]
如图2所示，作为优选的实施方式，所述s33的基于长短时序双流肌电信号的交叉注意力多尺度融合运动意图识别网络包括双流transformer编码器、交叉注意力模块、多尺度特征融合模块以及运动意图分类模块，其中：所述双流transformer编码器包括通道注意力模块、长/短序列切片变换模块、再注意力模块以及前馈神经网络模块；所述交叉注意力模块用于同时学习由所述长/短序列切片变换模块获得的长序列分支和短序列分支的识别信息；其中“xm”与“xn”表示该虚线中的结构重复m次和n次以构建深层的编码器，提取到更深层的特征，基于此，基于长短时序双流肌电信号的交叉注意力模块用于同时学习长序列
分支和短序列分支的识别信息；具体的，本实施例中，识别信息与图2中所示的短序列特征和长序列特征相对应，因此所述交叉注意力模块用于同时学习由所述长序列切片变换模块和短序列切片变换模块构建的长序列分支所输出的长序列特征和短序列分支所输出的短序列特征。
[0096]
所述多尺度特征融合模块用于将通过所述交叉注意力模块的所述长序列分支所学习到的所述识别信息和所述短序列分支所学习到的所述识别信息进行融合后输出多尺度融合特征。具体方法是首先利用每个分支的cls token(classification token)分类切片作为代理，在另一个分支的patch token序列切片之间交换信息，然后将其投影到自己的分支。由于cls token已经学习了自己分支中所有patch token之间的抽象信息，因此与另一个分支中的patch token的交互有助于融合不同尺度的信息。与其他分支token融合后，cls token在下一层transformer编码器上再次与自己的patch token交互，在这一步中，它又能够将来自另一个分支的学习信息传递给自己的patch token，以丰富每个patch token的特征表示。
[0097]
所述运动意图分类模块：使用全连接对所述多尺度融合特征进行运动意图分类得到运动意图输出结果。
[0098]
作为优选的实施方式，建立所述双流transformer编码器包括：s331，建立通道注意力模块，包括：根据肌电信号的时序性特征以及多通道肌电信号的空间特征，计算各个通道之间的联系，其中一个通道对应一个肌电传感器，多个肌电传感器分布在不同肌肉群上；学习空间分布中每个通道的信号特征对康复动作识别的重要性，并自适应调整各通道的识别权重，使经过所述通道注意力模块的肌电时序窗形成通道注意力，从而使得运动意图识别网络更好提取到肌电中所蕴含的动作信息。s332，建立长/短序列切片变换模块，包括：将形成所述通道注意力的肌电时序窗按照一定时间采样点数进行切片处理，分别形成较多采样点的长序列和较少采样点的短序列；将每个切片的所述长序列和所述短序列变换为一维数据；所采集的肌电信号中包含针对患手可活动程度不同而设置多种难易程度的康复手势。复杂康复手势更依赖长时肌电序列中的变化特征，简单康复手势更依赖短时肌电序列中的变化特征；而提取长时肌电序列特征会对简单手势识别造成信息冗余，提取短时肌电序列特征信息不足以识别复杂康复手势，因此同时进行长序列和短序列切片有利于各种手势的识别。s333，建立再学习注意力模块，这是由于在使用卷积神经网络搭建模型时，增加网络深度可以提取到更细致的特征，是提高模型性能的有效方式。但如何设计网络层之间的连接方式，使深层卷积网络的性能优于浅层卷积神经网络是相关研究人员一直在研究的问题，为此提出了resnet、mobilenet、efficientnet等网络通过增加网络深度提升网络性能。
[0099]
同样在transformer模型中也存在类似的问题，原始的transformer中的多头注意力机制(multi-head attention)计算公式(1)如下：
[0100][0101]
其中attention为多头注意力机制，q，k，v分别为查询矩阵、健矩阵和值矩阵，d为矩阵的行向量维度，softmax为归一化指数函数，softmax函数是一个单层的神经网络，是二分类函数sigmoid在多分类上的推广，用于将多分类的结果以概率的形式展示出来，
softmax的计算方法为：softmax是将在负无穷到正无穷上的预测结果按照两步转换为概率：第一步是将模型的预测结果转化到指数函数上，从而保证概率的非负性；第二步是为了确保各个预测结果的概率之和等于1，将转换后的结果进行归一化处理，即将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比，得到近似的概率。通过该注意力计算公式可以学习到同一层中每个切片之间的相关性。
[0102]
传统transformer模型仅通过堆叠encode的方式增加网络深度，在深度n达到一定深度后层与层之间输出的特征会越来越相似，无法增加网络性能甚至还可能出现特征提取能力下降的问题，这种现象为注意力崩溃如图3。图3所示为层与层之间的相似程度，其中k表示邻近层数，k＝1即为最近一层相似度，k＝2为每隔一层计算相似度，以此类推。
[0103]
本发明克服注意力崩溃问题的传统办法是增加长序列切片变换和短序列切片变换的维度，即增加input embedding维度。这样可以增强网络单个流的特征表示能力，编码更多信息，但这种方法会显著增加计算成本，随着网络层数增加而带来的性能改善往往会减少。此外，更大的模型(嵌入维数更高)通常需要更多的数据进行训练，存在过度拟合风险。因此本发明增加了第二种解决办法，即在双流transformer编码器中增加再注意力机制：通过在多头注意力(附图4(a)所示)之间用一个带有可学习参数的变换矩阵(附图4(b)所示)，再学习注意力机制的数学表达如式(2)所示：
[0104][0105]
其中re-attention为在学习注意力机制，q，k，v分别为查询矩阵、健矩阵和值矩阵，d为矩阵的行向量维度，softmax为归一化指数函数；变换矩阵为θ
t
，norm函数为求取最大奇异值或范数。
[0106]
该方法的增设的变换矩阵通过多头注意力之间的相互作用来收集它们的互补信息，更好地提高了注意力特征的多样性。而且与多头自注意力机制相比，它只需要微不足道的计算开销。使每层的多头自注意力机制的多个头学习到各异的特征，以增加在不同层学习到的特征多样性，使模型获得预期的性能提升。因此，它比第一种增加切片维数的方法更有效。改进前后的注意力机制分别如图4(a)和4(b)所示。其中，图4(a)为multi-head attention，图4(b)为re-attention(再注意力模块)。
[0107]
s334，建立前馈神经网络，所述前馈神经网络由多个全连接层构成，充分学习肌电信号的线性特征。
[0108]
作为优选的实施方式，所述s34包括：将s314中的所述数据集数据、s321中获取的随机取窗肌电时序窗以及s322中获取的所述时延信号增强的肌电时序窗组成肌电训练数据集，并将所述肌电训练数据集输入运动意图识别网络中进行训练学习。
[0109]
作为优选的实施方式，所述s7包括：基于肌电采集传感器绘制肌肉健康状态图，基于所述肌肉健康状态图评估肌肉健康状况，所述肌肉健康状态图的绘制包括：计算肌肉信号的活跃程度，并基于所述肌肉信号的活跃程度对不同位置的肌肉偏瘫程度进行可视化标注。
[0110]
本实施例中，肌肉活跃程度的计算方法和偏瘫程度定义包括：通过康复训练过程中采集到患者的患侧手执行指定动作时的肌电信号的时域指标、频域指标、激活时间和激活顺序指标、协调性指标，与健康者对比得出肌肉活跃程度；然后设定活跃度阈值，将肌肉
活跃程度赋予分值后与设定阈值比较，从而划分高低等级。高活跃程度对应低偏瘫程度，低活跃度对应高偏瘫程度；基于图像传感器评估康复手势准确度，所述图像传感器安装在用于提供提示的位置，例如计算机屏幕上方，用于获得所述患侧手和所述健侧手的手指实时运动图像；基于所述手指实时运动图像绘制康复手势准确度评分表格，基于所述康复手势准确度评分表格评估康复手势准确度，其中所述康复手势准确度评分表格为百分制表格，包括患侧手的手指的三维坐标、所述健侧手的手指的三维坐标以及根据两个三维坐标的契合程度分值。
[0111]
本实施例中，基于所述手指实时运动图像绘制康复手势准确度评分表格的绘制是按照如下程序完成的：根据图像传感器采集到康复训练过程中手部关键点坐标，计算得出康复手势准确度并获得所述手指实时运动图像；基于所述手指实时运动图像绘制康复手势准确度评分表格；所述手部关键点坐标包括指尖位置坐标、手的方向向量、手掌平面法向量、手心位置、手心移动速度和手握球体半径等数据信息。
[0112]
所述图像传感器用于获得所述患侧手和所述健侧手的实时运动图像；基于所述实时运动图像评估康复手势执行速度，将所述患者患侧手完成康复训练时间和标准康复训练完成时间作为标准对比计算得分，所述标准康复训练完成时间为健康人完成相同动作的时间，基于所述标准对比计算得分绘制康复手势执行速度评分表格，基于所述康复手势执行速度评分表格评估康复手势执行速度，其中所述康复手势执行速度评分表格为百分制表格，包括患侧手的移动速度、所述健侧手的移动速度、标准动作移动速度，以及根据患侧手的移动速度和所述健侧手的移动速度或标准动作移动速度获得的动作完成时间分值。
[0113]
本实施例中，评估的指标为首先获得康复手势执行速度，并根据康复手势执行速度得出完成康复训练的时间，因此基于手势执行速度实际需要计算出康复训练的时间；其中速度指标指的是完成游戏的时间，得出速度主要是根据整体手部移动速度，可以采集手心或者是其他位置，移动速度的采集标准前后一致即可。
[0114]
在康复训练中，如何评价患者参与水平，如何在线调节康复任务，强化康复参与水平，以及如何评价注意力以提高康复训练中的注意力水平的问题抑制存在，因此作为优选的实施方式，所述s8，基于所述康复效果评估所述脑卒中患者的康复参与度，基于所述康复参与度调整康复策略包括：s81，基于所述康复效果评估所述脑卒中患者的康复参与度，包括：评价参与水平和评价注意力，所述评价参与水平包括利用面部和手部肌电信号评价所述脑卒中患者的情感状态和疲劳程度，作为康复的参与水平指标，所述评价注意力包括利用肌电信号，测量theta波和beta波的能量，并将所述theta波和beta波的能量比值tbr作为康复的注意力指标；s82，基于所述康复参与度调整康复策略包括提高参与水平和提高注意力，所述提高参与水平包括根据患者情感状态和疲劳程度在线调整康复模式，提高所述脑卒中患者的参与水平，所述提高注意力包括根据所述脑卒中患者的注意力情况，优化康复参数和反馈模式，提高康复时的注意力。
[0115]
实施例二
[0116]
参见图5，本发明的第二方面提供过一种基于运动意图识别模型的脑卒中患者康复系统，包括：康复辅具和传感器固定模块101，用于将所述脑卒中患者的患侧手固定在康复辅具中；并将肌电采集传感器固定在所述重度患者的健侧手的对应位置以及中度或轻度脑卒中患者的患侧手的对应位置，本实施例中康复辅具为气动康复手套；肌电信号采集模
块102，用于健侧手根据提示进行相应的运动，肌电采集传感器采集健侧手或患侧手的肌电信号；模型建立模块103，用于基于所述肌电信号建立所述基于肌电信号的运动意图识别模型；运动意识确定模块104，用于基于肌电信号的运动意图识别模型确定所述脑卒中患者的运动意图；康复模块105，用于基于所述脑卒中患者的运动意图控制所述康复辅具做出对应的动作，完成一次患侧手的康复运动。
[0117]
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例二所述的方法。
[0118]
如图6所示，本发明还提供了一种电子设备，包括处理器701和与所述处理器701连接的存储器702，所述存储器702存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例二所述的方法。
[0119]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。