一种基于脑-机接口与眼动的多模态闭环康复训练系统的制作方法

本发明涉及脑-机接口、眼动与康复训练，具体涉及一种基于脑-机接口与眼动的多模态闭环康复训练系统。

背景技术：

1、随着老龄化进程加剧，脑损伤、脊髓损伤患者逐年增加，患者在脱离生命危险后会出现不同程度的运动、言语等功能障碍，给家庭和社会带来了巨大负担，及早的运动功能康复训练对患者的功能恢复具有重要意义。

2、目前的运动功能康复训练由康复治疗师辅助患者进行肢体运动，任务繁重且康复效果一般；康复机器人的出现分担了康复治疗师的部分压力，但康复效果确未显著提升。究其原因，现有的运动功能康复训练以被动训练为主，患者的主动参与度低，难以有效的促进神经重组。

3、脑-机接口(braincomputerinterface,bci)不依赖人的神经肌肉通道便能实现大脑和外部设备或者电脑的直接信息交互，为运动功能康复提供了全新思路。其中，基于运动想象的脑-机接口技术被广泛应用与康复领域：患者根据视觉提示进行主动的左右手或者脚的想象运动，系统实时采集患者脑电信号，并进行特征提取与识别，基于识别结果发送控制指令给康复机器人或者电刺激设备给与患者以肢体运动感觉反馈。该技术模拟人正常肢体运动的过程进行运动再学习，融入患者的主动运动意愿，以期促进神经可塑性。但是运动想象能力的个体差异性大，训练周期长，脑电特征的辨识效果一般，且难以满足神经可塑性的时效性要求，康复效果提升的差异较大。

技术实现思路

1、本发明的目的在于克服现有技术中所存在的基于脑机接口的训练系统所存在的，脑电特征的辨识效果不佳、难以满足神经可塑性的时效性要求、训练效果不佳的不足，提供一种基于脑-机接口与眼动的多模态闭环康复训练系统。

2、为了实现上述发明目的，本发明提供了以下技术方案：

3、一种基于脑-机接口与眼动的多模态闭环康复训练系统，包括：第一刺激单元、采集单元、多模态信息处理单元以及第二刺激单元；

4、其中，所述第一刺激单元的信号输出端与所述采集单元的信号输入端连接，所述采集单元的信号输出端与所述多模态信息处理单元的信号输入端连接，所述多模态信息处理单元的信号输出端与所述第二刺激单元的信号输入端连接，所述第二刺激单元的信号输出端与所述刺激单元的信号输入端连接；

5、所述第一刺激单元用于为受试者提供感官刺激，所述感官刺激包括：视觉和/或听觉和/或触觉刺激；

6、所述采集单元，包括：脑电采集模块与眼动采集模块，用于采集受试者基于所述感官刺激而产生的眼动信号与脑电信号，并输出至所述多模态信息处理单元；

7、所述多模态信息处理单元用于基于预设机器学习算法根据所述眼动信号与脑电信号进行脑控态和空闲态的辨识，以获取受试者基于所述感官刺激产生的运动意图，以及，基于所述运动意图生成控制指令，并发送至所述第二刺激单元；所述第二刺激单元用于基于所述控制指令对受试者输出机械刺激。

8、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述刺激单元，包括：视觉刺激模块、听觉刺激模块；

9、所述视觉刺激模块包括：显示器或者ar模块；

10、所述听觉刺激模块包括：耳机或者音箱。

11、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述视觉刺激模块中的不同的运动观察范式具有不同的帧频。

12、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述的眼动采集模块为非侵入式双眼动追踪传感器，用于实时采集受试者注视视觉刺激模块提供的视觉刺激下的眼球坐标位置和时间，以及瞳孔直径，所述的眼动采集模块的采样频率为1200hz。

13、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述脑电采集模块的采样频率超过250hz。

14、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述第二刺激单元包括：电刺激装置与机械刺激装置；

15、电刺激包括：神经肌肉电刺激、功能电刺激；机械装置包括：末端执行器、外骨骼式机器人、气动式机器人。

16、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述多模态信息处理单元被配置为：

17、预先基于第一刺激模块中具有固定运动频率的肢体运动区域划定为感兴趣区域；

18、接收眼动信号与脑电信号，基于所述眼动信号实时获取受试者注视感兴趣区域的位置和时长，基于预设周期判断获取到的位置和时长是否大于预设眼动阈值时，若否，则为空闲态；若是，则进入脑控态；接收所述脑电信号，对所述脑电信号进行带通滤波，基于典型相关分析，扩展典型相关分析、任务相关成分分析、任务判别模式分析、卷积神经网络算法对脑电信号进行实时处理，判断出eeg信号中含有哪种视觉刺激的帧频成分：如果判断出的帧频成分对应的动作观察范式与aoi标记的肢体动作一致，则判断受试者此时的运动意图为运动观察范式中的动作，发送相应指令给外部反馈装置控制模块；如果判断出的帧频成分对应的动作观察范式与aoi标记的肢体动作不一致，则判断受试者为状态不集中状态，系统继续进行以上判断；如果连续三次eeg识别结果与眼动aoi标记不同，则视觉刺激模块呈现视觉刺激时听觉刺激模块提供听觉刺激指引受试者进行动作观察。

19、根据一种具体的实现方式，上述基于脑-机接口与眼动的多模态闭环康复训练系统中，所述眼动阈值由工作特征曲线确定。

20、与现有技术相比，本发明的有益效果在于：

21、1、本发明实施例所提供的系统通过采集单元采集受试者在第一刺激单元提供的感官刺激下的眼动信息与脑电信息，基于眼动信息实现“脑-机开关”识别，同时配合预置的脑电信号识别算法，对脑电信号进行高准确低延迟的识别，识别受试者的动作意图，并基于识别得到的动作意图，控制第二刺激模块为受试者提供电刺激和机械装置物理运动，从而实现对受试者的视觉、听觉、触觉的协同训练，建立闭环系统，提高受试者主动参与度，促进神经重组与重建。

技术特征：

1.一种基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，包括：第一刺激单元、采集单元、多模态信息处理单元以及第二刺激单元；

2.根据权利要求1所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述刺激单元，包括：视觉刺激模块、听觉刺激模块；

3.根据权利要求2所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述视觉刺激模块中的不同的运动观察范式具有不同的帧频。

4.根据权利要求1所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述的眼动采集模块为非侵入式双眼动追踪传感器，用于实时采集受试者注视视觉刺激模块提供的视觉刺激下的眼球坐标位置和时间，以及瞳孔直径，所述的眼动采集模块的采样频率为1200hz。

5.根据权利要求1所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述脑电采集模块的采样频率超过250hz。

6.根据权利要求1所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述第二刺激单元包括：电刺激装置与机械刺激装置；

7.根据权利要求1～6任一所述的基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述多模态信息处理单元被配置为：

8.根据权利要求7所述的一种基于脑-机接口与眼动的多模态闭环康复训练系统，其特征在于，所述眼动阈值由工作特征曲线确定。

技术总结
本发明公开了一种基于脑‑机接口与眼动的多模态闭环康复训练系统，包括：刺激单元，用于为受试者提供感官刺激，采集单元，用于采集受试者的眼动信号与脑电信号并输出至多模态信息处理单元；多模态信息处理单元用于基于预设机器学习算法根据眼动信号与脑电信号进行脑控态和空闲态的辨识，以获取受试者基于感官刺激产生的运动意图，基于运动意图生成控制指令并发送至第二刺激单元，以使第二刺激单元基于控制指令对受试者输出机械刺激。本系统基于眼动信息实现高准确低延时的“脑‑机开关”识别，并基于视觉诱发电位实现不同动作的高准确的意图识别，从而基于第二刺激单元对受试者进行协同反馈建立闭环系统，提高受试者的参与度，促进神经重组。

技术研发人员：张鑫,江宁,何家源
受保护的技术使用者：江宁
技术研发日：
技术公布日：2025/3/27