一种视觉诱发式双向脑机接口系统和脑机双向通信方法

本发明属于脑机接口，尤其涉及一种视觉诱发式双向脑机接口系统和脑机双向通信方法。

背景技术：

1、脑机接口是一种利用人体神经活动产生的脑电信号实现人与外部环境沟通的全新通讯系统，它不需要依赖肌肉脊髓以及外周神经，直接通过脑电信号采集设备从人类的大脑中采集脑电信号，使用分类算法来处理脑电信号，从而了解受试者想要表达的意图，这无疑对那些丧失行动和说话能力的中风、脊髓损伤等重疾病患者来说很有价值。但是目前还没有可以传递人的精神、情绪、健康状态信息的脑机接口，以实现人脑与计算机系统之间的互动。

技术实现思路

1、本发明要解决的技术问题是，提供一种视觉诱发式双向脑机接口系统和脑机双向通信方法，允许大脑和外部设备之间进行双向信息传递，不仅能够从大脑获取信号并将其解码用于控制外部设备，还可以将外部设备的信息传递回大脑，实现人脑与计算机系统之间的互动。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种视觉诱发式双向脑机接口系统，包括：

4、正向处理装置，用于将用户在运动想象字母时产生的实时脑电信号转换为其对应的实时字母图形信号；

5、反向处理装置，用于当大脑受到字母图形刺激后，将所述实时字母图形信号转换为对应实时脑电信号。

6、作为优选，正向处理装置，包括：

7、第一获取模块，用于采集用户在运动想象字母时产生的历史脑电信号；

8、第一训练模块，用于根据历史脑电信号训练bilstm网络模型；

9、正向处理模块，用于根据训练好的bilstm网络模型，将实时获取的脑电信号转换为其对应的实时字母图形信号。

10、作为优选，反向处理装置，包括：

11、第二获取模块，用于大脑受到字母图形刺激后，获取所述历史脑电信号对应的历史字母图形信号；

12、第二训练模块，用于根据历史字母图形信号训练脑电-图形映射模型；

13、反向处理模块，用于根据训练好的脑电-图形映射模型，将所述实时字母图形信号转换为对应实时脑电信号。

14、作为优选，bilstm网络模型由前向lstm与后向lstm组合而成；前向lstm从数据处理后的脑电信号的起始端进行训练，后向lstm从数据处理后的脑电信号末端进行训练。

15、作为优选，所述脑电-图形映射模型为基于光流约束的quad-gan网络模型。

16、本发明还提供一种脑机双向通信方法，包括以下步骤：

17、将用户在运动想象字母时产生的实时脑电信号转换为其对应的实时字母图形信号；

18、当大脑受到字母图形刺激后，将所述实时字母图形信号转换为对应实时脑电信号。

19、作为优选，将用户在运动想象字母时产生的实时脑电信号转换为其对应的实时字母图形信号，包括：

20、采集用户在运动想象字母时产生的历史脑电信号；

21、根据历史脑电信号训练bilstm网络模型；

22、根据训练好的bilstm网络模型，将实时获取的脑电信号转换为其对应的实时字母图形信号。

23、作为优选，当大脑受到字母图形刺激后，将所述实时字母图形信号转换为对应实时脑电信号，包括：

24、当大脑受到字母图形刺激后，获取所述历史脑电信号对应的历史字母图形信号；

25、根据历史字母图形信号训练脑电-图形映射模型；

26、根据训练好的脑电-图形映射模型，将所述实时字母图形信号转换为对应实时脑电信号。

27、作为优选，bilstm网络模型由前向lstm与后向lstm组合而成；前向lstm从数据处理后的脑电信号的起始端进行训练，后向lstm从数据处理后的脑电信号末端进行训练。

28、作为优选，所述脑电-图形映射模型为基于光流约束的quad-gan网络模型。

29、本发明通过结合深度学习，视觉诱发，运动想象以及脑机接口技术，实现“人脑-计算机-人脑”双向脑机接口系统设计。

技术特征：

1.一种视觉诱发式双向脑机接口系统，其特征在于，包括：

2.如权利要求1所述的视觉诱发式双向脑机接口系统，其特征在于，正向处理装置，包括：

3.如权利要求2所述的视觉诱发式双向脑机接口系统，其特征在于，反向处理装置，包括：

4.如权利要求3所述的视觉诱发式双向脑机接口系统，其特征在于，bilstm网络模型由前向lstm与后向lstm组合而成；前向lstm从数据处理后的脑电信号的起始端进行训练，后向lstm从数据处理后的脑电信号末端进行训练。

5.如权利要求4所述的视觉诱发式双向脑机接口系统，其特征在于，所述脑电-图形映射模型为基于光流约束的quad-gan网络模型。

6.一种脑机双向通信方法，其特征在于，包括以下步骤：

7.如权利要求6所述的脑机双向通信方法，其特征在于，将用户在运动想象字母时产生的实时脑电信号转换为其对应的实时字母图形信号，包括：

8.如权利要求7所述的脑机双向通信方法，其特征在于，当大脑受到字母图形刺激后，将所述实时字母图形信号转换为对应实时脑电信号，包括：

9.如权利要求8所述的脑机双向通信方法，其特征在于，bilstm网络模型由前向lstm与后向lstm组合而成；前向lstm从数据处理后的脑电信号的起始端进行训练，后向lstm从数据处理后的脑电信号末端进行训练。

10.如权利要求9所述的脑机双向通信方法法，其特征在于，所述脑电-图形映射模型为基于光流约束的quad-gan网络模型。

技术总结
本发明公开一种视觉诱发式双向脑机接口系统和脑机双向通信方法，包括：正向处理装置，用于将用户在运动想象字母时产生的脑电信号转换为其对应的字母图形信号；反向处理装置，用于大脑受到字母图形刺激后，将所述字母图形信号转换为对应脑电信号。采用本发明技术方案，允许大脑和外部设备之间进行双向信息传递，不仅能够从大脑获取信号并将其解码用于控制外部设备，还可以将外部设备的信息传递回大脑，实现人脑与计算机系统之间的互动。

技术研发人员：郭一娜,张媛媛,高源芷,上官宏,王海东,刘鑫,牛立群
受保护的技术使用者：太原科技大学
技术研发日：
技术公布日：2024/3/24