一种基于多模态信号的脑机交互方法

本发明属于脑机接口与人工智能的交叉领域，是生物多模态信号决策与计算机智能感知相结合的人机交互前沿技术，是一种基于多模态信号的脑机交互方法。

背景技术：

1、人机交互是人与计算机、机器人之间传递和交换信息的重要手段，其中脑机接口作为一种新型的人机交互技术备受重视。脑机接口通过解码脑电信号获取人的控制意图，并将其转换为外部设备的控制指令，最终实现大脑与机器人的直接沟通。脑机接口在医疗康复和智能移动行业具有广阔前景，可以帮助截止和瘫痪的病人恢复运动能力，进行日常生活的自理与照料，以及在工业或者高危行业实现人与机器人的协同作战或者机器人替代工作等。共享控制结合了人的生物智能和机器智能，即通过脑机接口解码人的高级指令，再融合机器智能通过感知环境而做出的低级指令和精细指令，可以完成复杂环境下的控制任务。

2、在复杂环境下控制智能车移动时，直接控制受限于脑机接口的准确率、信息传输率，给被试带来了巨大的压力和精神负担。共享控制虽然降低了被试的控制自由度，但是拥有更好的控制效果、更少的控制指令及时间，更容易完成复杂环境下的移动控制。

3、此外，鉴于人在实际情况下由于环境复杂，时间紧迫，精神紧张等原因选择了错误的脑控点，为弥补这一缺陷，在系统中加入了眼动信号删除不准确脑控点的功能，有效提升了系统的鲁棒性以及安全性。

4、因此众多学者致力于对脑-机共享控制技术研究，然而在复杂环境下的移动控制问题中建立一个合理有效的脑机交互方法，仍是巨大挑战。

技术实现思路

1、有鉴于此，本发明旨在提出一种基于多模态信号的脑机交互方法，针对现有脑-机控制机器人在复杂环境中移动，尤其是复杂场景下繁琐的控制任务，给被试带来了巨大的压力和精神负担。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、一种基于多模态信号的脑机交互方法，包括环境感知模块、感知融合模块、感知纠正模块以及路径规划模块，其中环境感知模块由脑机接口、激光雷达进行环境感知，获得机器人所处的环境信息，其中感知融合模块将脑机接口感知与激光雷达感知按权重进行融合，获得机器人路径规划所需的环境信息，其中感知纠正模块由咬牙信号与眼动信号组成，旨在实现介入机器人规划过程以及纠正错误感知结果的功能，其中路径规划控制模块完成机器人智能避障。

4、所述环境感知模块包括脑机接口感知模块和激光雷达感知模块，所述脑机接口感知模块用于感知机器人所处环境的高级信息，包括道路提取模块、子区域分割模块和脑机接口选择模块，所述道路提取模块用于提取机器人所处环境的道路信息，所述子区域分割模块用于分割道路区域为多个子区域并将子区域质心映射到脑机接口范式中，所述脑机接口选择模块用于选择生物感知所需的质心点，所述激光雷达感知模块用于感知机器人所处环境的基本信息；

5、所述感知融合模块包括权重分析模块和感知融合模块，所述权重分析模块用于分配脑机接口感知层与激光雷达感知层的融合权重，所述感知融合模块用于融合上述两个感知层，并生成栅格地图；

6、所述感知纠正模块包括咬牙信号介入模块和眼动信号纠正模块，所述咬牙信号介入模块用于停止以及开启机器人的自主导航功能，所述眼动信号纠正模块用于删除错误的脑控点。

7、所述路径规划控制模块包括局部路径规划控制和全局路径规划控制。

8、根据上述技术方案，基于多模态的脑-机共享控制机器人方法包括以下步骤：

9、步骤s1：使用脑电帽以及电极片采集用户的脑电、肌电以及眼电信号，感知模块实时感知机器人所处环境信息。

10、步骤s2：感知融合模块接收感知模块信息，经过感知纠正模块之后，形成栅格格地图。

11、步骤s3：在传递指令之前，用户可以通过感知纠正模块使用眨眼来删除上次所选的错误指令并进行重新选择，随后路径规划控制模块根据获得的栅格地图进行全局路径和局部路径的规划与控制。

12、根据上述技术方案，所述步骤s1进一步包括以下步骤：

13、步骤s11：机器人启动，激光雷达感知机器人所处环境信息；

14、步骤s12：人根据机器人所处的环境信息，判断是否需要高级的环境信息；

15、步骤s13：实时分析肌电信号，如果大于设定阈值，则启动或者退出脑机接口感知模块，如果小于设定阈值，则不启动或者退出脑机接口感知模块。

16、根据上述技术方案，所述步骤s13进一步包括以下步骤：

17、步骤s131：启动道路提取模块，提取机器人所处环境的道路区域；

18、步骤s132：启动子区域分割模块，分割道路区域为多个子区域并将子区域质心映射到脑机接口范式中；

19、步骤s133：启动脑机接口选择模块，选择感知环境信息所需的质心点，并按顺序连接质心获得感知区域。

20、步骤s134：启动眼动删除脑控点模块，实时分析眼电信号，如果大于设定阈值，则删除上一次所选指令，并重新进行脑控选点。

21、根据上述技术方案，实验基于脑-机共享控制的机器人智能避障系统，包括脑电电极帽、脑电信号采集器、三台计算机和机器人；

22、所述脑电电极帽戴在被试头部，脑电信号采集器，获取脑电信号；

23、所述机器人携带激光雷达、相机，完成环境基本信息的感知；

24、所述三台计算机，分别用于呈现脑机接口范式，实时处理脑电信号以及实时控制机器人，三者通过tcp/ip进行数据传输。

25、根据上述技术方案，一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现脑-机共享控制的机器人智能避障方法的步骤。

26、根据上述技术方案，一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现脑-机共享控制的机器人智能避障方法的步骤。

27、相对于现有技术，本发明所述的一种基于多模态的脑-机共享控制机器人方法具有以下优势：

28、本发明所述的构建方法，基于多模态的脑-机共享控制机器人方法，在环境中融合人的生物感知和机器人的机器感知来完成多模态的环境感知，有效提高人与机器人共同感知和决策的能力，同时避免复杂场景下繁琐的脑机接口控制。采用多模态的感知信号融合可以充分发挥眼动信号、咬牙信号以及脑电信号的优势，加入脑控点删除功能可有效提高系统的鲁棒性以及安全性。

技术特征：

1.一种基于多模态信号的脑机交互方法，其特征在于：包括以下步骤：

2.根据权利要求2所述的一种基于多模态信号的脑机交互方法，其特征在于：所述步骤s1进一步包括以下步骤：

3.根据权利要求2所述的一种基于多模态信号的脑机交互方法，其特征在于：所述步骤s13进一步包括以下步骤：

4.根据权利要求1所述的一种基于多模态信号的脑机交互方法，其特征在于：实验基于多模态的脑-机共享控制机器人系统，包括脑电电极帽、脑电信号采集器、三台计算机和机器人；

5.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时权利要求1-4所述的脑机共享控制的机器人智能避障方法的步骤。

6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-4所述的脑机共享控制的机器人智能避障方法的步骤。

技术总结
本发明提供了一种基于多模态信号的脑机交互方法，包括以下步骤：S1、使用脑电帽以及电极片采集用户的脑电、肌电以及眼电信号，感知模块实时感知机器人所处环境信息。S2、感知融合模块接收的环境信息经过感知纠正模块之后，形成栅格地图。S3、指令生效前，用户可以通过感知纠正模块使用眨眼来删除上次所选的错误指令并进行重新选择，随后路径规划控制模块根据获得的栅格地图进行全局路径和局部路径的规划。本发明有益效果：根据实时肌电信号解读用户的介入意图，根据脑电信号解码用户的下一步指令，根据眼电信号来检测用户的删除意图，将用户的主观意图与机器人的客观环境感知通过代价地图进行融合，有效提高人机交互系统共同感知和决策的能力。

技术研发人员：李梦凡,张子祺,张鹏飞,魏冉,郭磊
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/9/26