一种基于类脑智能的脑机接口系统及设备

本发明涉及人工智能，特别涉及一种基于类脑智能的脑机接口系统及设备。

背景技术：

1、脑机接口(brain-computer interface/brain-machine interface)，是在人或动物脑(或者脑细胞的培养物)与外部设备间创建的直接连接通路。在单向脑机接口的情况下，电脑接受脑传来的命令，或者发送信号到脑，但不能同时发送和接收信号。而双向脑机接口允许脑和外部设备间的双向信息交换。在该定义中，“脑”一词意指有机生命形式的脑或神经系统，而并非仅仅是抽象的“心智”(mind)。“机”意指任何处理或运算的设备，其形式可以从简单电路到硅芯片。在多年来动物实验的实践基础上，应用于人体的早期植入设备被设计及制造出来，用于恢复损伤的听觉、视觉和肢体运动能力。研究的主线是大脑不同寻常的皮层可塑性，它与脑机接口相适应，可以像自然肢体那样控制植入的假肢。

2、由于脑电图(electroencephalography,eeg)时间分辨率高、易于获取、价格低廉等优势，被广泛应用于非侵入式bci中。目前常用于bci的脑电信号成分或种类主要包括：事件相关同步电位和去同步电位(event related synchronization/desynchronization,ers/erd)、稳态视觉诱发电位(steady-state visual evoked potentials,ssvep)、慢皮层电位(slow corticalpotentials,scp)、p300以及μ节律、β节律等。

3、其中，ssvep-bci向用户呈现多个具有不同频率、相位的周期性视觉刺激(repetitive visual stimulus,rvs)，当用户将注意力集中在某个rvs上时，其主视觉皮层中会诱发出具有特定特征的eeg信号，既ssvep信号。其频率成分主要包括：相应视觉刺激频率及其各次谐波。能有效诱发出ssvep的视觉刺激频率集中在1到100hz范围内。通过识别脑电信号中的ssvep成分即可实现用户意图识别，近年来ssvep-bci已能够达到非常高的识别准确率和信息传输速率。然而，尽管脑-机接口的性能正在不断提升，目前脑-机接口应用还主要集中在辅助、增强和修复人体的认知和运动感觉等神经功能方面，如何将该技术广泛应用于日常生活中还有待研究。

4、类脑智能指的是主要基于大脑机制的计算模型和方法，而不是完全模仿大脑。目标是使机器能够以大脑启发的方式实现人类的各种认知能力和协调机制，最终达到或超越人类的智能水平。

5、随着科学技术及工业化的发展，对于一些需要特殊作业的环境下，智能小车适用于在条件恶劣的环境中工作，在险恶的环境下工作，人类必需采取严密的保护措施，而机器人可以进入或穿过这些危险区域进行维护和探测工作，且不需要得到像对人一样的保护。并且小车具有控制方便、算法部署测试简单等特点，该技术可以广泛应用于无人驾驶机动车，无人生产线，仓库，服务机器人等领域。

6、但是机器人无法像人类一样对相关情况进行预判，无法根据用户自身意图启动特定系统控制，没有有效利用用户的视觉焦点和周围环境信息智能判别用户意图，这给用户使用带来了不便利。

技术实现思路

1、本发明旨在克服现有技术存在的缺陷，本发明采用以下技术方案：

2、一方面，本发明提供了一种基于类脑智能的脑机接口系统。所述脑机接口系统用于控制智能小车，其中，智能小车包括机械臂以及移动装置；所述基于类脑智能的脑机接口系统包括：类脑视觉模块，类脑数据增强模块，类脑运功控制模块以及类脑移动控制模块；

3、所述类脑视觉模块，通过类脑视觉算法，输出目标检测位置，进行视觉定位；

4、所述类脑数据增强模块，用于将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息；

5、所述类脑运功控制模块，通过使用训练好的基于脉冲神经网络的运动控制模块后，由所述类脑视觉模块输出的目标检测位置以及所述类脑数据增强模块输出的类脑运动控制信息，控制所述机械臂运动到目标位置；

6、所述类脑移动控制模块，基于所述视觉定位以及类脑数据增强模块输出的类脑移动控制信息，之后对特定角度的神经元给定刺激，控制所述移动装置进行移动。

7、在一些实施例中，所述类脑视觉模块、类脑数据增强模块、类脑运功控制模块、类脑移动控制模块中的一种或多种都基于脉冲神经网络模型。

8、在一些实施例中，所述脉冲神经网络模型中的神经元模型以泄露整合发放模型作为模型基础。

9、在一些实施例中，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。

10、在一些实施例中，所述类脑运功控制模块是使用控制信号生成器生成的当前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则作为脉冲神经网络中的权重更新规则来进行训练后，形成训练好的基于脉冲神经网络的运动控制模块。

11、在一些实施例中，所述特定角度的神经元形成环状分布，分布代表不同的转向角度。

12、在一些实施例中，所述特定角度的神经元为360个lif神经元。

13、在一些实施例中，所述类脑视觉模块通过事件相机进行输入。

14、在一些实施例中，所述事件相机输出的是像素亮度的变化情况。

15、另一方面，本发明还提供了一种基于类脑智能的脑机接口设备。该设备包括如前所述的基于类脑智能的脑机接口系统、智能小车以及配套设置于两者之间的无线通信模块。

16、本发明的技术效果：本发明公开的类脑智能的脑机接口系统和设备，通过类脑视觉模块进行目标位置定位，通过类脑数据增强模块进行类脑数据增强，并通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息至类脑运功控制模块以及类脑移动控制模块对智能小车的机械臂和移动装置进行控，从而帮助智能小车实现精确运动控制、精确移动控制。

技术特征：

1.一种基于类脑智能的脑机接口系统，用于控制智能小车，其中，智能小车包括机械臂以及移动装置；其特征在于，所述基于类脑智能的脑机接口系统包括：

2.根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑视觉模块、类脑数据增强模块、类脑运功控制模块、类脑移动控制模块中的一种或多种都基于脉冲神经网络模型。

3.根据权利要求2所述的一种基于类脑智能的脑机接口系统，其特征在于，所述脉冲神经网络模型中的神经元模型以泄露整合发放模型作为模型基础。

4.根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。

5.根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑运功控制模块是使用控制信号生成器生成的当前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则作为脉冲神经网络中的权重更新规则来进行训练后，形成训练好的基于脉冲神经网络的运动控制模块。

6.根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述特定角度的神经元形成环状分布，分布代表不同的转向角度。

7.根据权利要求6所述的一种基于类脑智能的脑机接口系统，其特征在于，所述特定角度的神经元为360个lif神经元。

8.根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑视觉模块通过事件相机进行输入。

9.根据权利要求8所述的一种基于类脑智能的脑机接口系统，其特征在于，所述事件相机输出的是像素亮度的变化情况。

10.一种基于类脑智能的脑机接口设备，其特征在于：包括如权利要求1-9任一项所述的基于类脑智能的脑机接口系统，智能小车以及配套设置于两者之间的无线通信模块。

技术总结
本发明公开了一种基于类脑智能的脑机接口系统，包括：类脑视觉模块，类脑数据增强模块，类脑运功控制模块以及类脑移动控制模块；所述类脑视觉模块，进行视觉定位；所述类脑数据增强模块，输出类脑运动控制信息和类脑移动控制信息；所述类脑运功控制模块和所述类脑移动控制模块对运动和移动信息进行控制。本发明还公开了一种基于类脑智能的脑机接口设备。

技术研发人员：郑胜杰,李骁健,岳斌,陈鑫,高钢
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/1/16