一种脑机接口信息识别方法与流程

一种脑机接口信息识别方法
一.技术领域
1.本发明属于脑科学脑机接口bci(brain computer interface)技术领域，涉及脑机信号与信息分析技术。
二.

背景技术：

2.21世纪是脑科学时代，探索和揭示脑机制已成为自然科学研究的重点。脑电eeg (electroencephalogram)是脑部神经元电活动产生的信号，包含了大脑的各种信息。基于eeg信号实现的脑机接口bci(brain computer interface)可以在人脑和计算机或其它外部设备之间建立直接的信息交互和控制通道，是人类了解和提高脑功能的重要手段，正成为脑科学、生物医学及康复工程、智能信息处理等领域的热点。bci系统的性能关键在于对eeg信号特征的准确表征和eeg信号单次实验数据的正确分类，由于eeg信号非平稳性强且信噪比低，从eeg信号中提取特征非常困难，更无法识别脑信号中的思维信息，这制约着bci的发展和应用。如何从脑信号的生理机制中识别其心理机制，解读脑思维语言信息，是脑机接口的大难题。
3.脑机接口现有技术是采用多模态感觉模式和多模态分析模式。多模态感觉模式的脑电信号eeg，综合了大脑皮层的单个功能分区的活动，运动想象、运动起始时刻视觉诱发电位、稳态视觉诱发电位(ssvep) 等模式。运动想象主要提取的特征是大脑感觉运动皮层mu/beta节律的能量变化。mu节律是一种自主的脑电节律信号，它产生于感觉运动皮层，频率范围为8～12hz。同时还伴有18～26hz的beta节律出现。运动起始时刻视觉诱发电位是一种产生于大脑mt区和mst区由视觉运动刺激引起的皮层电位，具有较大的幅度和较小的受试差异性。多模态分析模式综合了频谱分析、相位分析、张量分解等eeg。
4.现有技术的缺陷是对eeg信号特征的表征不准，对eeg信号单次实验数据的分类不清，无法精确分析脑信号，无法抓捕识别脑信号中的思维信息。eeg脑电信号采集和分析方法存在着不足和缺陷。
三.

技术实现要素：

5.本发明主要解决的技术问题是脑机接口的eeg多模式信号分析不准，信息识别困难的缺陷问题。本发明解决上述技术问题采用的技术方案为“基于脑语义符号图的eeg语义信息分析法”，表征识别脑神经思维语义，使计算机能与大脑对话。
6.该技术方案以脑语义符号图bssp(brain semantic symbol pattern)为工具，以语义分析为手段，以识读脑语义符号图采集信息、eeg信号波分割标注、eeg波与脑语义符号图数据匹配、语义识别表示为技术路线，组成一种脑机接口信息识别方法。
7.所述的脑机接口信息识别方法由脑信号采集器(1)、脑信号处理器(2)和脑信息识别器(3)构成，其特征在于使用脑语义符号图(12)视觉读识采集信息，进行语义分析计算解码eeg脑电信息。脑机接口信息识别方法主要流程图见附图。
8.所述的脑语义符号图bssp(brain semantic symbol pattern)，其特征在于每个
脑语义符号图有对应的语义表示、图示格式、图法结构，图与图之间有联系关系，构成图语义符号系统，能与文字符号进行相互语义计算。图示格式包括图边上有图幅分隔识别符，脑语义符号图例见附图。
9.所述的语义表示、图示格式、图法结构、图语义符号系统，其特征在于脑语义符号图能表示自然、社会和思维活动，包含主体客体、时间空间指向内容；图与图按顺序连接表示二维语句，具有抽象意义，人和机能够共同使用，相互理解。
10.所述的语义计算，其特征在于计算内容含有数义、字义、音义、图义、波义的意义计算，可以进行各种统一计算。
11.所述的脑信号采集器(1)，包含信号内容(11)、信号语义表示(12)、信号发生(13)、信号采集(14) 模块，其特征在于有信号语义表示模块，能将语音、文字、图像等信息载体转换为脑语义符号图，供识读采集信号。
12.所述的脑信号分析器(2)，包含信号接收(21)、信号过滤(22)、信号放大(23)模块，其特征在于有脑波分割标注存储(24)模块。脑波分割标注是对采集到的一段脑波信号按性质特征进行分类切分，分别标注语义形态，供进一步计算分析识别语义信息。
13.所述的脑信息识别器(3)，包含脑波输入(31)、脑图编码(32)、内容表示(34)、语义输出(35) 模块，其特征在于有图义识别模块(33)，将脑波图与数据库中脑语义符号图语义匹配，识别图义，输出语义。经分割符标注后的脑波图，按语义规则或模式进行试算，达到与脑语图语义匹配，找出等语义脑语图，进行语句表示。
14.与现有技术对比，本发明的优点在于语义分析法用脑语义符号图的工具和语义计算的手段，对脑电信号的特征进行深入计算，准确分类，精细分析，解析了脑电的神经语义，从神经生理信号中分析出神经心理信息，记录了大脑思维语言，与大脑进行对话。从而，弥补了eeg信号多模态分析方法的不足，克服了粗糙的缺陷，使脑电信号分析信息识别技术有实质性的进步。
四.附图说明
15.图1脑信息识别主要流程图
16.脑信号采集器(1)、脑信号处理器(2)、脑信息识别器(3)
17.图2脑信号采集器(1)
18.信号内容(11)、脑语义符号图(12)、信号发生(13)、信号采集(14)
19.图3脑信号处理器(2)
20.信号接收(21)、信号过滤(22)、信号放大(23)、脑波分割标注存储(24)
21.图4脑信息识别器(3)
22.脑波输入(31)、脑图编码(32)、图义识别(33)、内容表示(34)、语义输出(35)
23.图5脑语义符号图例(12)(简称脑语图)
24.狗子/dog
25.五.实施方式
26.本发明可在脑科学、生物医学及康复工程、认知训练、安保与管理、智能信息处理等领域实施，包括但不限于以下场景。
27.实施例一：脑电识别情境“狗在草地上”(a dog is on the lawn)
28.1.脑机信息分析系统准备
29.1.1装载“脑语义符号图识别系统”30.1.2训练受试人识读“脑语图”。
31.受试人坐在安静房间里，面对白墙壁，仔细看懂“脑语图”若干简单图例的意义(即明白这是什么)，反复学习多次，达到单图比较熟练识别、能够连续识读2～3幅图例而明白意思的程度。例如，看懂脑语图例(12)表示为“狗子”(dog)。
32.1.3穿戴脑机接口，与计算机、图波仪等外置设备连接。
33.2.脑信号采集(1)
34.2.1信号内容(11)：a.实景：(窗外)狗在草地上；b.图像：狗在草地上；c.文字：狗在草地上；d.语音：狗在草地上。(本例选做b.图像)
35.2.2脑语义符号图(12)
36.准备《脑语图活页》书，将脑语图例“狗/dog”、“草地/lawn”从左到右按次序夹放在空白页上，以备识读。
37.2.3信号发生(13)
38.受试人穿戴bci坐在安静房间里，面对白墙壁，设备已进入工作状态，受试人收到一幅图像测试图，看到画面内容：“一条狗在草地上”。
39.2.4信号采集(14)
40.受试人接着打开《脑语图活页》，逐一识读二个连续的脑语图“狗/dog”、“草地上/dawn”，识读时目光从上到下、从左到右扫视脑语图上每个图点，脑信号输出，采集完成。
41.3.脑信号处理(2)
42.3.1信号接收(21)：外置设备收到脑信号，并保存。
43.3.2信号过滤(22)：信号处理确定时域，排除杂质，提取有效时段信号。
44.3.3信号放大(23)：确定空域、确定频域、确定相位等。
45.3.4脑波分割标注存储(24)：有效信号脑波分割成模拟标符图，并标注保存。这是对一段脑波信号按性质特征进行分类切分，分别标注语义形态，供进一步计算分析识别语义信息。
46.4.脑信息识别(3)
47.4.1脑波输入(31)：脑波图输入计算机脑语义识别系统
48.4.2脑图编码(32)：进行语义分析试算，分别赋予脑波图语义，确定二个待识别脑波图语义关系，进行脑图编码，初定等语义脑语图。
49.4.3图义识别(33)：脑波图语义与数据库脑语图语义匹配，识别脑波图的基本图义为一种动物“狗/dog”与一个场地“草地/lawn”。
50.4.4内容表示(34)：二个图义转换成文字语句，进行内容表示“狗在草地上”/“a dog is on the lawn.”51.4.5语义输出(35)：文字语句经语义模式分析，输出语义：
[0052]“svad＝狗s在vs草地上ad”。
[0053]
脑信号识别工作完成。
[0054]
信号内容如是命令或指令，语义信息也可连接或操控相应的应用设备，包括但不限于医疗、康复、娱乐、商业、家庭、政务、防务等。
[0055]
实施例二：脑电识别《脑语图》书的识读内容“明天小王和狗子驾车去森林玩”(wangandhisdogwilldrivetoforesttoplaying)
[0056]
受试人经过学习识读脑语图，已具有若干脑语图汇量，能读懂简单的脑语图书，随身戴着无线微型bci接口，随时与朋友保持通信。学习识读和通信信息已存入本人bci数据库，脑语识别系统的识别率和识别时间在不断提升。起先，要借助识读脑语图来发信息指令，后来基本能背熟脑语图，不用读图，在脑中默默地用劲想像一下，也能把简单的脑电信息传出去，几乎能进行图对图交流。
[0057]
1.读图阶段
[0058]
穿戴脑机接口，与计算机、图波仪等外置设备网络连接。
[0059]
2.脑信号采集(1)
[0060]
2.1信号内容(11)：语音：明天小王和狗子驾车去森林玩。
[0061]
2.2脑语义符号图(12)
[0062]
受试人打开手机版《脑语义符号图》系统，对话筒发语音：明天小王和狗子驾车去森林玩。(wangandhisdogwilldrivetoforesttoplayingtomorrow)。手机系统进行自动语音与脑图转译，屏幕上将逐渐出现脑语图例“明天/tomorrow”、“小王/wang”、“狗子/dog”、“小轿车/car”、“森林/forest”从左到右自上而下按次序排列，以备识读。
[0063]
2.3信号发生(13)
[0064]
受试人穿戴bci设备已进入工作状态，开始识读手机屏上的脑语图。
[0065]
2.4信号采集(14)
[0066]
受试人逐一识读五个连续的脑语图。识读时目光从上到下、从左到右扫视脑语图上每个图点，脑信号输出，采集完成。
[0067]
3.脑信号处理(2)
[0068]
3.1信号接收(21)：外置设备收到脑信号，并保存。
[0069]
3.2信号过滤(22)：信号处理确定时域，排除杂质，提取有效时段信号。
[0070]
3.3信号放大(23)：确定空域、确定频域、确定相位等。
[0071]
3.4脑波分割标注存储(24)：有效信号脑波分割成模拟标符图，并标注保存。这是对一段脑波信号按性质特征进行分类切分，分别标注语义形态，供进一步计算分析识别语义信息。
[0072]
4.脑信息识别(3)
[0073]
4.1脑波输入(31)：脑波图输入计算机脑语义识别系统
[0074]
4.2脑图编码(32)：进行语义分析试算，分别赋予脑波图语义，确定五个待识别脑波图语义关系，进行脑图编码，初定等语义脑语图。
[0075]
4.3图义识别(33)：脑波图语义与数据库脑语图语义分别试算匹配，识别脑波图的基本图义为一个日期“明天”、一个人“小王/wang”与一种动物“狗/dog”和一辆车“小车/car”与一个场地“森林/forest”。
[0076]
4.4内容表示(34)：五个图义转换成文字语句，进行内容表示“明天小王和狗子驾车去森林玩”。(wangandhisdogwilldrivetoforesttoplaying).
[0077]
4.5语义输出(35)：文字语句经语义模式分析，输出语义：
[0078]“adsv＝明天ad(小王和狗子)s驾车v(去森林玩)ad1。
[0079]
脑信号识别工作完成。
[0080]
信号内容如是命令或指令，语义信息也可连接或操控相应的应用设备，包括但不限于医疗、康复、娱乐、商业、家庭、政务、防务等。
[0081]
随着脑语义符号图(脑语图)的普及和bci的无线微型化，越来越多的人将会使用bci脑机接口进行通信，操控设备，协助生活，心灵娱乐，智能交互，意识交流，极大地方便了人民群众的生活工作和学习，共享美好的智态环境。
[0082]
总之，本发明采用语义分析法，用脑语义符号图的工具和语义计算的手段，对脑电信号的特征进行深入计算，准确分类，精细分析，解析了脑电的神经语义，解决了脑机接口的eeg多模式信号分析不准信息识别困难的缺陷的技术问题，弥补了eeg信号多模态识别方法的不足。
[0083]
本方法方便实用，使脑电接口bci的eeg信号技术从模拟单字识别提升至语义语句信息识别，开始与脑神经语言进行对话，是脑机接口技术bci的实质性进步，具有深远的社会经济意义。
[0084]
综上，本发明技术所述的脑机接口信息识别方法，用脑语义符号图为分析工具，以脑电语义分析为技术手段，解决了本领域“脑电多模态分析缺陷”的技术问题，是明显的语义解析特点的技术创新。这种创造性对于本领域的技术人员是非显而易见的，也不能从现有技术中得到启示，因此，具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性，也具有新颖性和实用性，请求审查员按照专利法的规定，准予授予专利权。