具有稳态视觉刺激功能的脑机交互装置及其脑机交互方法

本发明属于脑机接口与显示领域，具体涉及一种基于分区背光的具有稳态视觉刺激脑机交互系统。

背景技术：

1、随着社会老龄化的日益加剧和智慧医疗的发展需要，脑-机接口(brain-computerinterface,bci)的研究变得越来越重要和有意义，它在生物脑与外部设备之间创建了直接通路，将生物脑的思维活动与意图解码为控制指令，是一种不依赖于大脑外周神经和肌肉组织的新型信息传输渠道和人机交互模式。

2、随着ssvep信号的研究逐渐从理论研究走向真实的日常环境的应用，ssvep系统的设备对用户良好的使用体验，应用场景丰富性的迫切需求也日益突显出来。液晶显示是当前平板显示领域应用最广泛，发展最迅速，商业化最成熟的显示器件。由于液晶显示具有的低压，低功耗，显示信息大，长寿命，无辐射无污染等一系列特性，液晶显示得以被应用于商用，民用，军用等各个领域。

3、液晶显示器属于非自主发光器件，其结构包括背光模组、液晶面板、显示信号驱动模块和电源模块。液晶显示器在工作时，背光模组发出的光线通过偏光板到达液晶面板，液晶面板上每一个像素点对应三个液晶窗口，每个窗口均可控制白光的输出量，然后液晶窗口输出的白光通过滤色片转换为红绿蓝三色光输出，每个像素由红绿蓝三色光混合成特定的颜色，所有像素同时工作即构成了彩色显示画面。

4、一般液晶显示器的背光亮度是恒定的，即使显示全黑图像，背光也是全开的，会造成无谓的能源浪费。由于液晶本身存在漏光现象，当背光全开时会导致较暗像素亮度过大，从而造成液晶显示器对比度下降，影响显示效果。

5、随着生活质量的提高，人们对于显示设备有了更多的要求。高色域、高对比度的显示设备得到越来越多人的青睐。因此研究者提出了动态调光技术，该但是动态调光技术在显示效果提升方面还有很多上升空间。因此针对分区背光结构提出更加合理的调光方法，进一步提升图像显示质量成为关键问题。

6、传统的视觉刺激脑机交互系统是将视觉刺激图像直接在显示器上显示，受限于显示器帧率(通常为60hz)，视觉刺激图像频率较低，容易产生视觉疲劳；同时由于容易与视频内容产生干扰，因此交互界面通常较为简单，无法与现有操作系统桌面叠加，实用价值大幅降低。

技术实现思路

1、技术问题：鉴于现有技术中的上述缺陷或不足，本发明旨在提供一种具有稳态视觉刺激功能的脑机交互装置及其脑机交互方法，结合脑机接口、fpga图像处理等技术，通过分区控制液晶的背光闪烁强度的手段，高质量的激发ssvep；通过输入图像的背光提取与像素补偿，增加液晶画面的显示效果，提高观看体验。

2、技术方案：为实现上述功能，本发明的一种具有稳态视觉刺激功能的脑机交互装置及其脑机交互方法采用的技术方案如下：

3、本发明具有稳态视觉刺激功能的脑机交互装置包括控制模块、分区背光模块、液晶模块、脑电交互模块四部分组成；其中，控制模块的分区背光控制电路输出端接分区背光模块的led驱动电路，控制模块的液晶面板控制电路输出端接液晶模块的液晶驱动电路，控制模块的输入端接脑电交互模块中信号处理模块的输出端。

4、所述控制模块包括顺序连接的视频图像处理模块、视觉刺激发生模块、和通讯模块，其中，所述通讯模块包括视频同步控制电路、分区背光控制电路、液晶面板控制电路和脑机接口控制电路。

5、所述分区背光模块包括顺序排列的led驱动电路、分区发光二极管阵列、均光膜。

6、所述液晶模块包括顺序排列的液晶驱动电路、后偏振片、液晶面板、前偏振片；其中，所述液晶面板内包括顺序排列的有源驱动阵列、液晶阵列盒、滤色片。

7、所述脑电交互模块包括顺序连接的脑电信号采集模块、传输模块和信号处理模块。

8、本发明具有稳态视觉刺激功能的脑机交互方法如下：

9、步骤一，所述控制模块的视频图像处理模块解码读取视频的原始数据，获得视频同步信号，背光液晶显示器进入普通显示模式：

10、视频图像处理模块根据每一帧视频数据和分区背光的分布，生成相应的分区背光亮度的空间分布；根据该空间分布生成分区背光控制信号，通过分区背光控制电路、led驱动电路驱动相应的分区发光二极管阵列，在对应的空间产生背光亮度调制；视频同步控制电路根据分区背光亮度的空间分布，对视频的原始数据进行像素修正，生成修正视频数据，由液晶面板控制电路发送给液晶驱动电路控制有源驱动阵列，与分区背光同步在液晶模块上实现视频显示；

11、步骤二，根据稳态视觉刺激脑电波所需的时空编码，在视频同步信号协同下，背光液晶显示器进入视觉刺激显示模式：

12、所述控制模块的视觉刺激发生模块生成分区背光控制信号、同步信号和视觉刺激图像；视觉刺激图像与外部视频图像叠加后的视频信号，发送给液晶驱动电路，控制有源驱动阵列在液晶模块上实现显示；同时分区背光控制信号通过分区背光控制电路控制led驱动电路驱动相应的分区发光二极管阵列，在对应的空间和时间产生分区背光亮度调制；同时通过所述通讯模块中脑机接口控制模块将同步信号发送给脑电交互模块，实现信号数据同步；

13、步骤三，脑电交互模块在同步信号作用下，控制脑电信号采集模块、传输模块进行脑电信号的采集、传输，通过信号处理模块进行时空解码，并将解码结果发送给控制模块；

14、步骤四，背光液晶显示器进入普通显示模式，控制模块根据解码结果生成交互提示图像，与外部视频图像叠加后的视频信号，发送给液晶驱动电路，在液晶模块上显示；

15、重复步骤二至四，实现基于稳态视觉刺激的交互功能。

16、其中，步骤二所述视觉刺激显示模式的时长为0.3～10秒；步骤四所述普通显示模式时长为0.1～10秒。

17、所述分区背光亮度调制，调制频率范围1～60赫兹，调制波形为正弦波、方波、三角波中的一种或多种组合。

18、所述分区背光亮度调制，刷新率10～2000赫兹。

19、有益效果：相对于现有技术，本发明的优点如下：

20、本发明提出的一种基于分区背光液晶显示器的脑机交互装置及其工作方法，利用背光led的高频刷新率，直接生成亮度变化曲线，工作频率范围宽，亮度变化曲线平滑，提升ssvep的编解码能力。

技术特征：

1.一种具有稳态视觉刺激功能的脑机交互装置，其特征在于：包括控制模块(1)、分区背光模块(2)、液晶模块(3)、脑电交互模块(4)四部分组成；其中，控制模块(1)的分区背光控制电路输出端接分区背光模块(2)的led驱动电路，控制模块(1)的液晶面板控制电路输出端接液晶模块(3)的液晶驱动电路，控制模块(1)的输入端接脑电交互模块(4)中信号处理模块的输出端。

2.根据权利要求1所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于：所述控制模块(1)包括顺序连接的视频图像处理模块(11)、视觉刺激发生模块(12)、和通讯模块(13)，其中，所述通讯模块(13)包括视频同步控制电路(131)、分区背光控制电路(132)、液晶面板控制电路(133)和脑机接口控制电路(134)。

3.根据权利要求1所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于：所述分区背光模块(2)包括顺序排列的led驱动电路(23)、分区发光二极管阵列(21)、均光膜(22)。

4.根据权利要求1所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于：所述液晶模块(3)包括顺序排列的液晶驱动电路(34)、后偏振片(33)、液晶面板(32)、前偏振片(31)；其中，所述液晶面板(32)内包括顺序排列的有源驱动阵列(321)、液晶阵列盒(323)、滤色片(322)。

5.根据权利要求1所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于：所述脑电交互模块(4)包括顺序连接的脑电信号采集模块(41)、传输模块(42)和信号处理模块(43)。

6.一种如权利要求1、2、3、4或5所述装置的脑机交互的工作方法，其特征在于该方法的如下：

7.根据权利要求6所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于，步骤二所述视觉刺激显示模式的时长为0.3～10秒；步骤四所述普通显示模式时长为0.1～10秒。

8.根据权利要求6所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于，所述分区背光亮度调制，调制频率范围1～60赫兹，调制波形为正弦波、方波、三角波中的一种或多种组合。

9.根据权利要求6所述的具有稳态视觉刺激功能的脑机交互装置，其特征在于，所述分区背光亮度调制，刷新率10～2000赫兹。

技术总结
本发明公开了一种具有稳态视觉刺激功能的脑机交互装置及其脑机交互方法，该脑机交互装置包括控制模块(1)、分区背光模块(2)、液晶模块(3)、脑电交互模块(4)四部分组成；其中，控制模块的分区背光控制电路输出端接分区背光模块的LED驱动电路，控制模块的液晶面板控制电路输出端接液晶模块的液晶驱动电路，控制模块的输入端接脑电交互模块中信号处理模块的输出端。本发明在结合稳态视觉刺激脑机交互、分区背光液晶显示技术，通过基于稳态视觉刺激的交互界面，针对不同时间、空间，采用分区背光产生不同频率、相位编码的时空编码视觉刺激，提高了脑机交互的准确性和信息传输率。

技术研发人员：仲雪飞,石航宇,张雄,樊兆雯
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/3/11