一种基于眼动与脑电结合的意图判断方法、装置、设备及介质与流程

本发明属于脑机接口，具体涉及一种基于眼动与脑电结合的意图判断方法、装置、设备及介质。

背景技术：

1、随着医学发展，脑卒中、颅脑外伤、认知障碍等无法正常交流的患者可以通过脑机接口技术传达思想和意图，脑机接口技术通过解码大脑神经活动信息，连接外部组件，构成具有通讯或反馈功能的环路系统。在康复实践中，它可对患者大脑活动产生的电、磁、代谢等脑电信号进行解译，控制外部设备如计算机、机械手、功能性电刺激等产生同步化反馈，实现中枢与外周实时连接的闭环康复训练。但目前单纯的脑机接口技术误判率较高，且患者无明显意图，如放空状态，因病导致的反应迟缓状态时，也易被识别为意图表达，造成资源浪费。现有的脑电信号识别方法也存在一定缺陷，部分方法需要需要事先采集被试者的脑电信号模板，由于脑电信号的时变特性及特异性，导致跨被试效果较差，且在抑制噪声的同时信号本身的特征也会受到抑制，同时由于不同患者脑电信号差异巨大，方法普适能力不强。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了一种基于眼动与脑电结合的意图判断方法、装置、设备及介质。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于眼动与脑电结合的意图判断方法，所述意图判断方法的实施包括以下步骤：

4、s1：预设眼动监测周期，通过眼动仪根据所述眼动监测周期提取眼动特征，所述眼动特征包括平均注视时间、扫视幅度、眨眼频率、平均眨眼时间、瞳孔直径变异系数；

5、s2：基于所述眼动特征建立意图捕获判断模型并输出意图捕获判断结果，所述意图捕获判断结果包括意图捕获结果和意图未捕获结果；

6、s3：当所述意图捕获判断模型输出所述意图捕获结果时，发送确认信号至用户并获取注视漂移速率，建立确认信号接收判断模型并输出确认信号接收判断信息，所述确认信号接收判断信息包括确认信号接收信息和确认信号未接收信息；

7、s4：当所述确认信号接收判断模型输出所述确认信号接收信息时，通过脑机接口获取稳态视觉诱发电位信号并进行用户意图判断。

8、优选的，所述步骤s1具体包括：

9、s101：构建眼动坐标系并获取所述扫视幅度，所述眼动坐标系以双眼正常平视时瞳孔中心为原点，所述扫视幅度的计算公式为：

10、

11、其中，sr为扫视幅度，xs为扫视开始横坐标，xe为扫视结束横坐标，ys为扫视开始纵坐标，ye为扫视结束纵坐标；

12、s102：所述瞳孔直径变异系数的计算公式为：

13、

14、其中，pcv为瞳孔直径变异系数，ψ为瞳孔直径标准差，为瞳孔直径平均值。

15、优选的，所述步骤s2具体包括：

16、s201：基于所述眼动特征计算意图捕获判断指标并建立所述意图捕获判断模型，所述意图捕获判断指标的计算公式为：

17、

18、其中，θ为意图捕获判断指标，sr为扫视幅度，btmax为最大平均眨眼时间，btmin为最小平均眨眼时间，t为时间，ft为平均注视时间，bf为眨眼频率，pcv为瞳孔直径变异系数；

19、s202：预设意图捕获判断阈值，通过比较所述意图捕获判断指标和所述意图捕获判断阈值获取所述意图捕获判断结果。

20、优选的，所述步骤s202具体包括：

21、判断所述意图捕获判断指标，当所述意图捕获判断指标大于等于所述意图捕获判断阈值时，所述意图捕获判断模型输出所述意图捕获结果；

22、当所述意图捕获判断指标小于所述意图捕获判断阈值时，所述意图捕获判断模型输出所述意图未捕获结果。

23、优选的，所述步骤s3具体包括：

24、s301：通过所述注视漂移速率获取注视漂移速率平均功率密度，计算公式为：

25、

26、其中，psd为注视漂移速率平均功率密度，t1为第一时刻，t2为第二时刻，n(i)为第i时刻注视漂移速率，fs为眼动仪频率；

27、s302：基于所述注视漂移速率平均功率密度计算注视漂移速率微分熵并构建所述确认信号接收判断模型，计算公式为：

28、de＝log2psd，

29、其中，de为注视漂移速率微分熵，psd为注视漂移速率平均功率密度；

30、s303：预设微分熵阈值，通过比较所述注视漂移速率微分熵和所述微分熵阈值获取所述确认信号接收判断信息。

31、优选的，所述步骤s303具体包括：

32、判断所述注视漂移速率微分熵，当所述注视漂移速率微分熵小于等于所述微分熵阈值时，所述确认信号接收判断模型输出所述确认信号接收信息；

33、当所述注视漂移速率微分熵大于所述微分熵阈值时，所述确认信号接收判断模型输出所述确认信号未接收信息。

34、优选的，所述步骤s4具体包括：

35、s401：通过达芬混沌法识别所述稳态视觉诱发电位信号，达芬混沌法表达式为：

36、

37、其中，s(κ)为稳态视觉诱发电位信号，ω为周期策动力角频率，k为阻尼系数，为达芬混沌法振子加速度，为达芬混沌法振子速度，x(κ)为达芬混沌法振子位移，γ为周期策动力幅值，为周期策动力初始相位，为周期策动力；

38、s402：转化所述达芬混沌法表达式为方程形式并获取所述稳态视觉诱发电位信号，转化过程表达为：

39、

40、

41、其中，y为达芬混沌法振子实际位移，为达芬混沌法振子实际速度，为达芬混沌法振子速度，ω为周期策动力角频率，k为阻尼系数，x(κ)为达芬混沌法振子位移，γ为周期策动力幅值，s(κ)为稳态视觉诱发电位信号，为周期策动力。

42、一种基于眼动与脑电结合的意图判断装置，用于执行上述所述的基于眼动与脑电结合的意图判断方法，其特征在于，包括特征提取模块、意图捕获判断模块、确认信号接收判断模块、意图判断模块；

43、所述特征提取模块用于预设眼动监测周期，通过眼动仪根据所述眼动监测周期提取眼动特征，所述眼动特征包括平均注视时间、扫视幅度、眨眼频率、平均眨眼时间、瞳孔直径变异系数；

44、所述意图捕获判断模块用于基于所述眼动特征建立意图捕获判断模型并输出意图捕获判断结果，所述意图捕获判断结果包括意图捕获结果和意图未捕获结果；

45、所述确认信号接收判断模块用于当所述意图捕获判断模型输出所述意图捕获结果时，发送确认信号至用户并获取注视漂移速率，建立确认信号接收判断模型并输出确认信号接收判断信息，所述确认信号接收判断信息包括确认信号接收信息和确认信号未接收信息；

46、所述意图判断模块用于当所述确认信号接收判断模型输出所述确认信号接收信息时，通过脑机接口获取稳态视觉诱发电位信号并进行用户意图判断。

47、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于眼动与脑电结合的意图判断方法。

48、一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述所述的基于眼动与脑电结合的意图判断方法。

49、本发明的有益效果为：

50、(1)通过眼动与脑电信号结合，综合准确的判断患者意图，误判率较低，且通过眼动特征判断是否进行下一步的脑电信号识别，减少工作量，提升工作效率。

51、(2)通过提取包括平均注视时间、扫视幅度、眨眼频率、平均眨眼时间、瞳孔直径变异系数在内的眼动特征，建立意图捕获判断模型并输出意图捕获判断结果，判断更加全面，且通过眼动仪提取上述眼动特征较为便捷，效率更高；

52、(3)通过达芬混沌法识别稳态视觉诱发电位信号，在各类脑电信号中，稳态视觉诱发电位信号具有采集成本低、记录方便、高时间分辨率等优点。