基于检测瞬态振荡或伪振荡脉冲串控制装置的系统和方法与流程

本公开总体上涉及脑计算机接口，更具体地，涉及基于检测瞬态振荡或伪振荡脉冲串(pseudo-oscillatory bursts)来控制装置的系统和方法。

背景技术：

1、研究表明，行动不便的人可以使用脑机接口(bci)来控制个人电子或计算装置、物联网(iot)装置、软件和移动工具。有效的bci应允许所有行动不便的人有效控制这些装置，包括那些行动严重不便的人，诸如只能控制诸如产生或想象想法的某些神经功能的被锁定病人。有效bci的目标是从神经信号记录中提取与受试者独特的精神和/或身体想法、状态或条件相关的特征，并能够识别这些想法、状态或条件以供使用。然而，存在与这一目标相关的一些问题。

2、首先，传感器采样的神经活动通常会产生噪声信号，当信号遍及受试者产生或达到相同精神或身体状态的多次试验中平均时，能更好地观察到与受试者的精神或身体状态相关的这种信号的变化。这种做法有时被称为“遍及平均(averaging across)”。对重复任务进行平均也常用于根据平均创建信号模板，稍后可以与正在进行的信号进行匹配，以实现信号的实时识别和分类。通过遍及平均来分析神经信号的缺点是，为了使bci系统克服信噪比低的问题，通常要求受试者重复实现相同的精神或身体状态。然而，为了使任意bci系统对受试者真正有用，系统必须能够实时或持续记录检测受试者的神经信号的特征变化。

3、第二，振荡信号的总功率通常是在跨越数秒的检测时段内计算出的，以突出受试者进入和离开精神和/或身体状态时的信号的变化。然而，由于功率是在该检测时段内计算的，因此bci系统通常会丢失信号中更细粒度的瞬态变化，而这些变化可能是受试者的某些精神和/或身体想法、状态或条件的特征。

4、第三，大多数传统bci系统只能利用从受试者的神经信号记录中提取的少数特征。更强大的bci系统应该能够获取多个特征，其然后可以被用于将这些检测到的特征与受试者的各种精神和/或身体状态相关联。此外，一些传统的bci系统只能通过考虑较长数据窗口中的信号属性，根据较长的时间段做出分类决定，从而导致用于训练学习算法的示例较少。更强大的bci系统应能根据更短的数据片段做出分类决定，以实现更快的分类和为学习算法提供更多的训练示例。有些bci系统可以通过对原始神经信号应用更复杂的算法，并让算法确定信号中的信息量最大的方面，从而克服上述这些限制中的一些。但是，这种系统可能需要来自每个参与者的大量数据进行训练，以使算法能够捕捉到神经信号中的那些信息方面。在很多情况下，可能无法获得如此大量的数据。此外，使用原始数据作为分类算法的输入的方法可能存在使用噪声源而非实际大脑信号进行分类的风险，因为算法通常无法区分大脑信号和噪声源。因此，更强大的bci系统会利用神经科学知识，以在应用分类算法之前从神经信号中提取信息特征。

5、鉴于研究人员已开始研究可从受试者正在进行的或实时的神经记录中检测到的瞬态变化或类似脉冲串事件的重要性，因此无法在受试者的神经信号中发现更精细的瞬态变化是有问题的。例如，一些研究人员发现，自发的新皮质贝塔节律是作为非连续的贝塔事件出现的，它不一定取决于节律性输入，而是取决于同步近端和远端驱动的相对时间和强度(参见sherman等人，“瞬态新皮质贝塔节律的神经机制：来自人类、计算建模、猴子和小鼠的汇聚证据(neural mechanisms of transient neocortical beta rhythms:convergingevidence from humans,computational modeling,monkeys,and mice)”。proc natl acadsci usa113(2016)：e4885-e4894)。另一些研究表明，贝塔事件比率的差异可以用于预测感知阈值刺激的检测，不可检测的试验更有可能在刺激前约200毫秒内发生贝塔事件(参见shin等人：“瞬态贝塔频率事件的比率预测不同任务和物种的行为(the rate oftransient beta frequency events predicts behavior across tasks and species)”。elife6(2017)：e29086)。研究人员还采用了逐次试验分析法，发现在与反映“待记忆”项目的尖峰相关的记录位点中，伴随着编码和重新激活感官信息的是短暂的伽马波段脉冲串性活动(lundqvist等人“伽玛和贝塔脉冲串是工作记忆的基础(gamma and beta burstsunderlie working memory)”，neuron 90.1(2016)：152-164)。此外，一些研究人员还注意到，瞬态事件可能会以毫秒级的精度形成更复杂的重复激活序列，这表明相关信息可能会通过微妙的时间差或大脑中瞬态事件的级联来编码(参见felsenstein等人：“利用meg事件的时间差解码多模态行为(decoding multimodal behavior using time differences ofmeg events)”，arxiv preprint：1901.08093(2019)；tal,idan和moshe abeles“人类皮层与皮层相互作用的时间准确度(temporal accuracy of human cortico-corticalinteractions)”，神经生理学杂志，115.4(2016)：1810-1820；以及tal,i.和m.abeles“高时间分辨率认知过程的时空动态成像(imaging the spatiotemporal dynamics ofcognitive processes at high temporal resolution)”，神经计算30.3(2018)：610-630)。

6、因此，需要对bci领域进行改进，以利用这些关于可从受试者正在进行的神经信号中检测到的瞬态脉冲串类事件的重要性的新发现。此外，任何这种改进bci系统还应解决之前讨论的传统bci系统的缺点。这样的系统应允许行动严重受限的病人保持或保留其独立性，即使这些病人只能控制自己的想法或精神状态。

技术实现思路

1、本发明公开了基于检测瞬态振荡或伪振荡脉冲串来控制装置的系统和方法。

2、在一些方面，公开了一种控制装置的方法。该方法包括：从由记录装置捕获的受试者的正在进行的或实时的神经信号记录中检测一个或多个瞬态振荡或伪振荡脉冲串，其中一个或多个瞬态振荡或伪振荡脉冲串中的至少一些是响应于受试者产生或想象的想法或受试者唤起的精神状态的变化而产生的；使用与记录装置通信联接的计算装置的一个或多个处理器，从检测时段内检测到的一个或多个瞬态振荡或伪振荡脉冲串中提取一个或多个脉冲串特征；以及使用一个或多个处理器，通过将机器学习算法和特征阈值中的至少一个应用于在检测时段内提取的一个或多个脉冲串特征，来预测由受试者产生或想象的想法或由受试者唤起的精神状态的变化；以及将与预测相关联的输入命令传输到装置，以便控制装置。

3、在一些方面，受试者的正在进行的或实时的神经信号记录可以通过使用记录装置记录受试者的大脑的原始电信号来实现，其中检测一个或多个瞬态振荡或伪振荡脉冲串进一步包括：使用一种或多种频率分解方法，诸如带通滤波器和小波卷积中的至少一种，对一个或多个所需频带中的原始电信号进行滤波；将针对每个所需频带滤波后的原始电信号的电压值转换为幅度或功率相关值；针对每个所需频带将功率阈值应用于幅度或功率相关值以及针对每个所需频带应用持续时间阈值中的至少一个；以及响应于针对每个所需频带，幅度或功率相关值超过功率阈值以及原始电信号超过持续时间阈值中的至少一个，识别瞬态振荡或伪振荡脉冲串中的一个。

4、在一些方面，功率阈值和持续时间阈值中的至少一个可以基于对受试者进行的至少一个训练环节(session)来选择，其中至少一个训练环节包括指示或提示受试者产生或想象想法或唤起受试者的精神状态的变化；在提示受试者产生或想象想法之后，使用记录装置记录受试者的大脑的原始电信号；使用一种或多种频率分解方法，诸如带通滤波器和小波卷积中的至少一种，对一个或多个所需频带中的原始电信号进行滤波；将针对每个所需频带滤波后的原始电信号的电压值转换为功率值；以及为每个所需频带选择功率阈值和持续时间阈值中的至少一个，以便将瞬态振荡或伪振荡脉冲串与背景噪声区分开。

5、在一些方面，公开了一种用于控制装置的系统。系统包括：记录装置，被配置为捕获受试者的正在进行的或实时的神经信号记录；以及计算装置，具有通信联接到记录装置的一个或多个处理器。在这些方面，计算装置的一个或多个处理器可以被编程为：从受试者的正在进行的或实时的神经信号记录中检测一个或多个瞬态振荡或伪振荡脉冲串，其中一个或多个瞬态振荡或伪振荡脉冲串是响应于受试者产生或想象的想法或受试者唤起的精神状态的变化而产生的；从检测时段内检测到的一个或多个瞬态振荡或伪振荡脉冲串中提取一个或多个脉冲串特征；通过将机器学习算法和特征阈值中的至少一个应用于检测时段内提取的一个或多个脉冲串特征，来预测受试者产生或想象的想法或受试者唤起的精神状态的变化，并将与预测相关联的输入命令传输到装置，以控制装置。

6、在一些方面，记录装置可以被配置为通过记录受试者的大脑的原始电信号来捕获受试者正在进行的或实时的神经信号记录。在这些方面，计算装置的一个或多个处理器可以被编程为：使用一种或多种频率分解方法对一个或多个所需频带中的原始电信号进行滤波；将针对每个所需频带滤波后的原始电信号的电压值转换为幅度或功率相关值；针对每个所需频带将功率阈值应用于幅度或功率相关值以及针对每个所需频带应用持续时间阈值中的至少一个；以及响应于针对每个所需频带，幅度或功率相关值超过功率阈值和滤波后的原始电信号超过持续时间阈值中的至少一个，识别瞬态振荡或伪振荡脉冲串中的一个。

7、在一些方面，功率阈值和持续时间阈值中的至少一个可以基于使用计算装置或另一装置和记录装置对受试者进行的至少一个训练环节来选择。计算装置或另一装置可以被配置为指示或提示受试者产生或想象想法或唤起受试者的精神状态的变化。记录装置可以被配置为在受试者被提示产生或想象想法后记录受试者的大脑的原始电信号。计算装置的一个或多个处理器可被编程为：使用一个或多个频率分解方法对一个或多个所需频带中的原始电信号进行滤波；将针对每个所需频带滤波后的原始电信号的电压值转换为功率值；以及选择待应用于每个所需频带的功率阈值和持续时间阈值中的至少一个，以便将瞬态振荡或伪振荡脉冲串与背景噪声区分开。

8、在一些方面，所需频带包括0.1hz到32khz之间的频带(例如，也包括4hz到400hz之间的频带)。

9、在一些方面，所需频带包括贝塔频带、伽马频带和高伽马频带中的至少一个。

10、在一些方面，一个或多个脉冲串特征包括脉冲串率，其中脉冲串率可通过将脉冲串计数除以检测时段的长度来计算。

11、在一些方面，可以通过对记录装置的所有电极或电极子集在检测时段内检测到的所有瞬态振荡或伪振荡脉冲串求和来计算脉冲串计数。

12、在一些方面，特征阈值可以是脉冲串率阈值。

13、在一些方面，脉冲串率阈值可以是根据先前检测时段计算的中位数脉冲串率。

14、在一些方面，一个或多个脉冲串特征包括脉冲串计数、脉冲串率、脉冲串带频率或频率分布、脉冲串间隔长度、脉冲串定时或定时模式、平均脉冲串持续时间、脉冲串波形及其任何变化中的至少一个。

15、在一些方面，机器学习算法可以是神经网络。

16、在一些方面，神经网络可以是递归神经网络。

17、在一些方面，递归神经网络可以是长短时记忆(lstm)神经网络。

18、在一些方面，特征阈值可以是静态阈值。

19、在一些方面，特征阈值可以是由计算装置随时间调整的动态阈值。在特定方面，特征阈值可以要求在特定持续时间内跨越阈值。

20、在一些方面，检测时段可以是1ms到100ms。在其他方面，检测时段可以在10ms和100ms之间。

21、在一些方面，装置可以是个人计算装置、物联网(iot)装置和移动工具中的至少一种。

22、在一些方面，装置可以是个人计算装置，输入命令可以是启动个人计算装置的光标的点击的命令。

23、在一些方面，受试者的想法可以是受试者产生或想象的移动受试者的一个或多个身体部位的想法。

24、在一些方面，想法可以在没有提示受试者这样做的情况下由受试者产生或想象，使得对装置的控制异步进行。

25、在一些方面，想法可以由受试者响应于提示受试者这样做而产生或想象，使得对装置的控制同步进行。

26、在一些方面，记录装置可以是非侵入式记录装置。例如，记录装置可以是脑电图(eeg)装置。

27、在一些方面，记录装置可以是侵入式记录装置。

28、在一些方面，记录装置可以是被配置为植入受试者大脑的静脉或窦内的血管内记录装置。

29、在一些方面，血管内记录装置可以是包括由可扩张支架或搭架承载的多个电极的电极阵列。

30、在一些方面，可以使用由可扩张支架或搭架承载的电极检测一个或多个瞬态振荡或伪振荡脉冲串，其中，方法进一步包括：对可扩张支架或搭架的一个或多个电极应用加权因子，使得在可扩张支架或搭架的一个或多个电极上检测到的瞬态振荡或伪振荡脉冲串比在另一电极上检测到的瞬态振荡或伪振荡脉冲串的权重更高。

31、在一些方面，记录装置可以是植入式微电极阵列(mea)。例如，记录装置可以是犹他微电极阵列或密歇根微电极阵列。

32、在一些方面，记录装置可以是可植入大脑表面或皮层表面的电极阵列。例如，记录装置可以是电皮层成像(ecog)电极阵列。

33、在一些方面，记录装置可以是薄膜电极阵列或薄膜微电极。

34、在一些方面，可以使用机器学习算法先前做出的预测和从先前检测时段提取的脉冲串特征来训练机器学习算法，以增强机器学习算法做出的预测。