一种基于自监督学习的神经信号生成方法、系统及终端

本技术涉及人工智能，特别是涉及一种基于自监督学习的神经信号生成方法、系统、终端及计算机可读存储介质。

背景技术：

1、神经电生理记录采集的局限性导致可利用数据较少，如何将有限神经信号映射到复杂行为空间（行为信号）具有高度挑战性。

2、在现有技术中，神经信号生成方法是通过将神经信号映射到行为信号进行神经动力学特征的提取，进一步在神经动力学特征的基础上加入一定的高斯噪声输入到生成式对抗网络进行伪神经信号的数据生成。在神经动力学特征提取方面，没有考虑高维神经元群体活动的编码信息，无法学习到高维神经元群体活动中复杂变化的特征。

技术实现思路

1、有鉴于此，本技术提供了一种基于自监督学习的神经信号生成方法、系统、终端及计算机可读存储介质，以解决现有技术中在神经动力学特征提取时，没有考虑高维神经元群体活动的编码信息，无法学习到高维神经元群体活动中复杂变化特征的问题。

2、本技术提出一种基于自监督学习的神经信号生成方法，所述基于自监督学习的神经信号生成方法包括：

3、获取原始神经信号，对所述原始神经信号进行编码，得到第一神经信号集；其中，所述第一神经信号集包括：多个第一神经信号、多个第一行为信号和多个第一时间信号，每个所述第一时间信号为对应的每个所述第一神经信号的时刻信息，每个所述第一行为信号为对应的需要解码的所述第一神经信号的行为空间信息；

4、对所有所述第一时间信号对应的所述第一神经信号进行信号增强，得到多个第二增强神经信号；

5、将所述第一神经信号集以及所有所述第二增强神经信号输入至基于多头自注意机制的编码器中进行编码和重参化，得到低维的第一潜在变量；

6、将所述第一潜在变量输入至神经常微分方程模型中进行训练，得到训练好的第二潜在变量；

7、获取高斯噪声，将所述第二潜在变量和所述高斯噪声进行结合，得到结合变量，并将所述结合变量输入至生成对抗网络模型中，生成高维伪神经信号。

8、可选地，所述对所有所述第一时间信号对应的所述第一神经信号进行信号增强，得到多个第二增强神经信号，具体包括：

9、在所有所述第一时间信号对应的所述第一神经信号中，将放电的所述第一神经信号转化为不放电的所述第一神经信号，同时将不放电的所述第一神经信号转化为放电的所述第一神经信号，将所有经过转化后的所述第一神经信号作为所述第二增强神经信号。

10、可选地，所述将所述第一神经信号集以及所有所述第二增强神经信号输入至基于多头自注意机制的编码器中进行编码和重参化，得到低维的第一潜在变量，具体包括：

11、将所述第一神经信号集以及所有所述第二增强神经信号输入至基于多头自注意机制的编码器中进行编码，输出第一编码向量和第二编码向量；

12、将所述第一编码向量和所述第二编码向量进行重参化，得到低维的第一潜在变量。

13、可选地，所述将所述第一编码向量和所述第二编码向量进行重参化，得到第一潜在变量，具体包括：

14、从标准高斯分布中采样，得到第一采样值，将所述第一采样值乘以所述第一编码向量，得到中间向量；

15、将所述中间向量加上所述第二编码向量，得到所述第一潜在变量。

16、可选地，所述将所述第一潜在变量输入至神经常微分方程模型中进行训练，得到训练好的第二潜在变量，具体包括：

17、将所述第一潜在变量输入到神经常微分方程模型中，得到初始第二潜在变量和所述初始第二潜在变量与时间的变化关系；

18、将所述初始第二潜在变量输入到变分自动编码器或者自动编码器的输出层进行训练，得到训练好的所述第二潜在变量。

19、可选地，所述将所述初始第二潜在变量输入到变分自动编码器或者自动编码器的输出层进行训练，得到训练好的所述第二潜在变量，具体包括：

20、将所述初始第二潜在变量输入到变分自动编码器或者自动编码器的输出层进行训练；

21、所述输出层对所述第二增强神经信号和所述原始神经信号进行互信息计算，并对输入的每个时刻的所述第一神经信号和所述第一行为信号进行神经信号重建直至训练完成；

22、将所述输出层中训练好的所述第二潜在变量作为最终的训练好的所述第二潜在变量；

23、其中，所述输出层训练的优化目标为重建损失最小化、kl散度最小化和互信息最大化，或者重建损失最小化和互信息最大化。

24、可选地，所述获取高斯噪声，将所述第二潜在变量和所述高斯噪声进行结合，得到结合变量，并将所述结合变量输入至生成对抗网络模型中，生成高维伪神经信号，具体包括：

25、获取高斯噪声，将所述第二潜在变量和所述高斯噪声进行结合，得到结合变量，并将所述结合变量输入至生成对抗网络模型中的生成器中生成伪神经信号；

26、将所述原始神经信号和所述伪神经信号输入至所述生成对抗网络模型中的判别器进行二分类学习，判断输入的所述原始神经信号和所述伪神经信号是所述伪神经信号还是所述原始神经信号；

27、当输入的所述原始神经信号和所述伪神经信号是所述伪神经信号时，将所述伪神经信号作为所述高维伪神经信号进行输出。

28、本技术还提出一种基于自监督学习的神经信号生成系统，所述基于自监督学习的神经信号生成系统包括：

29、原始神经信号编码模块，用于获取原始神经信号，对所述原始神经信号进行编码，得到第一神经信号集；其中，所述第一神经信号集包括：多个第一神经信号、多个第一行为信号和多个第一时间信号，每个所述第一时间信号为对应的每个所述第一神经信号的时刻信息，每个所述第一行为信号为对应的需要解码的所述第一神经信号的行为空间信息；

30、第一神经信号增强模块，用于对所有所述第一时间信号对应的所述第一神经信号进行信号增强，得到多个第二增强神经信号；

31、神经信号降维模块，用于将所述第一神经信号集以及所有所述第二增强神经信号输入至基于多头自注意机制的编码器中进行编码，得到低维的第一潜在变量；

32、第二潜在变量训练模块，用于将所述第一潜在变量输入至神经常微分方程模型中进行训练，得到训练好的第二潜在变量；

33、高维伪神经信号生成模块，用于获取高斯噪声，将所述第二潜在变量和所述高斯噪声进行结合，得到结合变量，并将所述结合变量输入至生成对抗网络模型中，生成高维伪神经信号。

34、本技术还提出一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于自监督学习的神经信号生成程序，所述基于自监督学习的神经信号生成程序被所述处理器执行时实现如所述的基于自监督学习的神经信号生成方法的步骤。

35、本技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有基于自监督学习的神经信号生成程序，所述基于自监督学习的神经信号生成程序被处理器执行时实现如所述的基于自监督学习的神经信号生成方法的步骤。

36、本技术的有益效果是：区别于现有技术，本技术通过获取原始神经信号，对原始神经信号进行编码，得到第一神经信号集；其中，第一神经信号集包括：多个第一神经信号、多个第一行为信号和多个第一时间信号，每个第一时间信号为对应的每个第一神经信号的时刻信息，每个第一行为信号为对应的需要解码的第一神经信号的行为空间信息，便于学习到高维神经元群体活动中复杂变化特征；其次，本技术通过对所有第一时间信号对应的第一神经信号进行信号增强，得到多个第二增强神经信号，便于后续步骤进行互信息优化；再次，本技术通过将第一神经信号集以及所有第二增强神经信号输入至基于多头自注意机制的编码器中进行编码，得到低维的第一潜在变量；此外，本技术通过将第一潜在变量输入至神经常微分方程模型中进行训练，得到训练好的第二潜在变量；另外，本技术通过获取高斯噪声，将第二潜在变量和高斯噪声进行结合，得到结合变量，并将结合变量输入至生成对抗网络模型中，生成高维伪神经信号，可以尽可能接近真实的神经信号，以为下游解码任务提供更多的数据输入，能够提高解码器的鲁棒性。

37、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。