一种基于分层多尺度的改进型CLA神经网络

本发明属于人工智能，具体涉及一种基于分层多尺度的改进型cla神经网络。

背景技术：

1、cla(cortical learning algorithm皮质学习算法)是受神经生物学和脑神经学启发的一种神经网络模型。cla中包含有两个模块，分别是空间池和时间池。其中在空间池中，每个微柱都有与输入数据相关的突触连接；空间池通过突触连接使其中微柱活跃起来，从而在输入数据与空间池之间建立关联。而在时间池中，每个神经元都有与其他神经元相关联的突触连接。cla通过将神经元置于活跃状态，以此来表示输入数据的上下文；其中神经元通过突触连接进行预测，输出相应的预测结果。

2、然而原始cla是通过建立上一时刻与当前时刻的突触连接，在单一尺度上学习时间依赖，无法有效捕捉不同尺度上的时序依赖。因而在处理上序列数据时，会不可避免地增加模型的计算复杂度。因此现有cla对于长期依赖关系的建模能力较弱，同时也会遗漏不同尺度上的时序依赖。

技术实现思路

1、针对现有技术中存在的不足，本发明提供了一种基于分层多尺度的改进型cla神经网络，能够同时处理多个时间尺度的时间序列，捕捉时间序列之间的短期和长期相关性，解决原cla对复杂序列建模能力较差的问题。

2、本发明通过以下技术手段实现上述技术目的。

3、一种基于分层多尺度的改进型cla神经网络，为多层结构，每层均设有空间池和时间池，其中第一层空间池的输入为输入网络的时间序列数据，其余各层空间池则根据各自前一层时间池内神经元激活情况创建一个二进制的融合码作为输入；各层之中，空间池根据输入量得到活跃微柱集合，时间池则根据活跃微柱集合进行神经元激活，并生成预测神经元集合；最后根据各层获得的预测神经元集合，利用基于注意力的预测解码进行解码，输出预测结果。

4、进一步地，各层空间池的输入为：

5、

6、其中spk为第k层的空间池，inputt(·)表示t时刻相应空间池的输入，xt为t时刻输入网络的时间序列数据，为所述融合码。

7、进一步地，融合码的长度为z*n，其中n为k-1层时间池内神经元的数量，z为介于0到1之间的缩小系数；中各位取值为：

8、

9、其中表示中第i位的数值，或表示或中第i/z位的数值，和分别为第k-1层在t-c时刻的神经元编码和t时刻的神经元编码，所述神经元编码为二进制字符串，k-1层的神经元编码中每位数值分别与k-1层时间池中的神经元一一对应，其中当数值取1时表示对应的神经元激活，反之取0时表示对应的神经元未激活。

10、进一步地，所述c取2，

11、进一步地，所述c取1，

12、进一步地，所述利用基于注意力的预测解码进行解码具体为：先为各层预测神经元集合分配注意力权重，之后将各层预测神经元集合及其对应的注意力权重输入cla解码器进行解码，得到相应预测结果。

13、进一步地，所述注意力权重的计算过程为：

14、

15、其中为t时刻第k层的注意力权重，qk为第k层的可学习参数，为t时刻第k层的预测神经元集合，softmax(·)为激活函数。

16、进一步地，对于第一层，首先通过编码器将输入的时间序列数据转换成二进制比特形式，之后将上述二进制比特数据与第一层空间池内微柱建立突触连接，得到活跃微柱。

17、进一步地，时间池内神经元的激活规则为：激活各活跃微柱中在前一时刻处于预测状态的神经元；如果某一活跃微柱中在前一时刻无处于预测状态的神经元，则激活该活跃微柱中的所有神经元；被激活的神经元作为活跃神经元。

18、进一步地，预测神经元集合的生成规则为：根据各神经元上的突触连接状态，当某一神经元上存在有任一活跃突触连接时，则将该神经元置于预测状态，由置于预测状态的神经元组成预测神经元集合。

19、本发明的有益效果为：

20、(1)本发明提供了一种基于分层多尺度的改进型cla神经网络利用分层多尺度的架构将使低层cla学习短期序列信息，高层cla学习长期序列信息。通过此改进措施，使网络能够捕捉时间序列数据的短期和长期相关性，同时处理多个时间尺度的序列，捕捉时间序列数据的多尺度信息。从而最终增强了cla的性能，有效提升cla神经网络对于复杂序列的建模能力。

21、(2)本发明中高层的输入数据依次由其低一层融合得到，保证了各层之间存在联系，稳定了空间池的活跃微柱表征，提高cla的稳定性。

技术特征：

1.一种基于分层多尺度的改进型cla神经网络，其特征在于：为多层结构，每层均设有空间池和时间池，其中第一层空间池的输入为输入网络的时间序列数据，其余各层空间池则根据各自前一层时间池内神经元激活情况创建一个二进制的融合码作为输入；各层之中，空间池根据输入量得到活跃微柱集合，时间池则根据活跃微柱集合进行神经元激活，并生成预测神经元集合；最后根据各层获得的预测神经元集合，利用基于注意力的预测解码进行解码，输出预测结果。

2.根据权利要求1所述的基于分层多尺度的改进型cla神经网络，其特征在于：各层空间池的输入为：

3.根据权利要求2所述的基于分层多尺度的改进型cla神经网络，其特征在于：融合码的长度为z*n，其中n为k-1层时间池内神经元的数量，z为介于0到1之间的缩小系数；中各位取值为：

4.根据权利要求3所述的基于分层多尺度的改进型cla神经网络，其特征在于：所述c取2，

5.根据权利要求3所述的基于分层多尺度的改进型cla神经网络，其特征在于：所述c取1，

6.根据权利要求1所述的基于分层多尺度的改进型cla神经网络，其特征在于：所述利用基于注意力的预测解码进行解码具体为：先为各层预测神经元集合分配注意力权重，之后将各层预测神经元集合及其对应的注意力权重输入cla解码器进行解码，得到相应预测结果。

7.根据权利要求6所述的基于分层多尺度的改进型cla神经网络，其特征在于：所述注意力权重的计算过程为：

8.根据权利要求1所述的基于分层多尺度的改进型cla神经网络，其特征在于：对于第一层，首先通过编码器将输入的时间序列数据转换成二进制比特形式，之后将上述二进制比特数据与第一层空间池内微柱建立突触连接，得到活跃微柱。

9.根据权利要求1所述的基于分层多尺度的改进型cla神经网络，其特征在于：时间池内神经元的激活规则为：激活各活跃微柱中在前一时刻处于预测状态的神经元；如果某一活跃微柱中在前一时刻无处于预测状态的神经元，则激活该活跃微柱中的所有神经元；被激活的神经元作为活跃神经元。

10.根据权利要求9所述的基于分层多尺度的改进型cla神经网络，其特征在于：预测神经元集合的生成规则为：根据各神经元上的突触连接状态，当某一神经元上存在有任一活跃突触连接时，则将该神经元置于预测状态，由置于预测状态的神经元组成预测神经元集合。

技术总结
本发明提供了一种基于分层多尺度的改进型CLA神经网络，为多层结构，每层均设有空间池和时间池，其中第一层空间池的输入为输入网络的时间序列数据，其余各层空间池则根据各自前一层时间池内神经元激活情况创建一个二进制的融合码作为输入；最后根据各层获得的预测神经元集合，利用基于注意力的预测解码进行解码，输出预测结果。本发明针对CLA神经网络的改进，利用分层多尺度的架构将使低层CLA学习短期序列信息，高层CLA学习长期序列信息，使网络能够捕捉时间序列数据的短期和长期相关性，有效提升CLA神经网络对于复杂序列的建模能力。

技术研发人员：牛德姣,蒋杰,蔡涛,李雷
受保护的技术使用者：江苏大学
技术研发日：
技术公布日：2024/3/12