一种解释脉冲神经网络模型运行的可视化交互方法

本发明属于计算机，具体涉及一种解释脉冲神经网络模型运行的可视化交互方法。

背景技术：

1、近年来，脉冲神经网络(spiking neuron networks，snn)作为第三代神经网络，在计算机视觉等领域得到越来越多的关注。snn仿生大脑神经元和神经网络机制，接收和处理带有时间信息的离散脉冲数据，拥有很强的计算能力，与传统神经网络相比，能减少能量消耗，更适于运行在低功耗的类脑硬件上。

2、目前网络上公开的针对传统神经网络的可视化方法比较多，公布号为cn106372721a的专利申请提出了一种大规模神经网络的3d可视化方法，实现了网络仿真模拟的可视化。公布号为cn107766933a的专利申请提出了一种解释卷积神经网络的可视化方法，用于理解卷积神经网络的决策过程。公布号为cn112270406a的专利申请提出了一种类脑计算机操作系统的神经信息可视化方法，可以对脉冲神经网络的全局结构进行可视化。

3、上述方法多偏重于对神经网络静态结构的可视化，对网络运行过程中神经元和突触的行为可视化能力有限。而理解神经元的脉冲发放行为、突触的兴奋性和抑制性表现、以及各个网络层的脉冲发放情况，对于学习、观测和评估snn具有重要价值。

技术实现思路

1、鉴于上述，本发明的目的是提供一种解释脉冲神经网络模型运行的可视化交互方法，以实现对脉冲神经网络模型运行过程的可视化解释。

2、为实现上述发明目的，本发明实施例提供的一种解释脉冲神经网络模型运行的可视化交互方法，所述可视化交互方法在编辑模式下的可视化交互过程包括：

3、步骤1，设计脉冲神经网络模型的网络结构；

4、步骤2，修改脉冲神经网络模型的神经元连接权重值；

5、步骤3，设置脉冲神经网络模型的每层阈值电压；

6、步骤4，随机生成脉冲神经网络模型的输入脉冲序列；

7、步骤5，基于步骤1-4的设置结果运行脉冲神经网络模型并进行动态可视化。

8、优选地，所述脉冲神经网络模型包括输入层、隐藏层和输出层，在设计网络结构时，通过+按钮和－按钮来实现对隐藏层的增减，通过另一+按钮和－按钮实现对每层神经元的增减；

9、所述脉冲神经网络模型中，单个神经元通过带有中间分割线的圆球表示，两个神经元之间的突触连接通过不同粗细的虚线表示，在设计网络结构时，会自动生成全连接模式的神经元连接，每个神经元连接带有随机权重值；

10、优选地，在修改脉冲神经网络模型的神经元连接权重值时，选中处于神经元之间的神经元连接，通过左右拖动实现神经元连接权重值的修改，其中，神经元连接依据权重取值为正、负以及零，做颜色区分。

11、优选地，在设置脉冲神经网络模型的每层阈值电压时，通过另一+按钮和－按钮来实现对每层神经元膜电压阈值的增减，当每层神经元膜电位达到设置的阈值电压时，神经元就会发放脉冲，之后膜电位重置为0。

12、优选地，在随机生成脉冲神经网络模型的输入脉冲序列时，随着输入层神经元个数的增减，生成与输入层神经元个数相匹配的输入脉冲序列，在输入脉冲序列中，横坐标表示时间步，单色实心圆球表示每个时间步下会发放脉冲的输入层神经元。

13、优选地，运行脉冲神经网络模型并进行动态可视化时，输入脉冲按时间步发送到脉冲神经网络中，借助圆球在网络中的运动解释脉冲发放，隐藏层和输出层的神经元按照if模型更新自身膜电位，其中脉冲激励输入表现为一单色累加，抑制信号输入表现为另一单色累加，神经元中着色区域的比重代表膜电位的高低，当神经元的膜电位超过阈值电压后，向连接的神经元发送激励，同时自身膜电位重置为0，最后输出层神经元的脉冲输出会统计到页面右侧的坐标图中，以供用户进行分析和统计。

14、在一个实施例中，所述可视化交互方法在模型文件导入模式下的可视化交互过程包括：

15、步骤1，输入脉冲神经网络模型文件并进行模型结构解析；

16、步骤2，运行解析的脉冲神经网络模型并进行动态可视化。

17、优先地，对输入脉冲神经网络模型进行解析时，构造随机输入脉冲序列并进行展示，界面上方表示脉冲神经网络模型的基本信息，包括输入层、隐藏层以及输出层数量以及每层的神经元数量等，通过表格显示；

18、界面中间表示脉冲神经网络模型运行状态可视化结果，且对单个神经元通过矩形区域定位；

19、界面下方包括用于分析隐藏层神经元脉冲发放率的折线图。

20、优选地，运行解析的脉冲神经网络模型并进行动态可视化时，后端存储每个时间步的网络状态，并计算隐藏层神经元脉冲发放率统计信息；之后前端每隔500ms发送一次状态查询请求，并将查询结果实时可视化。

21、与现有技术相比，本发明具有的有益效果至少包括：

22、本发明实施例提供的解释脉冲神经网络模型运行的可视化交互方法，提出了snn模型编辑模式和snn模型文件导入模式两种交互方式，用于覆盖不同规模的snn模型，在实现snn网络结构可视化的同时，还能模拟snn模型运行过程的实时动态可视化效果；通过人机交互的方式直观解释snn运行过程中神经元和突触等的行为，便于理解脉冲信号传递和发放的过程。

技术特征：

1.一种解释脉冲神经网络模型运行的可视化交互方法，其特征在于，所述可视化交互方法在编辑模式下的可视化交互过程包括：

2.根据权利要求1所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，所述脉冲神经网络模型包括输入层、隐藏层和输出层，在设计网络结构时，通过+按钮和－按钮来实现对隐藏层的增减，通过另一+按钮和－按钮实现对每层神经元的增减；

3.根据权利要求1所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，在修改脉冲神经网络模型的神经元连接权重值时，选中处于神经元之间的神经元连接，通过左右拖动实现神经元连接权重值的修改，其中，神经元连接依据权重取值为正、负以及零，做颜色区分。

4.根据权利要求2所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，在设置脉冲神经网络模型的每层阈值电压时，通过另一+按钮和－按钮来实现对每层神经元膜电压阈值的增减，当每层神经元膜电位达到设置的阈值电压时，神经元就会发放脉冲，之后膜电位重置为0。

5.根据权利要求2所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，在随机生成脉冲神经网络模型的输入脉冲序列时，随着输入层神经元个数的增减，生成与输入层神经元个数相匹配的输入脉冲序列，在输入脉冲序列中，横坐标表示时间步，单色实心圆球表示每个时间步下会发放脉冲的输入层神经元。

6.根据权利要求2所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，运行脉冲神经网络模型并进行动态可视化时，输入脉冲按时间步发送到脉冲神经网络中，借助圆球在网络中的运动解释脉冲发放，隐藏层和输出层的神经元按照if模型更新自身膜电位，其中脉冲激励输入表现为一单色累加，抑制信号输入表现为另一单色累加，神经元中着色区域的比重代表膜电位的高低，当神经元的膜电位超过阈值电压后，向连接的神经元发送激励，同时自身膜电位重置为0，最后输出层神经元的脉冲输出会统计到页面右侧的坐标图中，以供用户进行分析和统计。

7.根据权利要求1所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，所述可视化交互方法在模型文件导入模式下的可视化交互过程包括：

8.根据权利要求7所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，对输入脉冲神经网络模型进行解析时，构造随机输入脉冲序列并进行展示，界面上方表示脉冲神经网络模型的基本信息，包括输入层、隐藏层以及输出层数量以及每层的神经元数量，通过表格显示；

9.根据权利要求2所述的解释脉冲神经网络模型运行的可视化交互方法，其特征在于，运行解析的脉冲神经网络模型并进行动态可视化时，后端存储每个时间步的网络状态，并计算隐藏层神经元脉冲发放率统计信息；之后前端每隔500ms发送一次状态查询请求，并将查询结果实时可视化。

技术总结
本发明公开了一种解释脉冲神经网络模型运行的可视化交互方法，在编辑模式下，包括以下步骤：设计脉冲神经网络模型的网络结构；修改脉冲神经网络模型的神经元连接权重值；设置脉冲神经网络模型的每层阈值电压；随机生成脉冲神经网络模型的输入脉冲序列；基于设置结果运行脉冲神经网络模型并进行动态可视化。在模型文件导入模式下，包括以下步骤：输入脉冲神经网络模型文件并进行模型结构解析；运行解析的脉冲神经网络模型并进行动态可视化。该方法可以实现对脉冲神经网络模型运行过程的可视化解释。

技术研发人员：邓水光,孙庆姣,李沁心,章明,杨国青,李莹,潘纲
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/15