一种类脑计算机操作系统的神经信息可视化方法与流程

[0001]
本发明属于新型计算机技术领域，具体涉及一种类脑计算机操作系统的神经信息可视化方法。


背景技术：

[0002]
深度学习自2006年产生之后就受到科研机构、工业界的高度关注，在图像和语音等多个领域取得了很大的发展，在多个领域全面超越传统算法。脉冲神经网络(snn-spiking neuron networks)经常被誉为第三代人工神经网络。第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。第二代神经网络包括比较广泛，包括应用较多的bp神经网络。而脉冲神经网络更加接近实际的模拟了脑神经元的连接关系和行为。
[0003]
目前，网络上公开的针对卷积神经网络结构可视化的工具较多，主要有：1)netscope：以模型定义文件作为输入，得到神经网络的可视化结构图，是一个基于网页的可视化神经网络拓扑工具，仅仅支持加州大学伯克利分校的caffe深度学习框架。2)convnetdraw：使用可视化命令作为输入，可视化输出神经网络模型结构，也是一种基于网页的工具。以结构块的模型进行展现的，可以对结构块进行三个维度的比例调整，非常形象直观。3)netron：以模型定义文件和模型权重文件(可以缺省)作为输入，获得神经网络的可视化结构图，同样是基于网页，并运用了js和python，能够支持onnx、keras、coreml、tensorflow、caffe、mxnet等主流的深度学习框架。
[0004]
中国传媒大学的曹力宏在公布号为cn106372721a的专利申请公开了一种以3d形式可视化大规模神经网络的方法，以3d的形式展示了神经网络的结构；上海精密计量测试研究所的邱春芳等人在公布号为cn107392085a的专利申请公开了一种可视化卷积神经网络的方法，能够可很好地展示出有助于了解卷积神经网络，用于探究卷积神经网络的优越性；北京计算机技术及应用研究所在公布号为cn110782031a的专利申请公开了一种多框架卷积神经网络模型结构可视化以及网络重建方法，可以直观的修改不同的层来实现网络的重建，同时能够更改神经网络属性并进行实时更新显示。
[0005]
由于类脑计算机操作系统的脉冲神经网络结构的复杂性，在对类脑计算机操作系统的脉冲神经网络结构进行可视化时，会出现连接描述文件多、神经元节点数量多、神经元节点间的连线多不易区分的问题。因此，上述所有可视化方法均不适用于类脑计算机操作系统的脉冲神经网络结构的可视化。


技术实现要素：

[0006]
本发明的目的是提供一种类脑计算机操作系统的神经信息可视化方法，以解决连接描述文件多、神经元节点数量多、神经元节点间的连线多不易区分的问题。
[0007]
为实现上述发明目的，本发明提供以下技术方案：
[0008]
一种类脑计算机操作系统的神经信息可视化方法，包括以下步骤：
[0009]
获得脉冲神经网络的连接描述文件，并根据连接描述文件对各层神经元节点进行全局编码，每个神经元节点获得一个全局唯一标识，每层神经元节点聚集表示且采用不同颜色区分，相邻层级之间神经元节点的连接关系用连边表示且采用不同颜色区分；
[0010]
根据神经元节点的连边数量和连边权重计算每个神经元节点的重要性，依据重要性大小选择神经元节点进行可视化。
[0011]
优选地，处于脉冲神经网络同一层的所有神经元节点聚集表示，且采用相同颜色表示，相邻两层的神经元节点的聚集表示也处于相邻位置，便于相邻两层的神经元节点之间的连接关系表示。
[0012]
优选地，每层神经元节点聚集成几何形状进行表示。所述几何形状可以为圆形、椭圆形等不具有棱角的光滑几何形状，还可以是矩阵、三角形等具有棱角的几何形状。
[0013]
优选地，两层神经元节点之间的所有连接关系采用相同颜色连边表示。为了提升可视化清晰度，神经元节点的颜色与其对应的连边颜色不同。
[0014]
优选地，在进行神经信息可视化时，神经元信息布局以一种数据结构存储，该数据结构包含数据单元、连接关系单元以及层单元，其中，数据单元用于存储神经元节点的全局唯一标识、可视化位置坐标以及所在层级；连接关系单元用于存储两个神经元节点和两个神经元节点之间连边的可视化颜色；层单元用于存储层级名称。
[0015]
由于神经元节点的数量很多，根据神经元节点与其它神经元的连边数量和连边权重选择是否显示某个神经元。如果对神经元节点的采样过多，会造成可视化后神经元节点过于稠密，无法看出各个神经元节点之间的连接关系；如果对神经元节点的采样过少，会造成主要信息的丢失，不能观察到脉冲神经网络的主要结构。为了对神经元进行合理的稀疏化采样，需要计算神经元节点的重要性并进行排序。优选地，采用以下公式计算每个神经元节点的重要性：
[0016][0017][0018]
其中，表示第i个神经元节点node
i
的正则化以前神经元的绝对重要性，innum代表神经元节点的入度，w1是神经元节点的入度系数，outnum代表神经元节点的出度，w2是神经元节点的出度系数，weight代表神经元节点连边权重的绝对值之和，w3是神经元节点的权重系数，是最终的神经元节点的重要性，表示第j个神经元节点node
j
的正则化以前神经元的绝对重要性，n表示神经元节点的总个数。其中，将接入当前神经元节点的连边个数作为当前神经元节点的入度，将当前神经元节点接出的连边个数作为当前神经元节点的出度。
[0019]
优选地，依据重要性大小选择神经元节点进行可视化时，设置重要性阈值，筛选重要性大于该重要性阈值的神经元节点进行可视化。这样神经元节点连接到的边越多、边的权重绝对值越大会被优先保留。
[0020]
与现有技术相比，本发明具有的有益效果至少包括：
[0021]
本发明提供的类脑计算机操作系统的神经信息可视化方法，通过对神经元进行全
局编码来解决连接描述文件多的问题，依据神经元节点的重要性对神经元进行筛选并可视化，采用这种稀疏化处理方法解决了神经元节点多显示困难的问题，同时将连接关系以连边形式表示且采用不同颜色区分，解决了神经元节点之间的连线多不易区分的问题。实现了对类脑计算机操作系统的神经信息的合理可视化，方便对对脉冲神经网络工作过程的理解。
附图说明
[0022]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0023]
图1是本发明实施例提供的类脑计算机操作系统的神经信息可视化方法流程图；
[0024]
图2是本发明实施例提供的脉冲神经网络的连接描述文件的内部数据结构；
[0025]
图3是本发明实施例提供的用于神经信息可视化的中间json文件的内部数据结构；
[0026]
图4是本发明实施例提供的json文件的data字段内部的四元组；
[0027]
图5是本发明实施例提供的json文件links字段内部的三元组；
[0028]
图6是本发明实施例提供的脑电模拟脉冲神经网络的神经信息可视化图；
[0029]
图7是本发明实施例提供的记忆模型脉冲神经网络的神经信息可视化图。
具体实施方式
[0030]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0031]
在对浙江大学达尔文2号神经拟态芯片的类脑计算机操作系统的脉冲神经网络进行神经信息可视化的过程中，遇到了连接描述文件多、神经元节点数量多、神经元节点间的连线多不易区分的问题。为了解决因为这些问题导致神经信息可视化困难的问题，本发明实施例提供了一种类脑计算机操作系统的神经信息可视化方法，基于达尔文2号神经拟态芯片的类脑计算机操作系统的脉冲神经网络模型连接描述文件进行神经信息可视化。
[0032]
图1是本发明实施例提供的类脑计算机操作系统的神经信息可视化方法流程图。如图1所示，该神经信息可视化方法包括以下步骤：
[0033]
步骤1，根据脉冲神经网络层与层的连接关系，按照从输入层到输出层的顺序读取脉冲神经网络的连接描述文件。
[0034]
脉冲神经网络的连接描述文件描述了脉冲神经网络神经元和神经元之间的连接关系。脉冲神经网络的连接描述文件有多个，每个文件描述了两层神经元之间的连接关系。图2是脉冲神经网络的连接描述文件的内部数据结构。如图2所示，连接描述文件的每一行都是一个四元组，四元组的第一个字段是起始神经元层内编号，即起始神经元在起始层中的编号，第二个字段是目标神经元层内编号，即目标神经元在目标层中的编号，第三个字段为权重，即神经元的处理输入值的权重，该权重是神经元连边的固有属性，第四个字段是脉
冲延时，即脉冲信号从起始神经元到目标神经元的延时。
[0035]
步骤2，依据读取的脉冲神经网络连接描述文件，对各层神经元节点重新全局编号，将层内编号转化为全局唯一标识，同时确定每一层神经元的颜色，组成神经元自身属性。
[0036]
步骤3，根据连接描述文件和神经元节点的自身属性生成描述节点连接关系的三元组(起始神经元编号，目标神经元编号，边的颜色)，边的颜色根据边连接神经元所在的层确定。
[0037]
步骤4，根据脉冲神经网络神经元之间的连接关系对神经元节点进行布局，同一层的神经元节点聚集放置在同一区域，相邻层的神经元聚集放置在相邻位置。
[0038]
步骤5，根据神经元与其它神经元的连边数量和连边权重选择是否显示某个神经元。
[0039]
由于原始的脉冲神经网络中的神经元节点和连线过多，如果全部显示，所有的节点和连线会挤在一起，不能展示出脉冲神经网络的关键结构，因此需要对脉冲神经网络进行稀疏化显示。如果对神经元的采样过多，会造成可视化后神经元过于稠密，无法看出各个神经元之间的连接关系；如果对神经元的采样过少，会造成主要信息的缺失，不能观察到脉冲神经网络的主要结构。具体的做法是根据神经元与其它神经元的连边数量和连边权重计算神经元的重要性，根据重要性对神经元进行排序，重要性越大的神经元会被优先保留。
[0040]
神经元的重要性的公式如下：
[0041][0042][0043]
在计算得到神经元的重要性以后，设置重要度阈值∈(∈∈(0,1))来控制显示哪些神经元，重要性大于阈值的神经元会被显示，小于阈值的神经元会被隐藏。
[0044]
步骤6，导出描述神经元布局和边的颜色的json文件，利用echarts将导出的json文件进行可视化。
[0045]
实施例中，采用python代码生成json文件，采用echarts的graph类型对的json文件进行可视化。图3是json文件的数据结构，其中包含了三个字段：数据单元data，连接关系单元links和层单元layers。data字段是一个数组，内部的每个元素是一个四元组，四元组内包含了神经元节点的键值name、位置坐标(x，y)和所属层信息，如图4所示。links字段同样是一个数组，内部的每个元素是一个三元组，三元组内部包含了起始神经元节点的键值source，目标神经元的键值target，连线的颜色linestyle，如图5所示。
[0046]
利用上述类脑计算机操作系统的神经信息可视化方法方法，对脑电模拟脉冲神经网络和记忆模型脉冲神经网络神经信息可视化的结果如图6和图7所示，图中清晰地展示出了脉冲神经网络的结构，即展示出脉冲神经网络的神经元节点和各个神经元节点之间的连接关系。
[0047]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。