一种基于剪枝神经网络的信用分类方法

1.本发明涉及物理信息技术技术领域，具体为一种基于剪枝神经网络的信用分类方法。


背景技术：

2.截至目前，对信用申请人进行分类的方法大致包括了人工神经网络、决策树、专家评价系统以及遗传算法这4类，其中人工神经网络具有的大规模数据处理能力、可以逼近任意非线性关系、自适应学习等特征也使得这一方法在金融信用分类领域被广泛应用。
3.然而通过实践的不断检验，学界普遍认为经典的人工神经网络模型仍然存在以下不足：
①
人工神经网络对数据的处理往往被认为是一个“黑箱”处理的过程，金融决策者很难对这一处理过程进行合理的解释；
②
在处理规模大、维度高的信用分类问题时，传统的人工神经网络会变得非常耗时，从而在一定程度上影响了财务决策的及时性；
③
在实际应用中，经典的人工神经网络的预测精度还有待进一步优化，因此，亟待一种改进的基于剪枝神经网络的信用分类方法来解决现有技术中所存在的这一问题。


技术实现要素：

4.本发明的目的在于提供一种基于剪枝神经网络的信用分类方法具有预测精度高、性能好等特点，通过对不必要的突触和树突的修剪，完成pnn的构建，可以在完好保留树突状神经网络解释性的基础上，大幅简化模型，明显提高收敛效率的剪枝神经网络的信用分类方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于剪枝神经网络的信用分类方法，其特征在于：所述
6.步骤一、突触接收输入信号，各突触通过不同权值和阈值对所输入的信号进行sigmoid函数运算处理，实现激发或抑制，并将变换结果输入至相应的树突分支层；
7.步骤二、树突层接收来自突触层的信号，基于各个树突分支层分别将相应突触层所输入的变换结果进行累乘，并将累乘结果输出至胞体层；
8.步骤三、胞体层接收来自树突层的信号，基于胞体层将各个累乘结果进行加权累加，该值即为真实输出。
9.优选的，所述剪枝神经网络的信用分类结构中包括突触结构、树突结构、胞体层，突触结构包含了多个突触分支层以及树突结构包含多个树突分支层，并且每一个突触分支层可以与一个或多个树突分支层相对应。
10.优选的，所述根据步骤一
11.a、获取金融信用数据集，将数据集分为训练集和测试集，包含截面数据或面板数据，并将数据集分为训练集和测试集；
12.b、设定初始权值、初始参数、期望误差及学习效率；
13.c、建立初始化的树突状神经网络；
14.d、输入信号经过突触层、树突层、胞体层n；
15.e、实际误差是否满足期望误差t；
16.f、剪枝过程；
17.g、实现一个训练好的剪枝神经网络；
18.h、利用测试集评估模型性能结束。
19.优选的，所述根据步骤一突触在受体接收到外界信号时，就可以实现对这一信号做出兴奋或抑制的决定，改进的sigmoid函数表示如下
[0020][0021]
其中，i(i＝1，2，3...，i)表示神经网络接收到的信号输入数量；
[0022]
j(j＝1，2，3...，j)表示突触层数量；
[0023]yij
表示突触层的输出，
[0024]
k表示一个正常数，
[0025]
xi是输入突触层的特征向量，
[0026]wij
和q
ij
是在突触层中需要分别被训练的参数，用θ
ij
表示突触的阈值，
[0027]
其具体公式如下：
[0028][0029]
阈值取决于激活函数中的参数q
ij
和w
ij
，二者不同的数量关系会使得突触表现出4种不同的连接状态：直接连接、反向连接、常数-1连接和常数-0连接。
[0030]
优选的，所述根据步骤二树突上突触之间的非线性运算可以通过乘法运算的方式来实现，其对应的方程对应如下：
[0031][0032]
优选的，所述根据步骤三胞体层积累了来自每个树突层的信号总和，它的功能与logistic回归中的优势比相同，这意味着当所有输入变量都等于1的时候，胞体层将输出1。
[0033][0034]
优选的，所述剪枝神经网络的信用分类的所有方程都是可微分的，利用误差反向传播算法作为学习算法将会非常有效，采用惯常的神经网络模型的训练或梯度迭代方式来对剪枝神经网络进行优化，我们将损失函数定义为实际输出于期望输出之间的最小二乘误差，具体公式如下：
[0035][0036]
其中，t表示期望误差。
[0037]
优选的，所述判定实际误差是否满足期望误差，若满足，则进行剪枝过程；若不满足，则通过梯度下降法迭代调整权值及可变参数，对权值和参数的偏微分方程见下式：
[0038][0039][0040]
迭代方法见下式：
[0041][0042][0043]
与现有技术相比，本发明的有益效果是：
[0044]
该值即为真实输出，该基于剪枝神经网络的信用分类方法具有预测精度高、性能好等特点，通过对不必要的突触和树突的修剪，完成pnn的构建，可以在完好保留树突状神经网络解释性的基础上，大幅简化模型，明显提高计算效率。
附图说明
[0045]
图1为本发明pnn进行信用分类的流程图；
[0046]
图2为本发明pnn的一示例的结构示意图；
[0047]
图3为本发明利用梯度下降法训练pnn的流程图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
请参阅图1-3，本发明提供一种技术方案：一种基于剪枝神经网络的信用分类方法，其特征在于：所述
[0050]
步骤一、突触接收输入信号，各突触通过不同权值和阈值对所输入的信号进行sigmoid函数运算处理，实现激发或抑制，并将变换结果输入至相应的树突分支层；
[0051]
步骤二、树突层接收来自突触层的信号，基于各个树突分支层分别将相应突触层所输入的变换结果进行累乘，并将累乘结果输出至胞体层；
[0052]
步骤三、胞体层接收来自树突层的信号，基于胞体层将各个累乘结果进行加权累加，该值即为真实输出。
[0053]
剪枝神经网络的信用分类结构中包括突触结构、树突结构、胞体层，突触结构包含了多个突触分支层以及树突结构包含多个树突分支层，并且每一个突触分支层可以与一个或多个树突分支层相对应。
[0054]
构建了能够客观评价pnn预测精度的准确率指标，具体公式如下：
[0055]
[0056]
其中tp、tn、fp、fn分别代表真阳性、真阴性、假阳性、假阴性。真阳性(tp)表示被预测为值得信任的实例，其实际情况也是值得信任；真阴性(tn)表示被预测为不值得信任的实例，其实际情况也是不值得信任；假阳性(fp)表示被预测为不值得信任的实例，但其实际情况是值得信任；假阴性(fn)表示被预测为值得信任的实例，但其实际情况是不值得信任，另外本例中还构建了敏感性、特异性以及auc指标来综合评价模型性能：
[0057][0058][0059][0060]
获取金融信用数据集，将数据集分为训练集和测试集，包含截面数据或面板数据，并将数据集分为训练集和测试集；
[0061]
设定初始权值、初始参数、期望误差及学习效率；
[0062]
建立初始化的树突状神经网络，设定初始权值和参数值，初始参数值包括sigmoid函数中的w
ij
、q
ij
、常数k、树突层数量、期望误差以及学习效率，输入信号经过突触层、树突层、胞体层n。
[0063]
实际误差是否满足期望误差t，判定实际误差是否满足期望误差，若满足，则进行剪枝过程；若不满足，则通过梯度下降法迭代调整权值及可变参数，实现一个训练好的剪枝神经网络，利用测试集评估模型性能结束。
[0064]
突触在受体接收到外界信号时，就可以实现对这一信号做出兴奋或抑制的决定，改进的sigmoid函数表示如下
[0065][0066]
其中，i(i＝1，2，3...，i)表示神经网络接收到的信号输入数量，j(j＝1，2，3...，j)表示突触层数量，y
ij
表示突触层的输出，k表示一个正常数，xi是输入突触层的特征向量，w
ij
和q
ij
是在突触层中需要分别被训练的参数，用θ
ij
表示突触的阈值，其具体公式如下：
[0067][0068]
阈值取决于激活函数中的参数q
ij
和w
ij
，二者不同的数量关系会使得突触表现出4种不同的连接状态：直接连接、反向连接、常数-1连接和常数-0连接。
[0069]
直接连接，0《q
ij
《w
ij
,例如取q
ij
＝0.5以及w
ij
＝1.0，在这种情况下，一旦xi》θ
ij
，输出y
ij
就会趋近于1，这表示当输入拥有高于阈值的电势时，会刺激突触并使得胞体去极化；一旦xi《θ
ij
，输出y
ij
就会趋近于0，这表示当输入拥有低于阈值的电势时，会抑制突触并使得胞体超极化。
[0070]
反向连接，w
ij
《q
ij
《0,例如取q
ij
＝-0.5以及w
ij
＝-1.0，在这种情况下，一旦xi》θ
ij
，输出y
ij
就会趋近于0，这表示当输入拥有高于阈值的电势时，会刺激突触并使得胞体超极化；一旦xi《θ
ij
，输出y
ij
就会趋近于1，这表示当输入拥有低于阈值的电势时，会抑制突触并使得胞体去极化。
[0071]
常数-1连接，(情形1):q
ij
《0《w
ij
,例如取q
ij
＝-0.5以及w
ij
＝1.0；(情形2):q
ij
《w
ij
《0，例如取q
ij
＝-1.5以及w
ij
＝-1.0，在这种情况下，无论输入xi与阈值之间的数量关系如何，突触的输出都会始终趋近于1，也就是说，从突触层传递的信号对树突层的影响较小，并使得胞体去极化。
[0072]
常数-0连接，(情形1):w
ij
《0《q
ij
,例如取q
ij
＝0.5以及w
ij
＝-1.0；(情形2):0《w
ij
《q
ij
，例如取q
ij
＝1.5以及w
ij
＝1.0，在这种情况下，无论输入xi与阈值之间的数量关系如何，突触的输出都会始终趋近于0，也就是说，从突触层传递的信号对树突层的影响较大，并使得胞体超极化。
[0073]
树突上突触之间的非线性运算可以通过乘法运算的方式来实现，其对应的方程对应如下：
[0074][0075]
步骤三胞体层积累了来自每个树突层的信号总和，它的功能与logistic回归中的优势比相同，这意味着当至少有一个变量等于1时，胞体层将生成值1。
[0076][0077]
剪枝神经网络的信用分类的所有方程都是可微分的，利用误差反向传播算法作为学习算法将会非常有效，采用惯常的神经网络模型的训练或梯度迭代方式来对剪枝神经网络进行优化，我们将损失函数定义为实际输出于期望输出之间的最小二乘误差，具体公式如下：
[0078][0079]
其中，t表示期望误差。
[0080]
判定实际误差是否满足期望误差，若满足，则进行剪枝过程；若不满足，则通过梯度下降法迭代调整权值及可变参数，对权值和参数的偏微分方程见下式：
[0081][0082][0083]
迭代方法见下式：
[0084][0085][0086]
基于不同的突触连接状态，修剪不必要的突触和树突，实现一个训练好的剪枝神经网络，利用测试集数据评估模型性能。
[0087]
该基于剪枝神经网络的信用分类方法具有预测精度高、性能好等特点，通过对不
必要的突触和树突的修剪，完成pnn的构建，可以在完好保留树突状神经网络解释性的基础上，大幅简化模型，明显提高计算效率。
[0088]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。