基于异构信息网络和深度学习的信用风险评估方法

本发明涉及信用风险评估领域，具体涉及基于异构信息网络和深度学习的信用风险评估方法。

背景技术：

1、从信用风险评估特征来看，传统企业风险评估方法，主要依靠企业的各种财务指标特征对其信用风险进行测度，适用于大型企业。但是许多小微企业缺乏完整的财务报表和经营记录，即便获取到了这些信息，在小微企业自身经营管理与规章制度不完善不规范的前提下，未经审查的财务数据并不可靠。这种情况下，监管合规、备案记录、法律行为等反映企业特征和运营风险的非财务信息可以用来补充缺失的财务信息。然而，这些财务和非财务信息似乎都是以独立的视角来评估企业，却忽略了企业与企业之间的关联影响。

2、从信用风险评估模型来看，最早可以追溯到20世纪60年代。这些早期模型主要使用广义线性回归，包括多元判别分析和逻辑回归。随着科学技术的快速发展，对数据处理方法要求不断提高，机器学习领域的优秀成果逐渐被引入到风险评估问题上，典型的包括决策树、神经网络、支持向量机等。这些研究证明了机器学习较传统线性模型而言，具有更好的拟合效果和更高的预测性能，这表明变量对企业信用风险的影响通常具有非线性特性。基于树的集成模型，如随机森林、gbdt和xgboost，也可以取得优异的效果，尤其是在信用领域。由于这些研究中的信贷数据通常规模较小、不平衡且以结构化为主，因此集成模型可能更适用。此外，各种端到端的深度学习方法正在不断改进并运用于金融预测问题，如卷积神经网络和递归神经网络。此类深度学习模型不仅能通过其多层结构学习数据的底层分布来提升预测性能，还有助于扩展模式识别和数据挖掘研究，从而进一步延伸出可以处理网络图数据的图深度学习方法，其中图卷积网络（gcn）已经被广泛运用于金融领域中。然而，将图神经网络应用于金融领域也面临着一些挑战，如可解释性、数据可用性、可扩展性和鲁棒性等等。

3、大多数关于企业风险评估的研究主要基于其自身信息而忽略了关联影响，虽已有文献通过构建网络来研究关联风险对企业信用风险的影响，但主要基于只含一种类型节点和边的同构信息网络，从而忽略了现实关联风险的复杂性和异构性。此外，传统的机器学习方法虽然能在信贷领域取得较好的效果，但并不适用于网络结构数据；图神经网络是一个常用的处理网络数据的方法,但图神经网络受异常值影响较大，相对稳健性较差，且可解释性和可扩展性的要求也限制其在金融领域的运用。因此，如何结合深度学习框架，将复杂网络数据较好地运用于小微企业信用风险评估领域是一个拟解决的难点问题。

技术实现思路

1、基于上述背景技术所提出的问题，本发明的目的在于提供基于异构信息网络和深度学习的信用风险评估方法，解决了现有对于企业风险评估基于只含一种类型节点和边的同构信息网络，从而忽略了现实关联风险的复杂性和异构性的问题。

2、本发明通过下述技术方案实现：

3、本发明第一方面提供了基于异构信息网络和深度学习的信用风险评估方法，包括如下步骤：

4、步骤s1、构建小微企业关联异构信息网络，设计所述小微企业关联异构信息网络的动态更新机制，得到随时间动态演化的动态小微企业关联异构信息网络；

5、步骤s2、设置所述动态小微企业关联异构信息网络的节点属性，基于节点属性和网络拓扑结构从所述动态小微企业关联异构信息网络中提取网络关联风险特征；

6、步骤s3、构建多层集成学习模型，将小微企业的非网络特征与所述网络关联风险特征进行融合，得到融合特征，利用所述多层集成学习模型对所述融合特征进行学习；

7、步骤s4、迭代构建目标传播的变体，利用所述目标传播的变体对所述多层集成学习模型进行联合优化，利用联合优化后的多层集成学习模型对小微企业信用风险进行预测。

8、在上述技术方案中，构建小微企业关联异构信息网络用以囊括企业与企业、企业与自然人之间的关联关系以及其之间更多更丰富的交互信息。随着小微企业的发展，小微企业关联异构信息网络的规模不断扩大，网络结构和信息也不断发生改变，由于信息随时间的变化而变化，小微企业关联异构信息网络在不同的时间戳上是不同的，本方法基于此设计了小微企业关联异构信息网络的动态更新机制以存储信息变化。将企业的基本特征和自身风险特征作为动态小微企业关联异构信息网络的节点属性，结合特征化方法提取了多种网络关联风险信息，提供了一种新的可靠的小微企业风险评估数据源，减少了对财务数据的依赖。

9、由于网络中信息传播会引发级联效应，单个实例中的错误或异常影响许多其他实例。即使很小的干扰也会显著恶化图神经网络的性能。通过将集成学习扩展为多层神经网络结构的方式构建了一个多层集成学习模型的深度学习模型，并将特征化的小微企业网络和非网络信息进行融合并输入至多层集成学习模型中，使用非线性集成学习作为每层的模块来挖掘动态小微企业关联异构信息网络中隐含关联的风险信息，相较于现有鲁棒性较低的图神经网络而言，本方法提出的多层集成学习模型采用特征化方法来综合计算所有邻域节点的属性数据，因此对单个实例数据异常情况具有更大的弹性，从而增强了其整体鲁棒性。

10、同时，迭代构建目标传播的变体，并利用目标传播的变体进行联合优化，使得多层集成学习模型在每层的非线性变换中逐渐学习到更好的表示，提高了模型的预测性能。

11、在一种可选的实施例中，所述步骤s1包括如下步骤：

12、步骤s11、以企业和自然人为节点，以关联关系为边构建异构信息网络，其中，异构信息网络表示如下：

13、；

14、其中，表示时刻的企业异构信息网络，表示时刻网络内的节点集合，表示时刻网络内的边集合；

15、步骤s12、从所述异构信息网络中提取t时刻的m个小微企业节点，对t时刻的m个小微企业节点进行网络重构，得到重构子网络集合；

16、步骤s13、将所述重构子网络集合进行组合生成小微企业关联异构信息网络。

17、在一种可选的实施例中，所述步骤s12包括如下步骤：

18、步骤s121、获取t时刻异构信息网络内小微企业节点的阶邻域：

19、；

20、其中，是节点在t时刻的阶邻域，表示节点和节点之间在时刻的最短路径距离；

21、步骤s122、基于阶邻域建立小微企业节点在t时刻的阶子网络：

22、；

23、；

24、其中，表示时刻节点和之间的边；为时刻小微企业节点在阶邻域内的边集合；

25、步骤s123、将所述阶子网络中的关联关系重构为同类型的无向边，得到以为小微企业节点中心的重构子网络。

26、在一种可选的实施例中，所述步骤s2包括如下步骤：

27、步骤s21、以企业信息为节点属性对小微企业节点进行节点属性设置，其中，小微企业节点具有节点属性；

28、步骤s22、从所述动态小微企业关联异构信息网络中提取小微企业的网络阶邻居集合，其中，小微企业节点的阶邻居是与小微企业节点最短距离为的小微企业节点的集合：

29、；

30、步骤s23、对网络d阶邻居集合进行计算，根据计算结果提取网络关联风险特征。

31、在一种可选的实施例中，对网络d阶邻居集合进行计算包括：

32、将所述网络d阶邻居集合中在t时刻的阶邻居中满足条件的节点记为第一节点；

33、将所述网络d阶邻居集合中在t时刻的阶邻居中满足条件和的节点记为第二节点；

34、计算所述第一节点的第一节点数和所述第二节点的第二节点数，并计算所述第二节点数在所述第一节点数的比例值；

35、计算所述第一节点的节点属性之和以及所述第一节点的节点属性的均值。

36、在一种可选的实施例中，所述第一节点数计算如下：

37、；

38、其中，表示第一节点属性，表示节点的第一节点属性，为第一节点属性条件值，为在t时刻节点的阶邻居中满足条件的节点集合；

39、所述第二节点数计算如下：

40、；

41、其中，表示第二节点属性，表示节点的第二节点属性，为第二节点属性条件值，为在t时刻节点的阶邻居中满足条件和的节点集合；

42、所述比例值计算如下：

43、；

44、所述第一节点的节点属性之和计算如下：

45、；

46、其中，表示节点的第二级点属性之和；

47、所述第一节点的节点属性的均值计算如下：

48、。

49、在一种可选的实施例中，所述步骤s3包括如下步骤：

50、步骤s31、获取小微企业的非网络特征，将所述非网络特征与所述网络关联风险特征进行拼接，得到融合信息；

51、步骤s32、构建具有m层集成学习层结构的多层集成学习模型，其中，层与层之间为非线性映射，将第层集成学习层的正映射的输出记为，为所述融合信息，将第层到第层的映射记为；

52、步骤s33、通过最小化重构损失函数的期望值建立第层集成学习层的伪逆映射：

53、；

54、步骤s34、将建立的伪逆映射的多层模型进行初始化，生成高斯噪声作为中间层输出，并利用所述中间层输出进行训练生成初始映射，使用标签设置第m层集成学习层的伪标签：

55、；

56、其中，是学习率，是模型第m层的输出与标签之间的损失。

57、在一种可选的实施例中，所述重构损失函数中设置有随机噪声，随机噪声设置如下：

58、；

59、其中，为随机噪声，服从均值为0，标准差为的正态分布。

60、在一种可选的实施例中，所述步骤s4包括：

61、步骤s41、基于步骤s33构建的伪逆映射从下到上为每一层集成学习层分配一个伪标签：

62、；

63、步骤s42、在分配伪标签后根据损失函数计算残差：

64、；

65、；

66、其中，为集成学习层正映射第次迭代的残差；

67、步骤s43、利用所述残差拟合一个新的回归树，其中表示集成中的第个树；

68、步骤s44、通过连续迭代构造新树来减少残差实现每一层集成学习层的正映射进行优化，其中，优化过程如下：

69、；

70、；

71、其中，为集成学习单层的学习率，为集成学习单层迭代次数参数；

72、步骤s45、当m层集成学习层的正映射均优化完后，移动到下一个迭代更新伪逆映射，重复步骤s41至步骤s45进行迭代。

73、在一种可选的实施例中，更新伪逆映射包括，利用重构损失函数计算残差，并利用所述残差拟合回归树：

74、；

75、；

76、其中，为集成学习层伪逆映射第次迭代的残差。

77、本发明与现有技术相比，具有如下的优点和有益效果：

78、1、构建了包含三种关系和两种节点类型的异构信息网络smern，并设计了smern动态更新机制以存储信息变化，结合特征化方法提取了多种网络关联风险信息，提供了一种新的可靠的小微企业风险评估数据源，减少了对财务数据的依赖；

79、2、构建了一个多层深度神经网络结构，使用非线性集成学习作为每层的模块来挖掘smern中隐含关联的风险信息。多层集成学习模型融合了小微企业网络和非网络信息，利用目标传播的变体进行联合优化，在每层的非线性变换中逐渐学习到更好的表示，提高了模型的预测性能。