基于异质图神经网络的银行小微企业的违约预测方法与流程

1.本技术涉及异质信息网络和图神经网络领域，具体而言，涉及一种基于异质图神经网络的银行小微企业的违约预测方法。


背景技术：

2.作为社会经济发展重要的组成部分，我国小微企业(包含个体工商户)占据全国企业总数的90％以上，吸纳了80％以上的城镇劳动就业，其贡献了50％以上的税收，60％以上的国内生产总值，70％以上的技术专利。银行大力发展数字普惠金融服务，从而支持小微企业的发展，同时尝试解决小微企业长期存在的融资困难问题。然而，跟大企业相比，小微企业表现出很高的违约率。其主要原因是：小微企业十分容易受到宏观经济、疫情冲击、供应链变化等外部因素的影响，其经营时常面临巨大的资金和生存压力而导致倒闭。其次，小微企业普遍存在数据不完善的情况，包括信评缺失、报表缺失、无抵押、无担保等，但是，传统授信模型依赖这些信息进行评估。所以，对于银行来说，风险管理是重中之重。因此，需要研发针对小微企业的违约预测模型，更好的开展普惠金融服务，从而促进实体经济的发展。
3.目前相关技术中，银行对小微企业进行违约预测通常采用以下两种技术手段：
4.(1)规则驱动的方法：该方法的假设前提是小微企业违约具有明显的信号，因此将这些信号以判定条件等形式构建成规则。当小微企业某方面满足条件，则会触发规则预警。同时，规则也可以通过组合和量化，以信用评分卡等形式进行展示和应用。另外，通过凭借人工经验构建规则库，可以实现业务不同阶段的应用。而且，强规则 (如黑名单、监管合规等)具有很好的实用性。此外，规则具有很好的可解释性。
5.(2)数据驱动的方法：该方法的特征是对于违约样本和存在违约可能的样本进行标注，并通过数据对小微企业进行描述，再从相关数据中提取特征，特征包括用户描述、信用状态、经营状况、履约能力等方面。最后采用学习算法在特征和标注组成的样本集上进行训练生成模型。并且学习算法不限于树模型、svm、神经网络等。另外，模型输出是否存在违约风险的0-1结果或者结合是否存在违约风险的0-1结果进行处理，输出违约概率或评分。
6.但是，目前相关技术中，银行对小微企业进行违约预测的方法存在以下缺点：
7.(1)规则驱动的方法：这类方法主要缺陷在于以下三个方面：第一，规则通常是脆弱的，由于大多为静态的条件组合，无法适应模糊情况和动态变化，所以，规则容易被攻破或者造成精度偏低的结果；第二，构建规则依赖于先验经验，故对于制定和调整规则的人员要求具有特定领域的专家经验，即对于制定和调整规则的人员的要求较高；第三，规则包括条件可能存在较大重合度，因此容易造成规则冲突，且运维工作量会随着规则数量激增。
8.(2)数据驱动的方法：这类方法需要大数据和足够的样本来构建性能好的学习模型。但是，由于普惠金融业务常处于大力发展初期，欺诈和违约的样本相对较少，因此，通过领域专家打标是一件比较困难的事情。其次，小微企业普遍存在信息缺失的问题，从而降低了学习模型性能。此外，传统机器学习模型无法充分挖掘交互信息，且银行金融数据中存在大量交互关系。
9.针对相关技术中对小微企业违约预测不准确的问题，目前尚未提出有效的解决方案。


技术实现要素：

10.本技术的主要目的在于提供一种基于异质图神经网络的银行小微企业的违约预测方法，以解决相关技术中对小微企业违约预测不准确的问题。
11.为了实现上述目的，根据本技术的一个方面，提供了一种基于异质图神经网络的银行小微企业的违约预测方法。该方法包括：获取目标银行的对公客户的异质信息网络，其中，所述异质信息网络中至少包括：至少一个与所述对公客户相关联的节点、至少一个与所述对公客户相关联的节点的属性信息、至少一个与所述对公客户相关联的节点之间的关系和至少一个与所述对公客户相关联的节点之间的关系的属性信息；获取图神经网络模型一，其中，所述图神经网络模型一用于输出目标小微企业的违约概率，其中，所述目标小微企业为所述目标银行的对公客户中的企业；在所述异质信息网络中获取与所述目标小微企业相关联的目标节点，并获取所述目标节点的至少一个元路径的子图，其中，所述目标节点的至少一个元路径的子图用于表示所述目标小微企业与所述目标小微企业相关的目标对象之间的关系；将与所述目标小微企业相关联的目标节点和所述目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到所述目标小微企业的违约概率，并依据所述违约概率对所述目标小微企业进行违约预测，其中，所述目标图神经网络模型为对所述图神经网络模型一进行学习训练得到的模型。
12.进一步地，与所述对公客户相关联的节点的类型至少包括：与所述对公客户相关联的企业、与所述对公客户相关联的行业和与所述对公客户相关联的个人。
13.进一步地，所述对公客户相关联的节点之间的关系的类型至少包括：与所述对公客户相关联的节点之间的资金关系、与所述对公客户相关联的节点之间的行业关系、与所述对公客户相关联的节点之间的股权关系。
14.进一步地，获取图神经网络模型一包括：从所述异质信息网络中获取与所述对公客户相关联的节点之间的关系；依据与所述对公客户相关联的节点之间的关系，确定与所述对公客户相关联的节点在不同场景视图中之间的关系；根据与所述对公客户相关联的节点在不同场景视图中之间的关系，确定与所述对公客户相关联的节点的元路径；依据与所述对公客户相关联的节点的元路径，构建图神经网络模型一。
15.进一步地，与所述对公客户相关联的节点的元路径的类型至少包括：与所述对公客户相关联的节点之间的资金关系的元路径、与所述对公客户相关联的节点之间的行业关系的元路径、与所述对公客户相关联的节点之间的股权关系的元路径。
16.进一步地，所述图神经网络模型一或者所述目标图神经网络模型中至少包括：神经网络中的特征映射层、所述神经网络中的第一隐藏层、所述神经网络中的第二隐藏层和所述神经网络中的输出层。
17.进一步地，依据与所述对公客户相关联的节点的元路径，构建图神经网络模型一包括：通过所述特征映射层将所述异质信息网络中的与所述对公客户相关联的节点的属性信息和所述异质信息网络中的与所述对公客户相关联的节点之间的关系的属性信息映射到目标隐层特征空间中，其中，所述异质信息网络中的与所述对公客户相关联的节点的属
性信息和所述异质信息网络中的与所述对公客户相关联的节点之间的关系的属性信息的维度相同；通过所述特征映射层将所述异质信息网络中的与所述对公客户相关联的节点的属性信息和所述异质信息网络中的与所述对公客户相关联的节点之间的关系的属性信息映射到所述目标隐层特征空间中之后，在所述第一隐藏层中，采用节点注意力算子学习与所述对公客户相关联的节点的目标元路径的子图中的与所述目标小微企业相关的目标元路径实例的注意力权重，并通过聚合计算得到用于表示与所述对公客户相关联的节点的基于所述目标元路径的目标向量一；结合多个所述目标元路径得到的所述目标向量一，在所述第二隐藏层中，采用元路径注意力算子学习与所述对公客户相关联的节点的每个目标元路径的重要程度，并计算得到用于表示与所述对公客户相关联的节点的目标向量二；将所述目标向量二输入到所述输出层的多层感知机中，构建所述图神经网络模型一。
18.进一步地，与所述对公客户相关联的节点的属性信息至少包括：与所述对公客户相关联的企业的基本信息、与所述对公客户相关联的企业在所述目标银行的账户信息、与所述对公客户相关联的企业在除所述目标银行之外的银行的账户信息、与所述对公客户相关联的企业的信用状况信息、与所述对公客户相关联的企业的履约能力信息、与所述对公客户相关联的企业的经营信息、与所述对公客户相关联的企业的账户行为信息、与所述对公客户相关联的企业的景气度信息、与所述对公客户相关联的个人的基本信息、与所述对公客户相关联的个人在所述目标银行的账户信息、与所述对公客户相关联的个人的信用状况信息、与所述对公客户相关联的行业的宏观影响信息、与所述对公客户相关联的行业的垄断程度信息、与所述对公客户相关联的行业的发展潜力信息、与所述对公客户相关联的行业的关联指标信息。
19.进一步地，与所述对公客户相关联的节点之间的关系的属性信息至少包括：与所述对公客户相关联的节点之间的资金关系的属性信息、与所述对公客户相关联的节点之间的行业关系的属性信息、与所述对公客户相关联的节点之间的股权关系的属性信息，其中，与所述对公客户相关联的节点之间的资金关系的属性信息至少包括：与所述对公客户相关联的节点之间的交易金额和交易笔数，与所述对公客户相关联的节点之间的行业关系的属性信息至少包括：与所述对公客户相关联的节点之间的净流入金额、净流出金额和交易频率，与所述对公客户相关联的节点之间的股权关系的属性信息至少包括：与所述对公客户相关联的节点之间的股权关系类型、出资金额和控股比例。
20.通过本技术，采用以下步骤：获取目标银行的对公客户的异质信息网络，其中，异质信息网络中至少包括：至少一个与对公客户相关联的节点、至少一个与对公客户相关联的节点的属性信息、至少一个与对公客户相关联的节点之间的关系和至少一个与对公客户相关联的节点之间的关系的属性信息；获取图神经网络模型一，其中，图神经网络模型一用于输出目标小微企业的违约概率，其中，目标小微企业为目标银行的对公客户中的企业；在异质信息网络中获取与目标小微企业相关联的目标节点，并获取目标节点的至少一个元路径的子图，其中，目标节点的至少一个元路径的子图用于表示目标小微企业与目标小微企业相关的目标对象之间的关系；将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，其中，目标图神经网络模型为对图神经网络模型一进行学习训练得到的模型，解决了相关技术中对小微企业违约预测不准确的问题。通过在
获取到的异质信息网络中获取与目标小微企业相关联的目标节点和获取目标节点的至少一个元路径的子图，并将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，从而提升了对小微企业违约预测的准确性。
附图说明
21.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
22.图1是根据本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法的流程图；
23.图2是本技术实施例中的银行对公客户的异质信息属性网络的结构图；
24.图3是本技术实施例中的银行对公客户在不同场景视图下的关系的示意图；
25.图4是本技术实施例中的图神经网络模型的示意图。
具体实施方式
26.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
27.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
28.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.下面结合优选的实施步骤对本发明进行说明，图1是根据本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法的流程图，如图1所示，该方法包括如下步骤：
30.步骤s101，获取目标银行的对公客户的异质信息网络，其中，异质信息网络中至少包括：至少一个与对公客户相关联的节点、至少一个与对公客户相关联的节点的属性信息、至少一个与对公客户相关联的节点之间的关系和至少一个与对公客户相关联的节点之间的关系的属性信息。
31.例如，获取银行的所有对公客户的异质信息属性网络，即构建银行的所有对公客户的异质信息属性网络的结构图，且图2是本技术实施例中的银行对公客户的异质信息属性网络的结构图，如图2所示，此结构图中可以包括：节点、节点的属性信息、节点之间的关系边和关系边的属性信息。且节点可以表示实体，比如节点可以为与银行的每个对公客户
相关联的公司(对公客户)、行业和个人等；节点之间的关系边可以表示实体之间的关系，比如边可以为上述实体之间的资金关系、行业关系和股权关系等。
32.而且，节点之间的关系边的类型具体可以表示为：
33.(1)资金关系边：公司与公司之间的资金(转账)关系边；
34.(2)产业关系边：公司与行业的从属关系边、行业与行业的上下游关系边；
35.(3)股权关系边：公司与公司之间的关系边(包括两种类型，分别是母子公司关系边和实际控制关系边)、公司与个人之间的关系边(包括三种类型：法人关系边、实际控制人关系边以及公司与个人之间的普通控股关系边)。
36.另外，节点的属性信息可以包括：在公司节点上，增加风险相关属性，且这些属性可以包括：客户基础信息、客户信用状况、客户履约能力、客户经营信息、客户账户行为和客户景气度等；在个人节点上，增加客户基础信息和客户信用评分等属性；在行业节点上，增加相关属性，且这些属性可以包括：行业宏观影响、行业特征和行业关联等。而且，资金关系边的属性信息可以为在公司与公司之间的资金(转账)关系边上添加交易统计类特征，包括近一年交易金额、近一年交易笔数、近半年交易金额、近半年交易笔数、近一月交易金额、近一月交易笔数，等；产业关系边的属性信息可以为在行业与行业的上下游关系边上添加行业关联特征，包括近一年资金净流入金额、近一年资金净流出金额、近一年资金交易频率，等；股权关系边的属性信息可以为在公司与公司之间的关系边和公司与个人之间的关系边上添加股权相关特征，包括股权关系类型、出资金额、控股比例，等。
37.步骤s102，获取图神经网络模型一，其中，图神经网络模型一用于输出目标小微企业的违约概率，其中，目标小微企业为目标银行的对公客户中的企业。
38.例如，获取图神经网络模型，且通过此图神经网络模型可以输出小微企业的违约概率，但是此图神经网络模型为进行训练之前的模型。另外，这里的小微企业可以为目标银行的对公客户中的企业。
39.步骤s103，在异质信息网络中获取与目标小微企业相关联的目标节点，并获取目标节点的至少一个元路径的子图，其中，目标节点的至少一个元路径的子图用于表示目标小微企业与目标小微企业相关的目标对象之间的关系。
40.例如，在异质信息网络中获取与待进行违约预测的小微企业相关联的公司(对公客户)、行业、个人等，并获取待进行违约预测的小微企业和与其相关联的公司、行业、个人等之间的关系。
41.步骤s104，将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，其中，目标图神经网络模型为对图神经网络模型一进行学习训练得到的模型。
42.例如，将与待进行违约预测的小微企业相关联的公司(对公客户)、行业、个人等、待进行违约预测的小微企业和与其相关的公司、行业、个人等之间的关系图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并根据目标图神经网络模型输出的违约概率对小微企业进行违约预测。另外，目标图神经网络模型可以为对上述获取到的图神经网络模型进行学习训练而得到的图神经网络模型。
43.通过上述的步骤s101至s104，通过在获取到的异质信息网络中获取与目标小微企
业相关联的目标节点和获取目标节点的至少一个元路径的子图，并将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，从而提升了对小微企业违约预测的准确性。
44.可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，与对公客户相关联的节点的类型至少包括：与对公客户相关联的企业、与对公客户相关联的行业和与对公客户相关联的个人。
45.在本实施例中，异质信息网络中的节点的类型可以包括三种，分别为：公司(对公客户)、行业、个人。
46.通过上述的方案，增加异质信息网络中的节点类型可以丰富小微企业的信用数据，从而可以提升对小微企业违约预测的准确性。
47.可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，与对公客户相关联的节点之间的关系的类型至少包括：与对公客户相关联的节点之间的资金关系、与对公客户相关联的节点之间的行业关系、与对公客户相关联的节点之间的股权关系。
48.例如，异质信息网络中的边可表示实体之间的关系，且在本实施例中，设定了三个视图，分别为资金关系、行业关系、股权关系，且每个视图包括至少一种以上关系边。
49.通过上述的方案，增加异质信息网络中的节点之间的关系可以丰富小微企业的信用数据，且通过异质信息网络，可以清晰的得到银行的每一个对公客户的特征，且这些特征的表示不仅仅由对公客户自身的特征决定，同时受到其邻居的特征影响，从而可以弥补银行的对公客户普遍存在信用数据缺失的问题。
50.可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，获取图神经网络模型一包括：从异质信息网络中获取与对公客户相关联的节点之间的关系；依据与对公客户相关联的节点之间的关系，确定与对公客户相关联的节点在不同场景视图中之间的关系；根据与对公客户相关联的节点在不同场景视图中之间的关系，确定与对公客户相关联的节点的元路径；依据与对公客户相关联的节点的元路径，构建图神经网络模型一。
51.例如，在不同视图下，设计了对应场景的元路径之后，构建一个图神经网络模型之后，再对构建的图神经网络模型进行学习训练，得到目标图神经网络模型。且构建目标图神经网络模型的步骤具体包括如下四个子步骤：(1)符号说明和问题定义。在本实施例中，银行对公客户异质信息属性网络可以表示为其中节点集合表示为关系边集合表示为其中节点类型集合满足节点类型映射函数关系边类型集合满足关系边类型映射函数并且满足此外，节点属性集合表示为关系边属性集合表示为分别由不同类型的节点属性矩阵和不同类型关系边属性矩阵构成，其中和分别表示异质信息属性网络中不同类型的节点数量及不同类型的关系边数量，和分别表示相应节点类型的属性数量和相应关系边类型的属
性数量。
52.另外，给定银行对公客户异质信息属性网络和一个带标签的训练集其中，小微企业客户u∈u表示目标节点子集，标签yu∈{0，1} 表示小微企业客户是否违约，通过训练一个图神经网络模型来预测小微企业客户未来一段时间的违约概率。
53.(2)设计元路径。在本实施例中，将元路径p表示为的路径，其描述了节点类型a1和a
l+1
之间的一种复合关系其中表示关系之间的复合算子。特别地，p的元路径实例p表示满足元路径定义的节点和关系边序列。
54.(3)设计图神经网络。通过步骤(2)，在不同视图下，设计了对应场景的元路径之后，构建一个图神经网络模型。
55.(4)训练图神经网络模型。对步骤(3)中构建的图神经网络模型中的参数进行学习训练，得到目标图神经网络模型。且在本实施例中可采用但不限于带l2正则的交叉熵函数作为损失函数进行训练，具体形式如下：
[0056][0057]
其中，yu表示节点标签，表示模型输出的违约概率，θ表示模型的所有参数集合，λ是l2正则化系数。此外，模型的优化算法采用但不限于adam优化算子。
[0058]
并且，在本实施例中，通过训练好的图神经网络模型输出预测结果具体包括：对于目标小微企业客户u，从银行对公客户异质信息属性网络上抽取目标节点u及其元路径的子图，然后输入到模型中，模型输出预测结果作为目标小微企业客户的违约概率。
[0059]
综上所述，采用元路径挖掘异质信息网络上丰富的结构和语义信息，并把这些信息作为目标小微企业客户的特征表示，从而可以提高构建的目标图神经网络模型的性能。
[0060]
可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，与对公客户相关联的节点的元路径的类型至少包括：与对公客户相关联的节点之间的资金关系的元路径、与对公客户相关联的节点之间的行业关系的元路径、与对公客户相关联的节点之间的股权关系的元路径。
[0061]
图3是本技术实施例中的银行对公客户在不同场景视图下的关系的示意图，如图 3所示，在本实施例中，可设定三个视图，包括资金关系、产业关系、股权关系。另外，下面通过表1、表2和表3分别示意了说明了银行对公客户在不同视图下定义对应场景的元路径：
[0062]
表1银行对公客户在资金关系视图下定义对应场景的元路径
[0063]
[0064]
表2银行对公客户在产业关系视图下定义对应场景的元路径
[0065][0066][0067]
表3银行对公客户在股权关系视图下定义对应场景的元路径
[0068][0069]
综上所述，在异质信息网络中采用元路径来关联不同的节点，能够体现其中包含的丰富语义信息，且有助于挖掘异质网络。
[0070]
可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，图神经网络模型一或者目标图神经网络模型中至少包括：神经网络中的特征映射层、神经网络中的第一隐藏层、神经网络中的第二隐藏层和神经网络中的输出层。
[0071]
在本实施例中，图神经网络模型可由特征映射层、两层隐藏层和输出层构成。其中，特征映射层可将异质信息网络上信息映射到统一的隐层特征中间；隐藏层可采用注意力机制进行学习训练，且注意力机制可包括节点注意力算子和元路径注意力算子；输出层采用一个多层感知机，输出违约概率。
[0072]
综上所述，通过图神经网络模型中的特征映射层、两层隐藏层和输出层，可以快速准确的输出待进行违约预测的小微企业的违约概率，从而可以根据违约概率对小微企业进行违约预测。
[0073]
可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，依据与对公客户相关联的节点的元路径，构建图神经网络模型一包括：通过特征映射层将异质信息网络中的与对公客户相关联的节点的属性信息和异质信息网络中的与对公客户相关联的节点之间的关系的属性信息映射到目标隐层特征空间中，其中，异质信息网络中的与对公客户相关联的节点的属性信息和异质信息网络中的与对公客户相关联的节点之间的关系的属性信息的维度相同；通过特征映射层将异质信息网络中的与对公客户
相关联的节点的属性信息和异质信息网络中的与对公客户相关联的节点之间的关系的属性信息映射到目标隐层特征空间中之后，在第一隐藏层中，采用节点注意力算子学习与对公客户相关联的节点的目标元路径的子图中的与目标小微企业相关的目标元路径实例的注意力权重，并通过聚合计算得到用于表示与对公客户相关联的节点的基于目标元路径的目标向量一；结合多个目标元路径得到的目标向量一，在第二隐藏层中，采用元路径注意力算子学习与对公客户相关联的节点的每个目标元路径的重要程度，并计算得到用于表示与对公客户相关联的节点的目标向量二；将目标向量二输入到输出层的多层感知机中，构建图神经网络模型一。
[0074]
图4是本技术实施例中的图神经网络模型的示意图，如图4所示，图神经网络模型主要由特征映射层、两层隐藏层、输出层组成。具体描述如下：
[0075]
(1)特征映射层：通过特征映射层将图上信息映射到相同维度的隐层特征空间，主要目的是消除特征异质性，便于后续特征聚合操作。在本实施例中，可采用一种基于节点类型/边类型的线性变换，将图上的节点信息和关系边信息分别映射到相同维度 d的隐层特征空间。并给定银行对公客户异质信息属性网络且对于节点类型其节点的隐层表示为：
[0076]hv
＝wa•
xv[0077]
其中，xv∈xa表示节点v的原始特征向量，表示相关联节点类型 a的参数矩阵。对于关系边类型其关系边e∈εr的隐层表示为：
[0078]
he＝wr•
xe[0079]
其中，xe∈xr表示关系边e的原始特征向量，表示相关联节点类型r的参数矩阵。
[0080]
(2)隐藏层：在本实施例中，可采用两层隐藏层，具体说明如下：
[0081]
第一层主要采用一种节点层次注意力来学习不同元路径实例的权重，并聚合得到其基于不同元路径的节点表示，具体如下：
[0082]
本实施例中，给定元路径p，节点注意力层学习得到该元路径上所有节点和关系边的语义和结构信息。对于目标节点u，以及其基于元路径p的节点邻居构成了一条元路径实例p
u，v
。假设这条从u到v的元路径实例上所有中间节点和关系边的集合m＝{m
pu，v
}，并且|m|＝l。首先，通过一个元路径实例编码函数将元路径p上的中间信息压缩为：
[0083][0084]
这里我们采用直接的向量拼接，并将作为元路径邻居之间的一条虚拟边信息。然后，采用图注意力机制学习得到不同邻居的重要性，具体计算方法为：
[0085]
[0086][0087][0088]
其中，a
p
∈r
(l+2)d
表示元路径p的注意力参数向量，σ(
•
)表示激活函数，注意力权重值表示基于元路径p的不同元路径实例对于目标节点u的重要性，它是由元路径实例中的拼接特征向量经过一个打分函数并通过softmax 归一化后得到的，然后将其作为加权求和的权重并且通过一个与hu的残差连接计算得到节点表示其中w
φ
∈r
(l+1)d
×d表示参数矩阵。最后通过l2标准化得到目标节点u关于元路径p最终的节点表示
[0089]
第二层主要采用一种元路径层次的注意力来学习不同元路径之间的重要性，从而得到每个节点的特征表示。具体如下：
[0090]
本实施例中，给定目标节点u，其所在元路径集合通过简单线性注意力机制聚合不同元路径的节点表示，计算最终的特征表示，具体计算方式如下：
[0091][0092][0093]
其中，aa∈rd表示注意力参数向量，σ(
·
)表示激活函数，β
p
表示不同元路径的注意力权重，qu是模型最终计算得到的节点向量表示。
[0094]
(3)输出层
[0095]
在本实施例中，可采用一个多层感知机，将隐藏层计算得到的节点表示向量qu输入到一个mlp分类器，最后得到每个节点的违约概率：
[0096][0097]
其中w1和b1分别表示第一层的权重矩阵和偏置向量，w2和b2分别表示第二层的权重向量和偏置项。
[0098]
通过上述的方案，根据异质信息网络和元路径，并采用特征映射层、两层隐藏层和输出层，可以快速准确的构建图神经网络模型。
[0099]
可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，与对公客户相关联的节点的属性信息至少包括：与对公客户相关联的企业的基本信息、与对公客户相关联的企业在目标银行的账户信息、与对公客户相关联的企业在除目标银行之外的银行的账户信息、与对公客户相关联的企业的信用状况信息、与对公客户相关联的企业的履约能力信息、与对公客户相关联的企业的经营信息、与对公客户相关联的企业的账户行为信息、与对公客户相关联的企业的景气度信息、与对公客户相关联的个人的基本信息、与对公客户相关联的个人在目标银行的账户信息、与对公客户相关联的个人的信用状况信息、与对公客户相关联的行业的宏观影响信息、与对公客户相关联的行业的
垄断程度信息、与对公客户相关联的行业的发展潜力信息、与对公客户相关联的行业的关联指标信息。
[0100]
例如，对于节点的属性信息的类型，可以在公司节点上，增加风险相关属性，具体包括：
[0101]
(1)客户基础信息：客户的基本信息、本行账户信息、它行账户信息等。
[0102]
(2)客户信用状况：历史结清债项、存续债项、人行征信信息、黑名单、审批过程、押品估值、风险特征等。
[0103]
(3)客户履约能力：本行金融资产、账户履约能力、担保行为等。
[0104]
(4)客户经营信息：财务指标、关联信息、风险传导、代发工资、社保缴纳、公积金缴纳、专利信息、海关进出口、企业舆情、企业用电等。
[0105]
(5)客户账户行为：结算行为、资金流水、资金波动、特例行为等。
[0106]
(6)客户景气度：行业景气度、区域景气度等。
[0107]
在个人节点上，包括客户基础信息、客户信用评分等属性。
[0108]
而且，在行业节点上，具体包括：
[0109]
(1)行业宏观影响：经济影响、金融渗透率、市场变化，等。
[0110]
(2)行业特征：垄断程度、发展潜力，等。
[0111]
(3)行业关联：关联指标，等。
[0112]
通过上述的方案，增加异质信息网络中的节点的属性信息的类型可以丰富小微企业的信用数据，从而可以提升对小微企业违约预测的准确性。
[0113]
可选地，在本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方法中，与对公客户相关联的节点之间的关系的属性信息至少包括：与对公客户相关联的节点之间的资金关系的属性信息、与对公客户相关联的节点之间的行业关系的属性信息、与对公客户相关联的节点之间的股权关系的属性信息，其中，与对公客户相关联的节点之间的资金关系的属性信息至少包括：与对公客户相关联的节点之间的交易金额和交易笔数，与对公客户相关联的节点之间的行业关系的属性信息至少包括：与对公客户相关联的节点之间的净流入金额、净流出金额和交易频率，与对公客户相关联的节点之间的股权关系的属性信息至少包括：与对公客户相关联的节点之间的股权关系类型、出资金额和控股比例。
[0114]
例如，在关系边上，可以增加关系边属性，具体分别是：
[0115]
(1)资金关系边：在公司与公司之间的资金(转账)关系边上添加交易统计类特征，包括近一年交易金额、近一年交易笔数、近半年交易金额、近半年交易笔数、近一月交易金额、近一月交易笔数，等；
[0116]
(2)产业关系边：在行业与行业的上下游关系边上添加行业关联特征，包括近一年资金净流入金额、近一年资金净流出金额、近一年资金交易频率，等；
[0117]
(3)股权关系边：在公司与公司之间的关系边和公司与个人之间的关系边上添加股权相关特征，包括股权关系类型、出资金额、控股比例，等。
[0118]
通过上述的方案，增加异质信息网络中的节点之间的关系的属性信息可以丰富小微企业的信用数据，从而可以提升对小微企业违约预测的准确性。
[0119]
综上，本技术实施例提供的基于异质图神经网络的银行小微企业的违约预测方
法，通过获取目标银行的对公客户的异质信息网络，其中，异质信息网络中至少包括：至少一个与对公客户相关联的节点、至少一个与对公客户相关联的节点的属性信息、至少一个与对公客户相关联的节点之间的关系和至少一个与对公客户相关联的节点之间的关系的属性信息；获取图神经网络模型一，其中，图神经网络模型一用于输出目标小微企业的违约概率，其中，目标小微企业为目标银行的对公客户中的企业；在异质信息网络中获取与目标小微企业相关联的目标节点，并获取目标节点的至少一个元路径的子图，其中，目标节点的至少一个元路径的子图用于表示目标小微企业与目标小微企业相关的目标对象之间的关系；将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，其中，目标图神经网络模型为对图神经网络模型一进行学习训练得到的模型，解决了相关技术中对小微企业违约预测不准确的问题。通过在获取到的异质信息网络中获取与目标小微企业相关联的目标节点和获取目标节点的至少一个元路径的子图，并将与目标小微企业相关联的目标节点和目标节点的至少一个元路径的子图输入到目标图神经网络模型中，得到目标小微企业的违约概率，并依据违约概率对目标小微企业进行违约预测，从而提升了对小微企业违约预测的准确性。
[0120]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0121]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。