图模型训练方法和装置与流程

本说明书一个或多个实施例涉及人工智能技术，尤其涉及图模型训练方法和装置。

背景技术：

1、图(graph)是用于表示对象之间关联关系的一种抽象数据结构，使用节点(vertex)和边(edge)进行描述，其中，节点表示对象，边表示对象之间的关系。图中的每一个节点都具有自己的各种特征，每一个边也具有自己的各种特征。例如，参见图1所示，图中的节点可以为用户的账户信息，边可以为各个用户之间的交易行为，那么，每一个节点包括的特征可以为涉及到账户的所有特征，比如账户id、人群、相关用户的性别、年龄、学历、账户信息、资产信息、历史交易习惯等各种信息，而每一个边包括的特征可以为涉及到一个交易的所有特征，比如交易id、交易发生的时间、交易发生的地点、金额、支付渠道、交易的性质比如是否属于违规交易等。

2、目前，在很多业务场景下，例如资金交易风控系统，商品推荐系统，都需要基于对象之间的关系来进行分析与处理，而利用神经网络的图模型作为专门针对这类非结构化数据的处理方法，在近些年来也是被广泛使用。然而作为机器模型，图模型在训练阶段，需要依赖数量巨大的样本，通过海量的样本才能训练出性能良好的图模型。

3、然而在很多业务场景中，比如新兴领域，样本的数量是有限的，无法得到满足训练要求的数量的样本。进一步地，如果采用海量训练样本，那么在构图关联和特征清洗中，往往占据了整个图模型上线流程中的大部分时间，消耗了工程技术人员的绝大部分精力。

4、因此，需要一种新的图模型训练方法，从而不再依赖海量的训练样本。

技术实现思路

1、本说明书一个或多个实施例描述了图模型的训练方法和装置，能够减少对训练样本的数量的要求。

2、根据第一方面，提供了一种图模型训练方法，其中，该待训练的图模型适用于第一业务场景中；该方法包括：

3、得到教师网络图模型；其中，所述教师网络图模型适用于第二业务场景中且为训练完毕的图模型；

4、从第一业务场景中得到训练样本；

5、利用教师网络图模型与待训练的图模型分别学习训练样本；

6、针对教师网络图模型对训练样本的学习结果与待训练的图模型对训练样本的学习结果进行相似性约束，以得到差异损失；

7、利用待训练的图模型对训练样本的学习结果，以得到业务损失；

8、根据所述差异损失以及所述业务损失，调整所述待训练的图模型的模型参数。

9、其中，所述利用教师网络图模型与待训练的图模型分别学习训练样本，包括：

10、利用教师网络图模型从训练样本中提取图结构，以得到第一图结构表征；

11、利用待训练的图模型从训练样本中提取图结构，以得到第二图结构表征；

12、利用教师网络图模型从训练样本中提取图特征，以得到第一图特征表征；

13、利用待训练的图模型从训练样本中提取图特征，以得到第二图特征表征；

14、对应地，所述针对根据教师网络图模型对训练样本的学习结果与待训练的图模型对训练样本的学习结果进行相似性约束得到差异损失，包括：

15、对第一图结构表征与第二图结构表征进行相似性约束，以得到第一差异损失；

16、对第一图特征表征与第二图特征表征进行相似性约束，以得到第二差异损失。

17、其中，该方法进一步包括：

18、根据所述训练样本得到邻居关系矩阵；其中，所述邻居关系矩阵为n*n的矩阵，n为根据训练样本得到的节点的数量；对于任意两个节点，如果该两个节点直连，形成一阶邻居关系，则在所述邻居关系矩阵中对应于该两个节点的矩阵元素的值为1，否则为0；

19、根据所述训练样本得到特征矩阵；其中，所述特征矩阵为n*m的矩阵，m为根据训练样本得到的每一个节点包括的特征的数量；所述特征矩阵中的每一行对应一个节点，该行中不同的矩阵元素表示该节点的不同的特征。

20、其中，该方法进一步包括：

21、将所述特征矩阵中的所有矩阵元素的值均设置为0，以得到第一特征矩阵；

22、所述利用教师网络图模型从训练样本中提取图结构，包括：

23、将所述邻居关系矩阵、所述第一特征矩阵输入所述教师网络图模型，以得到该教师网络图模型输出的第一图结构表征；

24、所述利用待训练的图模型从训练样本中提取图结构，包括：

25、将所述邻居关系矩阵、所述第一特征矩阵输入所述待训练的图模型，以得到该待训练的图模型输出的第二图结构表征。

26、其中，该方法进一步包括：

27、针对所述特征矩阵中的每一个矩阵元素，将该矩阵元素的值设置为该矩阵元素所对应节点的对应特征的值，以得到第二特征矩阵；

28、所述利用教师网络图模型从训练样本中提取图特征，包括：

29、将所述邻居关系矩阵、所述第二特征矩阵输入所述教师网络图模型，以得到该教师网络图模型输出的第一图特征表征；

30、所述利用待训练的图模型从训练样本中提取图特征，包括：

31、将所述邻居关系矩阵、所述第二特征矩阵输入所述待训练的图模型，以得到该待训练的图模型输出的第二图特征表征。

32、其中，所述对第一图结构表征与第二图结构表征进行相似性约束得到第一差异损失，包括：

33、利用计算均方误差的方法对第一图结构表征与第二图结构表征求相似，以得到所述第一差异损失；

34、所述对第一图特征表征与第二图特征表征进行相似性约束得到第二差异损失，包括：

35、利用计算均方误差的方法对第一图特征表征与第二图特征表征求相似，以得到所述第二差异损失。

36、其中，所述利用待训练的图模型对训练样本的学习结果得到业务损失，包括：

37、使用多层感知机对所述第二图特征表征进行推理，从而将所述第二图特征表征转换为0至1之间的预测数值；

38、利用所述预测数值与训练样本包括的标签信息计算二分类损失，从而得到所述业务损失。

39、其中，所述根据所述差异损失以及所述业务损失调整所述待训练的图模型的参数，包括：

40、设置所述待训练的图模型的约束函数为：l＝loss0+α·loss1+β·loss2；

41、其中，l表示约束函数；loss0表示所述业务损失；loss1表示所述第一差异损失；loss2表示所述第二差异损失；α、β均为预先设置的超参约束，α、β的值越大，则借鉴教师网络图模型的知识的权重比例越大。

42、根据第二方面，提供了一种图模型训练装置，其中，该待训练的图模型适用于第一业务场景中；该装置包括：

43、教师网络获取模块，配置为得到教师网络图模型；其中，所述教师网络图模型适用于第二业务场景中且为训练完毕的图模型；

44、训练样本得到模块，配置为从第一业务场景中得到训练样本；

45、学习模块，配置为利用教师网络图模型与待训练的图模型分别学习训练样本；

46、差异损失得到模块，配置为对根据教师网络图模型对训练样本的学习结果与待训练的图模型对训练样本的学习结果进行相似性约束，以得到差异损失；

47、业务损失得到模块，配置为利用待训练的图模型对训练样本的学习结果，得到业务损失；

48、模型参数调整模块，配置为根据所述差异损失以及所述业务损失，调整所述待训练的图模型的模型参数。

49、根据第三方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书任一实施例所述的方法。

50、本说明书实施例提供的图模型的训练方法及装置，当需要训练适用于第一业务场景中的图模型时，会使用在其他业务场景中已经训练出的图模型(称为教师网络图模型)来对第一业务场景中的训练样本进行学习，因为对教师网络图模型对训练样本的学习结果与待训练的图模型对训练样本的学习结果进行相似性约束，从而得到差异损失，因此，可以实现将教师网络图模型根据训练样本学习到的知识蒸馏到适用于第一业务场景的待训练的图模型中。即，对新场景的图模型进行一定的知识蒸馏，这样不仅可以降低对第一业务场景中训练样本的数量要求，即降低所需要准备的图数据的训练样本的量级，而且可以使用到相关联的知识，提升待训练的图模型的性能。因此，本说明书实施例实际上提出了一种针对图模型的知识蒸馏方案，利用已有的历史图模型，降低训练样本的量级，提升待训练的图模型的性能。