一种风控模型的训练、风险的预测方法及相关装置与流程

本发明涉及人工智能，特别涉及一种风控模型的训练方法、风险的预测方法及相关装置。

背景技术：

1、在金融领域，对使用金融业务的用户的风险进行预测、管理和控制十分重要，需要充分了解金融用户的行为特征，预测其金融交易的风险程度，以降低风险。

2、在风险控制领域(以下简称风控领域)，使用深度学习建模提升风控模型的效率和鲁棒性已是一大趋势。

3、但由于风控领域的样本数据量相对较少，例如真实发生贷款的人数可能只占人群总数的一小部分；如果直接应用深度学习模型，如基于卷积神经网络(convolutionalneural network，cnn)、长短期记忆人工神经网络(long short-term memory lstm)、注意力(attention)等结构，构建风险模型，模型较为复杂的情况下，由于样本数量和模型参数量不匹配，往往伴随着严重的过拟合，且不容易通过技术手段消除，因此模型在投产后容易出现效果显著下降甚至失效。当模型结构简化后，有效性又会降低。

4、目前也有联合模型，例如构建风险和客户价值两任务的联合模型，通常没有办法相互提升效果，反而会出现翘翘板效应，即一个任务提升同时另一个任务下降，甚至出现两个任务效果同时下降的可能。最主要原因是这两个任务背后可能存在负相关。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种风控模型的训练方法、风险的预测方法及相关装置。

2、第一方面，本发明实施例提供一种风控模型的训练方法，包括：

3、获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本；

4、构建包含有监督学习模型和自监督学习模型的多任务学习模型；所述有监督学习模型和自监督学习模型使用同一训练样本且具有共享的模型参数；

5、将所述训练样本输入至所述多任务学习模型中的有监督学习模型和自监督学习模型，对所述有监督学习模型和所述自监督学习模型进行同步训练；

6、将训练完成的有监督学习模型作为所述风控模型。

7、在一个实施例中，构建包含有监督学习模型和自监督学习模型的多任务学习模型，包括：

8、构建以风险控制为主任务、自监督为辅助任务的多任务学习模型；所述多任务学习模型中包含负责所述主任务的有监督学习模型，以及负责所述辅助任务的自监督学习模型；

9、所述有监督学习模型中包含门控网络、独享专家层和共享专家层；所述门控网络分别连接独享专家层和共享专家层并通过控制开度控制独享专家层和共享专家层的输出；所述共享专家层为所述有监督学习模型和所述自监督学习模型共享使用。

10、在一个实施例中，获取与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，作为训练样本，包括：

11、获取已发生与所述风险控制相关的第一行为的用户的属性信息和/或用户历史行为序列信息的数据，以及对应的二分类风险标签；

12、从未发生所述第一行为但已曝光的用户群体中，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，并确定对应的二分类风险标签；

13、将已发生第一行为的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，以及通过抽样方式获取的用户属性信息和/或用户行为序列信息的数据及对应的风险二分类标签，作为所述训练样本；

14、所述用户行为序列信息是与用户发生第二行为相关的时间序列信息；

15、所述二分类风险标签为表征有风险的标签或者表征无风险的标签。

16、在一个实施例中，所述已发生第一行为的用户属性信息和/或用户行为序列信息的数据对应的二分类标签，是根据所述第一行为的风险预先确定的；

17、确定通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，包括：

18、使用默认的表征无风险的二分类风险标签作为所述通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据对应的二分类风险标签，或者将获取到的用户的属性信息和/或用户行为序列信息的数据输入至预先训练得到的分类模型中，获得所述分类模型获得对应的二分类风险标签。

19、在一个实施例中，通过抽样的方式获取用户的属性信息和/或用户行为序列信息的数据，包括：

20、通过随机抽样的方式或者根据用户活跃度分层抽样的方式，从未发生所述第一行为但已曝光的用户群体抽取用户，获取抽样的用户的属性信息和/或用户行为序列信息的数据。

21、在一个实施例中，所述自监督学习模型通过正例样本和负例样本在特征空间进行对比学习，学习样本的特征表示；

22、所述训练样本包含用户历史行为序列信息的情形下，所述正例样本是同一用户在相同时间戳下的用户历史行为序列信息；

23、所述负例样本为属于不同用户的用户历史行为信息；或者属于同一用户不同时间戳下的用户历史行为序列信息。

24、在一个实施例中，所述训练样本包含用户历史行为序列信息，将所述训练样本输入至自监督学习模型中的步骤之前，所述方法还包括：

25、对所述训练样本中用户历史行为序列信息的数据进行数据增强；

26、将数据增强后的用户历史行为序列信息作为训练样本，输入至所述自监督学习模型中。

27、在一个实施例中，对所述训练样本中用户历史行为序列信息的数据进行数据增强，包括：

28、对所述训练样本中用户历史行为序列信息的数据执行随机剪裁的操作，得到第一子序列和第二子序列；所述第一子序列和第二子序列在时间戳上有部分重叠，剩余部分则不重叠；

29、对属于同一用户的第一子序列和第二子序列，分别进行时间戳掩码的操作，得到增强后的第一子序列和第二子序列；

30、所述属于同一用户的增强后第一子序列和第二子序列中相同时间戳的用户行为序列信息互为正例样本；

31、所述属于不同用户的增强后的第一子序列和第二子序列的用户行为序列信息互为负例样本，或者属于同一用户的增强后的第一子序列和第二子序列中属于不同时间戳的用户行为序列信息互为负例样本。

32、在一个实施例中，风控模型的训练方法，包括：所述对所述有监督学习模型和所述自监督学习模型进行同步训练，包括：

33、通过预设的总损失函数，对有监督学习模型和所述自监督学习模型采用梯度下降反向传播的训练方式，调整所述有监督学习模型和所述自监督学习模型的参数；所述预设的总损失函数，为有监督学习模型的风险二分类损失和所述自监督学习模型的对比损失的加权和。

34、在一个实施例中，所述对所述有监督学习模型和所述自监督学习模型进行同步训练，还包括：

35、若判断所述有监督学习模型和所述自监督学习模型的收敛速度不一致，则通过调整所述损失函数在有监督学习模型和/或所述自监督学习模型中的下降速度，以使得所述有监督学习模型和所述自监督学习模型的收敛速度趋于一致；

36、若判断所述有监督学习模型和所述自监督学习模型的梯度方向不一致，则通过对所述有监督学习模型和/或所述自监督学习模型进行梯度矫正的方式，调整所述有监督学习模型和所述自监督学习模型的梯度方向，以使得两者趋于一致。

37、第二方面，本发明实施例提供一种风险的预测方法，包括：

38、获取待预测用户与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据；

39、将获取到的所述待预测用户的与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，输入至预先训练完成的风控模型中，获取所述风控模型输出的风险概率；

40、将所述风险概率与预设的阈值相比较，确定所述用户为有风险的用户或者无风险的用户；

41、所述风控模型是通过如前述的风控模型的训练方法得到的。

42、第三方面，本发明实施例提供一种金融服务风险的预测方法，包括：

43、获取待预测用户发生的历史订单金额序列信息的数据；

44、将获取到的待预测用户发生历史订单金额序列信息的数据，输入至预先训练完成的风控模型中，获取所述风控模型输出的金融服务的风险概率；

45、将获取的金融服务的风险概率与预设的概率阈值进行比较，确定所述用户为所述金融服务有风险的用户或者无风险的用户；

46、所述风控模型是通过如前述的所述风控模型的训练方法得到的，且所述风控模型的训练样本为包含用户历史订单金额序列信息的数据。

47、第四方面，本发明实施例提供一种风险的预测装置，包括：

48、第一获取模块，用于获取待预测用户与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据；

49、第一预测模块，用于将获取到的所述待预测用户的与风险控制相关的用户属性信息和/或用户历史行为序列信息的数据，输入至预先训练完成的风控模型中，获取所述风控模型输出的风险二分类标签；

50、第一确定模块，用于根据所述风险二分类标签，确定所述用户为有风险的用户或者无风险的用户；

51、所述风控模型是通过如前述的所述风控模型的训练方法得到的。

52、第五方面，本发明实施例提供一种金融风险的预测装置，包括：

53、第二获取模块，用于获取待预测用户发生的历史订单金额序列信息的数据；

54、第二预测模块，用于将获取到的待预测用户发生历史订单金额序列信息的数据，输入至预先训练完成的风控模型中，获取所述风控模型输出的金融服务的风险概率值；

55、第二确定模块，用于将获取的金融服务的风险概率与预设的概率阈值进行比较，确定所述用户为所述金融服务有风险的用户或者无风险的用户；

56、所述风控模型是通过如前述的所述风控模型的训练方法得到的，且所述风控模型的训练样本为包含用户历史订单金额序列信息的数据。

57、第六方面，本发明实施例提供的计算设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的所述风控模型的训练方法，或者实现如前述的风险的预测方法，或者实现如前述的金融服务风险的预测方法。

58、第七方面，本发明实施例提供的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述处理器执行所述程序时实现前述的所述风控模型的训练方法，或者实现如前述的风险的预测方法，或者实现如前述的金融服务风险的预测方法。

59、本发明实施例提供的上述技术方案的有益效果至少包括：

60、本发明实施例通过自监督的模型辅助有监督模型的训练，通过与自监督模型的共享参数学习到一般化的，更泛化的表征，避免有监督模型过拟合的问题。并且，自监督学习模型不需要准确的人工标签即可完成训练，从另一角度弥补了风控领域有监督学习模型样本较少的问题，与单一有监督学习模型相比，可大大提升模型的效果和鲁棒性。

61、另外，上述训练架构非对称门控网络的架构，可以显式分离共享和独享的专家层，来避免有害参数对于主任务(即风控任务)的干扰；另外，由于门控网络本身也会在训练过程不断调整，其开度也会不断优化，通过门控网络实现对共享专家层中的参数的选择性利用，以使得共享专家层更好地辅助有监督模型的训练。

62、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

63、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。