数据处理模型训练方法、数据处理方法、装置、电子设备与流程

文档序号:21440916发布日期:2020-07-10 17:20阅读:342来源:国知局
数据处理模型训练方法、数据处理方法、装置、电子设备与流程

本发明涉及神经网络模型中的数据处理技术,尤其涉及一种数据处理模型训练方法、数据处理方法、装置、电子设备及存储介质。



背景技术:

基于机器学习的神经网络模型可以进行各类别识别,实现对不同应用场景下的数据处理。例如,在图像、自然语言处理、风险预警等应用场景中,对大量数据所实现的大规模分类和识别,以此来快速准确的获得相关的分类预测结果,加速所在应用场景的功能实现。例如在支付、借贷、理财等金融业务环节中的风险控制中,不同客户群体的数据分布差异大,并且存在众多具有小样本特性的客户群体。因此,往往难以收集足够的标记样本以供传统机器学习从数据中提取风控相关的模式特征,从而容易出现模型过拟合现象,还容易引入新的噪声,影响模型的数据处理效果。



技术实现要素:

有鉴于此,本发明实施例提供一种数据处理模型训练方法、数据处理方法、装置、电子设备及存储介质,能够实现通过数据处理模型中的指导网络训练参数生成网络,使得经过训练的数据处理模型能够处理小样本数据,兼顾了训练精确性的同时,使得数据处理模型的泛化能力以及数据处理能力更强,适应不同的数据处理环境。

本发明实施例的技术方案是这样实现的:

本发明实施例提供了一种数据处理模型训练方法,所述方法包括:

获取基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取,其中,所述基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签;

通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;

通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;

通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果。

本发明实施例还提供了一种数据处理方法,所述方法包括:

获取目标数据样本集合,并通过数据处理模型中的特征提取网络对所述目标数据样本集合的特征进行提取;

通过所述数据处理模型对所提取的所述目标数据样本集合的特征进行处理,形成预测结果;

输出所述预测结果。

本发明实施例还提供了一种数据处理模型训练装置,所述装置包括:

除噪模块,用于确定与数据处理模型的使用环境相匹配的动态噪声阈值;

所述除噪模块,用于根据所述动态噪声阈值对基类数据样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的基类数据样本集合;

数据传输模块,用于获取与所述动态噪声阈值相匹配的基类数据样本集合,其中,所述基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签;

训练模块,用于通过特征提取网络对所述基类数据样本集合的特征进行提取;

所述训练模块,用于通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;

所述训练模块,用于通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;

所述训练模块,用于通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果。

上述方案中,所述除噪模块,用于确定与数据处理模型相对应的固定噪声阈值,并根据所述固定噪声阈值对所述基类数据样本集合进行去噪处理,以形成与所述固定噪声阈值相匹配的基类数据样本集合。

上述方案中,

所述训练模块,用于将所述基类数据样本集合中的中不同训练样本,代入由所述指导网络的自编码子网络对应的损失函数;

所述训练模块,用于对所述指导网络的分类层参数进行迭代更新,直至所述指导网络的自编码子网络对应的损失函数满足对应的收敛条件时,确定所述指导网络的参数。

上述方案中,

所述训练模块,用于通过所述特征提取网络对所提取的所述基类数据样本集合的样本进行空间特征变换,确定第一特征向量;

所述训练模块,用于通过所述参数生成网络中的任务表示编码器子网络,对所述第一特征向量进行处理,形成相对应的第二特征向量;

所述训练模块,用于通过参数生成子网络基于所述第二特征向量,确定所述参数生成网络的分类层参数;

所述训练模块,用于对所述参数生成网络的分类层参数进行迭代处理,确定所述参数生成网络的初始参数。

上述方案中,

所述训练模块,用于基于所述指导网络的分类器对应的分类层网络参数确定每一个任务类别所分别对相应的参数向量;

所述训练模块,用于通过所述特征提取网络对所述每一个任务类别所分别对相应的参数向量进行处理,形成第三特征向量;

所述训练模块,用于通过所述指导网络对所述第三特征向量进行处理,得到第一预测结果;

所述训练模块,用于通过所述参数生成网络对所述第三特征向量进行处理,得到第二预测结果;

所述训练模块,用于将所述第一预测结果和所述第二预测结果代入与所述参数生成网络对应的元损失函数,

对所述参数生成网络对应的元损失函数进行迭代更新,直至所述参数生成网络对应的元损失函数满足对应的收敛条件时,确定所述参数生成网络的参数。

上述方案中,

所述训练模块,用于确定所述第三特征向量在所述参数生成网络中的预测值与对应的多分类标签的交叉熵损失;

所述训练模块,用于确定第三特征向量在所述参数生成网络中的预测值与所述指导网络的预测值作为软标签的交叉损失;

所述训练模块,用于确定所述第三特征向量的正态分布特征以及参数的正则化约束;

所述训练模块,用于基于所述交叉熵损失、交叉损失所述第三特征向量的正态分布特征以及参数的正则化约束,确定所述参数生成网络对应的元损失函数。

本发明实施例还提供了一种数据处理装置,所述装置包括:

数据获取模块,用于获取目标数据样本集合;

数据处理模块,用于通过所述特征提取网络对所述目标数据样本集合的特征进行提取;

所述数据处理模块,用于通过所述数据处理模型中的对所提取的所述目标数据样本集合的特征进行处理,形成预测结果;

所述数据处理模块,用于输出所述预测结果;

其中,所述数据处理模型基于前述数据处理模型训练方法训练得到。

上述方案中,

所述数据处理模块,用于确定所述目标数据样本集合中的不同数据样本所分别对应的不同金融业务场景;

所述数据处理模块,用于基于所述不同数据样本所分别对应的不同金融业务场景,对所述目标数据样本进行去噪处理,以形成与对应的金融业务场景相匹配的数据样本集合,其中,所述每一个目标数据样本包括相应目标用户的个人信息特征、风控模式特征、所述目标用户的信用风险类别特征、以及指示该所述目标数据样本所属的训练任务的任务标签。

本发明实施例还提供了一种数据处理模型训练装置,所述训练装置包括:

存储器,用于存储可执行指令;

处理器,用于运行所述存储器存储的可执行指令时,实现前序的数据处理模型的训练方法。

本发明实施例还提供了一种电子设备,所述电子设备包括:

存储器,用于存储可执行指令;

处理器,用于运行所述存储器存储的可执行指令时,实现前序的数据处理方法。

本发明实施例还提供了一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现前序的数据处理模型的训练方法,或者实现前序的数据处理方法。

本发明实施例具有以下有益效果:

本发明实施例通过确定与数据处理模型的使用环境相匹配的动态噪声阈值;根据所述动态噪声阈值对基类数据样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的基类数据样本集合;获取与所述动态噪声阈值相匹配的基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取;通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,由此,不但可以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果,而且能够在不增加训练样本总量和无需二次梯度计算的前提下,稳定提高数据处理模型对小样本数据处理的准确率,同时通过数据处理模型中的指导网络训练参数生成网络,使得经过训练的数据处理模型能够处理小样本数据,兼顾了训练精确性的同时,使得数据处理模型的泛化能力以及数据处理能力更强,适应不同的数据处理环境,也便于将数据处理模型部署于移动终端中,实现数据处理模型的大规模应用。

附图说明

图1是本发明实施例提供的一种数据处理模型训练方法的使用环境示意图;

图2为本发明实施例提供的数据处理模型训练装置的组成结构示意图;

图3为传统方案中生成数据处理结果的过程示意图;

图4为本申请所提供的一种数据处理模型训练方法示意图;

图5为本申请所提供的一种数据处理模型训练方法示意图;

图6为本发明实施例提供的数据处理装置的组成结构示意图;

图7是本发明实施例提供的目标对象确定装置100的架构示意图;

图8是本发明实施例提供的区块链网络2000中区块链的结构示意图;

图9是本发明实施例提供的区块链网络2000的功能架构示意图;

图10为本申请所提供的数据处理方法的前端显示示意图;

图11为本申请所提供的数据处理方法使用过程示意图;

图12为本申请所提供的一种数据处理模型的网络结构示意图;

图13为本发明实施例中数据处理模型的处理效果测试结果示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。

1)bert:全称为bidirectionalencoderrepresentationsfromtransformers,一种利用海量文本的语言模型训练方法。该方法被广泛用于多种自然语言处理任务,如文本分类、文本匹配、机器阅读理解等。

2)人工神经网络:简称神经网络(neuralnetwork,nn),在机器学习和认知科学领域,是一种模仿生物神经网络结构和功能的数学模型或计算模型,用于对函数进行估计或近似。

3)模型参数:是使用通用变量来建立函数和变量之间关系的一个数量。在人工神经网络中,模型参数通常是实数矩阵。

4)知识迁移(knowledgetransfer):在深度神经网络中,知识迁移是指利用训练样本数据在老师数据处理模型的中间网络层或最终网络层的输出数据,辅助训练速度较快但性能较差的学生数据处理模型,从而将性能优良的老师数据处理模型迁移到学生数据处理模型上。

5)下采样处理,对于一个样值序列间隔几个样值取样一次,这样得到新序列就是原序列的下采样,例如:对于一幅图像i尺寸为m*n,对其进行s倍下采样,即得到(m/s)*(n/s)尺寸的得分辨率图像,其中s应该是m和n的公约数。

6)元学习,meta-learning,也称学会学习(learningtolearn),是指学习如何学习的过程。传统的机器学习问题是从头开始学习一个用于预测的数学模型,这与人类学习、积累历史经验(也称为元知识)指导新的学习任务的过程相差甚远。元学习则是学习不同的机器学习任务的学习训练过程,以及学习如何更快更好地训练一个模型。

7)小样本学习,few-shotlearning。主要解决在少量标记样本情况下如何快速高效学习预测模型。few-shotlearning是meta-learning在监督学习领域的应用。

8)n-wayk-shot,小样本学习在分类领域的常用训练设置。在训练阶段,从训练集中抽取n个类别,每个类别k个样本,一共n*k个样本构成一个元任务,作为模型的支撑集(supportset),再从n个类剩余的数据中抽取一批样本作为模型的预测对象(queryset)。这样的任务被称为n-wayk-shot问题。

9)task,元学习的模型训练与测试单元。由支撑集(supportset)和查询集(queryset)组成。举例来说,根据5-way5-shot的实验设定,从数据集中随机选取5个类别,每个类别再随机选取5个样本组成supportset,相同类别再抽取一定样本(例如15个样本)组成queryset,最终组成一个task。

10)参数生成网络,classificationweightsgenerator,指可以直接生成神经网络的参数的生成网络。

11)指导网络,baseclassifier,指导本发明实施例中小样本学习算法训练过程的网络,该网络由更大更多的数据集训练而成。

12)交易(transaction),等同于计算机术语“事务”,交易包括了需要提交到区块链网络执行的操作,并非单指商业语境中的交易,鉴于在区块链技术中约定俗成地使用了“交易”这一术语,本发明实施例遵循了这一习惯。

例如,部署(deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用;调用(invoke)交易用于通过调用智能合约在区块链中追加交易的记录,并对区块链的状态数据库进行操作,包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。

13)区块链(blockchain),是由区块(block)形成的加密的、链式的交易的存储结构。

例如,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,从而基于哈希值实现区块中交易的防篡改和防伪造;新产生的交易被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长。

14)区块链网络(blockchainnetwork),通过共识的方式将新区块纳入区块链的一系列的节点的集合。

15)账本(ledger),是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。

其中,区块链是以文件系统中的文件的形式来记录交易;状态数据库是以不同类型的键(key)值(value)对的形式来记录区块链中的交易,用于支持对区块链中交易的快速查询。

16)智能合约(smartcontracts),也称为链码(chaincode)或应用代码,部署在区块链网络的节点中的程序,节点执行接收的交易中所调用的智能合约,来对账本数据库的键值对数据进行更新或查询的操作。

17)共识(consensus),是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(pow,proofofwork)、权益证明(pos,proofofstake)、股份授权证明(dpos,delegatedproof-of-stake)、消逝时间量证明(poet,proofofelapsedtime)等。

18)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。

19)终端,包括但不限于:普通终端、专用终端,其中所述普通终端与发送通道保持长连接和/或短连接,所述专用终端与所述发送通道保持长连接。

20)客户端,终端中实现特定功能的载体,例如移动客户端(app)是移动终端中特定功能的载体,例如执行支付消费功能或者是购买理财产品的功能。

图1为本发明实施例提供的数据处理模型训练方法的使用场景示意图,参考图1,终端(包括终端10-1和终端10-2)上设置有能够显示相应资源交易数据的软件的客户端,例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源支付的客户端或插件,用户通过相应的客户端可以获得资源交易数据并进行展示,并在虚拟资源变化过程中触发相应的目标对象确定进程(例如微信财付通支付或者微信中的资金购买物品的进程),这一过程中需要通过部署于服务器的数据处理模型对包括目标用户的小样本数据进行处理,以通过相应的预测结果确定目标用户的风险等级;终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。

作为一个示例,服务器200用于布设所述数据处理模型并对所述数据处理模型进行训练,以通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,并通过终端(终端10-1和/或终端10-2)展示数据处理模型所生成的与目标对象的数据样本对应的预测结果。

当然在通过数据处理模型对目标数据样本集合进行处理以生成相应的预测结果之前,还需要对数据处理模型进行训练,具体包括:获取基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取;其中,基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签,通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果。

下面对本发明实施例的数据处理模型训练装置的结构做详细说明,数据处理模型训练装置可以各种形式来实施,如带有数据处理模型训练功能的专用终端,也可以为设置有数据处理模型训练功能的服务器,例如前序图1中的服务器200。图2为本发明实施例提供的数据处理模型训练装置的组成结构示意图,可以理解,图2仅仅示出了数据处理模型训练装置20的示例性结构而非全部结构,根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的数据处理模型训练装置20包括:至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。数据处理模型训练装置20中的各个组件通过总线系统205耦合在一起。可以理解,总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统205。

其中,用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解,存储器202可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中,本发明实施例提供的数据处理模型训练装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的数据处理模型训练装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的数据处理模型训练方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)或其他电子元件。

作为本发明实施例提供的数据处理模型训练装置采用软硬件结合实施的示例,本发明实施例所提供的数据处理模型训练装置可以直接体现为由处理器201执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器202,处理器201读取存储器202中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的数据处理模型训练方法。

作为示例,处理器201可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(dsp,digitalsignalprocessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的数据处理模型训练装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成,例如,被一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)或其他电子元件执行实现本发明实施例提供的数据处理模型训练方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持数据处理模型训练装置20的操作。这些数据的示例包括:用于在数据处理模型训练装置20上操作的任何可执行指令,如可执行指令,实现本发明实施例的从数据处理模型训练方法的程序可以包含在可执行指令中。

在另一些实施例中,本发明实施例提供的数据处理模型训练装置可以采用软件方式实现,图2示出了存储在存储器202中的数据处理模型训练装置,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器202中存储的程序的示例,可以包括数据处理模型训练装置,数据处理模型训练装置中包括以下的软件模块:数据传输模块2081,训练模块2082。当数据处理模型训练装置中的软件模块被处理器201读取到ram中并执行时,将实现本发明实施例提供的数据处理模型训练方法,下面介绍本发明实施例中数据处理模型训练装置中各个软件模块的功能,其中,

数据传输模块2081,用于获取基类数据样本集合,其中,基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签;

训练模块2082,用于通过特征提取网络对所述基类数据样本集合的特征进行提取;

所述训练模块2082,用于通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;

所述训练模块2082,用于通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;

所述训练模块2082,用于通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果。

结合图2示出的数据处理模型训练装置20说明本发明实施例提供的数据处理模型的训练方法,在介绍本发明实施例提供的数据处理模型的训练方法之前,首先介绍本发明中数据处理模型根据小样本数据集合生成相应数据处理结果的过程中,图3为传统方案中生成数据处理结果的过程示意图,具体来说,鉴于在金融风控场景下,不同客户群体的数据分布差异大,且往往难以收集足够的标记数据,因此,其所获取的数据均是小样本数据集合,相关技术方案均不适用于该场景下的预测模型训练,因此,在金融反欺诈场景中往往无法收集足够的标记样本以供深度神经网络从数据中提取风控相关的模式特征,少量样本又会使模型出现严重的过拟合现象。

在介绍本申请所提供的一种数据处理模型训练方法之前,优先对相关技术中的针对小样本数据的处理方法进行简要介绍,参考图3,对小样本的动物图片的识别过程中,可以使用以下方法:

1)基于度量的小样本学习方法,其中,基于度量的小样本学习方法目标是学习一个特征表示空间,在该特征表示空间中来自相同类别的图片具有更近的距离,来自不同类别的图片则距离远。该类方法假设新的分类任务的样本在该特征表示空间上会展示出相似的特性,因此可通过样本在特征表示空间的距离作为测试样本的分类依据,即以距离最近的标记样本的标签作为测试样本的预测标签,又或者利用原型网络(prototypicalnetwork)学习一个度量函数,该函数可以通过少数几个样本找到所属类别在该度量空间上的中心等。其缺点在于因为利用同样的距离度量方式和特征表示空间,所以训练数据和新数据必须尽可能在数据分布上相似,对于分布不相似的新数据,很有可能达不到预期的预测效果。

2)基于元学习的小样本学习方法,其中,基于元学习的小样本学习方法由元学习器(meta-learner)和基学习器(base-learner)组成。元学习器主要通过少量样本学习不同task之间的共性,基学习器主要在元学习器学习到的知识基础上,利用少量某task的样本进行几步梯度迭代之后,生成更适应该task个性的神经网络。比如,maml算法中的元学习器负责寻求基学习器的初始化参数,其训练过程为最小化元学习器在大量目标任务(即基学器)上的元损失。基学习器是目标任务所使用的预测模型,由元学习器赋予其初始化参数再经过少量的梯度迭代进行训练;又比如,leo这种基于元学习的参数生成算法中,元学习器学习生成基学习器分类层的共性网络参数,新task利用少量样本梯度迭代该网络生成该task的基学习器。其缺点在于:训练效率较低。如:maml算法需要求二次梯度,导致这类算法没办法适应大网络,不利于金融数据处理的使用场景,增加了用户的等待时间,影响了用户的使用体验。

3)基于数据增强的小样本学习方法,其中,基于数据增强的小样本学习方法的核心思路是学习一个样本生成网络,该网络可基于目标任务的少量样本生成与之高度相似的假样本,从而通过增大目标任务训练数据集的方式改善小样本所造成的过拟合问题,比如基于对抗生成网络的数据增强模型。其缺点在于,对抗生成的假样本与真实样本之前的区别较大,在带入新的增益的同时也会带来新的噪声,不利于金融数据处理的使用场景。同时,无论采用前序何种小样本数据的处理方式,每个类别在训练过程中都是独立的,没有考虑类与类之间的相似性,如图3中的(a)所示,不同类型的狗会比其他动物类或者其他物品类更相似,类与类之间的内部关系也是元学习应该学习的。同时,这些算法尽量在极小样本条件下做训练和学习,而真实情况的小样本数据不一定只有这么少,所以过度苛求小样本的训练数据量,其实并没有学到小样本真实所包含的知识量。如图3中的(b)所示,假设当颜色为主要影响特征时,如果样本量太少,极有可能将相同颜色的猫和狗判为一类,出现错误的图像分类。

为解决上述缺陷,参考图4,图4为本申请所提供的一种数据处理模型训练方法示意图,可以理解地,图4所示的步骤可以由运行数据处理模型训练装置的各种电子设备执行,例如可以是带有小样本数据处理功能的专用终端、带有数据处理模型训练功能的服务器或者服务器集群。下面针对图4示出的步骤进行说明。

步骤401:数据处理模型训练装置获取基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取。

其中,所述基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签。

在本发明的一些实施例中,获取基类数据样本集合还需要对基类数据样本集合进行除噪处理,具体来说,确定与数据处理模型的使用环境相匹配的动态噪声阈值;根据所述动态噪声阈值对所述基类数据样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的基类数据样本集合。其中,其中由于数据处理模型的使用环境不同,与所述数据处理模型的使用环境相匹配的动态噪声阈值也不相同,例如,通过微信进程进行支付和转账的金融使用环境中,与所述数据处理模型的使用环境相匹配的动态噪声阈值需要小于用户通过微信进程购买理财产品和进行金融借贷的金融使用环境中的动态噪声阈值。

在本发明的一些实施例中,还可以确定与数据处理模型相对应的固定噪声阈值,并根据所述固定噪声阈值对所述基类数据样本集合进行去噪处理,以形成与所述固定噪声阈值相匹配的基类数据样本集合。其中,当数据处理模型固化于相应的硬件机构中,例如金融终端(pos机或柜员机),使用环境为金融借贷使用环境中对目标用户进行预测风险时,由于噪声较为单一,通过固定数据处理模型相对应的固定噪声阈值,能够有效提升数据处理模型的训练速度,减少用户的等待时间。

步骤402:数据处理模型训练装置通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数。

在本发明的一些实施例中,通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数,可以通过以下方式实现:

将所述基类数据样本集合中的中不同训练样本,代入由所述指导网络的自编码子网络对应的损失函数;对所述指导网络的分类层参数进行迭代更新,直至所述指导网络的自编码子网络对应的损失函数满足对应的收敛条件时,确定所述指导网络的参数。

进一步地,数据处理模型中的指导网络可以为训练好的神经网络,并且数据处理模型中的指导网络可以为规模较大的神经网络,例如:数据处理模型中的指导网络的网络参数的数量大于某一数值,但本发明实施例对此不作限定。可选地,数据处理模型中的指导网络可以为卷积神经网络(cnnconvolutionalneuralnetwork)、深度神经网络(dnndeepneuralnetwork)或循环神经网络(rnnrecurrentneuralnetwork)等,本发明实施例对数据处理模型中的指导网络的类型不作限定。数据处理模型中的指导网络可以为适用于不同的目标对象预测任务的神经网络,例如:目标用户风险预判任务、产品风险评估任务、目标用户状态分析任务等。数据处理模型中的指导网络也可以为适用于不同的应用场景的神经网络,例如:金融支付场景、金融产品购买场景、目标用户金融借贷等,本发明实施例对数据处理模型中的指导网络的适用范围不作限定。可选地,数据处理模型中的指导网络的网络结构可以根据计算机视觉任务设计,或者,数据处理模型中的指导网络的网络结构可以采用现有的网络结构的至少一部分,例如:深度残差网络或者,视觉几何组网络(vggnetvisualgeometrygroupnetwork)等,本发明实施例对数据处理模型中的指导网络的网络结构不作限定。

步骤403:数据处理模型训练装置通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数。

在本发明的一些实施例中,通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数,可以通过以下方式实现:

通过所述特征提取网络对所提取的所述基类数据样本集合的样本进行空间特征变换,确定第一特征向量;通过所述参数生成网络中的任务表示编码器子网络,对所述第一特征向量进行处理,形成相对应的第二特征向量;通过参数生成子网络基于所述第二特征向量,确定所述参数生成网络的分类层参数;对所述参数生成网络的分类层参数进行迭代处理,确定所述参数生成网络的初始参数。其中,基类数据样本集合的不同训练样本可以包括多个训练任务ti的训练任务集t,其中多个训练任务ti被提供有各自不同的类别预测器pi,不同的类别预测器pi对应于不同的金融业务场景,每个训练任务ti包括多个数据样本,每个数据样本包括相应用户的个人信息特征、风控模式特征、该相应用户的信用风险类别、以及指示该数据样本所属的训练任务的任务标签。示例性地,用户的个人信息特征、风控模式特征可以包括个人基本信息(诸如用户的性别、年龄、职业、收入、常住地址、纳税信息以及征信信息等)、社交行为信息(诸如微信等社交软件的登录频次、最后登录时间、注册时间、活跃程度等参数)、金融行为信息(诸如消费支付信息、历史借贷信息、征信信息、银行等级信息等)以及所使用设备信息等。用户的信用风险类别可以简单地包括例如高风险用户和中等风险用户和低风险用户,或者以信用分数、信用等级等更详细地表示。任务标签可以是支付(诸如依照支付时间、支付对象类型或支付渠道信息、支付金额等定义任务标签)、借贷(诸如依照借贷类型、借贷金额、还款时限、还款利息等定义任务标签)、理财(诸如依照理财产品类型、资金监管方信息、风险水平信息、资金封闭时限等定义任务标签),使用环境及噪声信息(诸如数据处理模型的部署终端环境,金融业务环境、固定噪声、动态噪声)等不同金融业务场景中的任务标签。

步骤404:数据处理模型训练装置通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新。

由此,可以形成与终端1的使用环境相匹配的数据处理模型1和与终端2的使用环境相匹配的数据处理模型2,其中,所形成的经过训练的数据处理模型1和数据处理模型2可以部署于相应的移动终端(例如终端1或终端2)中,或者,部署于终端对应的服务器中,以实现通过数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果。

参考图5,图5为本申请所提供的一种数据处理模型训练方法,可以理解地,图5所示的步骤可以由运行数据处理模型训练装置的各种电子设备执行,例如可以是如带有小样本数据处理功能的专用终端、带有数据处理模型训练功能的服务器或者服务器集群。其中,所形成的经过训练的数据处理模型1和数据处理模型2可以部署于相应的移动终端(例如终端1或终端2)中,或者,部署于终端对应的服务器中,以实现通过数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果,下面针对图5示出的步骤进行说明。

步骤501:数据处理模型训练装置基于所述指导网络的分类器对应的分类层网络参数确定每一个任务类别所分别对相应的参数向量。

步骤502:数据处理模型训练装置通过所述特征提取网络对所述每一个任务类别所分别对相应的参数向量进行处理,形成第三特征向量。

步骤503:数据处理模型训练装置通过所述指导网络对所述第三特征向量进行处理,得到第一预测结果。

步骤504:数据处理模型训练装置通过所述参数生成网络对所述第三特征向量进行处理,得到第二预测结果。

步骤505:数据处理模型训练装置将所述第一预测结果和所述第二预测结果代入与所述参数生成网络对应的元损失函数。

在本发明的一些实施例中,确定参数生成网络对应的元损失函数可以通过以下方式实现:

确定所述第三特征向量在所述参数生成网络中的预测值与对应的多分类标签的交叉熵损失;确定第三特征向量在所述参数生成网络中的预测值与所述指导网络的预测值作为软标签的交叉损失;确定所述第三特征向量的正态分布特征以及参数的正则化约束;基于所述交叉熵损失、交叉损失所述第三特征向量的正态分布特征以及参数的正则化约束,确定所述参数生成网络对应的元损失函数。其中,如公式(1)和公式(2)所示,元损失函数包括4部分:进入预测网络的预测值和真实的one-hot标签之间的交叉熵损失,利用kl散度(kullback-leiblerdivergence)的方式保证生成的任务表示向量的分布能够与正态分布近似,代表经过指导网络的预测值作为软标签与进入预测网络的预测值的交叉损失,r代表所有参数的正则化约束。然后利用该损失梯度迭代更新vae网络的任务表示网络和参数生成网络。

步骤506:数据处理模型训练装置对所述参数生成网络对应的元损失函数进行迭代更新,直至所述参数生成网络对应的元损失函数满足对应的收敛条件时,确定所述参数生成网络的参数。

由此,可以实现基于所述参数生成网络的参数,利用所述数据处理模型对相应金融业务场景中的目标对象进行风险预测。

结合图1的使用环境说明本发明实施例提供的数据处理方法,其中,参考图6,图6为本发明实施例提供的电子设备的组成结构示意图;服务器200用于布设经过训练的数据处理模型,以通过数据处理模型获取目标数据样本集合,并通过数据处理模型中的特征提取网络对所述目标数据样本集合的特征进行提取;通过所述数据处理模型对所提取的所述目标数据样本集合的特征进行处理,形成预测结果,并通过终端(终端10-1和/或终端10-2)展示或输出数据处理模型所生成的预测结果。

下面对本发明实施例的数据处理装置的结构做详细说明,数据处理装置可以各种形式来实施,如带有数据处理模型训练功能的专用终端,也可以为设置有数据处理模型训练功能的服务器,例如前序图1中的服务器200。图6为本发明实施例提供的数据处理装置的组成结构示意图,可以理解,图6仅仅示出了数据处理装置的示例性结构而非全部结构,根据需要可以实施图6示出的部分结构或全部结构。

本发明实施例提供的数据处理装置包括:至少一个处理器601、存储器602、用户接口603和至少一个网络接口604。电子设备60中的各个组件通过总线系统605耦合在一起。可以理解,总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为总线系统605。

其中,用户接口603可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解,存储器602可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器602能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中,本发明实施例提供的数据处理装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的数据处理模型训练装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的数据处理模型训练方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)或其他电子元件。

作为本发明实施例提供的数据处理装置采用软硬件结合实施的示例,本发明实施例所提供的数据处理装置可以直接体现为由处理器601执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器602,处理器601读取存储器602中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器601以及连接到总线605的其他组件)完成本发明实施例提供的数据处理模型训练方法。

作为示例,处理器601可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(dsp,digitalsignalprocessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的数据处理装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器601来执行完成,例如,被一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)或其他电子元件执行实现本发明实施例提供的数据处理模型训练方法。

本发明实施例中的存储器602用于存储各种类型的数据以支持电子设备60的操作。这些数据的示例包括:用于在电子设备60上操作的任何可执行指令,如可执行指令,实现本发明实施例的从数据处理模型训练方法的程序可以包含在可执行指令中。

在另一些实施例中,本发明实施例提供的数据处理装置可以采用软件方式实现,图6示出了存储在存储器602中的数据处理装置,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器602中存储的程序的示例,可以包括数据处理装置,数据处理装置中包括以下的软件模块:数据获取模块6081,数据处理模块6082和数据处理模型训练模块6083。当数据处理装置中的软件模块被处理器601读取到ram中并执行时,将实现本发明实施例提供的数据处理模型训练方法,下面介绍本发明实施例中数据处理装置中各个软件模块的功能,其中,数据获取模块6081,用于获取目标数据样本集合;

数据处理模块6082,用于通过所述特征提取网络对所述目标数据样本集合的特征进行提取;

所述数据处理模块6082,用于通过所述数据处理模型中的对所提取的所述目标数据样本集合的特征进行处理,形成预测结果;

所述数据处理模块6082,用于输出所述预测结果。

在实际应用的场景中,小概率罕见肿瘤的识别,人脸识别,小语种机器翻译的使用环境都可以通过本申请所提供的数据处理模型解决小样本分类问题,实现对小样本。

在本发明的一些实施例中,为了实现通过区块链网络存储相应的数据,本发明所提供的目标对象确定方法还包括:将目标对象标识、目标数据样本集合以及数据处理模型的预测结果送至区块链网络,以使所述区块链网络的节点将所述目标对象标识、目标数据样本集合以及数据处理模型的预测结果填充至新区块,且当对所述新区块共识一致时,将所述新区块追加至区块链的尾部。其中,本发明实施例可结合云技术实现,云技术(cloudtechnology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术,也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站,因此云技术需要以云计算作为支撑。

需要说明的是,云计算是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池平台,简称云平台,一般称为基础设施即服务(iaas,infrastructureasaservice),在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(可为虚拟化机器,包含操作系统)、存储设备和网络设备。

结合前序图1所示,本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现,例如:终端(包括终端10-1和终端10-2)通过网络300连接位于云端的服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。值得说明的是,服务器200可为实体设备,也可为虚拟化设备。

在本发明的一些实施例中,发明所提供的目标对象确定方法还包括:接收所述区块链网络中的其他节点的数据同步请求;响应于所述数据同步请求,对所述其他节点的权限进行验证;当所述其他节点的权限通过验证时,控制当前节点与所述其他节点之间进行数据同步,以实现所述其他节点获取目标对象标识、目标数据样本集合以及数据处理模型的预测结果。

进一步地,在本发明的一些实施例中,响应于查询请求,解析所述查询请求以获取对应的对象标识;根据所述对象标识,获取区块链网络中的目标区块内的权限信息;对所述权限信息与所述对象标识的匹配性进行校验;当所述权限信息与所述对象标识相匹配时,在所述区块链网络中获取相应的目标数据样本集合以及数据处理模型的预测结果;响应于所述查询指令,将所获取的相应的目标数据样本集合以及数据处理模型的预测结果向相应的客户端进行推送,以实现所述客户端获取所述区块链网络中所保存的相应的目标数据样本集合以及数据处理模型的预测结果。

参见图7,图7是本发明实施例提供的目标对象确定装置100的架构示意图,包括区块链网络2000(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500,下面分别进行说明。

区块链网络2000的类型是灵活多样的,例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例,任何业务主体的电子设备例如用户终端和服务器,都可以在不需要授权的情况下接入区块链网络2000;以联盟链为例,业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络2000,此时,成为区块链网络2000中的客户端节点。

在一些实施例中,客户端节点可以只作为区块链网络2000的观察者,即提供支持业务主体发起交易(例如,用于上链存储数据或查询链上数据)功能,对于区块链网络2000的共识节点210的功能,例如排序功能、共识服务和账本功能等,客户端节点可以缺省或者有选择性(例如,取决于业务主体的具体业务需求)地实施。从而,可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络2000中,通过区块链网络2000实现数据和业务处理过程的可信和可追溯。

区块链网络2000中的共识节点接收来自不同业务主体(例如图7中示出的业务主体400和业务主体500)的客户端节点(例如,图7中示出的归属于业务主体400的客户端节点410、以及归属于电子设备的业务主体500的客户端节点510)提交的交易,执行交易以更新账本或者查询账本,执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。

例如,客户端节点410/510可以订阅区块链网络2000中感兴趣的事件,例如区块链网络2000中特定的组织/通道中发生的交易,由共识节点210推送相应的交易通知到客户端节点410/510,从而触发客户端节点410/510中相应的业务逻辑。

下面以多个业务主体接入区块链网络以实现目标对象确定结果的管理为例,说明区块链网络的示例性应用。

参见图7,管理环节涉及的多个业务主体,如业务主体400可以是基于人工智能的目标对象确定装置,业务主体500可以是带有目标对象确定功能的显示系统,从认证中心300进行登记注册获得各自的数字证书,数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名,用来与业务主体针对交易的数字签名一起附加到交易中,并被发送到区块链网络,以供区块链网络从交易中取出数字证书和签名,验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息,区块链网络会根据身份进行验证,例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络2000请求接入而成为客户端节点。

业务主体400的客户端节点410用于确定与数据处理模型的使用环境相匹配的动态噪声阈值;根据所述动态噪声阈值对基类数据样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的基类数据样本集合;获取与所述动态噪声阈值相匹配的基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取,其中,所述基类数据样本集合包括不同金融业务场景中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及相匹配的训练任务标签;通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果;进一步地还可以将目标对象标识、目标数据样本集合以及数据处理模型的预测结果发送至区块链网络2000,区块链网络2000还能够将目标对象标识、目标数据样本集合以及数据处理模型的预测结果发送至业务主体500的客户端节点510。

其中,其中,将目标对象标识、目标数据样本集合以及数据处理模型的预测结果发送至区块链网络2000,可以预先在客户端节点410设置业务逻辑,当形成相应的目标对象确定结果时,客户端节点410将目标对象标识、目标数据样本集合以及数据处理模型的预测结果自动发送至区块链网络2000,也可以由业务主体400的业务人员在客户端节点410中登录,手动打包将目标对象标识、目标数据样本集合以及数据处理模型的预测结果,并将其发送至区块链网络2000。在发送时,客户端节点410根据将目标对象标识、目标数据样本集合以及数据处理模型的预测结果生成对应更新操作的交易,在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点410的数字证书、签署的数字签名(例如,使用客户端节点410的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络2000中的共识节点210。

区块链网络2000中的共识节点210中接收到交易时,对交易携带的数字证书和数字签名进行验证,验证成功后,根据交易中携带的业务主体400的身份,确认业务主体400是否是具有交易权限,数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名(例如,使用节点210-1的私钥对交易的摘要进行加密得到),并继续在区块链网络2000中广播。

区块链网络2000中的共识节点210接收到验证成功的交易后,将交易填充到新的区块中,并进行广播。区块链网络2000中的共识节点210广播的新区块时,会对新区块进行共识过程,如果共识成功,则将新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交更新将目标对象标识、目标数据样本集合以及数据处理模型的预测结果的交易,在状态数据库中添加包括将目标对象标识、目标数据样本集合以及数据处理模型的预测结果的键值对。

业务主体500的业务人员在客户端节点510中登录,输入目标对象确定结果或者目标对象查询请求,客户端节点510根据目标对象确定结果或者目标对象查询请求生成对应更新操作/查询操作的交易,在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点510的数字证书、签署的数字签名(例如,使用客户端节点510的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络2000中的共识节点210。

区块链网络2000中的共识节点210中接收到交易,对交易进行验证、区块填充及共识一致后,将填充的新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交的更新某一将目标对象标识、目标数据样本集合以及数据处理模型的预测结果的交易,根据人工识别结果更新状态数据库中该目标对象确定结果对应的键值对;对于提交的查询某个目标对象确定结果的交易,从状态数据库中查询目标对象确定结果对应的键值对,并返回交易结果。

值得说明的是,在图7中示例性地示出了将目标对象标识、目标数据样本集合以及数据处理模型的预测结果直接上链的过程,但在另一些实施例中,对于目标对象确定结果的数据量较大的情况,客户端节点410可将目标对象确定结果的哈希以及相应的目标对象确定结果的哈希成对上链,将原始的目标对象确定结果以及相应的目标对象确定结果存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到目标对象确定结果以及相应的目标对象确定结果后,可结合区块链网络2000中对应的哈希进行校验,从而减少上链操作的工作量。

作为区块链的示例,参见图8,图8是本发明实施例提供的区块链网络2000中区块链的结构示意图,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长,区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。

下面说明本发明实施例提供的区块链网络的示例性的功能架构,参见图9,图9是本发明实施例提供的区块链网络2000的功能架构示意图,包括应用层201、共识层202、网络层203、数据层204和资源层205,下面分别进行说明。

资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。

数据层204封装了实现账本的各种数据结构,包括以文件系统中的文件实现的区块链,键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。

网络层203封装了点对点(p2p,pointtopoint)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。

其中,p2p网络协议实现区块链网络2000中节点210之间的通信,数据传播机制保证了交易在区块链网络2000中的传播,数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点210之间传输数据的可靠性;接入认证机制用于根据实际的业务场景对加入区块链网络2000的业务主体的身份进行认证,并在认证通过时赋予业务主体接入区块链网络2000的权限;业务主体身份管理用于存储允许接入区块链网络2000的业务主体的身份、以及权限(例如能够发起的交易的类型)。

共识层202封装了区块链网络2000中的节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括pos、pow和dpos等共识算法,支持共识算法的可插拔。

交易管理用于验证共识节点210接收到的交易中携带的数字签名,验证业务主体的身份信息,并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息);对于获得接入区块链网络2000的授权的业务主体而言,均拥有认证中心颁发的数字证书,业务主体利用自己的数字证书中的私钥对提交的交易进行签名,从而声明自己的合法身份。

账本管理用于维护区块链和状态数据库。对于取得共识的区块,追加到区块链的尾部;执行取得共识的区块中的交易,当交易包括更新操作时更新状态数据库中的键值对,当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作,包括:根据区块向量号(例如交易的哈希值)查询区块;根据区块哈希值查询区块;根据交易向量号查询区块;根据交易向量号查询交易;根据业务主体的账号(向量号)查询业务主体的账号数据;根据通道名称查询通道中的区块链。

应用层201封装了区块链网络能够实现的各种业务,包括交易的溯源、存证和验证等。

下面以金融借贷使用场景中的对需要进行金融借贷的目标用户进行预测为例,对本申请所提供的数据处理模型训练方法以及数据处理方法进行说明,其中,参见图10,图10为本申请所提供的数据处理方法的前端显示示意图,其中终端(例如图1中的终端10-1和终端10-2)上设置有能够显示相应进行金融借贷的软件的客户端,例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源借贷的客户端或插件,用户通过相应的客户端可以获向金融机构或平台进行借贷(例如微信财付通支付或者微信中的进行资金借贷购买物品的进程);终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。服务器(例如图1中的服务器)银行、证券、互金、p2p等提供支付、借贷、理财等金融业务的企业的服务器。当用户需要办理相关金融业务的用户使用客户端设备访问企业的客户服务器提供的服务时,客户服务器可以将该用户的个人信息特征、风控模式特征、信息提交至经训练的数据处理模型获得相应的预测结果进行风险预测,来得到该用户的信用风险类别。通过经过训练数据处理模型,可以协助金融平台或者出借方对是否为用户提供金融业务服务进行判断,或者可以协助金融平台中的不同出借方对不同信用风险类型的用户进行不同的管理。

参考图11,图11为本申请所提供的数据处理方法使用过程示意图,其中本申请所提供的数据处理方法包括以下步骤:

步骤1101:基于所有基类的数据集对特征提取器和指导网络分类器进行预训练。

其中,参考图12,图12为本申请所提供的一种数据处理模型的网络结构示意图,其中每个任务的预测网络由一个特征提取器(featureextractor)和一个分类器(classifier)组成,所有任务共用一个特征提取器,每个任务对应一个特定的分类器。具体来说:表示一个大而全的基类(已知类别)数据集,主要用于预训练指导网络及参数生成网络;表示预训练的指导网络的分类层网络参数;表示每次从中随机抽取的第i个task;表示每个task中的supportset数据集;表示每个task中的queryset数据集;表示经过featureextractor变换之后的特征向量;表示经过featureextractor变换之后的数据集的特征向量。指导网络分类器的分类层网络参数表示为,其维度可以表示为:为基类的个数,基类中的每个类别在中对应一个大小为的参数向量。

步骤1102:对参数生成网络进行训练。

其中,共享特征提取层(featureextractor)的网络参数由一个深度神经网络预训练得到。所有样本需要先经过特征提取层进行映射,得到新的特征向量作为后续算法的输入。

参数生成网络由一个variationalautoencoder(vae)网络组成,包括一个任务表示(taskencoder)网络和一个参数生成(weightsgenerator)网络。任务表示网络的主要目的为基于目标任务的少量样本将目标任务映射到一个任务表示空间z,在该空间中相似的任务距离越近。参数生成网络则以任务表示向量z为输入自适应地生成目标任务的分类器参数

具体来说,每次迭代的任务ti中的ds数据首先经过featureextractor进行特征空间变换得到经过taskencoder变换得到每个类在任务表示空间的表示向量z,weightsgenerator网络根据表示向量z生成分类层参数。然后根据公式(3)的损失函数和公式(4)的梯度更新方法对做少量步数的梯度迭代生成参数,目的是为了让生成的参数更适应数据集。所以,这一部分主要完成根据每个task的support数据集ds,生成可供预测的网络

算法的元学习部分主要对应于生成网络的参数更新阶段,包括任务表示网络和参数生成网络。具体步骤包括:从基类分类器中检索中各个类别所对应的分类参数向量,将经过featureextractor网络得到其特征作为输入分别进入预测网络和监督网络得到新生成网络的预测结果:和监督网络的预测结果:

然后损失函数计算参数生成器的元损失,并基于元损失对参数生成器的网络参数进行梯度迭代更新。

当数据处理模型的训练完成后,可以部署在不同的服务器中,因此,还可以包括:

步骤1103:获取目标数据样本集合,并通过数据处理模型中的特征提取网络对所述目标数据样本集合的特征进行提取。

其中,可以确定所述目标数据样本集合中的不同数据样本所分别对应的不同金融业务场景;基于所述不同数据样本所分别对应的不同金融业务场景,对所述目标数据样本进行去噪处理,以形成与对应的金融业务场景相匹配的数据样本集合,其中,所述每一个目标数据样本包括相应目标用户的个人信息特征、风控模式特征、所述目标用户的信用风险类别特征、以及指示该所述目标数据样本所属的训练任务的任务标签。

步骤1104:通过所述数据处理模型对所提取的所述目标数据样本集合的特征进行处理,形成预测结果。

由此,相比于相关技术中的一种数据处理模型训练方法:本发明可以根据不同任务的数据分布特性自适应地生成分类层参数,使得所生成的分类参数可自适应地选择与各个任务相关的特征进行类别预测,从而限制了不同数据分布对小样本学习的影响。同时采用参数生成的方式不存在二次梯度的计算,训练效率更高,减少了模型的调整时间;进一步地,本申请可以基于一个大而全的数据集训练指导网络,并利用该指导网络监督元学习参数生成网络的学习过程,使得参数生成网络所生成的网络参数的预测能力尽可能与监督网络保持一致,从而捕获更多的小样本之外的本质特征,提高模型在新样本上的泛化能力,使得对金融数据处理环境的泛化能力更强。

另外,通过将指导网络的预测结果作为软标签与预测值的残差作为元指导损失,可以考虑每个类别之间的内在关系,解决了其他小样本学习算法针对每个类别的训练都是独立的,不相关的缺点;进一步地,区别于简单增加样本进行小样本学习的算法,本发明所提供的一种数据处理模型训练方法可以实现处理新的分类任务时不需要增加新样本的数据量就可以生成融入了指导网络优势特性的可直接用于预测的神经网络参数,避免了与真实样本的区别过大。

参考图13,图13为本发明实施例中数据处理模型的处理效果测试结果示意图。以图像领域的公开小样本数据集miniimagenet和tieredimagenet处理为例,本发明实施例所提供的方法与相关技术中小样本学习算法leo算法进行比较与参照,学习配置方式5way1shot和5way5shot2个task级别上进行对比,实验结果如图12所示。从表中可以看到,本发明所提供的一种数据处理模型训练方法在miniimagenet的5way-1shot和5way-5shot上的准确率达到了61.93%和77.73%,在tiredimagenet的5way-1shot和5way-5shot上的准确率达到了67.17%和82.04%。

本发明具有以下有益技术效果:

通过确定与数据处理模型的使用环境相匹配的动态噪声阈值;根据所述动态噪声阈值对基类数据样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的基类数据样本集合;获取与所述动态噪声阈值相匹配的基类数据样本集合,并通过特征提取网络对所述基类数据样本集合的特征进行提取;通过所述数据处理模型中的指导网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述指导网络的参数;通过所述数据处理模型中的参数生成网络对所提取的所述基类数据样本集合的特征进行处理,以确定所述参数生成网络的初始参数;通过所述指导网络的输出结果和所述基类数据样本集合对所述数据处理模型中的参数生成网络的初始参数进行迭代更新,由此,不但可以实现通过所述数据处理模型对相应金融业务场景中的目标对象进行风险预测,并输出对应的预测结果,而且能够在不增加训练样本总量和无需二次梯度计算的前提下,稳定提高数据处理模型对小样本数据处理的准确率,同时通过数据处理模型中的指导网络训练参数生成网络,使得经过训练的数据处理模型能够处理小样本数据,兼顾了训练精确性的同时,使得数据处理模型的泛化能力以及数据处理能力更强,适应不同的数据处理环境,也便于将数据处理模型部署于移动终端中,实现数据处理模型的大规模应用。

以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1