模型服务输出方法、装置、设备及存储介质与流程

文档序号:23053935发布日期:2020-11-25 17:31阅读:104来源:国知局
模型服务输出方法、装置、设备及存储介质与流程

本发明涉及人工智能技术领域,尤其涉及一种模型服务输出方法、装置、设备及存储介质。



背景技术:

目前,很多规模较小的互联网企业、机构等自身拥有的数据信息有限,其数据多样性、覆盖度等都难以独立支撑自身的完成业务,这类企业、机构对数据的诉求大,但由于没有足够的建模或相关技术能力支撑,导致无法支撑自身业务良好、快速的运转。

在现有技术中,这类互联网企业、机构为提升自身的业务能力,大多需要借助已形成的模型服务,通过直接接入调用模型服务的方式来解决上述问题。目前,模型服务的提供商通常通过以下两种方式来将自己的模型服务提供给使用方:

(1)将模型加密部署或推送到需要模型的使用方;这种方式的缺陷在于,所提供的具有很高业务价值的模型信息容易被泄露,且对使用方的技术接入要求相对高。

(2)先将参与建模的各方数据集中到可信环境,在可信环境进行联合建模,然后发布为模型服务供使用方调用;这种方式的缺陷在于,参与建模的各方需要将数据从自己网络域内输出到可信环境,但所谓的可信环境只是相对的,并不能保证数据的绝对安全;另外,使用方在接入可信环境中的模型服务时,相比接入普通系统服务的技术成本和要求都较高。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供了一种模型服务输出方法、装置、设备及存储介质,旨在解决现有技术无法保证模型服务提供商的模型数据安全,以及模型服务使用方在使用模型服务时技术开发难度大、成本高的技术问题。

为实现上述目的,本发明提供了一种模型服务输出方法,所述方法包括以下步骤:

第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模,所述第一合作建模方和第二合作建模方包括但不限于产品平台;

所述第一合作建模方在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;

所述第一合作建模方将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;

所述第一合作建模方对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。

可选地,所述第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模的步骤,包括:

第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求从本地数据库中读取模型构建数据,并根据所述模型构建数据进行联合建模。

可选地,所述第一合作建模方在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布的步骤,包括:

所述第一合作建模方接收所有第二合作建模方返回的建模完成信息;

所述第一合作建模方向各第二合作建模方发送模型发布请求,以供各第二合作建模方根据所述模型发布请求对预先构建的模型进行模型推理,并返回模型推理完成信息;

所述第一合作建模方根据所述模型推理完成信息进行模型服务发布。

可选地,所述第一合作建模方将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果的步骤之前,所述方法还包括:

所述第一合作建模方接收模型服务调用请求,获取所述模型服务调用请求中包含的身份校验参数;

所述第一合作建模方根据所述身份校验参数对所述模型服务调用请求进行权限校验;

所述第一合作建模方在权限校验通过时,执行所述将接收到的模型服务调用请求分别转发至所述第二合作建模方的步骤。

此外,为实现上述目的,本发明还提出一种模型服务输出方法,所述方法包括以下步骤:

合作建模方获取联邦建模请求中携带的建模需求参数,并根据所述建模需求参数读取本地预存的模型构建数据,所述合作建模方包括但不限于产品平台;

所述合作建模方根据所述模型构建数据执行模型构建操作,获得部分模型结果;

所述合作建模方将所述部分模型结果对应的建模完成信息推送至所述产品平台,并在接收到所述产品平台发送的模型发布请求时,执行模型推理操作;

所述合作建模方将模型推理操作所生成的模型推理完成信息发送至所述产品平台,以供所述产品平台根据所述模型推理完成信息进行模型服务发布。

可选地,所述合作建模方获取联邦建模请求中携带的建模需求参数,并根据所述建模需求参数读取本地预存的模型构建数据的步骤,包括:

合作建模方获取联邦建模请求中包含的应用标识信息、样本信息以及建模配置信息;

所述合作建模方对所述应用标识信息进行匹配,在匹配成功时,根据所述样本信息在本地数据库中获取模型训练样本;

所述合作建模方根据所述模型构建数据执行模型构建操作,获得部分模型结果的步骤,包括:

所述合作建模方根据所述模型训练样本和所述建模配置信息执行模型构建操作,获得部分模型结果。

可选地,所述合作建模方对所述应用标识信息进行匹配,在匹配成功时,根据所述样本信息在本地数据库中获取模型训练样本的步骤,包括:

所述合作建模方从所述应用标识信息中读取联邦建模所有参与方的应用标识;

所述合作建模方根据所述应用标识对本地应用标识进行匹配,在匹配成功时,根据所述样本信息中包含的样本匹配标识在本地数据库中获取模型训练样本;

所述合作建模方根据所述模型训练样本和所述建模配置信息执行模型构建操作,获得部分模型结果的步骤,包括:

所述合作建模方根据剩余的应用标识确定联邦建模的其他合作建模方;

所述合作建模方将所述模型训练样本与所述其他合作建模方根据所述样本匹配标识获取的模型训练样本进行交集匹配,获得目标模型训练样本;

所述合作建模方根据所述目标模型训练样本和所述建模配置信息执行模型构建操作,获得部分模型结果。

可选地,所述合作建模方将所述部分模型结果对应的建模完成信息推送至所述产品平台,并在接收到所述产品平台发送的模型发布请求时,执行模型推理操作的步骤,包括:

所述合作建模方将所述部分模型结果对应的建模完成信息推送至所述产品平台;

所述合作建模方在接收到所述产品平台发送的模型发布请求时,获取所述模型发布请求中携带的模型标识信息;

所述合作建模方根据所述模型标识信息在模型库中读取已训练的部分模型;

所述合作建模方对已训练的所述部分模型进行模型推理,获得已训练的所述部分模型对应的模型推理完成信息。

可选地,所述将模型推理操作所生成的模型推理完成信息发送至所述产品平台,以供所述产品平台根据所述模型推理完成信息进行模型服务发布的步骤之后,所述方法还包括:

所述合作建模方在接收到模型服务调用请求时,获取所述模型服务调用请求中包含的模型调用路径以及模型计算参数;

所述合作建模方根据所述模型调用路径确定待调用模型,并将所述模型计算参数输入至所述待调用模型中进行模型计算,获得模型计算结果;

所述合作建模方将所述模型计算结果发送至所述模型服务调用请求的发送方,以供所述发送方对接收到的所有模型计算结果进行汇总,获得汇总结果。

此外,为实现上述目的,本发明还提出一种模型服务输出装置,所述模型服务输出装置包括:

发送模块,用于将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模;

接收模块,用于在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;

转发模块,用于将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;

汇总模块,用于对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。

此外,为实现上述目的,本发明还提出一种模型服务输出装置,所述模型服务输出装置包括:

读取模块,用于获取联邦建模请求中携带的建模需求参数,并根据所述建模需求参数读取本地预存的模型构建数据;

构建模块,用于根据所述模型构建数据执行模型构建操作,获得部分模型结果;

推理模块,用于将所述部分模型结果对应的建模完成信息推送至产品平台,并在接收到所述产品平台发送的模型发布请求时,执行模型推理操作;

发送模块,用于将模型推理操作所生成的模型推理完成信息发送至所述产品平台,以供所述产品平台根据所述模型推理完成信息进行模型服务发布。

此外,为实现上述目的,本发明还提出一种模型服务输出设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型服务输出程序,所述模型服务输出程序配置为实现如上文所述的模型服务输出方法的步骤。

此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有模型服务输出程序,所述模型服务输出程序被处理器执行时实现如上文所述的模型服务输出方法的步骤。

本发明中,第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模,所述第一合作建模方和第二合作建模方包括但不限于产品平台;在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。与现有技术将模型直接加密推送给用户方或在可信环境中将模型提供给用户方进行使用相比,本发明中,各合作建模方在模型构建和模型计算时所涉及的模型数据都不会越出本地安全网络边界,使得模型数据很难被传播或泄露,极大保护了模型服务提供商的数据隐私安全;同时,也使用户方在不需要寻求数据合作和高额的技术开发的情况下,低成本、高效率的提升了自己的业务能力。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的模型服务输出设备的结构示意图;

图2为本发明模型服务输出方法实现场景架构图;

图3为本发明模型服务输出方法第一实施例的流程示意图;

图4为本发明模型服务输出方法第二实施例的流程示意图;

图5为本发明模型服务输出装置第一实施例的结构框图;

图6为本发明模型服务输出装置第二实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

参照图1,图1为本发明实施例方案涉及的硬件运行环境的模型服务输出设备结构示意图。

如图1所示,该模型服务输出设备可以包括:处理器1001,例如中央处理器(centralprocessingunit,cpu),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity,wi-fi)接口)。存储器1005可以是高速的随机存取存储器(randomaccessmemory,ram)存储器,也可以是稳定的非易失性存储器(non-volatilememory,nvm),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解,图1中示出的结构并不构成对模型服务输出设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及模型服务输出程序。

在图1所示的模型服务输出设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明模型服务输出设备中的处理器1001、存储器1005可以设置在模型服务输出设备中,所述模型服务输出设备通过处理器1001调用存储器1005中存储的模型服务输出程序,并执行本发明下述各实施例提供的模型服务输出方法。

参照图2,图2为本发明模型服务输出方法实现场景架构图。

如图2所示,本发明模型服务输出方法实现场景架构中包含产品平台和由多个合作建模方(至少两个)构成的安全联邦网络。在实际应用中,用户(即模型服务的使用方)可通过产品平台调用想要使用的模型服务并获取模型计算结果。产品平台可以是能够进行模型发布、模型服务调用信息公开以及模型计算结果汇总操作的应用平台或应用程序客户端。合作建模方则可以是能够基于自身原始数据与其它合作建模方进行联合建模,同时能够依据所拥有的模型进行模型计算的计算服务设备,该计算服务设备可以是计算机、智能手机、pc电脑等。

当然,本实施例中的产品平台可以是独立于安全联邦网络之外的应用平台,也可以由安全联邦网络中任一具备上述产品平台功能的合作建模方来担任,当某一合作建模方在担任产品平台的角色前,需要其它合作建模方同意并授权。

基于上述的场景架构,提出模型服务输出方法的各个实施例。

图3为本发明模型服务输出方法第一实施例的流程示意图

本发明实施例提供了模型服务输出方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。本实施例模型服务输出方法的执行主体可以是上述第一合作建模方,上述第一、第二只是为了为便于描述当前作为产品平台的合作建模方和未作为产品平台的合作建模方,并不构成对它们的具体限定。

本实施例提供的模型服务输出方法,应用于第一合作建模方(即作为产品平台的合作建模方),所述模型服务输出包括以下步骤:

步骤s10:第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模,所述第一合作建模方和第二合作建模方包括但不限于产品平台;

在本实施例中,联邦建模请求可以是由第一合作建模方(产品平台)发起,也可以是由安全联邦网络中的任一(第二)合作建模方发起,当安全联邦网络中的某一合作建模方发起该联邦建模请求时,该合作建模方即默认成为第一合作建模方。该联邦建模请求中携带有建模时所需要的建模需求参数,该建模需求参数可用于确定联合建模所需要的数据,例如参与本次建模的所有合作建模方的身份信息或应用标识信息(partyid)、样本信息(比如,确定模型训练样本的样本匹配id、对模型预测结果进行判断的样本表现数据)以及建模配置信息(如算法类型、参数、建模步骤等相关配置)等。

在具体实现中,第一合作建模方可将联邦建模请求发送至对应的多个第二合作建模方,以使接到该请求的第二合作建模方将根据接收到的联邦建模请求进行联合建模。

考虑到安全多方计算(securemulti-partycomputation,smc)为数据融合的落地场景提供了强有力的底层技术支持,在实际应用中可扩展性强,能够灵活适配,前景广阔,同时还能够保证合作建模方各自数据不出域,确保数据隐私安全。本实施例中各合作建模方在进行模型构建和训练时,将采用安全多方计算:例如mpc技术或联邦学习(federatedlearning)联合建模的方式来实现模型构建。例如,合作建模方可使用mpc技术将多方数据联合在一起,通过mpc预处理保证数据格式统一和数据的隐私性,在多方数据基础上使得训练出的模型将更加准确,从而对未知情形提供更加合理的预测。

进一步地,考虑到联邦学习能够使得多个参与方在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,解决数据孤岛问题。本实施例将以联邦学习为例,对联合建模的过程进行大致说明。

基于联邦学习的联合建模过程中,各合作建模方(第一合作建模方和第二合作建模方)可先根据联邦建模请求中包含的应用标识信息(即上述partyid)来判断自身是否属于本次建模的参与方,并同时确定参与本次建模的其它合作建模方。在确定身份后,各合作建模方即可根据联邦建模请求中包含的样本信息(即上述样本匹配id)来获取对构建完成的模型进行训练的模型训练样本,即通过样本匹配id来使得参与本次建模的所有合作建模方使用相同的训练样本对各自构建完成的(部分)模型进行训练,保证模型训练样本的一致性和可靠性。

另外,本实施例中各合作建模方在进行模型构建时需要按照建模配置信息中携带的算法类型、参数,按照建模步骤进行模型构建,获得部分模型。所有合作建模方构建的部分模型整合在一起就成了一个完整的模型。各合作建模方在模型构建完成后,将返回建模完成信息至第一合作建模方,告知建模结束。

步骤s20:所述第一合作建模方在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;

需要说明的是,所述模型服务发布,即在网络上发布构建好的完整模型的模型服务调用信息,以供不同的用户根据自身需求进行选择使用,本实施例中该模型服务调用信息中不包含保存在合作建模方本地的模型信息。

进一步地,为了保证构建完成的模型的预测结果能够有较高的准确度,本实施例第一合作建模方在进行模型服务的发布前,还将向各第二合作建模方发起模型发布请求,以使各第二合作建模方进行预测结果的校验,并执行相关的模型推理,然后再将模型推送到本地集中的模型信息存储区域中进行存放。

步骤s30:所述第一合作建模方将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;

可理解的是,所述模型服务调用请求可以是用户向第一合作建模方发起的模型服务的调用请求。第一合作建模方在接收到该请求时,将转发该模型服务调用请求至各第二合作建模方,各第二合作建模方根据各自构建好的部分模型对该模型服务调用请求进行模型计算,然后将模型计算结果返回至第一合作建模方。

步骤s40:所述第一合作建模方对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。

应理解的是,在各第二合作建模方根据模型服务调用请求计算出相应的模型计算结果并反馈至第一合作建模方后,第一合作建模方即可对这些模型计算结果进行汇总,将汇总结果返回至模型服务调用请求的发起方,以实现对模型服务调用请求的响应。

在本实施例中,第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模,所述第一合作建模方和第二合作建模方包括但不限于产品平台;在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。与现有技术将模型直接加密推送给用户方或在可信环境中将模型提供给用户方进行使用相比,本实施例模型服务输出方法中,各合作建模方在模型构建和模型计算时所涉及的模型数据都不会越出本地安全网络边界,使得模型数据很难被传播或泄露,极大保护了模型服务提供商的数据隐私安全,同时,也使用户方在不需要寻求数据合作和高额的技术开发的情况下,低成本、高效率的提升了自己的业务能力。

进一步的,所述步骤s10包括:

步骤s101:第一合作建模方将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求从本地数据库中读取模型构建数据,并根据所述模型构建数据进行联合建模。

本步骤中,由于各合作建模方在进行联合建模时,所使用的模型构建数据都来源于本地,从而使得这些原始的建模数据不会越过自身的安全网络边界,能够从根源上解决数据隐私安全的问题。

进一步的,所述步骤s20包括:

步骤s201:所述第一合作建模方接收所有第二合作建模方返回的建模完成信息;

步骤s202:所述第一合作建模方向各第二合作建模方发送模型发布请求,以供各第二合作建模方根据所述模型发布请求对预先构建的模型进行模型推理,并返回模型推理完成信息;

步骤s203:所述第一合作建模方根据所述模型推理完成信息进行模型服务发布。

需要说明的是,联邦建模请求中携带的样本表现数据可用于对模型预测结果进行校验,以验证训练完成的模型效果是否能够符合实际的准确度要求。本实施例第一合作建模方在进行模型服务的发布前,将对模型的预测结果进行验证,在验证通过时,再进行模型推理。其中,模型推理,即将训练好的模型转变为类似于应用程序接口api的计算机服务。

进一步的,所述步骤s30之前,包括:

步骤s31:所述第一合作建模方接收模型服务调用请求,获取所述模型服务调用请求中包含的身份校验参数;

步骤s32:所述第一合作建模方根据所述身份校验参数对所述模型服务调用请求进行权限校验;

步骤s33:所述第一合作建模方在权限校验通过时,执行所述将接收到的模型服务调用请求分别转发至所述第二合作建模方的步骤。

可理解的是,为了尽可能的保证模型服务被调用时的数据安全,本实施例第一合作建模方在接收到用户发送的模型服务调用请求时,将进行请求权限的验证。其中,所述身份校验参数包括但不限于发起请求的账号对应的账号id、账号密钥、服务id等。其中,账号id和账号密钥用于进行身份验证,服务id用于确定请求发起方所需要调用的具体模型服务。

进一步地,为了使得第一合作建模方能够根据服务id快速准确的确定出用户当前需要调用的模型服务,可在第一合作建模方侧维护一个包含有服务id和模型服务api之间对应关系的映射表,以提高整个模型服务调用的效率。

在本实施例中通过对构建完成的模型进行模型推理,生成模型推理完成信息并对模型服务发布,从而能够仅将模型服务公开给用户,真正意义上实现了建模时所使用的原始明细数据不出安全网络边界,从根源上解决了隐私安全问题;同时,通过对模型服务调用请求进行权限校验,也极大的保证了模型调用过程中的数据安全。

参考图4,图4为本发明模型服务输出方法第二实施例的流程示意图。

本发明实施例提供了模型服务输出方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。本实施例模型服务输出方法的执行主体可以是上述图3中的(第二)合作建模方,为便于描述,下述第二实施例以合作建模方为执行主体进行阐述。

本实施例提供的模型服务输出方法,应用于安全联邦网络中的(未作为产品平台的第二)合作建模方,所述模型服务输出包括以下步骤:

步骤s10':合作建模方获取联邦建模请求中携带的建模需求参数,并根据所述建模需求参数读取本地预存的模型构建数据,所述合作建模方包括但不限于产品平台;

在本实施例中,联邦建模请求可以由本身作为产品平台并参与本次联合建模的合作建模方发起,也可以是由独立于安全联邦网络之外,不参与本次联合建模的产品平台发起。该联邦建模请求中携带有建模时所需要的建模需求参数,例如参与本次建模的所有合作建模方的身份信息或应用标识信息(partyid)、样本信息(比如,确定模型训练样本的样本匹配id、对模型预测结果进行判断的样本表现数据)以及建模配置信息(如算法类型、参数、建模步骤等相关配置)等。

其中,身份信息或应用标识信息用于合作建模方验证自身身份,并同时确定参与本次建模的其它合作建模方。样本信息用于确定模型训练和模型预测结果验证所需要的样本数据,为保证样本数据的隐私安全,避免建模过程中的数据泄露,这些样本数据存放在合作建模方各自的本地数据库中,需要时,可通过联邦建模请求中携带的样本信息来进行读取并使用。例如,合作建模方可通过样本匹配id在本地数据中查找用于模型训练的样本,也可通过样本表现数据来对训练完成的模型进行预测结果的判断,并根据判断结果决定模型是否能够直接投入使用,或者是否还需要进行模型优化等。

可理解的是,建模配置信息中包含了一些模型构建时,需要使用的一些基础数据,和建模的具体流程步骤。实际操作时,合作建模方可根据模型训练样本和建模配置信息等模型构建数据进行模型构建和模型训练。

步骤s20':所述合作建模方根据所述模型构建数据执行模型构建操作,获得部分模型结果;

应理解的是,数据模型的准确性取决于数据量、数据种类和数据质量,例如训练样本的数据量较小时,训练出的模型适用范围较小,预测结果也不够精确;而训练样本中不同种类的数据量差别较大,训练出来的模型泛化能力差并且容易发生过拟合。

考虑到安全多方计算为数据融合的落地场景提供了强有力的底层技术支持,在实际应用中可扩展性强,能够灵活适配,前景广阔,同时还能够保证合作建模方各自数据不出域,确保数据隐私安全。本实施例合作建模方在进行模型构建和训练时,将采用安全多方计算(例如mpc技术或联邦学习)联合建模的方式来实现模型构建。例如,使用mpc技术将多方数据联合在一起,通过mpc预处理保证数据格式统一和数据的隐私性,在多方数据基础上训练出的模型将更加准确,从而对未知情形提供更加合理的预测。

进一步地,考虑到联邦学习能够使得多个参与方在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,解决数据孤岛问题。本实施例将以联邦学习为例,对联合建模的过程进行大致说明。

基于联邦学习的联合建模过程中,各合作建模方需要先根据联邦建模请求中包含的应用标识信息(即上述partyid)来判断自身是否属于本次建模的参与方,并同时确定参与本次建模的其它合作建模方。在确定身份后,合作建模方即可根据联邦建模请求中包含的样本信息(即上述样本匹配id)来获取对构建完成的模型进行训练的模型训练样本,该过程可称之为交集匹配或样本求交,然后通过获得的模型训练样本进行(部分)模型的训练,最后通过样本表现数据对模型预测结果的好坏进行效果判断。

本实施例中各合作建模方在完成部分模型的构建后,还会将完成的这部分模型推送到本地集中的模型信息存储区域中进行存放。

步骤s30':所述合作建模方将所述部分模型结果对应的建模完成信息推送至所述产品平台,并在接收到所述产品平台发送的模型发布请求时,执行模型推理操作;

需要说明的是,所述模型推理操作,即将训练好的模型转变为类似于应用程序接口api的计算机服务,以供使用方接入调用模型服务。

在具体实现中,各合作建模方在完成部分模型的构建后,即可将部分模型结果对应的建模完成信息推送至产品平台,并在接收到该产品平台发送的模型发布请求时,将训练好的模型转变为类似于应用程序接口api的计算机服务。

步骤s40':所述合作建模方将模型推理操作所生成的模型推理完成信息发送至所述产品平台,以供所述产品平台根据所述模型推理完成信息进行模型服务发布。

合作建模方在生成部分模型对应的模型推理完成信息后,即可将该信息推送至产品平台,由产品平台对这些信息进行发布,告知不同的用户,可接入调用构建完成的模型。

步骤s50':所述合作建模方在接收到模型服务调用请求时,获取所述模型服务调用请求中包含的模型调用路径以及模型计算参数;

需要说明的是,所述模型计算参数即调用模型服务的用户提供的模型输入参数,参与模型计算的各合作建模方可将这些模型输入参数输入到模型中进行计算,获得部分模型计算结果。

进一步地,为了尽可能的保证模型服务被调用时的数据安全,本实施例中产品平台在接收到用户发送的模型服务调用请求时,将进行请求权限的验证。具体的,在接收到模型服务调用请求时,将获取模型服务调用请求中包含的身份校验参数;然后根据所述身份校验参数对所述模型服务调用请求进行权限校验;在权限校验通过时,将接收到的模型服务调用请求分别转发至各合作建模方。

其中,所述身份校验参数包括但不限于发起请求的账号对应的账号id、账号密钥、服务id等。其中,账号id和账号密钥用于进行身份验证,服务id用于确定请求发起方所需要调用的具体模型服务。

进一步地,为了能够根据服务id快速准确的确定出用户当前需要调用的模型服务,可在产品平台侧维护一个包含有服务id和模型服务api之间对应关系的映射表,以提高整个模型服务调用的效率。

步骤s60':所述合作建模方根据所述模型调用路径确定待调用模型,并将所述模型计算参数输入至所述待调用模型中进行模型计算,获得模型计算结果;

应理解的是,合作建模方可能拥有的模型数量庞大,为了准确地确定不同用户所要调用的模型具体是哪一个,可根据模型服务调用请求中包含的模型调用路径来确定。

步骤s70':所述合作建模方将所述模型计算结果发送至所述模型服务调用请求的发送方,以供所述发送方对接收到的所有模型计算结果进行汇总,获得汇总结果。

应理解的是,在各合作建模方根据模型服务调用请求计算出相应的模型计算结果并反馈至模型服务调用请求的发送方(可以是上述产品平台)后,该模型服务调用请求的发送方即可对这些模型计算结果进行汇总,将汇总结果返回至用户,以实现对模型服务调用请求的响应。

在本实施例中,合作建模方通过获取联邦建模请求中携带的建模需求参数,并根据建模需求参数读取本地预存的模型构建数据;根据模型构建数据执行模型构建操作,获得部分模型结果;将部分模型结果对应的建模完成信息推送至产品平台,并在接收到产品平台发送的模型发布请求时,执行模型推理操作;将模型推理操作所生成的模型服务发送至产品平台进行发布;在接收到产品平台转发的模型服务调用请求时,获取模型服务调用请求中包含的模型调用路径以及模型计算参数;根据模型调用路径确定待调用模型,并将模型计算参数输入至待调用模型中进行模型计算,获得模型计算结果;将模型计算结果发送至产品平台,以供产品平台对接收到的所有模型计算结果进行汇总,获得汇总结果。与现有技术将模型直接加密推送给用户方或在可信环境中将模型提供给用户方进行使用相比,本实施例模型服务输出方法中,各合作建模方在模型构建和模型计算时所涉及的模型数据都不会越出本地安全网络边界,使得模型数据很难被传播或泄露,极大保护了模型服务提供商的数据隐私安全,同时,也使用户方在不需要寻求数据合作和高额的技术开发的情况下,低成本、高效率的提升了自己的业务能力。

进一步地,所述步骤s10',包括:

步骤s101':合作建模方获取联邦建模请求中包含的应用标识信息、样本信息以及建模配置信息;

应理解的是,对应用标识信息进行匹配,即判断保存的本地应用标识是否属于应用标识信息中记录的应用标识之一,若是则表明匹配成功,便可开始后续的模型构建和训练操作。

步骤s102':所述合作建模方对应用标识信息进行匹配,在匹配成功时,根据样本信息在本地数据库中获取模型训练样本;

在具体实现中,合作建模方在本地应用标识匹配成功时,即可根据请求中携带的样本信息从本地数据库中获取模型训练样本。由于联邦建模请求中携带的样本信息是相同的,不同合作建模方通过样本来获取训练样本能够保证样本获取的准确率和模型构建效率。本步骤中所述样本信息可以仅包括样本匹配标识,该样本匹配标识可以是能够表征样本唯一性的样本名称、编号id等。

进一步地,为了保证模型训练的一致性和可靠性。本实施例中合作建模方还可从应用标识信息中读取联邦建模所有参与方的应用标识;然后根据应用标识对本地应用标识进行匹配,在匹配成功时,根据样本信息中包含的样本匹配标识在本地数据库中获取模型训练样本;再根据剩余的应用标识确定联邦建模的其它合作建模方;然后将模型训练样本与其它合作建模方根据同样的样本匹配标识获取的模型训练样本进行交集匹配,获得目标模型训练样本。

其中,所述交集匹配,可称加密样本对齐,是一种基于加密的用户样本对齐技术(如rsa),即在用户a和用户b不公开各自数据的前提下确认双方的共有数据,并且不暴露不互相重叠的数据,以便联合这些数据的特征进行建模。

所述步骤s20',包括:

步骤s201':所述合作建模方根据模型训练样本和建模配置信息执行模型构建操作,获得部分模型结果。

在具体实现中,各合作建模方在进行模型构建时需要按照建模配置信息中携带的算法类型、参数,按照建模步骤进行模型构建;然后根据模型训练样本进行模型训练。当然,为了保证模型效果,合作建模方还可以通过样本信息中携带的样本表现数据对训练完成的模型进行预测结果判断,若模型效果较好,则输出已训练好的部分模型(结果)。

进一步地,步骤s30',包括:

步骤s301':所述合作建模方将部分模型结果对应的建模完成信息推送至产品平台;

在具体实现中,各合作建模方在完成各自部分模型的构建后,即可将对应的建模完成信息推送至产品平台,以告建模结束,可以开始模型发布。

步骤s302':所述合作建模方在接收到所述产品平台发送的模型发布请求时,获取所述模型发布请求中携带的模型标识信息;

需要说明的是,所述模型标识信息可以是用于表征模型唯一性的字符或字符组合,例如模型的编号、编码、名称等。

步骤s303':所述合作建模方根据所述模型标识信息在模型库中读取已训练的部分模型;

合作建模方可根据模型标识信息在模型库(即上述模型信息存储区域)中读取已训练的部分模型。当然,为了能够使得合作建模方能够根据模型标识信息读取模型,在模型存放时,可先将这些模型标识信息和模型的存放路径进行关联。

步骤s304'所述合作建模方:对已训练的所述部分模型进行模型推理,获得已训练的所述部分模型对应的模型推理完成信息。

各合作建模方在完成部分模型的构建后,即可将部分模型结果对应的建模完成信息推送至产品平台,并在接收到产品平台发送的模型发布请求时,将训练好的模型转变为类似于应用程序接口api的计算机服务,并生成对应的模型推理完成信息。

在本实施例中,通过联邦建模请求中携带的应用标识信息和建模配置信息能够准确地识别出参与建模的合作建模方,而建模配置信息中包含的数据也保证了联合建模的顺序进行,同时,通过样本信息来确定模型训练样本并进行样本对齐,也保证了模型训练的一致性和可靠性。

此外,本发明实施例还提出一种存储介质,所述存储介质上存储有模型服务输出程序,所述模型服务输出程序被处理器执行时实现如上文所述的模型服务输出方法的步骤。

参照图5,图5为本发明模型服务输出装置第一实施例的结构框图。

如图5所示,本发明实施例提出的模型服务输出装置,包括:

发送模块501,用于将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求进行联合建模;

接收模块502,用于在接收到所有第二合作建模方返回的建模完成信息时,根据所述建模完成信息进行模型服务发布;

转发模块503,用于将接收到的模型服务调用请求分别转发至所述第二合作建模方,以供所述第二合作建模方根据预先构建的模型进行模型计算,并返回模型计算结果;

汇总模块504,用于对接收到的所述模型计算结果进行汇总,将汇总结果返回至所述模型服务调用请求的发起方。

进一步地,本实施例中,所述发送模块501,还用于将联邦建模请求发送至多个第二合作建模方,以供各第二合作建模方根据所述联邦建模请求从本地数据库中读取模型构建数据,并根据所述模型构建数据进行联合建模。

进一步地,本实施例中,所述接收模块502,还用于接收所有第二合作建模方返回的建模完成信息;向各第二合作建模方发送模型发布请求,以供各第二合作建模方根据所述模型发布请求对预先构建的模型进行模型推理,并返回模型推理完成信息;根据所述模型推理完成信息进行模型服务发布。

进一步地,本实施例中,所述模型服务输出装置还包括校验模块,用于接收模型服务调用请求,获取所述模型服务调用请求中包含的身份校验参数;根据所述身份校验参数对所述模型服务调用请求进行权限校验。

本发明模型服务输出装置的其他实施例或具体实现方式可参照上述第一方法实施例,此处不再赘述。

参照图6,图6为本发明模型服务输出装置第二实施例的结构框图。

如图6所示,本发明实施例提出的模型服务输出装置,包括:

读取模块601,用于获取联邦建模请求中携带的建模需求参数,并根据所述建模需求参数读取本地预存的模型构建数据;

构建模块602,用于根据所述模型构建数据执行模型构建操作,获得部分模型结果;

推理模块603,用于将所述部分模型结果对应的建模完成信息推送至产品平台,并在接收到所述产品平台发送的模型发布请求时,执行模型推理操作;

发送模块604,用于将模型推理操作所生成的模型推理完成信息发送至所述产品平台,以供所述产品平台根据所述模型推理完成信息进行模型服务发布。

进一步地,本实施例中所述读取模块601,还用于获取联邦建模请求中包含的应用标识信息、样本信息以及建模配置信息;对所述应用标识信息进行匹配,在匹配成功时,根据所述样本信息在本地数据库中获取模型训练样本;相应地,所述构建模块602,还用于根据所述模型训练样本和所述建模配置信息执行模型构建操作,获得部分模型结果。

进一步地,本实施例中所述读取模块601,还用于从所述应用标识信息中读取联邦建模所有参与方的应用标识;根据所述应用标识对本地应用标识进行匹配,在匹配成功时,根据所述样本信息中包含的样本匹配标识在本地数据库中获取模型训练样本;相应地,所述构建模块602,还用于根据剩余的应用标识确定联邦建模的其他合作建模方;将所述模型训练样本与所述其他合作建模方根据所述样本匹配标识获取的模型训练样本进行交集匹配,获得目标模型训练样本;根据所述目标模型训练样本和所述建模配置信息执行模型构建操作,获得部分模型结果。

进一步地,本实施例中所述推理模块603,还用于将所述部分模型结果对应的建模完成信息推送至产品平台;在接收到所述产品平台发送的模型发布请求时,获取所述模型发布请求中携带的模型标识信息;根据所述模型标识信息在模型库中读取已训练的部分模型;对已训练的所述部分模型进行模型推理,获得已训练的所述部分模型对应的模型推理完成信息。

进一步地,本实施例中,所述模型服务输出装置还包括计算模块,用于在接收到模型服务调用请求时,获取所述模型服务调用请求中包含的模型调用路径以及模型计算参数;根据所述模型调用路径确定待调用模型,并将所述模型计算参数输入至所述待调用模型中进行模型计算,获得模型计算结果;将所述模型计算结果发送至所述模型服务调用请求的发送方,以供所述发送方对接收到的所有模型计算结果进行汇总,获得汇总结果。

本发明模型服务输出装置的其他实施例或具体实现方式可参照上述第二方法实施例,此处不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1