基于云计算架构的模型管理方法及系统与流程

文档序号:23175754发布日期:2020-12-04 14:06阅读:163来源:国知局
基于云计算架构的模型管理方法及系统与流程

本发明实施例涉及大数据领域,尤其涉及一种基于云计算架构的模型管理方法及系统。



背景技术:

云计算(cloudcomputing模式)服务架构作为一种新兴的共享基础架构,可以将巨大的系统资源池连接到一起,以此来提供各种it服务。该服务架构广泛应用于各种商用场景。然而,现有的云计算服务架构通常是在云中心节点或者边缘节点进行计算,每年网络新生产数据以指数级的速度增长,给云计算服务架构带来计算压力,计算效率较低,用户体验较差。



技术实现要素:

有鉴于此,本发明实施例提供了一种基于云计算架构的模型管理方法、系统、计算机设备及计算机可读存储介质,用于解决现有的云计算服务架构计算海量数据时计算效率低的问题。

本发明实施例是通过下述技术方案来解决上述技术问题:

一种基于云计算架构的模型管理方法,包括:

将所述云计算架构中的第一计算节点的计算模型下发至多个第二计算节点;

接收所述多个第二计算节点根据其对应的计算模型发送的选择指令,基于所述选择指令生成所述多个第二计算节点对应的多个用户表单,所述用户表单包括多个字段,所述字段用于记录所述第二计算节点的计算选择数据;

通过所述多个第二计算节点接收用户请求指令;

当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行所述用户请求指令生成计算结果;

当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果。

进一步地,所述方法还包括:

获取所述计算模型中的预设规则;

获取第一计算节点的第一更新数据;

基于所述预设规则和第一更新数据调整所述第一计算节点中的计算模型,以得到第一计算节点中更新后的计算模型。

进一步地,所述获取第一计算节点的第一更新数据之后还包括:

获取各个所述第二计算节点的第二更新数据;

基于所述预设规则以及第一更新数据和/或第二更新数据调整对应的第二计算节点中的计算模型,以得到各个第二计算节点中更新后的计算模型。

进一步地,所述当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行所述用户请求指令生成计算结果包括:

当检测到所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点获取用户偏好数据;

将所述用户偏好数据输入至所述第二计算节点的计算模型中,以通过所述计算模型输出结论数据至所述第二计算节点。

进一步地,所述当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果还包括:

通过所述第一计算节点监控多个所述第二计算节点,将携带有调度标签的第二计算节点定义为第二候选计算节点;

当检测到所述第二计算节点的计算选择数据为第二选择数据时,获取所述第二候选计算节点以及第一计算节点的负载数据;

基于所述第二候选计算节点以及第一计算节点的负载数据,确定目标计算节点;

通过第一计算节点将所述用户请求指令发送至所述目标计算节点,以使所述目标计算节点中的计算模型执行所述用户请求指令以生成计算结果。

进一步地,所述方法还包括:

在预设时间内通过所述第一计算节点接收所述第二计算节点发送的模型重更新请求时,所述模型更新请求携带有所述第二计算节点对应的计算模型以及用户数据;

通过第一蒸馏算法对所述第一计算节点的计算模型和多个第二计算节点对应的计算模型进行融合,生成第一目标计算模型;

通过用户数据校验所述第一目标计算模型生成模型校验结果;

当模型校验结果为校验通过时,将所述第一计算节点的计算模型替换为第一目标计算模型,以使所述第一目标计算模型存储于第一计算节点中;

通过所述第一计算节点下发所述第一目标计算模型至所述第二计算节点,以使所述第二计算节点通过第二蒸馏算法对所述第一目标计算模型和对应的计算模型进行融合,以得到对应的第二目标计算模型。

进一步地,所述第二计算节点包括多个边缘节点,所述方法还包括:

将所述第一计算节点的计算模型的模型参数以及第一更新数据存储于预设的中心数据库,将所述多个边缘节点的模型参数以及边缘节点对应的第二更新数据存储于边缘数据库中;

将所述中心数据库和边缘数据库均存储于区块链中。

为了实现上述目的,本发明实施例还提供一种基于云计算架构的模型管理系统,包括:

分发模块,用于将所述云计算架构中的第一计算节点的计算模型下发至多个第二计算节点;

记录模块,用于接收所述多个第二计算节点根据其对应的计算模型发送的选择指令,基于所述选择指令生成所述多个第二计算节点对应的多个用户表单,所述用户表单包括多个字段,所述字段用于记录所述第二计算节点的计算选择数据;

接收模块,用于通过所述多个第二计算节点接收用户请求指令;

第一执行模块,用于当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行所述用户请求指令生成计算结果;

第二执行模块,用于当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果。

为了实现上述目的,本发明实施例还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述基于云计算架构的模型管理方法的步骤。

为了实现上述目的,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如上所述的基于云计算架构的模型管理方法的步骤。

本发明实施例提供的基于云计算架构的模型管理方法、系统、计算机设备及计算机可读存储介质,通过第一计算节点将计算模型下发至多个第二计算节点,根据第二计算节点中的计算选择数据选择计算节点的计算模型执行用户请求指令,通过第一计算节点将计算权限下沉至第二计算节点,且通过第二计算节点的计算选择数据动态调度网络中的节点资源,提高计算效率。

以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。

附图说明

图1为本发明实施例一之基于云计算架构的模型管理方法的步骤流程图;

图2为本发明实施例一之基于云计算架构的模型管理方法中第一计算节点的计算模型的更新的步骤流程图;

图3为本发明实施例一之基于云计算架构的模型管理方法中第二计算节点的计算模型的更新的步骤流程图;

图4为本发明实施例一之基于云计算架构的模型管理方法中第二节点执行用户请求指令的步骤流程图;

图5为本发明实施例一之基于云计算架构的模型管理方法中动态调度计算节点的步骤流程图;

图6为本发明实施例一之基于云计算架构的模型管理方法中重初始化更新模型的步骤流程图;

图7为本发明实施例二之基于云计算架构的模型管理系统的程序模块示意图;

图8为本发明实施例三之计算机设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

实施例一

请参阅图1,示出了本发明实施例之基于云计算架构的模型管理方法的步骤流程图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述,具体如下:

如图1所示,所述基于云计算架构的模型管理方法可以包括步骤s100~s500,其中:

步骤s100,将所述云计算架构中的第一计算节点的计算模型下发至多个第二计算节点。

步骤s200,接收所述多个第二计算节点根据其对应的计算模型发送的选择指令,基于所述选择指令生成所述多个第二计算节点对应的多个用户表单,所述用户表单包括多个字段,所述字段用于记录所述第二计算节点的计算选择数据。

在示例性的实施例中,选择指令包括但不限于:选择自行更新指令,选择其他计算节点更新指令,选择自行计算指令,选择其他计算节点计算指令等。

其中,第二计算节点的计算选择数据包括第一选择数据和第二选择数据。所述第一选择数据用于表示对应的第二计算节点自行更新或自行计算。所述第二选择数据用于表示对应的第二计算节点请求其他计算节点执行更新或计算。

步骤s300,通过所述多个第二计算节点接收用户请求指令。

在示例性的实施例中,通过多个第二计算节点中的用户节点接收用户请求指令。某个用户节点接收到的用户请求指令用于请求执行该用户请求指令中携带的任务,可以通过该用户节点或者其他计算节点对应的计算模型执行该用户请求指令中携带的任务。

步骤s400,当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行用户请求指令生成计算结果。

在示例性的实施例中,当用户节点中的计算选择数据为第一选择数据时,直接在该用户节点上对用户的隐私数据进行私有使用。用户不再上传自己的隐私数据,而是直接将隐私数据在本地(对应的用户节点)上直接使用,以执行用户请求指令,保证了用户隐私数据的安全。该用户节点可以支持在其上的计算,第一计算节点也不需要为上述用户节点接收到的用户请求指令提供请求执行服务,这种解耦方式解决了第一计算节点与用户节点在隐私数据上的对抗。

步骤s500,当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果。

在示例性的实施例中,云计算架构中的第一计算节点为云中心节点,多个第二计算节点包括多个用户节点以及多个边缘节点。多个用户节点可以理解为是物联网传感器和智能客户端结合组成的节点。如智能空调,智能电视、智能音箱、智能手机等。

进一步地,计算模型的初始化训练在第一计算节点中进行。以金融新闻推荐的业务为例,第一计算节点获取历史数据、内部员工数据、调研数据等少部分数据,所需数据可以从外部数据库中进行获取,包括但不限于金融新闻内容数据库,万德金融信息数据库等;也可以从内部构建的金融信息数据库获取。其中,历史数据包括但不限于用户历史浏览新闻情况,用户关注的金融细分类别,用户关注的公司,用户对新闻的点击情况等,通过上述历史训练数据训练得到初始化的计算模型,初始化的计算模型可以由推荐模型如wide&deep(浅层线性神经网络以及深度神经网络)模型训练得到。初始化的计算模型的精确度相对较低,但初始化的计算模型预先配置有与该计算模型更新功能相关的预设规则,如模型使用规则,更新规则,调度规则等。初始化后的计算模型保存在云中心节点,即初始化后的计算模型保存在第一计算节点中,第一计算节点中的计算模型会下发至多个边缘节点中,为边缘节点的计算提供模型支持。

示例性的,当用户节点请求下载第一计算节点中的计算模型时,则将该计算模型下发至用户节点的路由器上,但是不会向第二计算节点下发历史训练数据。用户节点拿到计算模型后,可以存储在各自的路由器上,各自的路由器分别与各自的智能客户端以及物联网传感器连接。

在示例性的实施例中,如图2所示,所述方法还包括:

步骤s601,获取所述计算模型中的预设规则。

步骤s602,获取第一计算节点的第一更新数据。

步骤s603,基于所述预设规则和第一更新数据调整所述第一计算节点中的计算模型,以得到第一计算节点中更新后的计算模型。

具体的,以金融新闻推荐的业务为例,第一更新数据为第一计算节点获取到的每日最新的金融新闻信息。第一计算节点的计算模型更新依赖于第一计算节点收集到的第一更新数据。

在示例性的实施例中,如图3所示,所述获取第一计算节点的第一更新数据之后还包括:

步骤s611,获取各个所述第二计算节点的第二更新数据。

步骤s612,基于所述预设规则以及第一更新数据和/或第二更新数据调整对应的第二计算节点中的计算模型,以得到各个第二计算节点中更新后的计算模型。

示例性的,用户节点可以请求获取第一计算节点每日采集到的最新的金融新闻信息,再将获取到的数据对该用户节点的计算模型进行更新。或者用户节点还可以通过p2p(点对点)的形式从网络架构中的其他节点请求下载最新的金融新闻信息,也可以通过互联网请求外部网站、数据库、智能传感器等其他渠道获取最新的金融新闻信息,再将获取到的数据对该用户节点的计算模型进行更新。

示例性的,第二更新数据为用户节点对应的用户的个性化数据,用户节点还可以选择使用其个性化数据对其计算模型进行更新演进,各个用户节点进行计算模型更新的时候使用的训练数据不同,且各个用户节点能够获取到的训练数据更加丰富。

具体的,第二更新数据可以为当前时间t2距离上次更新时间t1之间新增的数据内容,按行对数据内容进行组织,如[t1时间年月日时分秒,模型推荐的新闻内容,模型推荐的类别,涉及到的公司,用户浏览时长,用户反馈得分等],[t2时间年月日时分秒,模型推荐的金融信息,用户浏览时长,用户反馈得分等],[t3…],…,[tn…],t1、t2、t3、…、tn位于t1~t2之间,每行为一条第二更新数据,如果用户对于某条第二更新数据对应的推荐信息有反馈,则该条第二更新数据包括第一标签数据:用户反馈得分/5,其中,用户反馈得分来源于用户回传给其对应的用户节点的反馈数据,用户可以对弹出的新闻/金融事件进行反馈帮助模型更新,进行0-5分的打分,用户也可以不反馈得分;如果用户对于某条第二更新数据对应的推荐信息无反馈,则该条第二更新数据包括第二标签数据:1-exp(-alpha*用户浏览时长),exp为以自然常数e的指数函数,alpha为初始化时预先设定的为正的规则超参数,可以为1.0。通过第二更新数据可以对该用户节点的计算模型进行增量监督的模型更新。

示例性的,用户节点可以根据从第一计算节点获取到的最新的金融新闻信息以及该用户节点对应的用户的个性化数据对该用户节点的计算模型进行更新演进。

在示例性的实施例中,第一计算节点和第二计算节点中的各个用户节点的计算模型不进行统一更新,使得各个用户节点的计算模型摆脱第一计算节点的公共训练数据的一致性,在各个第二计算节点进行更新后的计算模型能够给对应的第二计算节点提供更加个性化更加贴切的服务。不同第二计算节点的模型演进方向可以不同,摆脱同质性。例如,第一计算节点的计算模型为推荐模型,某个用户节点请求第一计算节点的推荐模型之后,随着该用户节点对应的用户对业务需求的不同,如该用户对业务的需求除了音乐服务外不使用别的推荐,则计算模型在该用户节点可以不断更新,演化为只推荐音乐的计算模型。

此外,用户节点可以只在本地收集对应的用户数据进行模型更新,完全不需要将用户的隐私数据上传到云端,即不需要将用户的隐私数据上传到第一计算节点,用户对于自己的隐私数据拥有完全所有和使用权,在很大程度上解决了用户隐私信息泄露的问题。

在示例性的实施例中,某计算能力弱的用户节点需要进行更新时,可以通过第一计算节点动态调用网络架构上的资源对该用户节点的计算模型进行更新。每次触发更新时,该用户节点需要将其隐私数据和该用户节点对应的计算模型的模型参数发送至第一计算节点,由第一计算节点将这些数据动态调度至第一计算节点本身或者边缘节点或者其他用户节点中的闲置的用户节点上,待模型参数更新完成后,返回更新的梯度。更新时只会进行增量的梯度计算,用户的私有的计算模型也不会泄露,保证了隐私数据和模型的安全。上述小批量的更新每次都会通过云中心请求别的计算节点资源,基本不会连续在同一个计算节点上更新,这也减少了用户数据被泄露的情况的发生。

在示例性的实施例中,所述方法还包括:将所述第一计算节点的计算模型的模型参数以及第一更新数据存储于预设的中心数据库,将所述多个边缘节点的模型参数以及边缘节点对应的第二更新数据存储于边缘数据库中;将所述中心数据库和边缘数据库均存储于区块链中。

上述区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在示例性的实施例中,如图4所示,所述当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行用户请求指令生成计算结果包括:

步骤s401,当检测到所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点获取用户偏好数据。

步骤s402,将所述用户偏好数据输入至所述第二计算节点的计算模型中,以通过所述计算模型输出结论数据至所述第二计算节点。

示例性的,当计算选择数据为第一选择数据时,接收到用户请求指令后,用户节点的路由器响应于该用户请求指令,可以通过其对应的计算模型在每天早上八点触发一次,通过当时搜集到的最新新闻、金融信息库作为备选内容,以及用户历史浏览、点击等情况,作为特征输入到路由器节点的模型,得到精确输出,如从1000个备选新闻中得到用户最可能点击的3个,弹出给用户。

在示例性的实施例中,如图5所示,所述当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果还包括:

步骤s501,通过所述第一计算节点监控多个所述第二计算节点,将携带有调度标签的第二计算节点定义为第二候选计算节点;

步骤s502,当检测到所述第二计算节点的计算选择数据为第二选择数据时,获取所述第二候选计算节点以及第一计算节点的负载数据;

步骤s503,基于所述第二候选计算节点以及第一计算节点的负载数据,确定目标计算节点;

步骤s504,通过第一计算节点将用户请求指令发送至所述目标计算节点,以使所述目标计算节点中的计算模型执行所述用户请求指令以生成计算结果。

在示例性的实施例中,携带有调度标签的第二计算节点,可以理解为是:计算能力强大的用户节点,主动提供自己的一部分计算资源,帮助其他计算能力弱的节点进行更新或计算的节点。

具体的,当计算选择数据为第二选择数据时,可以理解为,该第二计算节点需要请求其他计算节点进行计算的时候,通过第一计算节点进行调度,即通过云中心进行调度。

进一步地,第一计算节点动态调用网络架构上的资源执行该用户节点接收到的用户请求指令,需要该用户节点将其隐私数据以及其计算模型的模型参数发送至第一计算节点中,由第一计算节点根据其余计算节点的负载数据,确定目标计算节点以完成资源的动态调度。第一计算节点可以动态调度第一计算节点本身或者边缘节点或者其他用户节点中的闲置的用户节点执行该用户节点接收到的用户请求指令,待输出结果后,输出的结果可以为推送的数据,将结果中推送的数据返回至该用户节点。

在示例性的实施例中,如图6所示,所述方法还包括:

步骤s701,在预设时间内通过所述第一计算节点接收所述第二计算节点发送的模型重更新请求时,所述模型更新请求携带有所述第二计算节点对应的计算模型以及用户数据。

步骤s702,通过第一蒸馏算法对所述第一计算节点的计算模型和多个第二计算节点对应的计算模型进行融合,生成第一目标计算模型。

步骤s703,通过用户数据校验所述第一目标计算模型生成模型校验结果。

步骤s704,当模型校验结果为校验通过时,将所述第一计算节点的计算模型替换为第一目标计算模型,以使所述第一目标计算模型存储于第一计算节点中。

步骤s705,通过所述第一计算节点下发所述第一目标计算模型至所述第二计算节点,以使所述第二计算节点通过第二蒸馏算法对所述第一目标计算模型和对应的计算模型进行融合,以得到对应的第二目标计算模型。

在示例性的实施例中,预设时间可以为半个月或者一个月,根据实际的需求进行设置,在本发明实施例中对于预设时间不作限制。每隔一段时间,第一计算节点可以收集有需求进行重初始化更新或者愿意提供数据的用户节点的模型参数和隐私数据,第一计算节点将这些数据汇总到一起,通过锦标赛算法更新计算模型,得到第一目标计算模型并根据第一目标计算模型的表现决定是否将其作为第一计算节点中的重初始化的模型。

可以理解为是:第一计算节点在一段时间内可以收集到100个愿意分享数据的用户节点发送的10000条隐私数据和100个模型,每次更新一条数据,该条数据上100个模型都出一个结果,通过l=ytlog(yp)+(1-yt)log(1-yp),其中,l为交叉熵函数,对真实输出的标签yt与通过计算模型输出的结果yp计算交叉熵损失,基于交叉熵损失挑选表现最好的一个或几个模型。表现最好的一个或几个模型称为teacher(教师)模型,上述模型除了最后一层用于输出对应结果的得分以外,中间层还有一系列输出,最终结果前一层网络层的输出记为yt-k,第一计算节点的计算模型最终结果前一层网络层的输出记为yp-k,通过(yt-k-yp-k)2,其中,l为交叉熵函数,α为教师模型的权重参数,计算出平方损失,可以更好地更新模型权重,以得到第一目标计算模型。

第一目标计算模型更新完成后,该第一目标计算模型要在10000个数据上重新预测,输出的评估结果与之前的第一计算节点中的计算模型输出的结果的准确率是否有提高,若有提升第一计算节点中的计算模型即可进行重初始化替换为第一目标计算模型;或者通过附近的计算节点验证第一目标计算模型的准确度是否有提升,有提升则有条件将该第一目标计算模型同步到全网。

进一步地,第一计算节点重新初始化后可以通知所有计算节点是否增量更新,若其余的计算节点愿意更新,则下载第一计算节点中的第一目标计算模型并采用第二蒸馏算法更新,否则不进行更新,这样就完成了整个网络的重初始化更新。

本发明至少具有以下有益效果:在云计算服务架构中结合区块链思想,将云中心的计算权限下沉到终端节点,即将计算权限下沉到用户节点,减轻企业建立云中心的成本;各个用户节点可以选择上传隐私数据也可以选择不上传隐私数据,极大地保障了用户隐私数据的安全;各个用户节点中的计算模型的更新可以因人而异,可以通过各自的隐私数据进行个性化的模型更新,模型更新的场景离用户更贴近;根据不同应用不同场景定制化开发模型,可以适配各种情况的计算模型部署;且可以综合利用物联网多种传感器的优势,模型更新更加精准,提高用户体验;提高了物联网时代家庭路由器节点的附加价值,推动智能互联设备普及;减少了通信传输主干网压力,减少了信息传输时延;模型通过预设规则或个人喜好自动演进,网络自动同步更新。

实施例二

请继续参阅图7,示出了本发明基于云计算架构的模型管理系统的程序模块示意图。在本实施例中,基于云计算架构的模型管理系统20可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明,并可实现上述基于云计算架构的模型管理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述基于云计算架构的模型管理系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能:

分发模块800,用于将所述云计算架构中的第一计算节点的计算模型下发至多个第二计算节点;

记录模块810,用于接收所述多个第二计算节点根据其对应的计算模型发送的选择指令,基于所述选择指令生成所述多个第二计算节点对应的多个用户表单,所述用户表单包括多个字段,所述字段用于记录所述第二计算节点的计算选择数据;

接收模块820,用于通过所述多个第二计算节点接收用户请求指令;

第一执行模块830,用于当所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点中的计算模型执行用户请求指令生成计算结果;

第二执行模块840,用于当所述第二计算节点中的计算选择数据为第二选择数据时,通过所述第二计算节点将所述用户请求指令发送至第一计算节点,以执行所述用户请求指令生成计算结果。

在示例性的实施例中,所述系统还包括更新模块850,所述更新模块850用于:获取所述计算模型中的预设规则;获取第一计算节点的第一更新数据;基于所述预设规则和第一更新数据调整所述第一计算节点中的计算模型,以得到第一计算节点中更新后的计算模型。

在示例性的实施例中,所述更新模块850还用于:获取各个所述第二计算节点的第二更新数据;基于所述预设规则以及第一更新数据和/或第二更新数据调整对应的第二计算节点中的计算模型,以得到各个第二计算节点中更新后的计算模型。

在示例性的实施例中,所述第一执行模块830还用于:当检测到所述第二计算节点中的计算选择数据为第一选择数据时,通过所述第二计算节点获取用户偏好数据;将所述用户偏好数据输入至所述第二计算节点的计算模型中,以通过所述计算模型输出结论数据至所述第二计算节点。

在示例性的实施例中,所述第二执行模块840还用于:通过所述第一计算节点监控多个所述第二计算节点,将携带有调度标签的第二计算节点定义为第二候选计算节点;当检测到所述第二计算节点的计算选择数据为第二选择数据时,获取所述第二候选计算节点以及第一计算节点的负载数据;基于所述第二候选计算节点以及第一计算节点的负载数据,确定目标计算节点;通过第一计算节点将用户请求指令发送至所述目标计算节点,以使所述目标计算节点中的计算模型执行所述用户请求指令以生成计算结果。

在示例性的实施例中,所述更新模块850还用于:在预设时间内通过所述第一计算节点接收所述第二计算节点发送的模型重更新请求时,所述模型更新请求携带有所述第二计算节点对应的计算模型以及用户数据;通过第一蒸馏算法对所述第一计算节点的计算模型和多个第二计算节点对应的计算模型进行融合,生成第一目标计算模型;通过用户数据校验所述第一目标计算模型生成模型校验结果;当模型校验结果为校验通过时,将所述第一计算节点的计算模型替换为第一目标计算模型,以使所述第一目标计算模型存储于第一计算节点中;通过所述第一计算节点下发所述第一目标计算模型至所述第二计算节点,以使所述第二计算节点通过第二蒸馏算法对所述第一目标计算模型和对应的计算模型进行融合,以得到对应的第二目标计算模型。

实施例三

参阅图8,是本发明实施例三之计算机设备的硬件架构示意图。本实施例中,所述计算机设备2是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图8所示,所述计算机设备2至少包括,但不限于,可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及基于云计算架构的模型管理系统20。其中:

本实施例中,存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。当然,存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件,例如上述实施例的基于云计算架构的模型管理系统20的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行基于云计算架构的模型管理系统20,以实现上述实施例的基于云计算架构的模型管理方法。

所述网络接口23可包括无线网络接口或有线网络接口,该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如,所述网络接口23用于通过网络将所述计算机设备2与外部终端相连,在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication,gsm)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。

需要指出的是,图8仅示出了具有部件20-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。

在本实施例中,存储于存储器21中的所述基于云计算架构的模型管理系统20还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器21中,并由一个或多个处理器(本实施例为处理器22)所执行,以完成本发明。

例如,图7示出了所述实现基于云计算架构的模型管理系统20实施例二的程序模块示意图,该实施例中,所述基于云计算架构的模型管理系统20可以被划分为分发模块800、记录模块810、接收模块820、第一执行模块830以及第二执行模块840。其中,本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述基于云计算架构的模型管理系统20在所述计算机设备2中的执行过程。所述程序模块800-840的具体功能在实施例二中已有详细描述,在此不再赘述。

实施例四

本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于云计算架构的模型管理系统20,被处理器执行时实现上述实施例的基于云计算架构的模型管理方法。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1