资源分配方法、装置、计算机设备、存储介质与流程

文档序号:31786388发布日期:2022-10-12 13:40阅读:73来源:国知局
资源分配方法、装置、计算机设备、存储介质与流程

1.本技术涉及人工智能技术领域,特别是涉及一种资源分配方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术:

2.在对象存储平台系统中,用户会上传需要存储的数据至对象存储系统平台服务端加以保存。用户及接入应用数量日益增多而对象存储系统的资源有限,当多个用户或接入应用同时使用对象存储系统进行存储时难免会发生资源抢占或是资源分配不均的情况。
3.由于,接入应用对于资源的使用并不会一成不变,传统的人工资源配置则可能会在某个应用资源需求量较少时仍给予较高的资源,从而造成资源的浪费。并且还会增加用户资源配置的不确定性及难度。因此,在相关技术中并不能准确的分配资源。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够准确分配资源的资源分配方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面,本技术提供了一种应用于服务器的资源分配方法,该方法包括:
6.接收终端上传的数据;
7.确定所述数据对应的应用,并获取所述应用对应的目标资源;所述目标资源是动态分配的;
8.通过所述目标资源对所述数据进行存储。
9.在其中一个实施例中,上述确定所述数据对应的应用之前,还包括:
10.对所述数据的数据类型以及验证信息进行校验;
11.当对所述数据的数据类型以及验证信息进行校验成功时,继续获取所述应用对应的目标资源的步骤。
12.在其中一个实施例中,上述方法还包括:
13.当对所述数据的数据类型或所述验证信息进行校验不成功时,对所述数据所携带的待校验类型信息进行校验;
14.当所述待校验类型信息与预设类型信息不一致时,终止存储流程;
15.当所述待校验类型信息与预设类型信息一致时,继续获取所述应用对应的目标资源的步骤。
16.在其中一个实施例中,上述方法获取应用对应的目标资源,还包括:
17.获取应用的初始资源;
18.根据初始资源以及预先训练的资源分配模型预测的分配资源,确定目标资源。
19.在其中一个实施例中,上述目标资源是根据预先训练的资源分配模型预测得到,其中所述资源分配模型的训练过程包括:
20.获取训练样本数据,所述训练样本数据携带样本资源;
21.将所述训练样本数据输入至初始模型中进行训练,得到初始资源;
22.根据所述初始资源以及所述样本资源的偏差,调整所述初始模型的模型参数,直至训练完成得到所述资源分配模型。
23.在其中一个实施例中,上述通过所述目标资源对所述数据进行存储,还包括:
24.计算所述应用进行数据存储所需的资源;
25.当所述目标资源与所述应用进行数据存储所需的资源的差值大于预设阈值时,调整所述目标资源。
26.第二方面,本技术提供了一种应用于终端的资源分配方法,该方法包括:
27.当用户使用第一端口上传数据时,获取所述数据对应的数据类型,并对所述数据的所述数据类型进行初始校验并生成校验信息,将所述校验信息、所述数据类型以及所述数据上传至所述服务器;
28.当用户使用第二端口上传所述数据时,根据预设方法截取所述数据中的信息作为待校验类型信息,并将所述待校验类型信息以及所述数据上传至所述服务器。
29.在其中一个实施例中,上述对所述数据的所述数据类型进行初始校验并生成校验信息,将所述校验信息、所述数据类型以及所述数据上传至所述服务器,包括:
30.对所述数据类型是否在预设类型信息中进行判断;
31.当所述数据类型在所述预设类型信息中时,生成对应的校验信息,将所述校验信息、所述数据类型以及所述数据上传至所述服务器;
32.当所述数据类型不在所述预设类型信息中时,生成对应的校验信息并根据预设方法截取所述数据中的信息作为所述类型信息,将所述校验信息、所述数据类型、所述数据以及所述类型信息上传至所述服务器。
33.第三方面,本技术还提供了一种应用于服务器的资源分配装置,该装置包括:
34.获取模块,用于接收终端上传的数据;
35.资源确定模块,用于确定所述数据对应的应用,并获取所述应用对应的目标资源,所述目标资源是预先动态分配的;
36.存储模块,用于通过所述目标资源对所述数据进行存储。
37.第四方面,本技术还提供了一种应用于终端的资源分配装置,该装置包括:
38.第一上传模块,用于当用户使用第一端口上传数据时,获取所述数据对应的数据类型,并对所述数据的所述数据类型进行初始校验并生成校验信息,将所述校验信息、所述数据类型以及所述数据上传至所述服务器;
39.第二上传模块,用于当用户使用第二端口上传所述数据时,根据预设方法截取所述数据中的信息作为待校验类型信息,并将所述待校验类型信息以及所述数据上传至所述服务器。
40.第五方面,本技术还提供了一种计算机设备,该计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
41.第六方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
42.第七方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
43.上述资源分配方法、装置、计算机设备、存储介质和计算机程序产品,首先接收终端上传的数据,然后在确定数据对应的应用之后获取应用对应的目标资源,其中目标资源是动态分配的,由于目标资源是动态分配的,因此可以将开发人员从繁复的资源配置更新操作中解放出来,从而节省人力;其次,由于接入应用对于资源的使用并不会一成不变,而传统技术中的人工的资源配置则可能会在某个应用资源需求量较少时仍给予较高的资源,从而造成资源的浪费,因此动态分配能够更好地进行分配资源及管理,使资源利用率最大化。
附图说明
44.图1为一个实施例中资源分配方法的应用环境图;
45.图2为一个实施例中资源分配方法的流程示意图;
46.图3为另一个实施例中资源分配步骤的流程示意图;
47.图4为一个实施例中资源分配框架示意图;
48.图5为一个实施例中数据类型限制流程示意图;
49.图6为一个实施例中资源分配装置的结构框图;
50.图7为另一个实施例中资源分配装置的结构框图;
51.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
53.本技术实施例提供的资源分配方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102首先对用户使用第一端口的上传的数据,进行数据类型校验并生成校验信息,然后将校验信息、数据类型以及数据上传至服务器104;对用户使用第一端口的上传的数据根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器104,服务器104接收终端上传的数据,然后确定数据对应的应用,并获取应用对应的目标资源;其中,目标资源是动态分配的,最后通过目标资源对数据进行存储,以准确的分配资源,进而更好地进行分配资源及管理,使资源利用率最大化。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
54.在一个实施例中,如图2所示,提供了一种资源分配方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
55.s202,接收终端上传的数据。
56.其中,终端上传的数据是指通过用户通过终端上传的任意的需要进行存储的数据,其可以是的文件、视频、图像等。
57.可选地,在服务器接收终端上传的数据之前,终端已经对用户需要上传的数据进行了验证,保证上传的数据的数据类型是允许上传的,这是为了避免用户上传未经允许的数据类型的数据,从而造成其他用户资源被挤占的情况。其中,数据类型是表征数据属性的标签。示例性的,可以通过数据的后缀,终端就可以获取到对应的数据类型,如.doc就知道数据类型是文档,这样是为了避免其他用户资源被挤占的情况。
58.可选地,在接收终端上传的数据之后,服务器还会对数据对应的数据类型进行验证,只有在服务器验证通过之后才能获取对应的目标资源对数据进行存储,若是服务器对数据对应的数据类型不通过的话,直接中断存储流程。
59.s204,确定数据对应的应用,并获取应用对应的目标资源;目标资源是动态分配的。
60.其中,目标资源是指服务器动态分配的,用于存储终端上传的数据的资源,其可以是网络带宽。
61.服务器首先确定数据对应的应用,这是因为不同应用获取的目标资源是不用的。
62.可选地,目标资源是根据预先训练的资源分配模型预测得到的,目标资源中还包括目标资源对应的资源等级。
63.可选地,获取应用对应的目标资源,还包括:获取应用的初始资源;根据初始资源以及预先训练的资源分配模型预测的分配资源,确定目标资源。
64.其中,初始资源是指应用能够获取的最低的资源,其可以根据目标资源对应的资源等级得到的。如表1所示,表1为分级配置表的示例,各资源级别保证了应用能获得的最低网络带宽,iops(每秒执行的io次数)和tps(每秒事务处理量),若应用对应的资源等级为2级,则初始资源为5mb/s的带宽、300的iops以及300的tps。剩余的资源由预先训练的资源分配模型预测的分配资源进行分配。
65.表1分配配置表
66.级别基本网络带宽(mb/s)基本iops基本tps111001002530030031075075042015001500
67.可选地,目标资源是根据预设时间动态分配的,示例性的,服务器每1小时自动启动资源分配模型预测功能,预测接下来预设时间内的接入应用资源使用情况,其中预设时间是指开启预测的时间,其是根据实际应用场景设置的,例如一个小时内启动资源分配模型。
68.s206,通过目标资源对数据进行存储。
69.可选地,通过目标资源对数据进行存储之后,服务器会实时记录应用实际资源使用情况,当应用实际需要使用的资源与目标资源之间的差距大于预设阈值时,则按照实际需要使用的资源结合目标资源的差距进行调整,即即刻根据该应用的实际使用情况增加配
给资源。可选地,调整后的目标资源可用于后续资源分配模型的增量训练。
70.在上述实施例中,首先接收终端上传的数据,然后在确定数据对应的应用之后获取应用对应的目标资源,其中目标资源是动态分配的,由于目标资源是动态分配的,因此可以将开发人员从繁复的资源配置更新操作中解放出来,从而节省人力;其次,由于接入应用对于资源的使用并不会一成不变,而传统技术中的人工的资源配置则可能会在某个应用资源需求量较少时仍给予较高的资源,从而造成资源的浪费,因此动态分配能够更好地进行分配资源及管理,使资源利用率最大化。
71.在一个实施例中,上述确定所述数据对应的应用之前,还包括:对数据的数据类型以及验证信息进行校验;当对数据的数据类型以及验证信息进行校验成功时,继续获取应用对应的目标资源的步骤。
72.服务器接收终端上传的数据中会携带数据的数据类型以及验证信息,其中数据类型是终端获取得到的,验证信息是终端对数据类型进行校验得到的结果,其表示终端对数据的数据类型验证是否通过。
73.服务器会对数据中的数据类型以及验证信息进行验证,具体地,服务器会校验数据中是否有数据类型以及验证信息是否为通过,如果数据中有数据类型且校验信息为通过,则判定数据的数据类型以及验证信息校验成功,此时则继续获取应用对应的目标资源的步骤。
74.在一个实施例中,当对数据的数据类型或验证信息进行校验不成功时,对数据所携带的待校验类型信息进行校验;当待校验类型信息与预设类型信息不一致时,终止存储流程;当待校验类型信息与预设类型信息一致时,继续获取应用对应的目标资源的步骤。
75.当对数据的数据类型或者验证信息进行校验不成功时,即只有数据中存在数据类型且校验信息为通过时才会判定数据的数据类型以及验证信息校验成功,其他情况都判定数据的数据类型以及验证信息校验不成功,此时需要对数据中待校验信息进行校验,其中待校验信息是指终端根据预设方法对数据进行截取,用于当对数据类型以及验证信息校验不同时,再次进行验证的依据。
76.其中,预设类型信息是指预先设定的允许进行存储的数据的信息,其可以是一张全量的魔数和对应文件类型的表,魔数是指对于某些类型的文件,起始几个字节的内容是相同的,所以能通过此判断该文件的真实类型。
77.当待校验信息与预设类型信息不一致时,即待校验信息的数据类型与预设类型信息中记录的不同时,判定校验不成功并生成错误信息,同时终止存储流程。相应的,当待校验信息与预设类型信息一致时,判定校验通过,生成对应的校验结果并将校验结果放入到数据中,继续获取应用对应的目标资源的步骤。可选地,当在预设信息中找不到待校验信息对应的文件类型时,则默认通过校验。
78.可选地,当对待校验信息验证不通过时,服务器还会将错误信息发送至终端,以避免用户误认为数据已经存储成功了。
79.在上述实施例中,对用户数据类型进行限制强制用户上传合规的数据以期降低因为用户上传不合规的数据类型而造成的资源挤占情况。
80.在一个实施例中,目标资源是根据预先训练的资源分配模型预测得到,其中资源分配模型的训练过程包括:获取训练样本数据,训练样本数据携带样本资源;将训练样本数
据输入至初始模型中进行训练,得到初始资源;根据初始资源以及样本资源的偏差,调整初始模型的模型参数,直至训练完成得到资源分配模型。
81.其中,训练样本数据是指用于模型训练的训练集,其可以是服务器的提取组件抓取的相关日志,即历史记录的对应应用的资源使用情况;样本资源是指史记录的对应应用的资源使用情况以及对应应用的资源使用情况的等级标签,其可以是根据表1中“基本网络带宽”的对应级别进行标注,如果当时资源用量《1mb/s,那就标注为1,1-5mb标注为2,以此类推。
82.将训练样本数据输入至初始模型中进行训练,其中初始模型是指用于对训练样本数据进行训练的模型,其可以是tensorflow框架下的sequential model(序贯模型),通过初始模型可以得到初始资源,其中初始资源是指初始模型预测得到的结果,即初始模型预测得到的资源以及资源等级。最后,根据初始资源以及样本资源之间的偏差,调整初始模型的模型参数,可选地,可以通过梯度下降等方式调整初始模型的模型参数,直至训练完成得到资源分配模型。需要说明的一点是,初始资源以及样本资源的偏差小于预设阈值时,才能判定训练完成。其中,预设阈值是指预先设置的用于判定初始模型是否训练完成的指标,其可以根据实际的使用场景进行设置。
83.可选地,资源分配模型在预设时间段内,还会进行增量训练,其中用于增量训练的数据是提取组件抓取的预设阈值时间内的增量数据,这是因为终端上传的数据是不断变化的,若是长时间不对模型进行增量训练,会导致模型预测的结果,进行增量训练是为了保证模型预测的准确性,以避免资源浪费。
84.在一个实施例中,资源分配模型的训练过程包括:
85.1.按照秒级粒度对数据进行分割整合,其中数据是指服务器中分析组件抓取的相关日志。
86.2.计算获取以technical analysis(技术分析法)为基础的技术指标(technical indicator)。使用的技术指标有相对强弱指数,随即指数和简单移动平均和日志提取数据一起作为深度学习模型输入参数。
87.3.数据预处理及标准化。示例性的,假设当天时间为d,d-1h为一小时内的数据,d-2h为两小时内的数据,d-1为一天内的数据,d-7为一周内的数据,d-30为一月内的数据,以此类推。那么预处理和标准化就是分别计算d-1h,d-2h,d-3h,d-6h,d-1,d-7,d-30的平均值和方差。
88.4.将处理完的数据作为训练样本数据使用tensorflow框架下的sequential model进行深度学习。
89.5.针对每周的增量数据,进行数据加权并对模型进行增量训练,其中增量训练是指以先前训练的模型为起点,每隔一段时间,加入这段时间内获取的新数据继续训练。
90.在上述实施例中,通过模型训练得到资源分配模型,并预设时间段内进行增量训练,以保证资源分配模型预测的准确性。
91.在一个实施例中,通过所述目标资源对所述数据进行存储之后,还包括:计算所述应用进行数据存储所需的资源;当所述目标资源与所述应用进行数据存储所需的资源的差值大于预设阈值时,调整所述目标资源。
92.由于服务器会实时记录应用资源的使用情况,因此可以计算得到应用进行数据存
储的资源,当预测的目标资源与应用进行数据存储所需的数据之间的差值大于预设阈值时,其中预设阈值是指预先设定的需要对目标资源进行调整的阈值,其可以根据实际使用情况进行设定,示例性的,可以将预设阈值设置为200%,即应用进行数据存储的资源是目标资源的200%或者大于200%时,就对目标资源进行调整,具体地根据该应用的实际使用情况增加配给资源,调整后的目标资源用于后续资源分配模型对资源的预测。其中,可选地,可以用于模型的增量训练。
93.在上述实施例中,通过对应用进行数据存储所需的资源调整目标资源,调整后的目标资源用于后续的预测,可以使资源分配模型更加准确。
94.在一个实施例中,如图3所示,提供了一种资源分配方法,以方法应用于图1中的终端102为例进行说明,包括以下步骤:
95.s302,当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器。
96.用户可以通过两种方式从客户端上传数据,分别是第一端口和第二端口,其中第一端口可以是java sdk,第二端口可以是rest api。对于通过第一端口上传的数据可以通过终端获取用户上传的数据类型,其中可选地,可以通过终端的数据类型获取模块获取用户上传的数据类型。
97.当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验生成对应的校验信息,其中初始校验是指终端对数据进行的校验。可选地,可以通过预设的初始校验信息来对数据类型校验,其中,初始校验信息是指服务器提前发送至终端,用于终端对初始校验信息的指标。如果数据类型在预设的初始校验信息中时,在校验信息中标记为通过,并将校验信息、数据类型以及数据上传至服务器。
98.可选地,当数据类型不在预设的初始校验信息中,则在校验信息中标记为不同过,根据预设方法截取数据中的信息作为待校验类型信息,最后将数据类型、校验信息、待校验类型信息以及数据上传至服务器。其中,预设方法可以是截取文件预设字节作为待校验类型信息。
99.可选地,当终端获取数据的数据类型失败时,根据预设方法截取数据中的信息作为待校验类型信息,最后将数据类型、校验信息、待校验类型信息以及数据上传至服务器。
100.s304,当用户使用第二端口上传数据时,根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
101.由于第二端口无法对数据的数据类型进行校验,因此需要根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
102.在上述实施例中,通过对不同端口上传的数据进行不同的处理,以保证服务器对不同端口上传的数据都能进行校验,避免缺少验证信息;其次,对于第一端口上传的数据,终端对其进行了初始验证,可以减少服务器验证的工作量。
103.在一个实施例中,上述对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器,包括:对数据类型是否在初始校验信息中进行判断;当数据类型在初始校验信息中时,生成对应的校验信息,将校验信息、数据类型以及数据上传至服务器;当数据类型不在初始校验信息中时,生成对应的校验信息并根据预设方法截取数据中的信息作为待校验类型信息,将校验信息、数据类型、数据以及待校验类型信
息上传至服务器。
104.终端首先对数据类型是都在初始校验信息中进行判断,其中初始校验信息可以是服务器提前发送至终端的用户允许的文件类型对应的魔数表。当数据类型在初始校验信息中时,生成对应的校验信息并将校验信息标记为通过,再将校验信息、数据类型以及数据上传至服务器。当数据类型不在初始校验信息中时,生成对应的校验信息并根据预设方法截取数据中的信息作为待校验类型信息,将校验信息、数据类型、数据以及待校验类型信息上传至服务器,这是因为初始校验信息的量较小,并不能对所有的数据类型进行校验,因此需要截取数据中的信息作为待校验类型信息,由服务器进行再次验证。
105.在上述实施例中,通过对数据类型进行校验,进而判定发往服务器的数据中是否需要携带待校验类型信息,以确保服务器能够对数据进行校验。
106.在一个实施例中,如图4所示,图4为一个实施例中的资源分配框架示意图,其中包括的组件有,核查组件(客户端)typecheckerclient,核查组件(服务端)typecheckerserver,提取组件extractor,分析组件analyst及资源分配组件resourceallocator。
107.核查组件:数据会通过两种方式从终端上传,分别是java sdk和rest api。对于通过java sdk上传的数据,能在其上传至服务器前通过在终端的数据类型获取模块typecheckerclient获取用户上传的数据类型,并对数据类型进行校验生成验证信息,将数据类型、验证信息以及数据发往位于服务器的数据类型校验模块typecheckers-erver。rest api因难以在终端进行检验,因此跳过终端对数据进行检验直接在服务器进行检验。如果数据中显示终端对数据的校验通过则允许数据上传跳过剩下步骤。如果不通过或是没有终端对数据的校验,则再次进行校验。具体地,服务器维护一张全量的魔数和对应文件类型的表(之前发给客户端的只是该用户允许的文件类型对应的魔数,量较小),检查文件是否属于别的文件类型,如果是别的文件类型则报数据类型错误,如果在整张魔数表中都找不到对应文件类型,则默认通过校验,将校验结果标记通过加入数据中,允许上传数据。如果校验不通过,则触发数据类型报错,终止存储流程,并将错误信息返回终端。具体可结合图5所示,图5为一个实施例中的数据类型限制流程示意图。
108.提取组件:用户上传数据时,服务器会对用户应用名,时间戳,响应时间,数据流大小等信息以日志形式记录。提取组件extractor每周抓取服务器上的相关日志(除了第一次抓取为全量外其余都只抓取每周增量日志数据),并根据上述的信息提取日志条目。将提取的数据发往分析组件analyst。
109.分析组件:分析组件analyst每周定时通过从extractor提取到的日志资料对接入应用使用情况进行学习分析。接入应用资源使用量的预测主要通过深度学习辅以technical analysis得以实现。
110.资源分配组件:在接入应用申请使用对象存储系统权限时,可选择对该应用进行分级配置,给其分配预先设置好的资源级别,默认不配置。如表1所示,各资源级别对应用能获得的最低网络带宽,iops(每秒执行的io次数)和tps(每秒事务处理量)做出规定。资源级别保障了应用最少能获取的资源,剩余的资源仍由从分析组件获取的应用资源使用量的预测情况进行分配。分级配置简化了配置复杂度,在不必对各个应用实行精细化配置的同时保障应用不会因为突发的用量变化造成业务上的影响。
111.在上述实施例中,通过限制用户上传的数据类型来降低用户违规挤占其他用户及接入应用资源的可能性。使用深度学习辅以technical analysis的方法最大限度地实现了接入应用资源配置的自动化,从而1.释放人力,将开发人员从繁复的资源配置更新操作中解放出来;2.动态分配法能根据历史及当前的接入应用状态资源只用状态预测接下来一定时间内其资源使用情况,从而能更好地进行分配资源及管理,使资源利用率最大化。3.同时也进一步加快了去状态化的进程,能更好的兼容paas平台。
112.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
113.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的资源分配方法的资源分配装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个资源分配装置实施例中的具体限定可以参见上文中对于资源分配方法的限定,在此不再赘述。
114.在一个实施例中,如图6所示,提供了一种资源分配装置,包括:获取模块100、资源确定模块200和存储模块300,其中:
115.获取模块100,用于接收终端上传的数据。
116.资源确定模块200,用于确定数据对应的应用,并获取应用对应的目标资源,目标资源是预先动态分配的。
117.存储模块300,用于通过目标资源对数据进行存储。
118.在一个实施例中,上述装置还包括:
119.第一校验模块,用于对数据的数据类型以及验证信息进行校验。
120.第一资源获取模块,用于当对数据的数据类型以及验证信息进行校验成功时,继续获取应用对应的目标资源的步骤。
121.在一个实施例中,上述装置还包括:
122.第二校验模块,用于当对数据的数据类型或验证信息进行校验不成功时,对数据所携带的待校验类型信息进行校验。
123.终止流程模块,用于当待校验类型信息与预设类型信息不一致时,终止存储流程。
124.第二资源获取模块,用于当待校验类型信息与预设类型信息一致时,继续获取应用对应的目标资源的步骤。
125.在一个实施例中,上述资源确定模块200包括:
126.初始资源获取模块,用于获取应用的初始资源。
127.目标资源获取模块,用于根据初始资源以及预先训练的资源分配模型预测的分配资源,确定目标资源。
128.在一个实施例中,上述资源确定模块包括:
129.样本获取单元,用于获取训练样本数据,训练样本数据携带样本资源。
130.训练单元,用于将训练样本数据输入至初始模型中进行训练,得到初始资源。
131.参数调整单元,用于根据初始资源以及样本资源的偏差,调整初始模型的模型参数,直至训练完成得到资源分配模型。
132.在一个实施例中,上述装置还包括:
133.计算模块,用于计算应用进行数据存储所需的资源。
134.资源调整模块,用于当目标资源与应用进行数据存储所需的资源的差值大于预设阈值时,调整目标资源。
135.在一个实施例中,参见图7所示,提供了一种资源分配装置,包括:第一上传模块400、第二上传模块500,其中:
136.第一上传模块,用于当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器。
137.第二上传模块,用于当用户使用第二端口上传数据时,根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
138.上述资源分配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
139.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储终端上传的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源分配方法。
140.本领域技术人员可以理解,图8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
141.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现接收终端上传的数据;确定数据对应的应用,并获取应用对应的目标资源;目标资源是动态分配的;通过目标资源对数据进行存储。
142.在一个实施例中,处理器执行计算机程序时所实现的确定数据对应的应用之前,还包括:对数据的数据类型以及验证信息进行校验;当对数据的数据类型以及验证信息进行校验成功时,继续获取应用对应的目标资源的步骤。
143.在一个实施例中,处理器执行计算机程序时所实现的当对数据的数据类型或验证信息进行校验不成功时,对数据所携带的待校验类型信息进行校验;当待校验类型信息与预设类型信息不一致时,终止存储流程;当待校验类型信息与预设类型信息一致时,继续获取应用对应的目标资源的步骤。
144.在一个实施例中,处理器执行计算机程序时所实现的获取应用对应的目标资源,还包括:获取应用的初始资源;根据初始资源以及预先训练的资源分配模型预测的分配资
源,确定目标资源。
145.在一个实施例中,处理器执行计算机程序时所实现的上述目标资源是根据预先训练的资源分配模型预测得到,其中资源分配模型的训练过程包括:获取训练样本数据,训练样本数据携带样本资源;将训练样本数据输入至初始模型中进行训练,得到初始资源;根据初始资源以及样本资源的偏差,调整初始模型的模型参数,直至训练完成得到资源分配模型。
146.在一个实施例中,处理器执行计算机程序时所实现的通过目标资源对数据进行存储,还包括:计算应用进行数据存储所需的资源;当目标资源与应用进行数据存储所需的资源的差值大于预设阈值时,调整目标资源。
147.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器;当用户使用第二端口上传数据时,根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
148.在一个实施例中,处理器执行计算机程序时所实现的对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器,包括:对数据类型是否在预设类型信息中进行判断;当数据类型在预设类型信息中时,生成对应的校验信息,将校验信息、数据类型以及数据上传至服务器;当数据类型不在预设类型信息中时,生成对应的校验信息并根据预设方法截取数据中的信息作为类型信息,将校验信息、数据类型、数据以及类型信息上传至服务器。
149.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收终端上传的数据;确定数据对应的应用,并获取应用对应的目标资源;目标资源是动态分配的;通过目标资源对数据进行存储。
150.在一个实施例中,计算机程序被处理器执行时所实现的上述确定数据对应的应用之前,还包括:对数据的数据类型以及验证信息进行校验;当对数据的数据类型以及验证信息进行校验成功时,继续获取应用对应的目标资源的步骤。
151.在一个实施例中,计算机程序被处理器执行时所实现的当对数据的数据类型或验证信息进行校验不成功时,对数据所携带的待校验类型信息进行校验;当待校验类型信息与预设类型信息不一致时,终止存储流程;当待校验类型信息与预设类型信息一致时,继续获取应用对应的目标资源的步骤。
152.在一个实施例中,计算机程序被处理器执行时所实现的获取应用对应的目标资源,还包括:获取应用的初始资源;根据初始资源以及预先训练的资源分配模型预测的分配资源,确定目标资源。
153.在一个实施例中,计算机程序被处理器执行时所实现的目标资源是根据预先训练的资源分配模型预测得到,其中资源分配模型的训练过程包括:获取训练样本数据,训练样本数据携带样本资源;将训练样本数据输入至初始模型中进行训练,得到初始资源;根据初始资源以及样本资源的偏差,调整初始模型的模型参数,直至训练完成得到资源分配模型。
154.在一个实施例中,计算机程序被处理器执行时所实现的通过目标资源对数据进行存储,还包括:计算应用进行数据存储所需的资源;当目标资源与应用进行数据存储所需的
资源的差值大于预设阈值时,调整目标资源。
155.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器;当用户使用第二端口上传数据时,根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
156.在一个实施例中,计算机程序被处理器执行时所实现的对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器,包括:对数据类型是否在预设类型信息中进行判断;当数据类型在预设类型信息中时,生成对应的校验信息,将校验信息、数据类型以及数据上传至服务器;当数据类型不在预设类型信息中时,生成对应的校验信息并根据预设方法截取数据中的信息作为类型信息,将校验信息、数据类型、数据以及类型信息上传至服务器。
157.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:接收终端上传的数据;确定数据对应的应用,并获取应用对应的目标资源;目标资源是动态分配的;通过目标资源对数据进行存储。
158.在一个实施例中,计算机程序被处理器执行时所实现的上述确定数据对应的应用之前,还包括:对数据的数据类型以及验证信息进行校验;当对数据的数据类型以及验证信息进行校验成功时,继续获取应用对应的目标资源的步骤。
159.在一个实施例中,计算机程序被处理器执行时所实现的当对数据的数据类型或验证信息进行校验不成功时,对数据所携带的待校验类型信息进行校验;当待校验类型信息与预设类型信息不一致时,终止存储流程;当待校验类型信息与预设类型信息一致时,继续获取应用对应的目标资源的步骤。
160.在一个实施例中,计算机程序被处理器执行时所实现的获取应用对应的目标资源,还包括:获取应用的初始资源;根据初始资源以及预先训练的资源分配模型预测的分配资源,确定目标资源。
161.在一个实施例中,计算机程序被处理器执行时所实现的目标资源是根据预先训练的资源分配模型预测得到,其中资源分配模型的训练过程包括:获取训练样本数据,训练样本数据携带样本资源;将训练样本数据输入至初始模型中进行训练,得到初始资源;根据初始资源以及样本资源的偏差,调整初始模型的模型参数,直至训练完成得到资源分配模型。
162.在一个实施例中,计算机程序被处理器执行时所实现的通过目标资源对数据进行存储,还包括:计算应用进行数据存储所需的资源;当目标资源与应用进行数据存储所需的资源的差值大于预设阈值时,调整目标资源。
163.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:当用户使用第一端口上传数据时,获取数据对应的数据类型,并对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器;当用户使用第二端口上传数据时,根据预设方法截取数据中的信息作为待校验类型信息,并将待校验类型信息以及数据上传至服务器。
164.在一个实施例中,计算机程序被处理器执行时所实现的对数据的数据类型进行初始校验并生成校验信息,将校验信息、数据类型以及数据上传至服务器,包括:对数据类型
是否在预设类型信息中进行判断;当数据类型在预设类型信息中时,生成对应的校验信息,将校验信息、数据类型以及数据上传至服务器;当数据类型不在预设类型信息中时,生成对应的校验信息并根据预设方法截取数据中的信息作为类型信息,将校验信息、数据类型、数据以及类型信息上传至服务器。
165.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
166.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
167.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1