资源的分配方法及装置、存储介质和电子设备与流程

本技术涉及大数据，具体而言，涉及一种资源的分配方法及装置、存储介质和电子设备。

背景技术：

1、大数据平台基于hadoop生态体系进行建设，基于多种计算引擎提供了分布式批量计算、交互查询等服务。

2、而且，对于批量计算服务，批量作业运行过程中占用计算资源，在批量作业完成后释放资源。平台为每个用户分配一个计算租户，并为租户配置了预留资源和浮动资源，预留资源是指一定能提供给租户的最低资源，浮动资源是指集群空闲时可供给到租户的最大资源。超分配机制就是浮动资源大于预留资源，超分配机制有利于发挥大数据集群资源，提升吞吐能力。另外，对于交互查询服务场景，其服务实例为常驻进程，资源配置固定，启动后计算资源不释放。在用户较少提交查询sql(用于查询数据的sql语句)的时间段，计算资源无法自动释放。

3、另外，随着业务场景逐渐增加，使用大数据平台的用户随之增加，集群整体超分配比例不断提高。且批量作业的数量迅速增长，逐渐出现批量高峰期租户之前资源争抢，导致租户每日能否抢占超分配“红利”资源存在不确定性，最终从租户视角上感受到作业时效不稳定。因此，作业提交后长时间处于等待资源的情况，导致作业运行时长差异大，影响了平台的稳定性。

4、因此，相关技术中hadoop计算资源超分配比例过高时，批量作业执行时长不稳定，超分配比例过低时资源使用率较低，进而影响交互查询的性能。故相关技术中难以合理的分配大数据平台中用于进行分布式计算的资源，导致在大数据平台中对数据进行分布式计算的效果较差。

5、针对相关技术中难以合理的分配大数据平台中用于进行分布式计算的资源，导致在大数据平台中对数据进行分布式计算的效果较差的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种资源的分配方法及装置、存储介质和电子设备，以解决相关技术中难以合理的分配大数据平台中用于进行分布式计算的资源，导致在大数据平台中对数据进行分布式计算的效果较差的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种资源的分配方法。该方法包括：获取第一调配规则和第二调配规则，其中，所述第一调配规则用于对大数据平台中的租户资源进行调配，所述第二调配规则用于对所述大数据平台中的设备资源进行调配，所述租户资源和所述设备资源用于对所述大数据平台中的数据进行分布式计算；依据所述第一调配规则，确定调配至第一租户的资源和调配至第二租户的资源，其中，所述第一租户用于对所述大数据平台中的数据进行加载处理，所述第二租户用于对所述大数据平台中的数据进行加工处理；依据所述第二调配规则，确定调配至第一资源池的设备数量和调配至第二资源池的设备数量，其中，所述第一资源池用于存储计算数据的资源，所述第二资源池用于存储查询数据的资源；基于所述第一租户的资源、所述第二租户的资源、所述第一资源池的设备数量和所述第二资源池的设备数量，确定对目标资源的分配结果，其中，所述目标资源为对所述大数据平台中的数据进行分布式计算所需的资源。

3、进一步地，依据所述第一调配规则，确定调配至第一租户的资源和调配至第二租户的资源包括：依据所述第一调配规则，获取对所述租户资源进行调配的第一时间信息；基于所述第一时间信息，确定调配至所述第一租户的资源和调配至所述第二租户的资源。

4、进一步地，在基于所述第一时间信息，确定调配至所述第一租户的资源和调配至所述第二租户的资源之后，所述方法还包括：获取所述第一租户的第一目标资源和所述第二租户的第二目标资源；将所述第一目标资源调配至所述第一租户，得到第一调配结果；将所述第二目标资源调配至所述第二租户，得到第二调配结果；对所述第一调配结果和所述第二调配结果进行检查，得到检查结果；依据所述检查结果确定对所述目标资源的所述分配结果。

5、进一步地，依据所述第二调配规则，确定调配至第一资源池的设备数量和调配至第二资源池的设备数量包括：依据所述第二调配规则，获取对所述设备资源进行调配的第二时间信息；基于所述第二时间信息，确定调配至所述第一资源池的设备数量；基于所述第二时间信息，确定调配至所述第二资源池的设备数量。

6、进一步地，基于所述第二时间信息，确定调配至所述第二资源池的设备数量包括：基于所述第二时间信息，确定是否需要将所述第一资源池中的设备调配至所述第二资源池中；若不需要将所述第一资源池中的设备调配至所述第二资源池中，则禁止从所述第一资源池中向所述第二资源池中调配设备；若需要将所述第一资源池中的设备调配至所述第二资源池中，则从所述第一资源池中确定n个目标设备，其中，n为正整数；依据所述n个目标设备，确定调配至所述第二资源池的设备数量。

7、进一步地，在若需要将所述第一资源池中的设备调配至所述第二资源池中，则从所述第一资源池中确定n个目标设备之后，所述方法还包括：在所述第二资源池中建立目标子资源池；将所述n个目标设备调配至所述目标子资源池中。

8、进一步地，基于所述第二时间信息，确定调配至所述第一资源池的设备数量包括：基于所述第二时间信息，确定是否需要将所述第二资源池中的设备调配至所述第一资源池中；若不需要将所述第二资源池中的设备调配至所述第一资源池中，则禁止从所述第二资源池中向所述第一资源池中调配设备；若需要将所述第二资源池中的设备调配至所述第一资源池中，则依据目标子资源池中的n个目标设备确定调配至所述第一资源池的设备数量，其中，所述目标子资源池为所述第二资源池中的子资源池，n为正整数。

9、进一步地，在若需要将所述第二资源池中的设备调配至所述第一资源池中，则依据目标子资源池中的n个目标设备确定调配至所述第一资源池的设备数量之后，所述方法还包括：获取所述目标子资源池中的所述n个目标设备；将所述n个目标设备调配至所述第一资源池中。

10、为了实现上述目的，根据本技术的另一方面，提供了一种资源的分配装置。该装置包括：第一获取单元，用于获取第一调配规则和第二调配规则，其中，所述第一调配规则用于对大数据平台中的租户资源进行调配，所述第二调配规则用于对所述大数据平台中的设备资源进行调配，所述租户资源和所述设备资源用于对所述大数据平台中的数据进行分布式计算；第一确定单元，用于依据所述第一调配规则，确定调配至第一租户的资源和调配至第二租户的资源，其中，所述第一租户用于对所述大数据平台中的数据进行加载处理，所述第二租户用于对所述大数据平台中的数据进行加工处理；第二确定单元，用于依据所述第二调配规则，确定调配至第一资源池的设备数量和调配至第二资源池的设备数量，其中，所述第一资源池用于存储计算数据的资源，所述第二资源池用于存储查询数据的资源；第三确定单元，用于基于所述第一租户的资源、所述第二租户的资源、所述第一资源池的设备数量和所述第二资源池的设备数量，确定对目标资源的分配结果，其中，所述目标资源为对所述大数据平台中的数据进行分布式计算所需的资源。

11、进一步地，所述第一确定单元包括：第一获取模块，用于依据所述第一调配规则，获取对所述租户资源进行调配的第一时间信息；第一确定模块，用于基于所述第一时间信息，确定调配至所述第一租户的资源和调配至所述第二租户的资源。

12、进一步地，所述装置还包括：第二获取单元，用于在基于所述第一时间信息，确定调配至所述第一租户的资源和调配至所述第二租户的资源之后，获取所述第一租户的第一目标资源和所述第二租户的第二目标资源；第一调配单元，用于将所述第一目标资源调配至所述第一租户，得到第一调配结果；第二调配单元，用于将所述第二目标资源调配至所述第二租户，得到第二调配结果；第一检查单元，用于对所述第一调配结果和所述第二调配结果进行检查，得到检查结果；第四确定单元，用于依据所述检查结果确定对所述目标资源的所述分配结果。

13、进一步地，所述第二确定单元包括：第二获取模块，用于依据所述第二调配规则，获取对所述设备资源进行调配的第二时间信息；第二确定模块，用于基于所述第二时间信息，确定调配至所述第一资源池的设备数量；第三确定模块，用于基于所述第二时间信息，确定调配至所述第二资源池的设备数量。

14、进一步地，所述第三确定模块包括：第一确定子模块，用于基于所述第二时间信息，确定是否需要将所述第一资源池中的设备调配至所述第二资源池中；第一禁止子模块，用于若不需要将所述第一资源池中的设备调配至所述第二资源池中，则禁止从所述第一资源池中向所述第二资源池中调配设备；第二确定子模块，用于若需要将所述第一资源池中的设备调配至所述第二资源池中，则从所述第一资源池中确定n个目标设备，其中，n为正整数；第三确定子模块，用于依据所述n个目标设备，确定调配至所述第二资源池的设备数量。

15、进一步地，所述装置还包括：第一建立单元，用于在若需要将所述第一资源池中的设备调配至所述第二资源池中，则从所述第一资源池中确定n个目标设备之后，在所述第二资源池中建立目标子资源池；第三调配单元，用于将所述n个目标设备调配至所述目标子资源池中。

16、进一步地，所述第二确定模块包括：第四确定子模块，用于基于所述第二时间信息，确定是否需要将所述第二资源池中的设备调配至所述第一资源池中；第二禁止子模块，用于若不需要将所述第二资源池中的设备调配至所述第一资源池中，则禁止从所述第二资源池中向所述第一资源池中调配设备；第五确定子模块，用于若需要将所述第二资源池中的设备调配至所述第一资源池中，则依据目标子资源池中的n个目标设备确定调配至所述第一资源池的设备数量，其中，所述目标子资源池为所述第二资源池中的子资源池，n为正整数。

17、进一步地，所述装置还包括：第三获取单元，用于在若需要将所述第二资源池中的设备调配至所述第一资源池中，则依据目标子资源池中的n个目标设备确定调配至所述第一资源池的设备数量之后，获取所述目标子资源池中的所述n个目标设备；第四调配单元，用于将所述n个目标设备调配至所述第一资源池中。

18、为了实现上述目的，根据本技术的另一方面，提供了一种计算机可读存储介质，所述存储介质存储程序，其中，所述程序执行上述的任意一项所述的资源的分配方法。

19、为了实现上述目的，根据本技术的另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的任意一项所述的资源的分配方法。

20、通过本技术，采用以下步骤：获取第一调配规则和第二调配规则，其中，第一调配规则用于对大数据平台中的租户资源进行调配，第二调配规则用于对大数据平台中的设备资源进行调配，租户资源和设备资源用于对大数据平台中的数据进行分布式计算；依据第一调配规则，确定调配至第一租户的资源和调配至第二租户的资源，其中，第一租户用于对大数据平台中的数据进行加载处理，第二租户用于对大数据平台中的数据进行加工处理；依据第二调配规则，确定调配至第一资源池的设备数量和调配至第二资源池的设备数量，其中，第一资源池用于存储计算数据的资源，第二资源池用于存储查询数据的资源；基于第一租户的资源、第二租户的资源、第一资源池的设备数量和第二资源池的设备数量，确定对目标资源的分配结果，其中，目标资源为对大数据平台中的数据进行分布式计算所需的资源，解决了相关技术中难以合理的分配大数据平台中用于进行分布式计算的资源，导致在大数据平台中对数据进行分布式计算的效果较差的问题。通过依据第一调配规则，确定调配至用于对大数据平台中的数据进行加载处理的第一租户的资源，并确定调配至用于对大数据平台中的数据进行加工处理的第二租户的资源，再依据第二调配规则，确定调配至第一资源池的设备数量，且第一资源池用于存储计算数据的资源，并确定调配至第二资源池的设备数量，且第二资源池用于存储查询数据的资源，再基于第一租户的资源、第二租户的资源、第一资源池的设备数量和第二资源池的设备数量，确定对大数据平台中的数据进行分布式计算所需的资源的分配结果，从而可以合理的分配大数据平台中用于进行分布式计算的资源，进而提升了在大数据平台中对数据进行分布式计算的效果。