一种资源调度管理系统的制作方法
【技术领域】
[0001]本发明涉及互联网技术领域，特别是涉及一种资源调度管理系统。
【背景技术】
[0002]在一些互联网企业，为了应对快速增长的业务需求，常常布设有大量的服务器，这些服务器在每天的业务活动中产生海量的数据。这些数据本身就是一个宝库，其中蕴藏有大量的信息，为了挖掘这些数据的价值，需要将数据从这些服务器上收集起来进行分析。目前一般采用双层采集架构、利用Flume作为采集工具。Flume是一种分布式、可靠、和高可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，同时，Flume还提供对数据进行简单处理。
[0003]在使用Flume进行数据收集时，运维人员需要将Flumeagent部署在业务机上，Flume agent将从业务机上收集的数据发送到部署在中转机上的中转层，并由中转层对数据进行汇总、解析，最后发送到进行数据分析的平台。由于缺少资源管理，计算资源无法进行高效分配和回收，从而导致资源利用率较低，对于宝贵的服务器资源是一种极大的浪费。
【发明内容】
[0004]有鉴于此，本发明提供一种资源调度管理系统，以解决中转机的资源利用率较低的问题。
[0005]为了实现上述目的，本发明公开了一种资源调度管理系统，其特征在于，包括:
[0006]Flume管理模块，用于在业务机和中转机上部署Flume服务；
[0007]资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单元，并利用配置表描述所述计算单元；
[0008]生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进行审批；
[0009]资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结果，为所述业务机分配所述计算单元。
[0010]从上述技术方案可以看出，本发明提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。
[0011]另外，通过生命周期的管理和资源分割，使得服务的部署可以通过页面进行，极大的降低了业务人员和运维人员的沟通成本;资源调度的自动化也使运维成本得到降低。
【附图说明】
[0012]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1是本发明提供的一种资源调度管理系统实施例的结构框图；
[0014]图2是本发明提供的另一种资源调度管理系统实施例的结构框图；
[0015]图3为本发明提供的又一种资源调度管理系统实施例的结构框图。
【具体实施方式】
[0016]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017]图1是本发明提供的一种资源调度管理系统实施例的结构框图。
[0018]参照图1所示，本发明提供的资源调度管理系统用于配置于资源管理主机上，具体可以包括如下模块:Flume管理模块10、资源配置模块20、生命周期管理模块30和资源调度模块40。
[0019]Flume管理模块10用于在业务机和中转机上部署Flume服务，Flume服务包括FlumeAgent和Flume Collector。部署在业务机上的Flume服务即Flume Agent，用于从业务机采集所需要的业务数据、交易数据、日志数据等数据。部署在中转机上的Flume服务即FlumeCollector，其用于接收Flume Agent收集的各种数据，并转发到相应的平台上。
[0020]Flume管理模块10具体包括业务机Flume管理单元11和中转机Flume管理单元12，前者用于在业务机上部署Flume Agent并修改Flume Agent的配置;后者则用于在中转机上部署Flume Collector，还用于修改Flume Collector的配置。
[0021]资源配置模块20用于将中转机的资源进行划分，划分为多个不可以进一步分割的计算单元，并利用一个配置表描述所有的计算单元。计算单元是一种逻辑上的资源描述，具体为包含一定计算能力、一定存储容量的单元，并且具有相应的地址和端口的功能组合，还包括为其分配的业务种类、运行状态信息和服务启动时间。为了对每个计算单元进行描述，配置表包含了每个计算单元的地址信息、端口信息、业务状态信息、核数量信息、内存容量信息、分配状态信息和服务启动时间信息中的部分或全部信息。
[0022]生命周期管理模块30用于接收业务机发出的申请，并根据管理员输入的操作请求对申请进行审批。即做出是否向该业务机的Flume服务提供资源或提供多少资源。
[0023]资源调度模块40用于根据生命周期管理模块30做出的审批结果为该业务机分配计算单元。一般可根据业务的需求向该业务机分配一个或多个计算单元。
[0024]从上述技术方案可以看出，本实施例提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。
[0025]另外，由于将中转机上的资源进行了单元分割，中转机在处理从业务机接收到的数据时，是在各个单独的计算单元内进行的，从而不会在业务流程之间造成相互干扰。
[0026]还有，通过细粒度的资源管理，使得资源管理主机可以通过调度算法自动完成服务器部署，过程中无需管理员进行干涉，从而能够降低运维成本。
[0027]资源调度模块还用于在中转机上的Flume服务需要重新部署时，为重新部署后的Flume服务重新分配相应的计算单元。
[0028]通过生命周期的管理和资源分割，使得服务的部署可以通过页面进行，极大的降低了业务人员和运维人员的沟通成本;资源调度的自动化也使运维成本得到降低。