实现自动打包的系统及方法
【技术领域】
[0001]本发明涉及互联网技术领域,具体涉及一种实现自动打包的系统及方法。
【背景技术】
[0002]LXC(Linux Container)容器是一种内核虚拟化技术,可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。相当于C++中的命名空间(NameSpace)。容器有效地将由单个操作系统管理的资源划分到孤立的组中,以更好地在孤立的组之间平衡有冲突的资源使用需求。
[0003]Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎,源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。简单得来说,Docker是一个由GO语言写的程序运行的“容器”(Linux containers, LXCs);目前云服务的基石是操作系统级别的隔离,在同一台宿主机上虚拟出多个主机。Docker则实现了一种应用程序级别的隔离,它改变我们基本的开发、操作单元,由直接操作虚拟主机(VM)转换到操作程序运行的“容器”上来。
[0004]现有技术一般采用人工方式手动输入打包命令docker build来对数据进行打包,这种方式效率低,占用人力资源,并会由于输入命令的错误而无法实现打包,准确率低。
【发明内容】
[0005]鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的实现自动打包的系统和相应的实现自动打包的方法。
[0006]根据本发明的一个方面,提供了一种实现自动打包的系统,包括:中心机以及至少一个打包机;中心机内部具有提供任务下发接口的第一脚本,至少一个打包机内部具有提供打包接口的第二脚本;
[0007]中心机适于:接收任务下发接口的调用请求运行第一脚本,以向至少一个打包机发送打包接口的调用请求和数据打包任务;
[0008]至少一个打包机适于:在接收到打包接口的调用请求和数据打包任务后,运行第二脚本以对数据进行打包。
[0009]根据本发明的另一方面,提供了一种实现自动打包的方法,应用于包括中心机以及至少一个打包机的系统;中心机内部具有提供任务下发接口的第一脚本,至少一个打包机内部具有提供打包接口的第二脚本;方法包括:
[0010]通过中心机接收任务下发接口的调用请求运行第一脚本,以向至少一个打包机发送打包接口的调用请求和数据打包任务;以及
[0011]至少一个打包机在接收到打包接口的调用请求和数据打包任务后,运行第二脚本以对数据进行打包。
[0012]根据本发明提供的方案,中心机在接收任务下发接口的调用请求运行第一脚本,向至少一个打包机发送打包接口的调用请求和数据打包任务;至少一个打包机在接收到打包接口的调用请求和数据打包任务后,运行第二脚本以对数据进行打包,实现了数据自动打包,无需通过人工输入命令进行数据打包,节省人力资源,克服了由于人工输入错误而无法进行打包的缺陷,且该系统便于操作,提高了打包效率和准确率。
[0013]上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的【具体实施方式】。
【附图说明】
[0014]通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
[0015]图1示出了根据本发明一个实施例的实现自动打包的系统的功能框图;
[0016]图2示出了根据本发明一个实施例的实现自动打包的方法的流程图;
[0017]图3示出了根据本发明另一个实施例的实现自动打包的方法的流程图。
【具体实施方式】
[0018]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
[0019]现有的数据打包一般是通过人工输入打包命令来实现,在整个打包过程中需要一一输入对应的命令来完成上述打包任务。本申请提供了一种实现自动打包的系统和方法,其提供了至少一个打包机,并通过检测打包机的状态,将打包任务首先发送给空闲状态的打包机,分布式处理数据打包任务。
[0020]图1示出了根据本发明一个实施例的实现自动打包的系统的功能框图。如图1所示,该系统,包括:中心机100以及至少一个打包机110 ;中心机100内部具有提供任务下发接口的第一脚本,至少一个打包机110内部具有提供打包接口的第二脚本。中心机100与至少一个打包机配合使用对数据进行打包。
[0021]可选地,该系统还包括:镜像源120以及至少一个宿主机130。其中,镜像源120,适于存储至少一个打包机上传的镜像数据。至少一个宿主机130,适于在接收到拉取镜像数据的消息后,到镜像源拉取镜像数据。
[0022]可选地,第一脚本用于实现向至少一个打包机发送打包接口的调用请求和数据打包任务。第二脚本用于对数据进行打包。
[0023]中心机100适于:接收任务下发接口的调用请求运行第一脚本,以向至少一个打包机发送打包接口的调用请求和数据打包任务;及,接收至少一个打包机发送的上传结果信息,根据上传结果信息向至少一个宿主机发送拉取镜像数据的消息。
[0024]可选地,任务下发接口的调用请求中包含以下调用信息的一种或多种:镜像标签、系统文件的相对路径和第一配置信息;其中,第一配置信息包括:系统文件的基础路径、打包机列表信息和超时时间,更具体地,镜像标签定义了在打包结束后,上传至镜像源中镜像数据的名称;系统文件(dockerfile)的相对路径定义了 dockerfile存储路径中的用于确定dockerfile所在的底层目录的部分路径,dockerf ile由一条一条的指令组成,其包含创建镜像所需要的全部指令,基于在dockerfile中的指令来创建镜像;超时时间定义了打包机接收数据打包任务到将镜像数据自动上传到镜像源的时间,超过该时间,则说明上传失败。
[0025]打包接口的调用请求中包含以下调用信息的一种或多种:镜像标签、系统文件的相对路径和第二配置信息;其中,第二配置信息包括:系统文件的基础路径、镜像源地址、镜像数据存储地址,更具体地,系统文件的基础路径定义了 dockerfile存储路径中的用于确定dockerfile所在的初始目录的部分路径;镜像源地址定义了镜像源的地址,该地址用于指示打包机在数据打包结束后,镜像数据上传的地址;镜像数据存储地址定义了打包机在数据打包结束后,镜像数据存储在本地的地址。
[0026]中心机100通过任务下发接口接收调用请求,并根据该调用请求中的调用信息运行第一脚本,并在第一脚本运行过程中向至少一个打包机发送打包接口的调用请求和数据打包任务,其中,数据打包任务存储于中心机100的消息队列中,中心机100从消息队列中选择数据打包任务发送给打包机列表信息中记录的打包机。本实施例中,中心机通过任务下发接口接收调用请求具体代码实现如下:
[0027]octopus-ctl -t test-1mage/centos -p build/test-1mage/centos/Dockerflie-c config.yml
[0028]具体的参数含义:
[0029]-t镜像标签
[0030]-p系统文件的相对路径
[0031]-C第一配置信息:系统文件的基础路径、打包机列表信息和超时时间
[0032]可选地,中心机100进一步适于:检测至少一个打包机的状态,将打包接口的调用请求和数据打包任务发送至处于空闲状态的打包机。打包机的状态包括忙碌状态和空闲状态,忙碌状态说明已为打包机分配了数据打包任务,打包机正在进行数据打包,空闲状态说明未给打包机分配数据打包任务。具体地,在检测到至少一个打包机处于空闲状态,则中心机100将打包接口的调用请求和从消息队列中选择数据打包任务发送给该处于空闲状态的打包机。通过检测至少一个打包机的状态,可以有针对性地向处于空闲状态的打包机发送数据打包任务,克服了为部分打包机分配有多个数据打包任务,而却未给另一部分打包机分配打包任务的缺陷,保证最尚效的利用打包机,提尚了打包效率。
[0033]可选地,中心机100进一步适于:检测至少一个打包机是否创建有打包进程;若中心机检测到打包机未创建有打包进程,则将打包接口的调用请求和数据打包任务发送至该打包机。其中,进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动,中心机通过检测至少一个打包机是否创建有打包进程,来判断是否给打包机分配了数据打包任务,若检测到打包机创建有打包进程则说明已给打包机分配任务;若检测到打包机未创建有打包进程,则说明未给打包机分配任务,中心机可以将打包接口的调用请求和从消息队列中选择数据打包任务发送至该打包机。
[0034]中心机100进一步适于:通过检测至少一个打包机创建的进程名称是否包含关键字来确定至少一个打包机是否创建有打包进程;若进程名称不包含关键字,则打包机未创建有打包进程,将打包接口的调用请求和数据打包任务发送至该打包机。更具体地,至少一个打包机创建进程后,会为该进程设置对应的进程名称,通过检测进程名称中是否包含关键字,例如,“打包”等来确定至少一个打包机是否创建有打包进程;若进程中包含关键字“打包”,则打包机已创建有打包进程;若进程中不包含关键字“打包”,则打包机未创建有打包进程,将打包接口的调用请求和数据打包任务发送至该打包机。
[0035]中心机100在接收至少一个打包机发送的上传结果信息后,根据上传结果信息向至少一个宿主机发送拉取镜像数据的消息。具体地,若中心机100接收到至少一个打包机发送的上传成功信息,则中心机100向至少一