一种基于申威平台的高性能计算作业管理实现方法
【专利摘要】一种基于申威平台的高性能计算作业管理实现方法，通过采用N台申威计算机构建集群，其中1台申威计算机作为控制节点；剩余申威计算机作为计算节点；控制节点和各个计算节点通过PCIE总线扩展高速通信设备接口，并通过光缆与交换机相连，以此构建控制节点与计算节点间的高速通信网络；在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；在控制节点与计算节点中对作业管理软件进行修改编译，使其可以适用于申威平台；用户在控制节点中提交并行作业，通过作业管理软件将作业分发于各个计算节点，各个计算节点执行完相关任务后，由控制节点完成相关的处理。具有设计科学、使用方便等优点，可在国产化计算机服务器领域尤其是申威平台中实现，便于推广使用，并可以应用于航空、卫星等领域。
【专利说明】
一种基于申威平台的高性能计算作业管理实现方法
【技术领域】
[0001]本发明涉及计算机服务器通信【技术领域】，具体涉及一种基于申威平台的高性能计算作业管理实现方法。
【背景技术】
[0002]高性能计算(HPC)集群通常是把一个作业分成若干可以并行执行的子任务，使每个子任务分别在独立的计算节点中执行，从而提高集群中作业的执行效率。其中，作业的提交和分配，需要专门的作业调度来完成。而目前，在国产化计算机服务器等自主领域，尤其是申威平台中，其运算性能还比较低，与国外先进计算机系统相比还具有较大的差距。因此，在申威平台中，采用高性能计算作业管理方法来提高其计算效率凸显重要。
[0003]申威处理器或申威CPU，简称“SW处理器”。SW处理器源自于DEC的Alpha 21164，其研制得到了国家“核高基”专项资金支持。在国家“核高基”重大专项支持下、采用自主指令集，具体负责研发的单位是江南计算机所属于军方研究机构(总参56所)，且具有完全自主知识产权的处理器系列。
【发明内容】
[0004]本发明要解决的技术问题是:本发明提供一种基于申威平台的高性能计算作业管理实现方法。
[0005]本发明所采用的技术方案为:
一种基于申威平台的高性能计算作业管理实现方法，通过采用N台申威计算机构建集群，其中I台申威计算机作为控制节点；剩余申威计算机作为计算节点；控制节点和各个计算节点通过PCIE总线扩展高速通信设备接口，并通过光缆与交换机相连，以此构建控制节点与计算节点间的高速通信网络；在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；在控制节点与计算节点中对作业管理软件进行修改编译，使其可以适用于申威平台；用户在控制节点中提交并行作业，通过作业管理软件将作业分发于各个计算节点，各个计算节点执行完相关任务后，由控制节点完成相关的处理。
[0006]所述方法执行步骤如下:
1)通过申威计算机的PCIE总线扩展高速通信设备接口，并且通过光缆与交换机相连，完成数据通信网络的构建；
2)在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；
3)在控制节点中通过修改作业管理软件，部署可用于申威平台的专用户服务器(server)、作业调度器(sched)、作业执行器(mom)；
4)在计算节点中修改专用作业管理软件，部署可用于申威平台的作业执行器(mom)；
5)用户在控制节点中通过采用qsub命令将作业提交，用户服务器(server)接收到作业后，通过作业调度器(sched)将作业通过作业执行器(mom)分发给各个计算节点，以此来提闻作业的运行效率；
6)通过采用qstat命令，查看各个计算节点中的作业执行情况，进而将新的作业分配给作业执行较少的计算节点，进而提高执行效率。
[0007]所述高速通信设备接口为infiniband接口，所述交换机为infiniband交换机。
[0008]注:InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5 Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒，四个链接的时候速度是2 GB/秒，12个链接的时候速度可以达到6 GB /秒。
[0009]MPI是多点接口(Multi Point Interface)的简称,是西门子公司开发的用于PLC之间通讯的保密的协议。
[0010]本发明的有益效果为:本发明一种基于申威平台的高性能计算作业管理实现方法，具有设计科学、使用方便等优点，可在国产化计算机服务器领域尤其是申威平台中实现，便于推广使用，并可以应用于航空、卫星等领域。
【专利附图】
【附图说明】
[0011]图1为本发明的高性能计算结构框图；
图2为本发明的作业管理工作流程图。
【具体实施方式】
[0012]下面参照附图所示，通过【具体实施方式】对本发明进一步说明:
一种基于申威平台的高性能计算作业管理实现方法，通过采用N台申威计算机构建集群，其中I台申威计算机作为控制节点；剩余申威计算机作为计算节点；控制节点和各个计算节点通过PCIE总线扩展高速通信设备接口，并通过光缆与交换机相连，以此构建控制节点与计算节点间的高速通信网络；在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；在控制节点与计算节点中对作业管理软件进行修改编译，使其可以适用于申威平台；用户在控制节点中提交并行作业，通过作业管理软件将作业分发于各个计算节点，各个计算节点执行完相关任务后，由控制节点完成相关的处理。
[0013]所述方法执行步骤如下:
1)如图1所示，通过申威计算机的PCIE总线扩展高速通信设备接口，并且通过光缆与交换机相连，完成数据通信网络的构建；
2)在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；
3)在控制节点中通过修改作业管理软件，部署可用于申威平台的专用户服务器(server)、作业调度器(sched)、作业执行器(mom)；
4)在计算节点中修改专用作业管理软件，部署可用于申威平台的作业执行器(mom)；
5)如图2所示，用户在控制节点中通过采用qsub命令将作业提交，用户服务器(server)接收到作业后,通过作业调度器(sched)将作业通过作业执行器(mom)分发给各个计算节点，以此来提高作业的运行效率； 6)通过采用qstat命令，查看各个计算节点中的作业执行情况，进而将新的作业分配给作业执行较少的计算节点，进而提高执行效率。
[0014]所述高速通信设备接口为infiniband接口，所述交换机为infiniband交换机。
【权利要求】
1.一种基于申威平台的高性能计算作业管理实现方法，其特征在于:通过采用N台申威计算机构建集群，其中I台申威计算机作为控制节点；剩余申威计算机作为计算节点；控制节点和各个计算节点通过PCIE总线扩展高速通信设备接口，并通过光缆与交换机相连，以此构建控制节点与计算节点间的高速通信网络；在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境；在控制节点与计算节点中对作业管理软件进行修改编译，使其可以适用于申威平台；用户在控制节点中提交并行作业，通过作业管理软件将作业分发于各个计算节点，各个计算节点执行完相关任务后，由控制节点完成相关的处理。
2.根据权利要求1所述的一种基于申威平台的高性能计算作业管理实现方法，其特征在于，所述方法执行步骤如下: 1)通过申威计算机的PCIE总线扩展高速通信设备接口，并且通过光缆与交换机相连，完成数据通信网络的构建； 2)在控制节点与计算节点中对MPI库进行修改编译，使其能够应用于申威平台，进而部署MPI并行程序执行环境； 3)在控制节点中通过修改作业管理软件，部署可用于申威平台的专用户服务器、作业调度器、作业执行器； 4)在计算节点中修改专用作业管理软件，部署可用于申威平台的作业执行器； 5)用户在控制节点中通过采用qsub命令将作业提交，用户服务器接收到作业后，通过作业调度器将作业通过作业执行器分发给各个计算节点，以此来提高作业的运行效率； 6)通过采用qstat命令，查看各个计算节点中的作业执行情况，进而将新的作业分配给作业执行较少的计算节点，进而提高执行效率。
3.根据权利要求1或2所述的一种基于申威平台的高性能计算作业管理实现方法，其特征在于:所述高速通信设备接口为infiniband接口，所述交换机为infiniband交换机。
【文档编号】H04L29/08GK104268014SQ201410555905
【公开日】2015年1月7日 申请日期:2014年10月20日 优先权日:2014年10月20日
【发明者】陈亮甫, 吴登勇 申请人:山东超越数控电子有限公司