专利名称：移动多任务并行处理系统的制作方法
技术领域：
本发明涉及计算机集群技术领域，尤其涉及一种移动多任务并行处理系统。
背景技术：
计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/ 或硬件连接起来高度紧密地协作完成计算工作；在某种意义上，他们可以被看作是一台计 算机，集群系统中的单个计算机称为节点，通常通过局域网连接，但也有其它的可能连接方 式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性；一般情况下集群计算 机比单个计算机，比如工作站或超级计算机性能价格比要高得多。集群分为同构与异构两种，它们的区别在于组成集群系统的计算机之间的 体系结构是否相同。集群计算机按功能和结构可以分成以下几类1)高可用性集群 High-availability (HA) clusters ；2)负载均衡集群 Load balancing clusters ；3)高性能 计算集群 High-performance (HPC) clusters ；4)网格计算 Grid computing。集群技术是一种并行或分布式处理系统，由很多连接在一起的独立计算机组成， 像一个单独集成的计算机资源一样协同工作，通过多台计算机完成同一个工作。计算机节 点可以是一个单处理器PC，工作站或多处理器的系统(共享存储的多处理机)，拥有内存、 IO设备和操作系统。一个集群一般是指连接在一起的两个或多个计算机(节点)。节点可 以是在一起的，也可以是物理上分散而通过LAN连结在一起的。一个连接在一起(LAN基础 上)的计算机集群对于用户和应用程序来说像一个单一的系统，这样的系统可以提供一种 价格合理的且可获得所需性能和快速而可靠的服务的解决方案，而在以往只能通过更昂贵 的专用共享内存系统来达到。而目前的集群计算系统设计都非常庞大，单节点设计复杂，不易移动，对环境温度 等条件要求苛刻，不便于携带，本发明就是为解决集群计算机存在的体积、便携性以及高性 能提出的一种高便携性、高集成度和高性能的集群计算解决方案。
发明内容
本发明的目的是提供一种移动多任务并行处理系统，以实现高便携性、高集成度、 高性能的集群计算系统。为达到上述目的，本发明采用如下的技术方案抽拉式紧凑式机箱，包括电器控制部分、信号输出、温度控制、防震处理以及各种 接口组成；机箱内部布局紧凑，底部为电源控制部分，为整个系统供电，中部为计算节点，排 列方式为竖立式，共有六个竖立的计算单元，上部为平放的四个磁盘，通过RAID与控制计 算单元相连构建4TB磁盘阵列；集成在上述机箱内的六个具有独立运行环境的计算节点，每个计算节点包括主 板、多核CPU、内存、硬盘、图形显示单元以及网络接口 ；共享式存储单元由4个ITB硬盘、一个阵列控制器和一个具有Linux环境的运算和管理功能的节点控制组成的磁盘阵列组；千兆以太网交换机为16 口的千兆以太网交换机，每台独立运行的计算节点通过 双通道网络接口与其相连，分别占用两个千兆交换口。所述计算节点主板采用小型化主板，尺寸为171. 45mmX 171. 45mm，电源采用 MicroATX 电源，体积是 125mmX IOOmmX 63. 51mm ；节点计算机的系统硬盘采用2. 5寸笔记本硬盘，并安装在单元的反面，处理器采 用Intel 二核或四核处理器。所述机箱长460mm、宽240mm、高380mm，所述机箱的两侧设计有风孔，并在机箱一 侧安装了四个排风扇。所述多任务并行处理移动集群系统还包括基础服务模块，用于实现计算机间的基础通讯；基础管理模块，用于实现对参与计算的网格计算机进行管理和调度；网格计算模块，用于实现网格计算中的数据交换和参数传递。所述基础服务模块进一步包括启动监听网络查询的子模块；判断是否监听到网络查询的子模块，如果是，则解析查询数据，启动对应的处理程 序；如果否，则返回继续判断是否监听到网络查询。所述基础管理模块进一步包括启动监听网络连接的子模块；判断是否监听到网络连接的子模块，如果否，则返回继续判断是否监听到网路连 接；如果是，则执行下述模块；建立网络连接的子模块；接收网络命令的子模块；解析命令，并执行命令的子模块；发送命令执行结果，并返回判断是否监听到网络连接的子模块。所述网格计算模块进一步包括服务端模块、客户端模块，其中服务端模块包括判断是否为服务端的子模块，如果否，则进入客户端模块；如果是，则继续执行下 述子模块；发出可用网络连接查询的子模块；判断是否有查询回应的子模块，如果否，则报告没有发现其他可用计算节点，连接 本计算机为唯一可用节点；如果是，则执行下述模块；打开网卡端口启动监听线程，发出启动网络计算节点命令的子模块；判断是否监听到有连接的子模块，如果是，则建立网络连接，分配计算任务，分发 子任务数据；报告各子任务执行状态，直到各子任务完成的子模块；汇总任务结果的子模块；客户端模跨包括判断是否需要启动节点的子模块，如果是，则进入服务端模式，如果否，则执行下
5述步骤；发出网络连接，连接服务端的子模块；接受分配的子任务和数据的子模块；执行子任务报告任务执行状态给服务端的子模块；完成子任务的子模块。本发明具有以下优点和积极效果1)考虑了通风、抗震等因素，保障了应急条件下计算机集成系统可移动和便携性， 以适应紧急情况下遥感数据的快速处理，为应急提高数据保障；2)利用局域网建立了多计算节点的并行处理系统，实现集群计算的高便携性、高 集成度、高性能。
图1是本发明的集成化机箱外观尺寸图。图2是本发明的各硬件单元排列关系图。图3是本发明的计算单元中主板、电源和硬盘关系结构图。图4是本发明的共享式数据存储单元的关系图。图5是本发明的各硬件数据交换与控制关系图。图6是本发明的并行处理基础服务程序框架图。图7是本发明的并行处理基础管理程序框架图。图8是本发明的并行处理通讯模块服务端原理图。图9是本发明的并行处理通讯模块客户端原理图。图10是本发明的并行处理三个网络模块关系图。
具体实施例方式为了实现机箱的小型化，分别对电源、计算单元尺寸、排列方式，以及温度控制等 进行了精心设计，参见图1所示的集成机箱外观尺寸图，其中长460mm，宽240mm，高380mm， 机箱正面设有信号灯，分别显示六个单元运算状况，另有六个暗藏式重启动开关，可分别控 制六个不同的单元，机箱与外部接口设有显示器、键盘和鼠标以及其它USB接口等。图2给出了机箱中各硬件节点和辅助设备的排列关系图，机箱底部为电源和16 口 千兆网络交换机，中间为垂直排列的计算节点，每个计算节点包括电源、计算机主板、CPU、 内存和系统硬盘；机箱顶部为平行排列的4块SATA ITB硬盘，通过SATA接口线与控制计 算节点相连，并通过RAID方式构建磁盘阵列。下面对机箱中的硬件单元的排列关系详细描 述①该机箱内部包括六个具有独立运行环境的计算节点，并集成在一个机箱内，每 个计算节点包括主板、多核CPU、内存、硬盘、图形显示单元以及网络接口等，可完成独立运 行Windows环境或Linux环境的程序的计算节点，其中五个为计算节点，一个为数据存储管 理节点。如图3所示，计算单元中31为计算节点主板、32为计算节点电源、33为计算节点 系统硬盘。②共享式存储单元由4个ITB硬盘、一个阵列控制器和一个具有Linux环境的运算和管理功能的节点控制组成的磁盘阵列组，以实现海量数据的共享存储和数据交换，是 本系统的核心数据控制与管理中心。4块SATA ITB硬盘，通过SATA接口线与控制计算节点 的RAID阵列卡相连，通过RAID方式构建磁盘阵列，并通过Linux进行管理，实现共享式数 据存储，如图4所示。③千兆以太网交换机为16 口的千兆以太网交换机，每台独立运行的计算单元通 过双通道与其相连，分别占用两个千兆交换口，以加速各计算单元与磁盘阵列组的数据交 换和并行数据处理的信息交换。④集成化机箱为抽拉式紧凑式机箱，包括电器控制部分、信号输出、温度控制、防 震处理以及各种接口组成；机箱内部布局紧凑，底部为电源控制部分，为整个系统供电，中 部为计算节点，排列方式为竖立式，共有六个竖立的计算单元，布局与排列方式如图2所 示，上部为平放的四个磁盘，通过RAID与控制计算单元相连构建4TB磁盘阵列，其构建关系 与连接关系如②所述。计算节点、控制节点和共享式存储单元均通过千兆网线与千兆以太 网交换机相连构建局域网络，如图5所示。⑤基于网络通讯协议NetBIOS和多磁盘RAID的文件10，文件IO的功能利用网络 附加存储设备(RAID存储)与操作系统的网络磁盘共享和网络磁盘映射功能来实现，能够 实现海量数据的存储与并发访问。⑥基于网络通讯协议TCP/IP的消息传递，通过UDP和TCP的组合，实现了系统的 信息同步以及计算过程和计算结果的同步。⑦任务分配与负载均衡是并行处理的核心，本发明自主开发网络扩展服务实现计 算并行控制，将处理任务进行并行分解并创建任务列表，然后连接计算节点，从任务列表中 取出任务进行分配。如果某台计算节点处理完当前分配任务，则从任务列表中取出下一个 任务给其指派，以此达到负载均衡。下面以具体实施例详细描述本发明(1)紧凑型机箱设计机箱温度主要通过风道设计，构建自然风通道，通过自然风的流动，使机箱内部散 热。机箱内外的空气有序流动是机箱内部散热的主要方式，因此在机箱的两侧设计了风孔， 并在机箱一侧安装了四个排风扇，以加速机箱内外的空气流动，达到控制机箱的温度目的。(2)计算单元的紧凑化设计为了减少计算单元所占用的空间，主板采用小型化主板，尺寸为 171. 45mmX 171. 45mm，电源采用 Micro ATX 电源，体积是 125mmX IOOmmX63. 51mm。硬盘 采用2. 5寸笔记本硬盘，并安装在单元的反面，从而使计算机单元为最为紧凑，处理器采用 Intel 二核或四核处理器。下面描述本发明的并行处理环境(1)并行处理硬件结构图磁盘阵列或TB级磁盘组提供海量数据的存储与并发访问能力，计算节点完成大 计算量的计算任务，控制节点完成并行任务的分解调度与人机交互功能。利用千兆网络交 换机将各终端设备互联，保障各终端设备间的高速数据通讯需求，如图5所示。(2)并行处理实现过程本系统以TCP/IP协议为基础，使用Socket阻塞模式开发服务程序(以下称基础服务程序)，基础服务程序主要实现计算机间的基础通讯，基础服务程序框架如图6所示。在每个参加计算的节点计算机上都必须安装基础服务程序，基础服务程序是一个 单实例的程序(网络资源是独占式的，不支持多实例访问)。安装了基础服务程序后，其他 计算机只要在网络上使用广播方式发出查询，就可以发现本计算机，并通过查询结果与本 计算机建立网络连接。该基础服务程序，具体包括以下步骤，参见图6所示启动监听网络查询；判断是否监听到网络查询，如果是，则解析查询数据，启动对应的处理程序；如果 否，则返回继续判断是否监听到网络查询。在本系统中网络查询侦为定长侦，大小定义为64字节，定义如表1 :表1查询侦定义 在数据段中存放查询的内容和查询结果，目前用于存放发出查询的计算机IP地 址以及回应计算机的IP地址。在基础服务程序基层上，本系统建立了一个基础管理程序，基础管理程序使用以 TCP/IP协议为基础，使用Socket阻塞模式，是B/S模式的程序。基础管理程序主要实现对 这个参与计算的网格计算机进行管理和调度，包括计算机状态的报告、接受和协调各个具 体计算的程序、强制结束或者终止具体计算的程序、报告计算机整体资源的使用情况、关闭 计算机、重新启动计算机等等，基础管理程序框架如图7所示，包括以下步骤启动监听网络连接；判断是否监听到网络连接，如果否，则返回继续判断是否监听到网路连接；如果 是，则执行下述步骤；建立网络连接；接收网络命令；解析命令，并执行命令；发送命令执行结果，并返回判断是否监听到网络连接。在每个参加计算的节点计算机上都必须安装基础管理程序，基础服务程序也是一 个单实例的程序。在基础管理程序中网络通讯侦为定长侦，大小定义为512字节，网络通讯侦定义 如表2 表4-3-2基础管理中通讯侦定义 结构定义为struct CMD_HDR{UINT cmd ；char strParl[252]；
8
char strPar2[256]；}；如图10所示，除基础服务程序、基础管理程序外，进行网格计算的程序本身也有 一个网络通讯服务模块(以下称网络通讯模块)实行网格计算中的数据交换和参数传递。 网络通讯模块使用以TCP/IP协议为基础，使用Socket阻塞模式，是C/S模式的程序，每个 计算机节点作为客户端(Client)，而发起计算的计算机作为服务端(Server)，运行原理如 图8和图9所示，服务端包括以下步骤判断是否为服务端，如果否，则进入客户端模式；如果是，则继续执行下述步骤；发出可用网络连接查询；判断是否有查询回应，如果否，则报告没有发现其他可用计算节点，连接本计算机 为唯一可用节点；如果是，则执行下述步骤；打开网卡端口启动监听线程，发出启动网络计算节点命令，并执行下述步骤；判断是否监听到有连接，如果是，则建立网络连接，分配计算任务，分发子任务数 据；报告各子任务执行状态，直到各子任务完成；汇总任务结果。客户端包括以下步骤判断是否需要启动节点，如果是，则进入服务端模式，如果否，则执行下述步骤；发出网络连接，连接服务端；接受分配的子任务和数据；执行子任务报告任务执行状态给服务端；完成子任务。在网络通讯模块中网络通讯侦为可变长侦，每个网络通讯侦有个定长的头，网络 通讯侦定义如表3 表3网络通讯模块中通讯侦定义
0118]侦头定义为
0119]typedef struct tagNETDAT_HDR
0120]{
0121]UINTdatType;
0122]UINT wParam ；
0123]UINT IParam ；
0124]UINTdatSize;
0125]void*pDat ；
0126]UINT resv[3]；
0127]}NETDAT_HDR;
0128]网络通讯模块是被所有支持网格计算的程序所引用，因此此模块要嵌入到每个程序中，为引用方便，我们将此模块做成模版库和动态库，在应用程序中只需要包含其头定义 文件，即可使用。网络通讯模块是在具体应用程序中使用，是属于应用层，以上三个网络模块的关 系如图10所示。本系统中，计算过程中使用的原始海量数据，我们采用操作系统提供的网络映射 实现数据的相互交换，计算过程使用的参数以及计算过程中需要交换的参数都通过网络通 讯模块来完成。本系统在硬件设计中考虑到即要使用原始海量数据还要进行中间数据的交 换，采用了双网卡实现数据交换的负载均衡，原始海量数据单独使用一个网卡，中间数据使 用另一个网卡。上述实例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权 利要求的保护范围内，对本发明做出任何的修改和改变，都落入本发明的保护范围。
权利要求
一种移动多任务并行处理系统，其特征在于，包括抽拉式紧凑式机箱，包括电器控制部分、信号输出、温度控制、防震处理以及各种接口组成；机箱底部为电源控制部分，为整个系统供电，中部为计算节点，排列方式为竖立式，共有六个竖立的计算单元，上部为平放的四个磁盘，通过RAID与控制计算单元相连构建4TB磁盘阵列；集成在上述机箱内的六个具有独立运行环境的计算节点，每个计算节点包括主板、多核CPU、内存、硬盘、图形显示单元以及网络接口；共享式存储单元由4个1TB硬盘、一个阵列控制器和一个具有Linux环境的运算和管理功能的节点控制组成的磁盘阵列组；千兆以太网交换机为16口的千兆以太网交换机，每台独立运行的计算单元通过双通道与其相连，分别占用两个千兆交换口。
2.根据权利要求1所述的多任务并行处理移动集群系统，其特征在于所述主板采用小型化主板，尺寸为171. 45mmX171. 45mm,电源采用Micro ATX电源，体 积是 125mmX IOOmmX 63. 51mm ；硬盘采用2. 5寸笔记本硬盘，并安装在单元的反面，处理器采用Intel 二核或四核处理ο
3.根据权利要求1或2所述的移动多任务并行处理系统，其特征在于所述机箱长460mm、宽240mm、高380mm，所述机箱的两侧设计有风孔，并在机箱一侧安 装了四个排风扇。
4.根据权利要求1所述的多任务并行处理移动集群系统，其特征在于 所述多任务并行处理移动集群系统还包括基础服务模块，用于实现计算机间的基础通讯；基础管理模块，用于实现对参与计算的网格计算机进行管理和调度；网格计算模块，用于实现网格计算中的数据交换和参数传递。
5.根据权利要求4所述的多任务并行处理移动集群系统，其特征在于 所述基础服务模块进一步包括启动监听网络查询的子模块；判断是否监听到网络查询的子模块，如果是，则解析查询数据，启动对应的处理程序； 如果否，则返回继续判断是否监听到网络查询。
6.根据权利要求4所述的多任务并行处理移动集群系统，其特征在于 所述基础管理模块进一步包括启动监听网络连接的子模块；判断是否监听到网络连接的子模块，如果否，则返回继续判断是否监听到网路连接；如 果是，则执行下述模块；建立网络连接的子模块； 接收网络命令的子模块； 解析命令，并执行命令的子模块；发送命令执行结果，并返回判断是否监听到网络连接的子模块。
7.根据权利要求4所述的多任务并行处理移动集群系统，其特征在于所述网格计算模块进一步包括服务端模块、客户端模块，其中 服务端模块包括判断是否为服务端的子模块，如果否，则进入客户端模块；如果是，则继续执行下述子 模块；发出可用网络连接查询的子模块；判断是否有查询回应的子模块，如果否，则报告没有发现其他可用计算节点，连接本计 算机为唯一可用节点；如果是，则执行下述模块；打开网卡端口启动监听线程，发出启动网络计算节点命令的子模块； 判断是否监听到有连接的子模块，如果是，则建立网络连接，分配计算任务，分发子任 务数据；报告各子任务执行状态，直到各子任务完成的子模块； 汇总任务结果的子模块； 客户端模跨包括判断是否需要启动节点的子模块，如果是，则进入服务端模式，如果否，则执行下述步骤；发出网络连接，连接服务端的子模块； 接受分配的子任务和数据的子模块； 执行子任务报告任务执行状态给服务端的子模块； 完成子任务的子模块。
全文摘要
本发明涉及一种移动多任务并行处理系统，它将六个具有独立运行环境计算节点集成在一个机箱内，考虑了通风、抗震等因素，保障了应急条件下计算机集成系统可移动和便携性，以适应紧急情况下遥感数据的快速处理，为应急提高数据保障。移动多任务并行处理系统硬件方面主要包括五节点多核CPU结构的数据处理节点、一个共享式数据存储单元和一个千兆以太网交换机。共享式数据存储单元由一个具有独立处理能力的数据管理节点和四块1TB硬盘通过RAID磁盘阵列卡构成磁盘阵列，利用局域网将计算节点和共享式数据存储单元建立多计算节点的并行处理平台。本发明主要应用于携带大容量数据，进行大型任务并行计算的遥感数据处理，特别适应于应急响应、上门地理信息数据服务等。
文档编号H04L12/04GK101888414SQ20101022147
公开日2010年11月17日 申请日期2010年7月2日 优先权日2010年7月2日
发明者张剑清, 徐轩, 曹辉, 段延松 申请人:武汉大学