专利名称：一种通用访问多网格平台的系统的制作方法
技术领域：
本发明属于分布式服务器系统，具体涉及一种基于网格编程环境和中 国教育科研网格公共支撑平台的通用网格访问系统。
背景技术：
随着网格计算的不断发展， 一些网格系统逐步成熟，很多公司和研究 机构相继推出自己的网格平台，组建网格系统，如中国教育科研网格公共
支撑平台，美国TeraGrid，德国因特尔网格编程环境，中国织女星网格系统， 美国Globus,中国国家网格等。在由基于这些网格系统平台的网格内部， 资源得到共享，利用率大大提高， 一些高性能计算项目得到解决，在医疗， 物理，化学，生物，能源等领域有广泛的应用。但是，由于这些网格平台 有各自的特点，内部结构和组织方式各不相同，提供的服务也大不一样， 因此各个网格系统之间，往往不能共享资源，更不能统一管理，于是在各 个网格系统之间形成了新的异构信息孤岛，有悖于网格的初衷。
在这样的情况下，为了组建全球资源共享充分利用的网格，目前存在 的网格系统之间的资源共享和透明访问就显得尤为重要。网格编程环境旨 在通过网格编程环境的客户端可以访问不同异构网格系统的资源，其基本 思想是定义网格系统公共的抽象层，客户端与抽象层的服务进行交互，各 个网格系统实现抽象层提供的接口，从而实现多网格平台的通用访问。对 于网格应用程序开发人员来说，底层的细节如网格平台实现的协议，编程 语言等都是透明的，通过这些抽象的接口，网格应用程序可以用统一的方 式方便地访问异构的网格平台。网格编程环境将定义了三个层次，应用层, 服务层和工具层，应用层提供应用程序接口，通过网格控件开发包和图形 用户界面框架使编写网格应用程序变得简单可靠，网格应用程序只需实现相应的接口，管理输入输出和应用逻辑，无需关心作业提交等具体的过程。 服务层定义一些高层服务，包括动态资源和服务注册，商务流程执行语言， 虚拟工作空间等。工具层定义基本的原子网格服务，这些服务驱动网格编 程环境的目标系统接口，或者异构网格系统的执行子系统。
中国教育科研网格是一个基于中国教育科研网络和Globus Toolkit 4的 网格系统，在现存的网格系统中，已经包含了大量宝贵的资源和丰富的网 格应用，如大学课程在线，流体力学网格，生物网格，医学图像网格，很 多高校和研究机构己经加入，通过中国教育科研网格可以方便快速可靠的 共享和访问这些教学和研究等资源，提高各种计算和数据资源的利用率。 由于中国教育科研网格公共支撑平台基于Globus Toolkit 4开发，德国国家 网格与Globus Toolkit 4截然不同，不能实现透明访问，同时，中国教育科 研网格公共支撑平台又提供了一些Globus Toolkit 4没有的服务和资源，因 此也不能实现中国教育科研网格和网格编程环境的直接访问。
发明内容
本发明的目的在于针对上述网格无法通用访问的特点和现有多网格平 台间访问方法实现的不足，提供一种通用访问多网格平台的系统，该系统 在网格编程环境的客户端不用修改时就可以访问和使用中国教育科研网格 的资源。
本发明通用访问多网格平台的系统，其特征在于该系统包括任务管 理器，存储管理器，注册管理器和安全管理器；
任务管理器用于接受用户提交的作业任务，解析任务参数，根据中国 科研网格提供的通用运行服务地址生成本地对象，通过本地对象调用通用 运行服务服务完成作业，在执行用户提交的任务之前通知存储管理器将输 入数据从网格编程环境传输到中国教育科研网格公共支撑平台，任务执行 之后通知存储管理器将输出数据从中国教育科研网格公共支撑平台传输到 网格编程环境；
存储管理器使用中国教育科研网格公共支撑平台的虚拟用户空间服务，为任务管理器进行数据传输，完成数据在网格编程环境和中国教育科研 网格公共支撑平台之间的传输；
注册管理器调用中国教育科研网格公共支撑平台的信息中心服务服务 监控网格节点状态，用于网格编程环境和中国教育科研网格公共支撑平台 之间交换信息；中国教育科研网格公共支撑平台的通用运行服务作为目标 系统注册到网格编程环境时，注册管理器在网格编程环境和中国教育科研 网格公共支撑平台之间协调网格结点之间的信息；
安全管理器用于对数据访问、任务执行和目标系统注册实施安全控制， 对任务管理器、存储管理器和注册管理器的用户权限进行验证。
本发明将网格编程环境与中国教育科研网格公共支撑平台进行整合， 充分利用网格编程环境的统一接口和中国教育科研网格的丰富网格资源， 通过网格编程环境调用中国教育科研网格公共支撑平台的相关服务，实现 网格编程环境与中国教育科研网格公共支撑平台的透明访问。具体而言， 本发明具有以下技术效果
(1) 统一编程和用户接口 不改变网格编程环境的客户端层，因此用户在不做修改的情况下通过
网格编程环境的客户端可以访问中国教育科研网格。同时，对网格应用程 序开发人员的接口保持不变，因此原有的网格编程环境网格应用组件如 GridBean也可以不加修改的部署到系统中。这样，系统就提供了与网格编 程环境完全兼容的客户端和网格应用程序接口，最终用户和开发人员都无 需进行调整就可以使用系统。
(2) 网格资源有效利用 本系统使网格编程环境客户端和网格应用程序可以方便地访问中国
教育科研网格资源，而原有的中国教育科研网格资源只能通过中国教育科 研网格公共支撑平台门户访问和使用，其他异构的网格系统不能方便地访 问，系统对中国教育科研网格公共支撑平台提供的服务进行了统一的包装, 屏蔽了中国教育科研网格公共支撑平台与其他网格平台的差异，网格编程环境和其他异构网格平台可以通过统一的接口访问中国教育科研网格资 源，向中国教育科研网格公共支撑平台提交作业任务，与其它网格系统协 同合作，这样中国教育科研网格和其他异构网格资源得到更充分利用。
(3)异构网格系统负载均衡
在系统中，中国教育科研网格公共支撑平台的通用运行服务作为一个 目标系统，用户可以通过网格编程环境向中国教育科研网格公共支撑平台 提交作业，通用运行服务执行作业后向用户返回执行状态结果。异构的网 格系统在网格编程环境中目标系统是对等的，当不同的网格系统负载不均 衡时，可以方便地将更多的作业任务提交给相对空闲的目标系统，从而达 到异构网格系统负载均衡。
图1为本发明通用访问多网格平台系统结构示意图。
图2为任务管理器结构示意图。
图3为任务管理器处理流程示意图。
图4为存储管理器结构示意图。
图5为存储管理器处理流程示意图。
图6为注册管理器结构示意图。
图7为注册管理器目标系统注册处理流程示意图。
图8为注册管理器目标系统管理处理流程示意图。
图9为安全管理器结构示意图。
具体实施例方式
下面结合附图和实例对本发明作进一步详细地说明。 本发明提供的中国教育科研网格公共支撑平台和网格编程环境网格通 用访问系统，包括任务管理器，存储管理器，注册管理器，安全管理器。 任务管理器向网格编程环境的目标系统接口中添加一种新类型——中国教 育科研网格公共支撑平台的通用运行服务，它与网格编程环境的机制不同，不是通过Java语言远程方法调用来执行一个任务，而是直接生成一个对象 调用通用运行服务提供的服务去执行一个任务；存储管理器使网格编程环 境的存储管理服务，文件导入服务，文件导出服务调用中国教育科研网格 公共支撑平台的存储管理服务和用户空间服务来访问和使用中国教育科研 网格的数据资源，这些服务用于执行任务时传输数据；注册管理器管理提 供监控网格状态的能力，网格编程环境和中国教育科研网格公共支撑平台 可以通过管理终端查看各自和对方的状态信息，对网格资源进行监控；安 全器引进通用安全访问框架，通过它可以在调用服务的时候进行安全检测 和控制。如图1所示，本发明通用访问多网格平台的系统基于中国教育科研网 格实现，它包括任务管理器l，存储管理器2，注册管理器3和安全管理器 4。任务管理器1用于接受用户提交的作业任务，解析任务参数，根据中 国科研网格提供的通用运行服务地址生成本地对象，通过本地对象调用通 用运行服务服务完成作业，在执行用户提交的任务之前通知存储管理器2 将输入数据从网格编程环境传输到中国教育科研网格公共支撑平台，任务 执行之后通知存储管理器2将输出数据从中国教育科研网格公共支撑平台 传输到网格编程环境。存储管理器2使用中国教育科研网格公共支撑平台的虚拟用户空间服 务，为任务管理器1进行数据传输，数据在网格编程环境和中国教育科研网 格公共支撑平台之间的传输由存储管理器2完成。注册管理器3向中国教育科研网格公共支撑平台调用信息中心服务服 务监控网格节点状态，用于网格编程环境和中国教育科研网格公共支撑平 台之间交换信息。中国教育科研网格公共支撑平台的通用运行服务作为目 标系统注册到网格编程环境时，注册管理器在网格编程环境和中国教育科 研网格公共支撑平台之间协调网格结点之间的信息。安全管理器4用于对数据访问，任务执行，目标系统注册实施安全控 制，存储管理器2使用中国教育科研网格公共支撑平台的虚拟用户空间存 储和访问文件数据，在访问数据之前安全管理器4对用户和访问权限进行验证；任务管理器1调用中国教育科研网格公共支撑平台的通用运行服务 完成用户提交作业，在作业被执行之前，安全管理器4对用户执行权限进 行验证。下面分别对各个组成部分进行详细的说明。如图2所示，任务管理器l包括任务解析模块l.l、任务执行模块1.2、 任务数据传输模块1.3和任务监控模块1.4。任务解析模块U接收来自客户端的任务，任务以作业提交描述语言形 式描述，任务解析模块l.l对作业提交描述语言进行解析，得到任务的用户 名，工作目录，可执行命令和输入输出参数，创建任务对象，并将其传送 给任务执行模块1.2。任务执行模块1.2根据任务对象中的输入参数向任务数据传输模块1.3 请求输入数据传输，任务数据传输模块1.3完成输入数据传输后，任务执行 模块1.2调用中国教育科研网格的通用运行服务执行任务，在任务对象提交 后，将任务对象提供任务监控模块1.4。任务监控模块1.4通过向中国教育科研网格的通用运行服务发送任务 状态査询请求实时监控任务的状态，当任务状态为完成时通知任务执行模 块1.2向任务数据传输模块1.3请求输出数据传输。 如图3所示，任务管理器1的处理流程如下1) 参数解析，创建任务对象。用户提交的任务以作业提交描述语言形 式描述，任务解析模块l.l首先将任务进行解析，得到请求任务的参数，包 括请求的服务，资源，执行的命令很参数，输入输出参数，创建任务对象。2) 输入数据传输。根据1)解析的任务请求参数中的输入参数，通过任 务数据传输模块1.3进行输入数据传输，将数据从网格编程环境传输到中国 教育科研网格公共支撑平台虚拟用户空间。3) 执行任务。当l)， 2)， 3)完成后，任务的参数和输入数据已经准备 好，任务执行模块1.2调用中国教育科研网格的通用运行服务执行任务。4) 监控任务。任务提交后，任务监控模块1.4实时监视任务的状态，任 务状态有已提交，就绪，运行中，完成。5) 判断任务状态是否为完成，如果不是，返回5)继续监控任务状态。6) 输出数据传输。当任务完成后，输出数据如标准输出，标准错误， 日志，任务特定输出等从中国教育科研网格公共支撑平台虚拟用户空间传 输到系统数据空间。如图4所示，存储管理器2包括存文件传输客户端模块2.1、文件传输 创建器模块2.2和文件传输服务模块2.3。文件传输客户端模块2.1用于数据传输请求，并解析传输请求，得到所 要传输文件的文件名，用户名，大小等通用信息，传送给文件传输创建器 模块2.2。文件传输创建器模块2.2负责将文件通用信息映射到中国教育科研网 格公共支撑平台用户虚拟空间的文件信息，并将映射后的文件信息传送给 文件传输服务模块2.3。文件传输服务模块2.3根据映射后的文件信息向中国教育科研网格存 储资源服务和用户空间服务发送请求，进行实际的文件传输。中国教育科研网格公共支撑平台的存储资源服务，负责管理广泛分布在中国教育科研网格中的各种异构存储资源，中国教育科研网格公共支撑 平台的用户空间服务，负责管理用户虚拟空间的元数据，文件的地址形式 为vS://用户名@域名/路径名/ /…/文件名。如图5所示，存储管理器2的处理流程如下1) 应用程序客户端或任务管理模块1请求数据传输2) 文件传输客户端模块2.1解析传输请求，得到所要传输文件的通用信息。3) 文件传输创建器模块2.2将文件信息映射到中国教育科研网格公共 支撑平台用户虚拟空间的文件信息格式。4) 文件传输服务模块2.3向中国教育科研网格存储资源服务和用户空 间服务发送请求，进行实际文件传输。如图6所示，注册管理器3包括目标系统注册模块3.1和目标系统接口 模块3.2。目标系统注册模块3.1负责将目标系统注册到网格编程环境的目标系 统库，注册到目标系统库的目标系统可以通过网格编程环境统一管理，目 标系统中的各种资源可以通过网格编程环境客户端无缝访问，通过目标系 统接口模块3.2对已注册的中国教育科研网格资源访问和管理。目标系统接口模块3.2负责将中国教育科研网格的节点和域包装成网 格编程环境中的目标系统，中国教育科研网格的节点和域是中国教育科研 网格公共支撑平台的管理单元，目标系统是网格编程环境中的管理单元， 它包括存储系统，执行系统，数据传输协议，系统用户等，网格应用部署 在目标系统之上。如图7所示，注册管理器3的目标系统注册处理流程如下1) 目标系统注册模块3.1处理注册请求，得到通用运行服务，用户空间 服务和存储资源服务的地址。2) 目标系统接口模块3.2通过中国教育科研网格信息中心服务检査上 述服务是否可用。3) 如果2)的结果上述服务是不可用的，注册失败，发出异常通知。4) 如果2)的结果上述服务是可用的，目标系统接口模块3.2创建一个 目标系统，设置其通用运行服务，用户空间服务，存储资源服务的地址， 设置其他通用参数。5) 目标系统注册模块3.1向网格编程环境的目标系统库中添加4)新建 的目标系统，更新目标系统库元数据。如图8所示，注册管理器3的目标系统管理处理流程如下1) 目标系统接口模块3.2向中国教育科研信息中心服务查询得到目标 系统状态信息；2) 处理状态信息得到管理类型；3) 如果2)得到的管理类型是查询，结束；4) 如果2)得到的管理类型是添加网格应用，获取应用参数如应用名称，版本，运行脚本等，用这些参数设置新的网格应用，将新应用添加到对应的目标系统；5) 如果2)得到的管理类型是删除网格应用，将指定应用从目标系统中 删除；6) 如果2)得到的管理类型是添加用户，获取用户参数如用户名，用户 组，权限等，用这些参数设置新的用户，将新用户添加到对应的目标系统；7) 如果2)得到的管理类型是删除用户，将指定用户从目标系统中删除；8) 如果2)得到的管理类型是添加存储空间，获取存储空间参数如名称， 容量大小，存储地址等，用这些参数设置新的存储空间，将新存储空间添 加到对应的目标系统；9) 如果2)得到的管理类型是删除存储空间，将指定存储空间从目标系 统中删除。如图9所示，安全管理器4包括代理插件模块4.1，认证插件模块4.2， 信令插件模块4.3和操作格式插件模块4.4。代理插件模块4.1接收网格编程环境发出的请求令牌，生成认证代理， 并调用认证插件模块4.2，将认证后得到的令牌发送给操作格式插件模块 4.4。认证插件模块4.2再调用信令插件模块4.3确认用户身份，由信令插件 模块4.3完成实际的认证。操作格式插件模块4.4负责将令牌转换为中国教育科研网格公共支撑 平台识别的格式。
权利要求
1、一种通用访问多网格平台的系统，其特征在于该系统包括任务管理器(1)，存储管理器(2)，注册管理器(3)和安全管理器(4)；任务管理器(1)用于接受用户提交的作业任务，解析任务参数，根据中国科研网格提供的通用运行服务地址生成本地对象，通过本地对象调用通用运行服务服务完成作业，在执行用户提交的任务之前通知存储管理器(2)将输入数据从网格编程环境传输到中国教育科研网格公共支撑平台，任务执行之后通知存储管理器(2)将输出数据从中国教育科研网格公共支撑平台传输到网格编程环境；存储管理器(2)使用中国教育科研网格公共支撑平台的虚拟用户空间服务，为任务管理器(1)进行数据传输，完成数据在网格编程环境和中国教育科研网格公共支撑平台之间的传输；注册管理器(3)调用中国教育科研网格公共支撑平台的信息中心服务服务监控网格节点状态，用于网格编程环境和中国教育科研网格公共支撑平台之间交换信息；中国教育科研网格公共支撑平台的通用运行服务作为目标系统注册到网格编程环境时，注册管理器(3)在网格编程环境和中国教育科研网格公共支撑平台之间协调网格结点之间的信息；安全管理器(4)用于对数据访问、任务执行和目标系统注册实施安全控制，对任务管理器(1)、存储管理器(2)和注册管理器(3)的用户权限进行验证。
2、 根据权利要求l所述的通用访问多网格平台的系统，其特征在于 任务管理器(1)包括任务解析模块(1.1)、任务执行模块(1.2)、任务数 据传输模块(1.3)和任务监控模块(1.4);任务解析模块(1.1)用于接收来自客户端的任务，对作业提交描述语 言进行解析，创建任务对象，并将其传送给任务执行模块(1.2);任务执行模块(1.2)根据任务对象中的输入参数向任务数据传输模块(1.3)请求输入数据传输，调用中国教育科研网格的通用运行服务执行任务，并将任务对象提供任务监控模块(1.4);任务数据传输模块(1.3)用于将任务执行模块(1.2)提交的数据传输命令转发给存储管理器(2);任务监控模块(1.4)通过向中国教育科研网格的通用运行服务发送任务状态查询请求实时监控任务的状态，当任务状态为完成时通知任务执行模块(1.2)向任务数据传输模块(1.3)请求输出数据传输。
3、 根据权利要求1或2所述的通用访问多网格平台的系统，其特征在 于存储管理器(2)包括存文件传输客户端模块(2.1)、文件传输创建器 模块(2.2)和文件传输服务模块(2.3);文件传输客户端模块(2.1)用于数据传输请求，并解析传输请求，将 得到的所要传输文件的通用信息传送给文件传输创建器模块(2.2);文件传输创建器模块(2.2)负责将文件通用信息映射到中国教育科研 网格公共支撑平台用户虚拟空间的文件信息，并将映射后的文件信息传送 给文件传输服务模块(2.3);文件传输服务模块(2.3)根据映射后的文件信息向中国教育科研网格 存储资源服务和用户空间服务发送请求，进行实际的文件传输。
4、 根据权利要求3所述的通用访问多网格平台的系统，其特征在于-注册管理器(3)包括目标系统注册模块(3.1)和目标系统接口模块(3.2);目标系统注册模块(3.1)负责将目标系统注册到网格编程环境的目标 系统库，通过目标系统接口模块(3.2)对已注册的中国教育科研网格资源 访问和管理；目标系统接口模块(3.2)用于将中国教育科研网格的节点和域包装成 网格编程环境中的目标系统。
5、 根据权利要求4所述的通用访问多网格平台的系统，其特征在于 安全管理器(4)包括代理插件模块(4.1)、认证插件模块(4.2)、信令插件模块(4.3)和操作格式插件模块(4.4);代理插件模块(4.1)用于接收网格编程环境发出的请求令牌，生成认 证代理，并调用认证插件模块(4.2)，将认证后得到的令牌发送给操作格式 插件模块(4.4);认证插件模块(4.2)再调用信令插件模块(4.3)确认用户身份，由信 令插件模块(4.3)完成实际的认证；操作格式插件模块(4.4)负责将令牌转换为中国教育科研网格公共支 撑平台识别的格式。
全文摘要
本发明公开了一种通用访问多网格平台的系统，包括任务管理器，存储管理器，注册管理器和安全管理器。本发明实现了网格编程环境和中国教育科研网格公共支撑平台的通用任务访问，充分提高网格资源的整合和利用率。注册管理器管理各个目标系统，维护网格的拓扑结构，允许网格节点注册到注册服务，协调各个节点的负载平衡。存储管理器提供统一的网格数据存储管理，抽象出存取数据等基本数据操作，给用户提供一个统一简单完整的存储空间服务。任务管理器执行用户提交的任务，首先从用户数据空间获取输入数据，然后根据提交的任务生成特定于平台的执行脚本，执行脚本后将结果返回到用户空间。安全管理器对服务的使用进行安全检测和控制。
文档编号H04L12/46GK101247309SQ20071016850
公开日2008年8月20日 申请日期2007年11月28日 优先权日2007年11月28日
发明者松 吴, 廖振松, 杰 戴, 曾纯强, 石宣化, 罗雅琴, 康 肖, 海 金, 召 陈, 力 齐 申请人:华中科技大学