一种分布式的气象数据生命周期构建与监控方法与流程

本发明涉及气象数据生命周期构建与监控技术领域，具体为一种分布式的气象数据生命周期构建与监控方法。

背景技术：

在气象现代化的发展进程中，将来各种各样的实时观测数据会越来越多，除了数据的准确性以外，对数据的时效性要求也越来越高，数据时效性是反映业务系统设计合理性和数据处理效率的重要指标。对数据进行实时监控是保障数据时效性的有效手段。

之前气象数据处理逻辑相对简单，通常在统一的节点和环境中即可完成，因而监控工作也只是基于某一数据库或某些服务器进行，不需要面对分散于不同数据处理节点的存储和计算资源，也不用考虑复杂的数据关系和监控时效性。随着气象数据数据量的迅速增加，很多气象数据也需要使用分布式计算来处理，这就需要面对复杂的网络环境，并且由于数据安全等原因，数据和处理流程分散，经常会位于不同的网络环境中，传统的技术无法满足新的业务需求，因而需要开发设计一种基于分布式存储和计算的，可以保障服务稳定、实时动态监测各类气象资料的到报，入库情况、以及各节点运行处理状态的监控系统。

技术实现要素：

本发明的目的在于提供一种分布式的气象数据生命周期构建与监控方法，以解决现有的技术缺陷和不能达到的技术要求。

为实现上述目的，本发明提供如下技术方案：一种分布式的气象数据生命周期构建与监控方法，该方法由数据资源采集、同步程序、分布式处理、分布式存储、消息模块、监控模块部分组成，该方法包括以下步骤：步骤s1：用户在web页面上配置数据下载项；步骤s2：同步程序消费消息，进行数据同步；步骤s3：数据经同步程序传输至数据服务平台分布式存储；步骤s4：用户在web页面配置数据处理插件，为插件配置要处理的数据、所需的cpu和内存资源、输出结果；步骤s5：调度器根据配置执行插件；步骤s6：取得数据处理结果，支持具体服务。

优选的，s1包括一下步骤：步骤s101：配置接入数据源，包括数据源服务器地址或资料代码和接口、账号信息、接入方式、更新频次、文件名过滤规则；步骤s102：配置接入数据属性，包括数据格式、时区信息、返回格式、是否压缩覆盖；步骤s103：配置消息格式，包括topic字段、应用编码、数据编码、错误编码；步骤s104：根据数据属性分别存于数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中。

优选的，s3包括以下步骤：步骤s301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述；步骤s302：根据业务逻辑设计插件执行顺序，通过拖拽方式排列插件顺序，并连接插件，完成插件之间的拓扑图；步骤s303：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；步骤s304：设置任务的执行计划，主要是执行时间，是否重复，最后将配置保存在任务流中，可根据业务变化重新编辑、调整任务插件、执行计划。

优选的，所述数据资源提供包括来自内网、ftp、dmz、公网存储节点的气象数据；所述同步程序将在不同网络环境中对数据的传输，所述插件集将各类插件的统一管理之后对气象数据解析、运算和处理，所述消息模块内设有对整个系统生产过程中信息的接收和消费接口，所述监控模块通过消息监听整个数据生命周期的构建。

优选的，所述消息驱动通过代理搭建web服务页面，在页面编排数据接入任务包括数据源地址，数据下载完成后发送消息，同步程序监听到下载完成消息，通过网关连通内网和dmz完成数据传送；再由数据服务平台基于分布式框架开发的插件集对数据进行存储、运算、处理各方面的工作；数据生命周期中产生的运行状态消息、异常信息，经同步程序传至ecs网段部署的数据库中提供服务。

与现有技术相比，本发明的有益效果如下：

1.本方法综合以往单节点的数据传输监控经验，对数据资源、服务系统、运算环境及应用健康状况进行即时监控，动态显示服务成功或失败的可辨识特征，提供丰富的数据视图，并对服务异常状况进行告警，此外，监控系统还负责收集故障信息、相关联的上下游环境以及流程信息，进而改善服务质量；

2.通过设有的插件集实现了存算一体，整合了存储和计算，改变了目前数据存储和计算分别独立存在并工作的方式，分布式计算资源分配、程序调度，使用户可以处理大量的数据而不必考虑资源问题，可耦合扩展的数据处理插件，通过消息机制相互获取状态，实现插件间的协同工作；

3.通过web动态的对数据资源进行配置，使数据的来源、特性、存储方式、调度信息等变得更加清晰和易于维护；

4.利用消息机制解决时效性问题，通过消息驱动取代传统的定时轮询方式；

5.实现数据文件在复杂环境下的信息收集，利用消息监听获取不同节点上的数据、应用、节点资源、程序健康状态信息，不同网段之间通过网关或代理实现消息同步；

6.设计了综合应用规则约定、数据编码、数据生成时间、网络拓扑等指标建立了数据流程自动构建的方法，可以直接查看数据的整体视图，并快速应对突发故障并进行故障追溯和关联分析，从而实现分布式环境下数据流的有效监控。

附图说明

图1为本发明方法组成模块与工作流程图；

图2为本发明数据生命周期构建流程图；

图3为本发明消息驱动同步下载流程图。

具体实施方式

下面将结合本发明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：一种分布式的气象数据生命周期构建与监控方法，该方法由数据资源采集、同步程序、分布式处理、分布式存储、消息模块、监控模块部分组成，该方法包括以下步骤：步骤s1：用户在web页面上配置数据下载项；步骤s2：同步程序消费消息，进行数据同步；步骤s3：数据经同步程序传输至数据服务平台分布式存储；步骤s4：用户在web页面配置数据处理插件，为插件配置要处理的数据、所需的cpu和内存资源、输出结果；步骤s5：调度器根据配置执行插件；步骤s6：取得数据处理结果，支持具体服务。

s1包括一下步骤：步骤s101：配置接入数据源，包括数据源服务器地址或资料代码和接口、账号信息、接入方式、更新频次、文件名过滤规则；步骤s102：配置接入数据属性，包括数据格式、时区信息、返回格式、是否压缩覆盖；步骤s103：配置消息格式，包括topic字段、应用编码、数据编码、错误编码；步骤s104：根据数据属性分别存于数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中。

s3包括以下步骤：步骤s301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述；步骤s302：根据业务逻辑设计插件执行顺序，通过拖拽方式排列插件顺序，并连接插件，完成插件之间的拓扑图；步骤s303：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；步骤s304：设置任务的执行计划，主要是执行时间，是否重复，最后将配置保存在任务流中，可根据业务变化重新编辑、调整任务插件、执行计划。

数据资源提供包括来自内网、ftp、dmz、公网存储节点的气象数据；所述同步程序将在不同网络环境中对数据的传输，所述插件集将各类插件的统一管理之后对气象数据解析、运算和处理，所述消息模块内设有对整个系统生产过程中信息的接收和消费接口，所述监控模块通过消息监听整个数据生命周期的构建。

消息驱动通过代理搭建web服务页面，在页面编排数据接入任务包括数据源地址，数据下载完成后发送消息，同步程序监听到下载完成消息，通过网关连通内网和dmz完成数据传送；再由数据服务平台基于分布式框架开发的插件集对数据进行存储、运算、处理各方面的工作；数据生命周期中产生的运行状态消息、异常信息，经同步程序传至ecs网段部署的数据库中提供服务。

实施例一

本实施例所述的气象数据生命周期构建与监控一种分布式的方法在本实施例中气象数据生命周期构建与监控的步骤如下：

步骤s1：用户在web页面上配置数据下载项；

步骤s2：用户在web页面配置数据处理插件，为插件配置要处理的数据、所需的cpu和内存资源、输出结果；

步骤s3：调度器根据配置执行插件；

步骤s4：取得数据处理结果，支持具体服务。

实施例二

本实施例所述的气象数据生命周期构建与监控一种分布式的方法在本实施例中气象数据生命周期构建与监控的步骤如下：

步骤s1：用户在web页面上配置数据下载项；

步骤s101：配置接入数据源，包括数据源服务器地址或资料代码和接口、账号信息、接入方式、更新频次、文件名过滤规则；

步骤s102：配置接入数据属性，包括数据格式、时区信息、返回格式、是否压缩覆盖；

步骤s103：配置消息格式，包括topic字段、应用编码、数据编码、错误编码；

步骤s104：根据数据属性分别存于数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中；

步骤s2：同步程序消费消息，进行数据同步；

步骤s3：数据经同步程序传输至数据服务平台分布式存储；

步骤s301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述；

步骤s302：根据业务逻辑设计插件执行顺序，通过拖拽方式排列插件顺序，并连接插件，完成插件之间的拓扑图；

步骤s303：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；

步骤s304：设置任务的执行计划，主要是执行时间，是否重复，最后将配置保存在任务流中，可根据业务变化重新编辑、调整任务插件、执行计划；

步骤s4：用户在web页面配置数据处理插件，为插件配置要处理的数据、所需的cpu和内存资源、输出结果；

步骤s5：调度器根据配置执行插件；

步骤s6：取得数据处理结果，支持具体服务。

本发明采用消息驱动机制：将消息机制应用于气象数据生命周期构建与监控，可有效解决气象数据的时效性问题，通过代理或网关实现在复杂网络环境下收发消息和传递数据，并支持实时传输、加密传输。对气象数据编码、应用编码、错误信息编码等消息格式约定，监控系统通过监听各类消息，可实现对数据全生命周期监控，包括数据状态、运行环境、应用健康；本发明采用自动流程构建的方法：由于数据流转环节复杂、气象数据形式多样，通过手动维护数据流程变得不切实际，针对这一情况，建立了数据流程自动构建的方法；首先，气象数据从接入、传输、处理、存储到服务有严格的处理过程，为了保障自动流程的构建过程，详细设计了综合应用规则约定、消息格式约定，如数据编码、数据文件状态、上层环节编码、下层环节编码。其次，根据业务逻辑关系，构建气象数据、代理、产品或服务的实例节点。根据消息中提供的数据编码、数据状态、数据生成时间、节点流转关系以及网络拓扑等指标形成数据流程网络，最后以数据拓扑图的形式展示数据的接入、加工、生产和应用的完整生命周期；本方法综合以往单节点的数据传输监控经验，对数据资源、服务系统、运算环境及应用健康状况进行即时监控，动态显示服务成功或失败的可辨识特征，提供丰富的数据视图，并对服务异常状况进行告警，此外，监控系统还负责收集故障信息、相关联的上下游环境以及流程信息，进而改善服务质量；通过设有的插件集实现了存算一体，整合了存储和计算，改变了目前数据存储和计算分别独立存在并工作的方式，分布式计算资源分配、程序调度，使用户可以处理大量的数据而不必考虑资源问题，可耦合扩展的数据处理插件，通过消息机制相互获取状态，实现插件间的协同工作；通过消息驱动取代传统的定时轮询方式；实现数据文件在复杂环境下的信息收集，利用消息监听获取不同节点上的数据、应用、节点资源、程序健康状态信息，不同网段之间通过网关或代理实现消息同步；设计了综合应用规则约定、数据编码、数据生成时间、网络拓扑等指标建立了数据流程自动构建的方法，可以直接查看数据的整体视图，并快速应对突发故障并进行故障追溯和关联分析，从而实现分布式环境下数据流的有效监控。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。