水务数据处理方法、装置及水务数据采集系统与流程

本发明涉及信息技术领域，具体而言，涉及一种水务数据处理方法、装置及水务数据采集系统。

背景技术：

通常水务业务包括多个专业业务领域，对于不同的专业业务领域所采集到的数据的数据结构通常不一致。例如，在水源业务、供水业务、管网业务以及污水处理业务这些业务中所采集到的水务数据的数据结构均不一致。在现有的水务数据采集系统中，通常是将不同业务领域的数据单独进行存储，因此，无法实现对各个业务领域的数据进行统一监管以及处理。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种水务数据处理方法、装置及水务数据采集系统，以实现对各个业务领域的数据进行统一监管以及处理。

第一方面，本发明实施例提供了一种水务数据处理方法，所述方法包括：获取水务数据；判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据；存储所述转换后的水务数据。

第二方面，本发明实施例提供了一种水务数据处理装置，所述装置包 括：数据获取单元，用于获取水务数据；数据转换单元，用于判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据；数据存储单元，用于存储所述转换后的水务数据。

第三方面，本发明实施例提供了一种水务数据采集系统，包括数据采集终端、本地数据处理终端以及服务器；所述数据采集终端，用于采集水务数据；所述本地数据处理终端，用于接收所述数据采集终端采集的水务数据，将所述水务数据发送到服务器；所述服务器，用于获取所述水务数据，判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据；存储所述转换后的水务数据。

本发明实施例提供的水务数据处理方法、装置及水务数据采集系统，在获取水务数据后，判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据，存储所述转换后的水务数据的方式，使得对于每种类型的水务数据都可以转换为同一数据结构的数据，以便于进行统一的存储，同时也便于对存储的数据进行同一的处理，实现数据的监管，从而改善了在现有的水务数据采集系统中，通常是将不同业务领域的数据单独进行存储，无法实现对各个业务领域的数据进行统一监管以及处理的问题。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的 结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的数据采集终端与服务器之间的交互示意图；

图2为本发明实施例提供的服务器的结构框图；

图3为本发明实施例提供的水务数据处理方法的流程图；

图4为本发明实施例提供的水务数据处理装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本发明实施例提供的数据采集终端100与服务器200进行交互的示意图，所述服务器200通过网络300与一个或多个本地数据处理终端110进行通信连接，本地数据处理终端110通过网络310与一个或多个数据采集终端100进行通信连接，以进行数据通信或交互。所述服务器200可以是网络服务器、数据库服务器等。所述本地数据处理终端110可以是个人电脑、计算机等。所述数据采集终端100可以是水压传感器、流量传感器等。其中，网络300可以为城域网或者移动通信网络，例如GPRS网路等。网络310可以为无线或者有线局域网。例如zigbee网络等。

图2示出了一种可应用于本申请实施例中的服务器200的结构框图。如图2所示，服务器200可以包括存储器202、存储控制器203、处理器204和网络模块205。

存储器202、存储控制器203、处理器204、网络模块205各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。所述水务数据处理方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器202中的软件功能模块，例如所述水务数据处理装置包括的软件功能模块或计算机程序。

存储器202可以存储各种软件程序以及模块，如本申请实施例提供的水务数据处理方法及装置对应的程序指令/模块或者。处理器204通过运行存储在存储器202中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的水务数据处理方法。存储器202可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储 器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器204可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

网络模块205用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。例如，可以通过网络模块205接收本地数据处理终端110所接收的水务数据。

水务数据通常包括多个类型的数据，例如，水厂的供水业务数据、供水管网业务数据、用户的水量使用数据以及污水处理业务数据等。一般各水厂及污水处理厂，都有自己的自动化控制系统管理的日常生产净化过程。可以把每个厂看作一个管理单元。如果水厂附近建设有附属的泵站、变电所，可以把连同水厂在内的这些附属泵站、变电所看作一个管理单元。对于相对分散、独立的泵站、变电所，看作单独的管理单元。在各管理单元内，分别设置数据采集终端。

对于同一业务类型的数据，通常来自多个水厂或者采集点，而每个水厂或者采集点所采集数据后的生成的业务数据的数据结构通常不一致，所 以无法同一存储，则无法实现从水源、供水、管网、用户到污水处理、中水供水等生产全过程水务数据的统一处理与监控。为了改善上述问题，发明人提出了一种水务数据处理方法、装置及水务数据采集系统。

如图3所示，本发明实施例提供的水务数据处理方法，应用于服务器，所述方法包括：

步骤S310:获取水务数据。

水务数据通常由数据采集终端采集，再通过网络上传到服务器中，不同位置或者不同类型的数据采集终端所采集的水务数据的类型不同。例如，水厂的数据采集终端可以采集供水业务类型的水务数据，比如SCDAD(Supervisory Control And Data Acquisition)数据。供水业务类型的水务数据可以包括流量、压力、液位、浊度、余氯、电量等。可以理解，水厂的数据采集终端可以集成传感器以实现数据的采集。例如，流量可以通过流量传感器采集，压力可以通过水压传感器采集，其他的数据同样可以通过各自对应的传感器采集。

此外，水务数据除了供水业务数据外，还可以包括以下类型数据的中的至少一个：设置于输水管道的传感器采集的管道状态数据；水务营收数据库中存储的水务营收数据；以及输水管道地理信息。

步骤S320:判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据。

不同业务类型的水务数据的数据结构通常不同。而不同数据采集终端上传的相同类型的水务数据的数据结构也可能不同。而对于不同数据类型的水务数据，存储与读取的方式不同。则作为一种方式，当数据采集终端在采集数据，生成水务数据过程中，可以在该水务数据中添加数据类型标 识位的方式标识该水务数据的数据类型，以便服务器识别。此外，服务器还可以通过正则表达的方式识别水务数据的类型。

当服务器在识别出水务数据的类型后，即可通过该类型对应的预设格式转换规则对该水务数据进行数据格式转换。作为一种数据结构转换方式，可以在所述水务数据中查找预设格式转换规则包括的目标数据，将查找到的预设目标数据按照所述预设格式转换规则包括的数据存储结构进行数据构造，得到转换后的水务数据。其中，所述数据存储结构可以为hbase表结构。

需要说明的是，为了简化数据，在数据结构转换过程中，可以将水务数据中不属于目标数据的数据删除掉。

步骤S330:存储所述转换后的水务数据。

对于转换后的水务数据，可以将水务数据中表征不同内容的数据分别进行存储。

如图4所示，当转换后的水务数据中有更新频率较高的第一状态数据时，可以将第一状态数据存储在分布式存储系统中，以便进行更新和读取。还有，分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

当转换后的水务数据中有更新频率相对第一状态数据较低的第二状态数据时，可以将第二状态数据存储在集中式数据库中。例如，mysql数据库。

其中，第一状态数据可以包括数据采集终端中的传感器的位置信息等工作状态数据。第二状态数据可以包括传感器采集的流量、压力、液位、浊度、余氯、电量等数据。

本发明实施例提供的水务数据处理方法，在获取水务数据后，判断所 述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据，存储所述转换后的水务数据的方式，使得对于每种类型的水务数据都可以转换为同一数据结构的数据，以便于进行统一的存储，同时也便于对存储的数据进行同一的处理，实现数据的监管，从而改善了在现有的水务数据采集系统中，通常是将不同业务领域的数据单独进行存储，无法实现对各个业务领域的数据进行统一监管以及处理的问题。

如图4所示，本发明实施例体提供的一种务数据处理装置400，所述装置400包括：

数据获取单元410，用于获取水务数据。

数据转换单元420，用于判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据。

所述数据转换单元420，包括：

目标数据查找单元421，用于在所述水务数据中查找预设格式转换规则包括的目标数据；

数据格式转换单元422，用于将查找到的预设目标数据按照所述预设格式转换规则包括的数据存储结构进行数据构造，得到转换后的水务数据.

数据存储单元430，用于存储所述转换后的水务数据。

作为一种方式，所述数据存储单元430，包括：

第一状态数据存储单元431，用于获取所述转换后的水务数据中的第一状态数据，将所述第一状态数据存储在分布式存储系统中；

第二状态数据存储单元432，用于获取所述转换后的水务数据中的第二状态数据，将所述第二状态数据存储在集中式数据库中，其中，所述第一 状态数据的更新频率高于所述第二状态数据。

综上所述，本发明实施例提供的水务数据处理方法、装置及水务数据采集系统，在获取水务数据后，判断所述水务数据的数据类型，以按照所述水务数据的数据类型对应的预设格式转换规则，对所述水务数据进行数据结构转换，得到转换后的水务数据，存储所述转换后的水务数据的方式，使得对于每种类型的水务数据都可以转换为同一数据结构的数据，以便于进行统一的存储，同时也便于对存储的数据进行同一的处理，实现数据的监管，从而改善了在现有的水务数据采集系统中，通常是将不同业务领域的数据单独进行存储，无法实现对各个业务领域的数据进行统一监管以及处理的问题。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。