水工程调度数据处理方法及装置与流程

本发明涉及水工程调度技术领域，尤其涉及水工程调度数据处理方法及装置。

背景技术：

在水工程调度领域，需要对调度相关的数据进行组织和应用。现有技术中通常采用关系型数据库的方式对水工程调度数据进行处理。存储结构包含流数据存储、非结构化数据存储和结构化数据存储三种模式。流数据库包括实时监测库、实时视频库，结构化数据库包含基础数据库、监测数据库、业务数据库、空间数据库(矢量)，非结构化数据库包含文档数据库、多媒体数据库、空间数据库(栅格)、模型参数库等。

但是，现有的水工程调度数据处理需要采用大量人为分析和经验，处理效率低，耗费人力物力，并且数据缺乏完备性，难以有效的积累下来辅助未来的调度业务决策。

技术实现要素：

本发明实施例提供一种水工程调度数据处理方法，用以高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策，该方法包括：

获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；

对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；

根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。

本发明实施例提供一种水工程调度数据处理装置，用以高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策，该装置包括：

数据获取模块，用于获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；

抽取与融合模块，用于对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；

图谱构建模块，用于根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述水工程调度数据处理方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述水工程调度数据处理方法的计算机程序。

本发明实施例通过获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。本发明实施例无需依赖大量人为分析和经验，通过对水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理，然后根据知识融合处理结果，构建水工程调度数据对应的知识图谱，从而实现高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例水工程调度数据处理方法示意图；

图2为本发明实施例水工程调度数据处理方法示意图；

图3为本发明实施例水工程调度数据处理方法知识融合示意图；

图4为本发明具体实施例水工程调度数据处理方法的系统总体架构示意图；

图5为本发明具体实施例水工程调度数据处理方法实体关系示意图；

图6为本发明具体实施例水工程调度数据处理方法数据融合示意图；

图7为本发明具体实施例水工程调度数据处理方法调度事件视角示意图；

图8为本发明具体实施例水工程调度数据处理方法调度方案视角示意图；

图9为本发明具体实施例水工程调度数据处理方法智能问答视角示意图；

图10为本发明实施例水工程调度数据处理装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

首先，对本申请实施例中涉及的名词进行介绍：

知识图谱：知识图谱(knowledgegraph)以结构化的形式描述客观世界中概念、实体及其之间的关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。知识图谱给互联网语义搜索带来了活力，同时也在智能问答中显示出强大威力，已经成为互联网知识驱动的智能应用的基础设施。

领域知识图谱：领域知识图谱又称为行业知识图谱或垂直知识图谱，通常面向某一特定领域，可看成是一个“基于语义技术的行业知识库”。

信息抽取：信息抽取是一项从文本中发现实体(entity)以及实体之间的关系(relation)的技术。

知识融合：当前互联网大数据具有分布异构的特点，通过知识图谱可以对这些数据资源进行语义标注和链接，建立以知识为中心的资源语义集成服务；

本体：本体是从schema的角度来定义(自上向下)的，是对特定领域概念和概念之间关系的形式化表达，本体是知识的抽象，文献中可能用classes或concept来表示。一般不会改变，例如“人文”、“地理”、“组织”等，像面向对象编程中我们称为“类”(抽象类)，数据管理层面我们叫做“元数据”。

实体：实体指的是具有可区别性且独立存在的某种事物。如某一个人、某一座城市、某一种植物、某一件商品等等。世界万物由具体事物组成，此指实体。实体是知识图谱中的最基本元素，不同的实体间存在不同的关系。

概念：概念是具有同种特性的实体构成的集合，如国家、民族、书籍、电脑等。

属性：属性是用于区分概念的特征，不同概念具有不同的属性。不同的属性值类型对应于不同类型属性的边。如果属性值对应的是概念或实体，则属性描述两个实体之间的关系，称为对象属性；如果属性值是具体的数值，则称为数据属性。

如前所述，现有的水工程调度数据处理需要采用大量人为分析和经验，处理效率低，耗费人力物力，并且数据缺乏完备性，难以有效的积累下来辅助未来的调度业务决策。现有的水工程调度数据处理方法具体存在如下问题：

1、水工程调度信息碎片化：针对一次调度业务，所需要的水雨情信息、工情险情信息、预报信息需要通过不同的系统查询、预报方案计算、查阅传真了解工程险情等过程，由工作人员组织汇总，经过人为的分析加工和总结才能形成支撑流域调度决策业务信息。

2、水工程调度决策高度依赖经验：水工程调度的发生、发展、会商、处置、效果评估等过程未实现有组织的记录，而多数以经验的形式存在于专家的脑海中，或以文本描述的方式对主要过程进行记录，数据资料缺乏完备性，不能有效的积累下来辅助未来的调度业务决策。

3、查询效率低：既有的系统为用户提供数据查询窗口，针对同一次调度业务，工作人员需要分别打开不同的查询页面输入雨情、水情、工情相应测站等关键字分别查询对应的数据，汇总整理。

4、信息展示方式局限：传统的信息主要以地图及图表的形式展示，侧重对某一特定数据内容的详细信息展示，而缺乏对数据之间的关联关系的展示，需要工作人员在自己的脑海中建立各类数据之间的关系，对经验依赖度高。

近年来知识图谱技术作为一种用于描述客观世界中概念、实例及其关系的新方法，得到了人们的广泛关注，利用知识图谱可以有效拓展搜索结果的广度。面向水利对象数据的知识图谱构建方法和基于推理规则的知识推理方法，利用隐藏在水利信息知识图谱中的知识实现智能数据检索，有效利用水利对象之间的关系，充分发挥水利信息资源的价值。知识图谱改变的是流域委关于数据存储的传统方式，本质上就是改变数据组织的形式，利用知识的组织形式完成水行业数据逻辑性的保存。知识图谱的构建是基于本体论的，一套完整的数据本体可以把不同的数据形式进行串联转换，融合成一个综合的数据体系去使用。基于本体论的动态知识图谱统一了数据表达，能实现同一概念多种方式灵活建模，对象类型、属性、关系动态更新，且关系推理分析可随场景动态计算。最终实现水工程调度相关多源异构数据的快速融合，提升数据的规范性、正确性、完整性、一致性，优化数据资产，对数据进行深加工，挖掘更深层次的数据关系。

为了高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策，本发明实施例提供一种水工程调度数据处理方法，如图1所示，该方法可以包括：

步骤101、获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；

步骤102、对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；

步骤103、根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。

由图1所示可以得知，本发明实施例通过获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。本发明实施例无需依赖大量人为分析和经验，通过对水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理，然后根据知识融合处理结果，构建水工程调度数据对应的知识图谱，从而实现高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策。

具体实施时，获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合。

实施例中，所述半结构化数据包括：gis空间数据和/或业务数据。结构化基础数据、gis空间数据、业务数据及非结构化数据等多种来源不同结构的数据通过归一化的数据预处理后进行分块，之后通过负载均衡并行的进行实体链接，根据实体数据的相似度分析等技术手段后将相似度较高的实体通过结果评估后进行融合。

具体实施时，对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理。

实施例中，对所述水工程调度数据进行信息抽取包括：对所述水工程调度数据进行实体信息抽取，关系信息抽取和属性信息抽取。本实施例中，结合行业语义库和内容分析服务，从现有数据库、防汛抗旱简报、调度方案、应急预案等各类数据源中提取出实体(或本体概念)、属性以及实体间的相互关系，在此基础上形成基于语义网的知识表达。

实施例中，所述对抽取的信息进行知识融合处理包括：对抽取的信息进行预处理，所述预处理包括：数据正规化处理和语法正规化处理；对预处理后的信息进行分块，对每块信息进行均衡负载处理；对均衡负载处理后的信息进行实体链接和结果评估；根据评估结果确定知识融合处理结果。

本实施例中，进行共指消解和实体消歧，以消除矛盾和歧义，完成实体链接工作；选择合适的第三方知识库产品和已有结构化数据获取调度相关知识输入，对知识库进行丰富。

本实施例中，假设两个实体的记录x和y，x和y在第i个属性上的值是xi，yi，那么通过如下两步进行记录链接：1、属性相似度：综合单个属性相似度得到属性相似度向量[sim(x1,y1),sim(x2,y2),…,sim(xn,yn)]。属性相似度的计算应用编辑距离(基于字符)、集合相似度计算或基于向量的相似度计算。2、实体相似度：根据属性相似度向量得到一个实体的相似度，采用基于知识表示学习的方法进行知识浅入。将知识图谱中的实体和关系都映射低维空间向量，直接用数学表达式来计算各个实体之间的相似度，这里采用transe模型。

本实施例中，通过衡量准确率、召回率、f值以及整个算法的运行时间来进行结果评估。

具体实施时，根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。

实施例中，针对水工程调度业务的特殊性，知识图谱的结构设计反映现已确定的调度对象(水库、引调水工程、重要泵站、重要涵闸、分蓄洪区等)和相关调度目标节点的保护关系、特定来水和调度方案下的调度对象和调度目标节点的水文要素关系、联合调度对象的上下游等影响关系、特定调度方案和调度效果关系等。本体结构设计中除了各类概念及其子类的上下位关系以外，还可以梳理出很多非上下位的本体关联关系，如(测站)-[位于]-(行政区划)的位于(locatedin)的关系，(自然灾害)-[触发]-(人类活动)的触发(triggered)等。关联关系设计从空间、时间等客观物理存在、事件发展过程中各类实体之间存在的关系以及人类活动对物理世界产生影响的关系进行梳理，随着业务应用场景的扩展更新，知识图谱中的关系(边)也将随着关系抽取而不断扩展丰富。通过关系抽取及特征工程标注等方式梳理实体间关系的二维矩阵并最终获取到实体间关系的定义。结构化基础数据、gis空间数据、业务数据及非结构化数据等多种来源不同结构的数据通过归一化的数据预处理后进行分块，之后通过负载均衡并行的进行实体链接，根据实体数据的相似度分析等技术手段后将相似度较高的实体通过结果评估后进行融合，如图2所示，具体如下：

1、信息抽取：结合行业语义库和内容分析服务，从现有数据库、防汛抗旱简报、调度方案、应急预案等各类数据源中提取出实体(或本体概念)、属性以及实体间的相互关系，在此基础上形成基于语义网的知识表达。

2、知识融合：对抽取的信息进行清理和整合。进行共指消解和实体消歧，以消除矛盾和歧义，完成实体链接工作；选择合适的第三方知识库产品和已有结构化数据获取调度相关知识输入，对知识库进行丰富，如图3所示。

3、知识加工：完成本体调度构建。从知识库中已有的实体关系数据出发，进行计算机推理，建立实体间的新关联来拓展和丰富知识网络；对形成的知识进行质量评估并形成质量评估报告，以确保知识库的质量。

4、知识图谱分析服务：为满足调度案例推演需求，提供知识计算算法服务，并能结合其他图经典算法，通过在图形之上的聚合提供更多洞察能力。以调度事件为核心，关联事件相关的各时间节点的情景；以调度方案为核心，关联调度方案相关的各类实体；结合自然语言搜索能力，理解用户输入的需求，返回并推荐最优的信息内容。

下面给出一个具体实施例，说明本发明实施例中水工程调度数据处理方法的具体应用。在本实施例中，系统的总体架构包含多源数据源、知识图谱服务、业务应用示范、用户等不同的层次。系统总体架构如图4所示。水工程调度数据包括水利空间数据、水文时间序列数据等结构化数据；文本数据包含水工程调度相关应急预案、调度方案等非结构化数据；领域知识包含防汛相关的简报、报告、水利常识等。知识图谱服务包含知识获取、知识融合、知识存储、分析服务四个层次。其中知识获取部分利用nlp、时空数据融合等方式实现结构化数据和非结构化数据中实体及关系的抽取。实体关系如图5所示。知识融合部分，通过实体的链接、知识合并等实现空间数据、时序数据、管理信息数据的融合，实现数据到信息到知识最终实现洞察的目标，如图6所示。知识存储部分包含知识表示、图数据、案例知识库等部分，结合本体设计、种词典等知识表示方式将水工程调度相关的台风事件、暴雨事件、洪水事件、调度事件等案例知识以描述性知识、程序性知识等形式存入图数据库。分析服务部分，通过图挖掘、图计算等技术挖掘调度案例的共性指标，通过相似度量、决策树等实现推荐历史相似调度案例。业务应用示范主要针对水工程调度业务的实际，提供实体关系可视化、全周期场景式360视图、会商辅助决策、措施建议推荐等功能服务，辅助调度决策。系统为针对水工程调度中的防洪调度、水量调度、水质调度、水生态调度、泥沙调度、航运调度等不同的调度场景及调度目标，结合单库调度、水库群调度等不同的调度对象，为水旱灾害防御局、水资源管理局、河湖管理局、水文局、设计研究院、集团公司等不同的管理主体用户提供应用服务。

下面分别从调度事件视角、调度方案视角和智能问答视角进行介绍。

1、调度事件视角：关联事件成因，包括其涉及的调度对象、调度目标、预报节点的基础、监测和预报数据；关联调度工作过程，反映其调度行为主体和客体、调度会商过程、调度方案比选结果、调度效果评价、调度令下达过程、调度执行结果等相关数据。以2016年01号洪水调度事件为例，以6月25日的洪水情景节点出发通过图查询可以检索出的信息有当时的工作部署情况、监测和预报数据、相关调度方案(包括调度对象、目标、行为等)、调度会商过程、调度令下达过程等。查询6月25日洪水情景后，降雨集中在中下游的汉江、清江、饶河，金沙江上游水库削落水位，支流来水增加，乌江彭水水库接近汛限，预见期仍有降雨，8时三峡水库水位146.5m，入出库分别为31000m³/s，24200m³/s，考虑到预见期降雨，决定加大三峡水库泄量至31000m³/s，并向三峡集团下达调度令。如图7所示。

2、调度方案视角：通过知识图谱引擎构建数据，将调度方案中的规则包括方案所述的调度目标、调度对象、调度条件、调度行为、调度机构等均以参数化的形式进行知识存储并关联后，支撑知识图谱分析服务所使用。在分析服务应用中，可通过相关的图算法、图查询进行检索、统计分析，例如通过提供调度节点的监测数据匹配具体调度规则，包括触发调度的条件、调度的目标、调度行为等信息。以城陵矶补偿调度为例，输入查询对象后，系统给出城陵矶补偿调度规则：在长江上游来水不大，三峡水库尚不需为荆江河段防洪大量蓄水，而城陵矶附近防洪形势严峻，且三峡水库水位不高于155.0米时，三峡水库兼顾对城陵矶河段进行防洪补偿调度，即按控制沙市水位不高于44.50米、同时城陵矶水位不超过34.40米进行防洪补偿调度。当三峡水库水位高于155.0米后，转为对荆江河段进行防洪补偿调度，不再对城陵矶河段进行防洪补偿调度。如图8所示。

3、智能问答视角：系统可结合自然语言还可结合自然语言搜索及机器学习模型所提供的服务实现语义分析并匹配或推荐对应的调度方案中的规则(包括但不限于调度目标、调度对象、调度条件、调度行为、调度机构等)。例如：以三峡水库为例，q：三峡水库当前水位168.3米该怎么调度，a：对荆江河段实施防洪补偿调度。当三峡水库水位低于171.0米时，控制沙市水位不高于44.50米，如图9所示。

本发明实施例具有如下有益效果：

1、关系的表达能力强：传统数据库通常通过表格、字段等方式进行读取，而关系的层级及表达方式多种多样，且基于图论和概率图模型，可以处理复杂多样的关联分析，满足企业各种角色关系的分析和管理需要。

2、像人类思考一样去做分析：基于知识图谱的交互探索式分析，可以模拟人的思考过程去发现、求证、推理，甚至业务人员自己就可以完成全部过程，不需要专业人员的协助。

3、知识学习：利用交互式机器学习技术，支持根据推理、纠错、标注等交互动作的学习功能，不断沉淀知识逻辑和模型，提高系统智能性，将知识沉淀下来，降低对经验的依赖。

4、高速反馈：图式的数据存储方式，相比传统存储方式，数据调取速度更快，图数据库可计算超过百万潜在的实体的属性分布，可实现秒级返回结果，真正实现人机互动的实时响应，让用户可以做到即时决策。

基于同一发明构思，本发明实施例还提供了一种水工程调度数据处理装置，如下面的实施例所述。由于这些解决问题的原理与水工程调度数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图10为本发明实施例中水工程调度数据处理装置的结构图，如图10所示，该装置包括：

数据获取模块1001，用于获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；

抽取与融合模块1002，用于对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；

图谱构建模块1003，用于根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。

一个实施例中，所述半结构化数据包括：gis空间数据和/或业务数据。

一个实施例中，所述抽取与融合模块1002进一步用于：对所述水工程调度数据进行实体信息抽取，关系信息抽取和属性信息抽取。

一个实施例中，所述抽取与融合模块1002进一步用于：

对抽取的信息进行预处理，所述预处理包括：数据正规化处理和语法正规化处理；

对预处理后的信息进行分块，对每块信息进行均衡负载处理；

对均衡负载处理后的信息进行实体链接和结果评估；

根据评估结果确定知识融合处理结果。

综上所述，本发明实施例通过获得水工程调度数据，所述水工程调度数据包括：结构化数据，半结构化数据，非结构化数据其中之一或任意组合；对所述水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理；根据知识融合处理结果，构建所述水工程调度数据对应的知识图谱。本发明实施例无需依赖大量人为分析和经验，通过对水工程调度数据进行信息抽取，对抽取的信息进行知识融合处理，然后根据知识融合处理结果，构建水工程调度数据对应的知识图谱，从而实现高效处理水工程调度数据，提高数据处理效率，节省人力物力，保证数据完备性，有利于辅助调度业务决策。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。