1.本发明涉及数据监视技术领域,尤其涉及一种水电时序数据中断检测方法、装置、设备及存储介质。
背景技术:2.近年来,随着智能电厂概念的提出,传统水电厂逐步开展数字化改造,搭建数据平台,汇聚生产控制与辅助监测系统的时序数据开展智能化应用。水电厂布置了大量的生产控制与辅助监测系统,用于采集水电厂中现场设备相关的时序数据,例如水调系统、大坝监测系统、调速器系统、励磁系统、振摆监测系统等,数据源系统繁多,这些数据源系统采集数据的频率不同,有小时级、分钟级、秒级、毫秒级,采集的数据由生产控制大区向管理大区汇聚,中间需经过多重网络设备转发,存在传感器故障、数据丢失、服务器死机、网络阻塞等多种因素导致数据中断的问题,因而为保证水电时序数据应用的有效开展,及时发现数据中断问题是当前亟待解决的问题。
技术实现要素:3.基于此,有必要针对上述技术问题,提供一种水电时序数据中断检测方法、装置、设备及存储介质。
4.基于上述目的,本发明提供一种水电时序数据中断检测方法,包括:
5.将水电厂中各系统的时序数据采集进入数据平台,其中,一个所述系统关联多个测点;
6.将进入所述数据平台的时序数据进行规范化处理,得到时序编码信息;
7.获取所述时序编码信息的数据传输链路,并将所述数据传输链路与所述测点进行关联;
8.根据各所述测点、各所述测点关联的数据传输链路构建多种中断监视策略,通过多种所述中断监视策略对所述时序数据进行中断监视;
9.收集执行不同的所述中断监视策略获得的中断监视信息,并将所述中断监视信息发送至信息请求端。
10.优选地,所述数据平台设置有结构化数据库和时序数据库;所述将水电厂中各系统的时序数据采集进入数据平台,包括:
11.检测各系统是否为业务系统;
12.若所述系统为业务系统,则通过数据集成方式,将来自所述业务系统的原始数据采集进入结构化数据库,并转换为时序数据后存入时序数据库;所述原始数据为时序数据或者人工录入数据;
13.若系统为非业务系统,则通过分布式方式,将来自所述非业务系统的时序数据采集进入时序数据库。
14.优选地,所述将进入所述数据平台的时序数据进行规范化处理,得到时序编码信
息,包括:
15.获取时序数据编码标准;
16.通过所述时序数据编码标准对所述时序数据进行统一编码,得到时序编码信息。
17.优选地,所述时序数据编码标准采用三级+扩展级结构,包括:一级为单位编码;二级为功能位置编码;三级为标准名称编码;四级为扩展属性编码;各级之间采用分隔符进行连接。
18.优选地,所述多种中断监视策略包含测点中断监视策略和链路中断监视策略;所述根据各所述测点、各所述测点关联的数据传输链路构建多种中断监视策略,通过多种所述中断监视策略对所述时序数据进行中断监视,包括:
19.获取不同类别的测点对应的监视周期,并将所述测点中断监视策略定义为,根据所述监视周期对每个类别的所述测点进行中断监视;
20.将所述链路中断监视策略定义为,对不同的数据传输链路进行中断监视;
21.根据所述测点中断监视策略和所述链路中断监视策略对所述时序数据进行中断监视。
22.优选地,所述多种中断监视策略还包含模组中断监视策略;所述根据各所述测点、各所述测点关联的数据传输链路构建多种中断监视策略,还包括:
23.将所述模组中断监视策略定义为,根据与同一控制器或者同一模数转发模块连接的多个现场传感器,构建传感器模组,对所述传感器模组关联的多个所述测点进行中断监视。
24.基于同一个发明构思,本发明还提供一种水电时序数据中断检测装置,包括:
25.数据采集模块,用于将水电厂中各系统的时序数据采集进入数据平台,其中,一个所述系统关联多个测点;
26.数据处理模块,用于将进入所述数据平台的时序数据进行规范化处理,得到时序编码信息;
27.链路获取模块,用于获取所述时序编码信息的数据传输链路,并将所述数据传输链路与所述测点进行关联;
28.数据中断监视模块,用于根据各所述测点、各所述测点关联的数据传输链路构建多种中断监视策略,通过多种所述中断监视策略对所述时序数据进行中断监视;
29.收集转发模块,用于收集执行不同的所述中断监视策略获得的中断监视信息,并将所述中断监视信息发送至信息请求端。
30.优选地,所述数据采集模块包括:
31.系统检测子模块,用于检测各系统是否为业务系统;
32.第一采集子模块,用于若所述系统为业务系统,则通过数据集成方式,将来自所述业务系统的原始数据采集进入结构化数据库,并转换为时序数据后存入时序数据库;所述原始数据为时序数据或者人工录入数据;
33.第二采集子模块,用于若系统为非业务系统,则通过分布式方式,将来自所述非业务系统的时序数据采集进入时序数据库。
34.基于同一个发明构思,本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时
实现上述任一项所述的水电时序数据中断检测方法。
35.基于同一个发明构思,本发明还提供一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令用于使计算机执行如实现上述任一项所述的水电时序数据中断检测方法。
36.本发明提供的水电时序数据中断检测方法、装置、设备及存储介质,通过对采集进入数据平台的所有时序数据进行规范化处理,便于时序数据的分类管理,并为数据中断检测提供基础保证;同时,通过多种中断监视策略对时序数据进行中断监视,可以在不增加设备投入、不对系统进行改造的情况下,及时发现时序数据中断问题,提高时序数据质量的识别效率,从而保证水电时序数据应用的有效开展。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
38.图1为本发明一实施例中水电时序数据中断检测方法的流程示意图;
39.图2为本发明一实施例中的时序数据编码示例图;
40.图3为本发明一实施例中水电时序数据中断检测方法步骤s40的流程示意图;
41.图4为本发明一实施例中水电时序数据中断检测装置的结构示意图;
42.图5为本发明一实施例中电子设备的示意图。
具体实施方式
43.为使本发明所要解决的技术问题、技术方案及有益效果更为清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
44.如图1所示,本发明一实施例提供的一种水电时序数据中断检测方法,具体包括以下步骤:
45.步骤s10,将水电厂中各系统的时序数据采集进入数据平台,其中,一个系统关联多个测点。
46.在本实施例中,水电厂设置了多个生产控制与辅助监测系统,用于采集水电厂中现场设备,例如水轮发电机组、机组辅助设备、主变压器等相关的时序数据。其中,每一个生产控制与辅助监测系统关联有至少一个现场传感器,每一个现场传感器对应一个测点。
47.具体的,通过分布式方式或者数据集成方式获取水电厂中各生产控制与辅助监测系统采集的现场设备相关的时序数据,并将所有的时序数据送入数据平台。优选地,分布式方式是指基于分布式消息系统,例如kafka的数据获取方式,数据集成方式是指基于etl技术的数据获取方式。
48.作为优选,在数据平台设置有结构化数据库和时序数据库时,步骤s10包括以下步骤:
49.步骤s101,检测各系统是否为业务系统;
50.步骤s102,若系统为业务系统,则通过数据集成方式,将来自业务系统的原始数据采集进入结构化数据库,并转换为时序数据后存入时序数据库;该原始数据为时序数据或者人工录入数据;
51.步骤s103,若系统为非业务系统,则通过分布式方式,将来自非业务系统的时序数据采集进入时序数据库。
52.在本实施例中,多个生产控制与辅助监测系统划分为两类,一类为业务系统,包括水调系统、大坝监测系统、气象系统等,该业务系统可以采集各现场传感器的数据,也即各测点的时序数据,还可以采集人工录入数据;另一类为非业务数据,包括集中监控系统、调速器系统、励磁系统、振摆检测系统等,该非业务数据仅能采集各现场传感器的数据。
53.对于业务系统,先通过基于etl的数据获取方式,将时序数据或者人工录入数据采集进入结构化数据库,再通过时序数据端口,将结构化数据库中的数据转换为时序数据,存储至时序数据库。而对于非业务系统,通过基于kafka的数据获取方式,将时序数据直接采集进入时序数据库。
54.作为优选,时序数据端口是指专用于将结构化数据库中的数据转换为时序数据的数据处理端口。也即,本实施例可以将结构化数据库的所有数据输入到时序数据端口,时序数据端口根据结构化数与据时序数据之间的映射规则,对结构化数据库的所有数据进行时序数据转化,得到对应的时序数据。
55.步骤s20,将进入数据平台的时序数据进行规范化处理,得到时序编码信息。
56.本实施例中,规范化处理是指对时序数据进行统一编码。
57.具体的,时序数据来源于现场传感器,可以反映现场设备的运行状态,对时序数据进行统一编码,可以实现现场设备与时序数据的相互关联。
58.作为优选,步骤s20包括以下步骤:
59.步骤s201,获取时序数据编码标准;
60.步骤s202,通过编制时序数据编码标准对时序数据进行统一编码,得到时序编码信息。
61.在本实施例中,基于国家标准《水电厂标识系统编码导则》、多座水电厂和多类系统的时序数据特点,对电力系统自动化领域全球通用标准,即iec61850标准的bcs框架进行裁剪和扩充,编制得到时序数据编码标准,从而利用该时序数据编码标准对进入数据平台的时序数据进行统一编码,得到时序编码信息,从而实现了异构系统的时序数据标准化命名、统一编码及存储。
62.进一步地,时序数据编码标准采用三级+扩展级结构,该三级+扩展级结构包括:一级为单位编码;二级为功能位置编码,用于引用数据对象所属设备的kks编码(即设备功能位置码);三级为数据对象的标准名称编码;四级为自定义的扩展属性编码,用于根据需求扩展设置,例如可以根据数据来源、测点编号等进行扩展设置;各级之间采用分隔符,例如“.”进行连接,典型的时序数据编码如图2所示,图2中,某水电厂1号机组励磁变压器c相温度被编码为“320017.10mkc40.extttmpc.ba01”。
63.步骤s30,获取时序编码信息的数据传输链路,并将数据传输链路与测点进行关联。
64.在本实施例中,数据传输链路是指同一现场传感器采集的时序数据,从现场传感
器出发,经一个或多个中转系统转发至数据平台,所形成的链路;数据传输链路的数量可以为一条或者多条。
65.可理解的,同一现场传感器采集的时序数据可以通过多条链路进行数据传输,相应地,与时序数据对应的时序编码信息存在多条数据传输链路,进而可以将多条数据传输链路与现场传感器对应的测点进行关联。例如,现场传感器采集的1号发电机有功功率,对应的时序编码信息为320117.10mka.w.ba01,可以通过以下几条数据传输链路传入数据平台:
66.链路1:现场传感器
→
集中监控系统
→
数据平台;
67.链路2:现场传感器
→
集中监控系统
→
振摆监测系统
→
数据平台;
68.链路3:现场传感器
→
集中监控系统
→
水调系统
→
数据平台;
69.在上述3条链路中,若现场传感器出现故障导致中断,通过3条链路传输的时序数据都将中断,传入数据平台的与3条链路对应的3个存储单元将都没有数据;而若现场传感器无故障,链路2中某个传输网络故障导致数据中断,传入数据平台的与链路2对应的存储单元将无数据,链路1和链路3对应的2个存储单元将存储正常。也即,本实施例根据数据流向来获取时序编码信息的数据传输链路,有利于后续进行逻辑组合判断,判断中断原因是现场传感器故障还是网络设备故障。
70.步骤s40,根据各测点、各测点关联的数据传输链路构建多种中断监视策略,通过多种中断监视策略对时序数据进行中断监视。
71.本实施例中,多种中断监视策略分别为测点中断监视策略、链路中断监视策略和模组中断监视策略;测点中断监视策略是指根据监视周期对每个类别的测点进行中断监视;链路中断监视策略是指对不同的数据传输链路进行中断监视;组件中断监视策略是指根据与同一控制器或者同一模数转发模块连接的多个现场传感器,构建传感器模组,对传感器模组关联的多个测点进行中断监视。
72.可理解的,根据各测点、各测点关联的数据传输链路构建测点中断监视策略、链路中断监视策略和模组中断监视策略,并将这三种监视策略中的两种或三种监视策略进行组合,得到组合监视策略,由组合监视策略对时序数据进行中断监视。需要说明的是,两种监视策略组合得到组合监视策略,仅有一种组合方式,为测点中断监视策略和链路中断监视策略组合。
73.作为优选,如图3所示,所述多种中断监视策略包含测点中断监视策略和链路中断监视策略,步骤s40包括以下步骤:
74.步骤s401,获取不同类别的测点对应的监视周期,并将测点中断监视策略定义为,根据监视周期对每个类别的测点进行中断监视。
75.具体的,一个现场传感器对应一个测点,可以采集该测点的时序数据,并根据被测的数据对象的性质,将测点分为多个类别,例如液位类、温度类、压力类、电气类等测点。
76.对于每个类别的测点,从数据库中获取预设的监视周期,根据监视周期对该类别的测点进行中断监视,若在监视周期内测点的时序数据未更新,则判断为数据中断;否则,判断为数据正常。
77.例如,水电厂的上下游水位,其变化周期长,监视周期可以设置为30分钟,若每隔30分钟上下游水位未更新,则判断为数据中断;水电厂中运行中的机组压油槽油位,其变化
周期很短,并且与机组运行工况有关,监视周期可以设置为5分钟,若每隔5分钟机组压油槽油位未更新,则判断为数据中断;水电厂中停机时的机组压油槽油位,其变化周期很短,并且与机组运行工况有关,监视周期可以设置为60分钟,若每隔60分钟机组压油槽油位未更新,则判断为数据中断。
78.步骤s402,将链路中断监视策略定义为,对不同的数据传输链路进行中断监视。
79.具体的,对于数据来源相同的测点,也即同一现场传感器来源的测点,其可能存在多条数据传输链路,可以对不同数据传输链路进行中断监视,也即,对每条数据传输链路传输的数据不更新情况进行监视,若所有链路传输的数据均未更新,则判断所有链路同时中断,此时可以确定现场传感器故障,而若某条数据传输链路传输的数据未更新,则判断该条链路中断,此时可以确定该条链路中的传输网络故障。
80.步骤s403,根据测点中断监视策略和链路中断监视策略对时序数据进行中断监视。
81.可理解的,在步骤s403中通过测点中断监视策略和链路中断监视策略的组合方式,对测点产生的时序数据和链路传输的时序数据进行中断监视,可以及时发现时序数据中断问题,识别时序数据质量。
82.在另一实施例中,所述多种中断监视策略还包含模组中断监视策略,此时步骤s40包括步骤s401、步骤s402以及以下步骤:
83.步骤s404,将模组中断监视策略定义为,根据与同一控制器或者同一模数转发模块连接的多个现场传感器,构建传感器模组,对传感器模组关联的多个测点进行中断监视。
84.具体的,水电厂中,多个现场传感器可以与一个控制器(例如,plc)或者一个模数转发模块进行连接,此时可以将控制器和模数转发模块连接的多个现场传感器作为一个分组,构建传感器模组,并对该传感器模组下多个现场传感器对应的多个测点进行中断监视,若传感器模组下的所有现场传感器同时不更新超过预设时间,则判断与传感器模组对应的控制器或者模数转发模块故障。优选地,预设时间预先存储在数据库中,并与传感器模组进行对应关联。
85.步骤s405,根据测点中断监视策略、链路中断监视策略和模组中断监视策略对时序数据进行中断监视。
86.可理解的,在步骤s405中通过测点中断监视策略、链路中断监视策略和模组中断监视策略的组合方式,对测点产生的时序数据、链路传输的时序数据和模组采集的时序数据进行中断监视,可以及时发现时序数据中断问题,识别时序数据质量。
87.需要说明的是,在多种中断监视策略还包含模组中断监视策略时,步骤s40包含步骤s401、步骤s402、步骤s404和步骤s405,且步骤s401、步骤s402、步骤s404可以同时执行,也可以是某一步骤优先于其他步骤优先执行。
88.步骤s50,收集执行每种中断监视策略获得的中断监视信息,并将中断监视信息发送至信息请求端。
89.本实施例中,中断监视信息可以包含中断时间、中断类型、中断次数、中断原因等;中断时间是指监视到时序数据发生中断的时间;中断类型是指时序数据发生中断的类型,中断类型根据中断监视策略进行设置,包括测点中断、链路中断和模组中断;中断次数是指同一系统或同一测点的时序数据发生中断的次数;中断原因是指时序数据发生中断的具体
原因,例如现场传感器故障、传输网络故障等。
90.具体的,对执行不同的中断监视策略获取的中断时间、中断类型、中断次数、中断原因等中断监视信息进行收集,根据中断监视信息自动判断,测点对应的现场传感器、数据链路中的传输网络和与传感器模组连接的组件(该组件可以为控制器或者模数转发模块)的质量水平。进一步地,在接收到信息请求人通过客户端(即信息请求端)发送的信息获取请求时,响应信息获取请求将中断监视信息发送至该信息请求人的客户端。可选地,信息请求人可以为水电厂的设备管理人员。
91.由上述可知,本实施例提供的水电时序数据中断检测方法,通过对采集进入数据平台的所有时序数据进行规范化处理,便于时序数据的分类管理,并为数据中断检测提供基础保证;同时,通过多种中断监视策略对时序数据进行中断监视,可以在不增加设备投入、不对系统进行改造的情况下,及时发现时序数据中断问题,提高时序数据质量的识别效率。
92.如图4所示,基于同一发明构思,与上述任意实施例方法相对应的,本发明一实施例还提供了一种水电时序数据中断检测装置,包括数据采集模块110、数据处理模块120、链路获取模块130、数据中断监视模块140和收集转发模块150,各功能模块的详细说明如下:
93.数据采集模块110,用于将水电厂中各系统的时序数据采集进入数据平台,其中,一个系统关联多个测点;
94.数据处理模块120,用于将进入数据平台的时序数据进行规范化处理,得到时序编码信息;
95.链路获取模块130,用于获取时序编码信息的数据传输链路,并将数据传输链路与测点进行关联;
96.数据中断监视模块140,用于根据各测点、各测点关联的数据传输链路构建多种中断监视策略,通过多种中断监视策略对时序数据进行中断监视;
97.收集转发模块150,用于收集执行不同的中断监视策略获得的中断监视信息,并将中断监视信息发送至信息请求端。
98.在一可选实施方式中,所述数据采集模块110包括以下子模块,各功能子模块的详细说明如下:
99.系统检测子模块,用于检测各系统是否为业务系统;
100.第一采集子模块,用于若系统为业务系统,则通过数据集成方式,将来自业务系统的原始数据采集进入结构化数据库,并转换为时序数据后存入时序数据库;该原始数据为时序数据或者人工录入数据;
101.第二采集子模块,用于若系统为非业务系统,则通过分布式方式,将来自非业务系统的时序数据采集进入时序数据库。
102.在一可选实施方式中,所述数据处理模块120包括以下子模块,各功能子模块的详细说明如下:
103.标准获取子模块,用于获取时序数据编码标准;
104.编码子模块,用于通过时序数据编码标准对时序数据进行统一编码,得到时序编码信息。
105.在一可选实施方式中,所述时序数据编码标准采用三级+扩展级结构,包括:一级
为单位编码;二级为功能位置编码;三级为标准名称编码;四级为扩展属性编码;各级之间采用分隔符进行连接。
106.在一可选实施方式中,所述数据中断监视模块140包括以下子模块,各功能子模块的详细说明如下:
107.第一定义模块,用于获取不同类别的测点对应的监视周期,并将测点中断监视策略定义为,根据监视周期对每个类别的测点进行中断监视;
108.第二定义模块,用于将链路中断监视策略定义为,对不同的数据传输链路进行中断监视;
109.组合监视子模块,用于根据测点中断监视策略和链路中断监视策略对时序数据进行中断监视。
110.在一可选实施方式中,所述数据中断监视模块140包括以下子模块,各功能子模块的详细说明如下:
111.第三定义子模块,用于将模组中断监视策略定义为,根据与同一控制器或者同一模数转发模块连接的多个现场传感器,构建传感器模组,对传感器模组关联的多个测点进行中断监视。
112.上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
113.基于同一发明构思,与上述任意实施例方法相对应的,本发明一实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施例所述的水电时序数据中断检测方法。
114.图5示出了本实施例所提供的一种更为具体的电子设备硬件示意图,该设备可以包括:处理器100、存储器200、输入/输出接口300、通信接口400和总线500。其中处理器100、存储器200、输入/输出接口300与通信接口400、总线500实现彼此之间在设备内部的通信连接。
115.处理器100可以采用通用的cpu(central processing unit,中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本发明实施例所提供的技术方案。
116.存储器200可以采用rom(read only memory,只读存储器)、ram(randomaccess memory,随机存取存储器)、静态存储设备、动态存储设备等形式实现。存储器200可以存储操作系统和其他应用程序,在通过软件或者固件来实现本发明实施例所提供的技术方案时,相关的程序代码保存在存储器200中,并由处理器100来调用执行。
117.输入/输出接口300用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触控屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
118.通信接口400用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
119.总线500包括一通路,在设备的各个组件(例如处理器100、存储器200,输入/输出
接口300和通信接口400)之间传输信息。
120.需要说明的是,尽管上述设备仅示出了处理器100、存储器200、输入/输出接口300、通信接口400以及总线500,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
121.基于同一发明构思,与上述任意实施例方法相对应的,本发明一实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行如上述任一实施例所述的水电时序数据中断检测方法。
122.本实施例的计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储;该信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算机设备访问的信息。
123.上述实施例的计算机存储介质存储的计算机指令用于使计算机执行如上任一实施例所述的水电时序数据中断检测方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
124.所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明的范围限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明实施例的,不同方面的许多其它变化,为了简明它们没有在细节中提供。
125.本发明实施例旨在涵盖落入本发明的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。