一种基于分布式调度的智能电厂实时预警模型计算框架的制作方法

本发明涉及智能电厂实时计算领域，更确切地说，它涉及一种基于分布式调度的智能电厂实时预警模型计算框架。

背景技术：

1、现有技术中，国家电网贺勇的工作《基于分布式实时计算框架的电能量数据异常特征提取》分别对比了hadoop,spark和strom三种分布式计算框架,提出采用strom具有更优秀的实时性、容错性以及动态调整。国家电投王建设的工作《基于大数据分析的智慧电厂设备状态监测研究》中提出使用小波分解技术得到数据新的特征向量，并根据基于最小二乘支持向量机以及改进蚁群算法优化方法，完成发电厂设备异常状态分类，该算法具有较高的实时性；专利cn202011029005.9《一种发电厂数据智能处理系统》提出采用基于strom分布式框架来计算报警点统计、实时积分电量的实时指标。

2、上述专利均针对电力设备进行状态监测，但缺少量化模型运行实时性的关键指标。因此，在不同软硬件资源、不同架构、不同的算法结构条件下，针对设备的状态监测、实现实时预警功能亟需一种标准计算框架及合理的评价指标。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出了一种基于分布式调度的智能电厂实时预警模型计算框架。

2、第一方面，提供了一种基于分布式调度的智能电厂实时预警模型计算框架，包括：

3、步骤1、构建数据源节点，通过所述数据源节点与计算框架所需数据库建立连接；

4、步骤2、构建数据监测节点，获取测点的变化数据；

5、步骤3、对所述变化数据进行数据组装；

6、步骤4、通过模型启动节点构建模型计算服务；

7、步骤5、将步骤3得到的组装数据加入到所述模型计算服务进行模型计算，获取预警结果；

8、步骤6、将步骤5得到的预警结果输出至消息中间件。

9、作为优选，步骤1中，所述与计算框架所需数据库建立连接，包括：

10、步骤1.1、与时序数据库建立连接，从所述时序数据库中获得电厂生产设备相关的所有数据；

11、步骤1.2、与内存数据库建立连接，从所述内存数据库中获得测点-模型表，模型-地址表，测点-阈值表，全量测点历史数据表；所述测点-模型表用于根据转发来的数据通过测点名称快速确定模型名称；所述模型-地址表用于根据模型名称快速检索到模型部署的地址；所述测点-阈值表用于快速检索对应模型的严重报警阈值；所述全量测点历史数据表用于保存模型所用到的测点的最近一次数据；

12、步骤1.3、与关系型数据库建立连接，从所述关系型数据库中获得时序数据库和内存数据库相关的配置信息，包括数据库地址信息和数据库访问信息。

13、作为优选，步骤2中，根据所述全量测点历史表对所述时序数据库进行数据监测，当全量测点历史表中的数据与时序数据库中的相同测点数据发生不一致，数据监测节点将测点与数据以键值对形式输出；数据监测节点以毫秒级的定时任务进行实时数据的比对。

14、作为优选，步骤3包括：

15、步骤3.1、根据步骤2获得的测点，通过所述测点-模型表，快速定位到测点所属模型名称以及模型包含的所有测点；

16、步骤3.2、根据步骤3.1获得的模型包含的所有测点，通过所述全量测点历史数据表得到模型运行所需的所有测点数据；

17、步骤3.3、根据步骤3.1获得的模型名称，通过所述模型-地址表，得到模型部署的位置；

18、步骤3.4、将步骤3.1-步骤3.3的结果组装成模型计算服务所需的数据形式，所述数据形式为键值对形式的json格式。

19、作为优选，步骤4包括：

20、步骤4.1、根据所述模型-地址表，获得模型部署的地址，并根据地址判断权重文件是否已部署，若部署则跳过步骤4.2-4.6，直接启动计算服务；

21、步骤4.2、根据步骤3.1得到的模型所需测点，通过所述时序数据库获取6-12个月的历史数据；

22、步骤4.3、根据步骤4.2得到的历史数据x，通过采样得到记忆矩阵d；

23、步骤4.4、根据记忆矩阵d以及评估值xest＝d·w，设定真实值与评估值残差函数ete＝(x-xest)t(x-xest),通过对上式求偏导得到权重矩阵

24、步骤4.5、根据权重矩阵w，计算评估值xest＝d·w，残差矩阵e＝x-xest；

25、步骤4.6、根据模型地址表，获得模型部署的地址，并将所述记忆矩阵d和所述权重系数矩阵作为离线模型部署在该地址上。

26、作为优选，步骤5包括：

27、步骤5.1、判断记忆矩阵d是否存在于当前计算节点的内存中，若已存在则跳至步骤5.2，若不存在，则加载步骤4.6部署好的记忆矩阵d和权重系数矩阵(d*dt)-1；

28、步骤5.2、计算实时数据的评估值xest，查询所述测点-阈值表得到步骤4.5计算的残差，计算每个测点的预警上阈值tmax＝xest+emax，预警下阈值tmin＝xest+emin，其中emax为该测点在步骤4.5中计算得到的残差矩阵e对应行的最大值，同理emin为最小值；

29、步骤5.3、根据步骤5.2得到的预警上阈值与下阈值得到预警阈值区间，判断实时数据是否需要报警；

30、步骤5.4、根据步骤5.2和步骤5.3的结果组装输出数据。

31、作为优选，步骤1.2中，测点-模型表，模型-地址表和测点-阈值表使用分钟级进行数据更新；所述全量测点历史数据表使用毫秒级更新；测点-模型表，模型-地址表，测点-阈值表和全量测点历史数据表以字典形式作为数据结构。

32、作为优选，步骤4.1中，取到历史数据后，需要提取设备工况为稳态的数据作为有效数据，稳态工况判断来自专业人员的经验；

33、步骤4.2中，步长选择策略为：训练数据集历史观测数m，当m>200000时，步长为{m/2000}；当40000<m≤200000时，步长为{m/1000}；当m≤40000时，步长为{m/500}；其中{x}表示小于x的最大整数；

34、步骤4.4中，权重矩阵计算中，采用欧式距离替代矩阵点乘来反映两两向量之间的关系，的计算公式如下：其中两个矩阵之间的相似距离作为各个元素的权重值；

35、步骤4.5中，权重系数矩阵作为模型文件在进行部署时，采用低精度的浮点数代替高精度的浮点数，并根据现有的计算资源平均调度到空余计算核心上。

36、第二方面，提供了一种执行如第一方面任一所述基于分布式调度的智能电厂实时预警模型计算框架的系统，包括：

37、第一构建模块，用于构建数据源节点，通过所述数据源节点与计算框架所需数据库建立连接；

38、第二构建模块，用于构建数据监测节点，获取测点的变化数据；

39、组装模块，用于对所述变化数据进行数据组装；

40、第三构建模块，用于通过模型启动节点构建模型计算服务；

41、计算模块，用于将组装模块得到的组装数据加入到所述模型计算服务进行模型计算，获取预警结果；

42、输出模块，用于将计算模块得到的预警结果输出至消息中间件。

43、第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行如第一方面任一所述的基于分布式调度的智能电厂实时预警模型计算框架。

44、本发明的有益效果是：本发明基于电厂实时数据，能够进行高并发的预警的计算任务，实现在有限资源条件下的多任务实时计算。