一种基于电力物联网平台的数据质量检测方法与流程

文档序号:20113050发布日期:2020-03-17 19:25阅读:来源:国知局

技术特征:

1.一种基于电力物联网平台的数据质量检测方法,其特征在于:包括以下步骤:

步骤1、数据采集,其包括以下步骤:

步骤101、通过电力物联网平台以及电力物联管理中心的设备量测采集数据;

步骤102、将采集到的数据按照预定频度传送至数据存储层,并将各类数据落地到电力物联网平台,再根据相关需求对数据进行加工计算,以方便后续数据质量检测;

步骤103、对数据进行筛选、过滤、汇总、整合后,将数据分布在文件系统、列式数据库和关系型数据库;

步骤2、数据分析,其包括以下步骤:

步骤201、根据数据的类型、采集时间、数据项、数据间逻辑关系,对量测类实时数据进行建模;

步骤202、分层分步实时分析数据的异常情况、关联关系、以及分类分层和预测,根据需要关联的离线数据选取外存技术,利用缓存或外存进行状态数据存储及更新,分层进行汇聚及逻辑计算;

步骤203、将离线数据借助hbase及外部缓存存储与实时流数据形成实时明细及聚合层数据,通过实时同步组件,提供前端实时数据服务,在实时分析流程的各个环节中分析实时数据质量监测及改进的需求;

步骤3、数据异常检测,其包括以下步骤:

步骤301、在实时分析流程的各环节中,使用基于隔离森林集成学习算法对实时流数据进行异常检测,输入历史量测数据构建初始探测器,获得初始的异常检测器;

步骤302、提取历史数据离线构建时间序列趋势及周期性特征,选择分割属性和对应的分割值构建隔离树,确定树构造的停止条件及深度预设最大值;

步骤303、引入集成学习方法,构建多颗隔离树;

步骤304、构建滑动时间窗口模型,利用指数平滑算法处理改进数据丢失点和噪声,同时对量测实时流数据计算平均分割深度,根据深度值确定是否是异常数据,当深度值的大小超过预设的最大值,则为异常,反之,数据是正常;

步骤305、按时间分界点初始化历史数据,同时修改实时数据的消费偏移量,保证批处理和实时处理数据的无缝衔接。

2.根据权利要求1所述的基于电力物联网平台的数据质量检测方法,其特征在于:在所述步骤102中,通过消息队列、数据复制或etl形式,将采集到的数据按照预定频度传送至数据存储层。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1