一种基于知识图谱的非结构化电网数据处理方法及装置与流程

文档序号:27907836发布日期:2021-12-11 06:26阅读:来源:国知局

技术特征:
1.一种基于知识图谱的非结构化电网数据处理方法,其特征在于,包括以下步骤:s1、先将非结构化数据进行导出,并进行初步的数据检索;s2、将检索出的数据进行清洗;s3、将清洗后的数据进行进一步的分析转换,使非结构化数据转换成可以识别的结构化数据;s4、将初始数据库中数据导出,并进行整合;s5、将整合后的数据与转换的结构化数据进行相似度对比;s6、对转换对比后的结构化数据中不完整的数据、错误的数据以及重复的数据进行处理删除;s7、对处理后的数据进行数据分类,并上传到成品数据库中,通过云存储平台进行备份储存。2.根据权利要求1所述的一种基于知识图谱的非结构化电网数据处理方法,其特征在于,所述非结构化数据库中包括所有格式的办公文档、文本、图片、xml,html、各类报表、图像和音频、视频信息。3.根据权利要求1所述的一种基于知识图谱的非结构化电网数据处理方法,其特征在于,所述s7中的数据分类包括法规数据、合同数据、以及安全数据,并将分类后的数据进行统一整合。4.根据权利要求1所述的一种基于知识图谱的非结构化电网数据处理方法,其特征在于,所述s3与s4为并列步骤,可同步进行。5.一种基于知识图谱的非结构化电网数据处理装置,其特征在于,应用于上述权利要求1

4任一项所述的基于知识图谱的非结构化电网数据处理方法,包括以下:非结构化数据库,用于储存原始的非结构化数据,并通过适配器将非结构化数据导出,所述非结构化数据库与数据检索模块相连;数据检索模块,用于对非结构化数据库中的非结构化数据进行检索收集,所述数据检索模块与数据清洗模块连接;数据清洗模块,用于将数据检索模块检索出的数据进行清洗整理,所述数据清洗模块与数据分析引擎连接;数据分析引擎,用于对数据清洗模块清洗整理后的数据进行分析,所述数据分析引擎与数据转换器连接;数据转换器,用于对非结构化数据中的非数值数据转换为数值数据,将非结构化数据转换为结构化数据,所述数据转换器与相似度计算模块连接;初始数据库,用于储存现有资料中的结构化数据,所述初始数据库与数据整合模块相连;数据整合模块,用于对初始数据库中的数据进行整合,所述数据整合模块与相似度计算模块相连接;相似度计算模块,用于将转换后的数据与初始数据库中整合后的结构化数据进行相似度对比以及相似度计算,并进行数据提取,所述相似度计算模块与数据分类模块和数据处理模块相连接。6.根据权利要求5所述的一种基于知识图谱的非结构化电网数据处理装置,其特征在
于,还包括:所述数据分类模块用于对数据进行分类,所述数据分类模块与成品数据库连接。7.根据权利要6所述的一种基于知识图谱的非结构化电网数据处理装置,其特征在于,所述成品数据库,用于储存分类后的数据,所述成品数据库与云存储平台连接;云储存平台,用于对成品数据库中的数据文件进行备份。8.根据权利要求5所述的一种基于知识图谱的非结构化电网数据处理装置,其特征在于,所述数据检索模块包括翻译器、优化器以及执行器;所述翻译器,用于翻译查询请求并生成查询表达式;所述优化器,用于优化查询表达式,得到优化过的查询计划;所述执行器,用于选择最优的查询计划执行,得到查询结果。9.根据权利要求5所述的一种基于知识图谱的非结构化电网数据处理方法及装置,其特征在于,所述数据分类模块包括对电网数据中的法规数据、合同数据以及安全数据的分类与整合。10.根据权利要求5所述的一种基于知识图谱的非结构化电网数据处理方法及装置,其特征在于,所述数据处理模块,用于对进行过相似度计算后的结构化数据中不完整的数据、错误的数据以及重复的数据进行处理删除。

技术总结
本发明公开了一种基于知识图谱的非结构化电网数据处理方法及装置,涉及知识图谱领域,针对现有的非结构化电网数据的处理方法处理效果差,存在查询效果慢的问题,现提出如下方案,其包括以下步骤:S1、先将非结构化数据进行导出,并进行初步的数据检索,S2、将检索出的数据进行清洗,S3、将清洗后的数据进行进一步的分析转换,使非结构化数据转换成可以识别的结构化数据,S4、将初始数据库中数据导出,并进行整合,S5、将整合后的数据与转换的结构化数据进行相似度对比,S6、对转换对比后的结构化数据中不完整的数据、错误的数据以及重复的数据进行处理删除。本发明结构简单,使用方便,提高了非结构化数据的处理效果,提高查询效率。提高查询效率。提高查询效率。


技术研发人员:李保平
受保护的技术使用者:广州汇通国信科技有限公司
技术研发日:2021.09.14
技术公布日:2021/12/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1