一种中台电力数据治理方法、装置、设备及存储介质与流程

本技术涉及数据治理，更具体地说，涉及一种中台电力数据治理方法、装置、设备及存储介质。

背景技术：

1、随着电力行业的发展，电力行业中的数据规模越来越大，电力数据的价值也越来越高，为了充分利用电力数据的价值，可以通过数据中台对营销信息系统、用电采集信息系统等业务系统获取的电力数据进行数据治理。其中，数据中台是一种将业务中的数据变成数据资产，持续使用数据、产生智能、为业务服务，从而实现数据价值变现的系统。

2、现有技术，企业内部其他业务系统通过接口直接把获取的电力数据传输到数据中台，由于其他业务系统获取的原始电力数据中，可能存在空值、负值等明显错误的问题数据，还可能会存在无效数据、离群数据等问题数据。因此，其他系统直接将原始电力数据传输到数据中台后，数据中台中电力数据的质量不能得到保证，在进行数据分析时，原始电力数据中的问题数据会使数据分析结果出现偏差，不能充分利用电力数据的价值。

技术实现思路

1、有鉴于此，本技术提供了一种中台电力数据治理方法、装置、设备及存储介质，用于解决现有中台电力数据治理方法，数据中台中电力数据的质量不能得到保证，在进行数据分析时，原始电力数据中的问题数据会使数据分析结果出现偏差，不能充分利用电力数据的价值的问题。

2、为实现上述目的，先提出的方案如下：

3、一种中台电力数据治理方法，包括：

4、获取第一数据集合，所述第一数据集合包括至少一个业务系统在一个周期内传输的电力数据；

5、检测所述第一数据集合中的电力数据是否出现预设类型的问题，并将所述第一数据集合中出现预设问题的电力数据确定为目标电力数据；

6、根据各类型问题和修正规则间的对应关系，确定与目标电力数据所存在的问题对应的目标修正规则，并按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据；

7、对第二数据集合中的电力数据进行质量评估，得到所述第二数据集合中电力数据的质量评估结果，所述第二数据集合包括所述修正后的电力数据和所述第一数据集合中除所述目标电力数据以外的电力数据；

8、提取所述第二数据集合中质量评估结果达到预设质量标准的电力数据。

9、优选地，所述各类型问题和修正规则间的对应关系，包括：

10、当问题为数据重复时，修正规则为保留重复的电力数据中的一条电力数据，删除重复的电力数据中除保留的一条电力数据以外的电力数据；

11、当问题数据为电力数据中的仪器的信息数据和用户的信息数据间对应关系不唯一时，修正规则为根据仪器的信息数据和用户的信息数据确定存在正确对应关系的仪器的信息数据和用户的信息数据，保留存在正确对应关系的用户的信息数据和仪器的信息数据，并删除存在错误对应关系的用户的信息数据和仪器的信息数据，所述仪器与用户间存在对应关系，用于采集对应的用户在业务中进行操作时产生的电力数据；

12、当问题为电力数据不符合业务逻辑时，修正规则为根据电力数据之间的逻辑关系计算正确数据，并将电力数据修正为正确数据；

13、当问题为电力数据不符合数据标准时，修正规则为根据电力数据之间的周期性规律，将电力数据修正为上一周期的电力数据。

14、优选地，在按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据之前，还包括：

15、统计所述第一数据集合中电力数据的数量和所述目标电力数据的数量；

16、计算所述目标电力数据的数量和所述第一数据集合中电力数据的数量的比值，得到所述第一数据集合中电力数据的错误率；

17、若所述错误率达到预设阈值，则将所述第一数据集合中的电力数据进行删除。

18、优选地，所述对第二数据集合中的电力数据进行质量评估，得到所述第二数据集合中电力数据的质量评估结果，包括：

19、判断所述第二数据集合中的电力数据是否符合业务逻辑，及所述第二数据集合中属于同一数据表的电力数据的量纲是否一致，所述数据表用于记录一类电力数据；

20、若所述第二数据集合中的电力数据不符合业务逻辑，或所述第二数据集合中的属于同一数据表的电力数据的量纲不一致，则确定所述第二数据集合中的电力数据的质量评估结果未达到预设质量标准；

21、若所述第二数据集合中的电力数据符合业务逻辑，且所述第二数据集合中的属于同一数据表的电力数据的量纲一致，则计算所述第二数据集合中电力数据的完整程度；

22、根据所述第二数据集合中电力数据的完整程度，对所述第二数据集合中的电力数据进行质量评估，得到所述第二数据集合中电力数据的质量评估结果。

23、优选地，还包括：

24、将所述质量评估结果达到预设质量标准的电力数据进行标准化处理，得到标准电力数据。

25、优选地，在根据各类型问题和修正规则间的对应关系，确定与目标电力数据所存在的问题对应的目标修正规则，并按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据之前，还包括：

26、确定所述目标电力数据的数据类型；

27、根据所述数据类型及所述目标电力数据所存在的问题，确定所述目标电力数据产生的原因是否属于预设原因；

28、若所述目标电力数据产生的原因属于预设原因，则确定所述目标电力数据为可修正数据并执行所述根据各类型问题和修正规则间的对应关系，确定与目标电力数据所存在的问题对应的目标修正规则，并按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据的步骤；

29、若所述目标电力数据产生的原因不属于预设原因，则确定所述目标电力数据为不可修正数据，标记所述目标电力数据并发送提示消息，所述提示消息用于提示业务人员修正所述目标电力数据。

30、优选地，在按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据之后，还包括：

31、记录按照所述目标修正规则对所述目标电力数据进行修正的操作日志。

32、一种中台电力数据治理装置，包括：

33、数据获取单元，用于获取第一数据集合，所述第一数据集合包括至少一个业务系统在一个周期内传输的电力数据；

34、问题检测单元，用于检测所述第一数据集合中的电力数据是否出现预设类型的问题，并将所述第一数据集合中出现预设问题的电力数据确定为目标电力数据；

35、数据修正单元，用于根据各类型问题和修正规则间的对应关系，确定与目标电力数据所存在的问题对应的目标修正规则，并按照所述目标修正规则对所述目标电力数据进行修正，得到修正后的电力数据；

36、质量评估单元，用于对第二数据集合中的电力数据进行质量评估，得到所述第二数据集合中电力数据的质量评估结果，所述第二数据集合包括所述修正后的电力数据和所述第一数据集合中除所述目标电力数据以外的电力数据；

37、数据提取单元，用于提取所述第二数据集合中质量评估结果达到预设质量标准的电力数据。

38、一种中台电力数据治理设备，包括：存储器和处理器；

39、所述存储器，用于存储程序；

40、所述处理器，用于执行所述程序，实现如前述中台电力数据治理方法的各个步骤。

41、一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述中台电力数据治理方法的各个步骤。

42、从上述的技术方案可以看出，本技术实施例提供的中台电力数据治理方法，获取第一数据集合之后，其中第一数据集合包括至少一个业务系统在一个周期内传输的电力数据，检测第一数据集合中的电力数据是否出现预设类型的问题，并将第一数据集合中出现预设问题的电力数据确定为目标电力数据，根据各类型问题和修正规则间的对应关系，确定修正目标电力数据的目标修正规则，并按照目标修正规则对目标电力数据进行修正，得到修正后的电力数据，对第二数据集合中的电力数据进行质量评估，得到第二数据集合中电力数据的质量评估结果，其中第二数据集合包括修正后的电力数据和第一数据集合中除目标电力数据以外的电力数据，提取第二数据集合中质量评估结果达到预设质量标准的电力数据。本技术根据电力数据出现的问题和修正规则间的对应关系，确定修正出现问题的电力数据的目标修正规则，并按照目标修正规则对出现问题的电力数据进行修正，因此可以提高数据中台中电力数据的质量。此外，还将没有出现问题的电力数据和修正后的电力数据进行质量评估，提取质量评估结果达到预设质量标准的电力数据，进一步保证了数据中台中电力数据的质量，使数据分析结果更加准确，可以更好的利用数据的价值。