一种基于并行任务执行的电力营销售电量数据质量检查方法、系统、设备及存储介质与流程

本发明涉及大数据，具体涉及一种基于并行任务执行的电力营销售电量数据质量检查方法、系统、设备及存储介质。

背景技术：

1、随着电力行业的数字化转型，售电量数据已成为电力企业的重要资产。这些数据涵盖了时间、单位、行业分类、用电类别、增速等多个维度，是电力公司进行运营决策、市场预测和服务优化的重要依据。然而，随着数据规模的不断扩大，数据质量问题逐渐显现，包括数据缺失、异常和重复等多个方面。这些问题不仅增加了运营成本，还可能导致错误的市场判断和决策，进一步影响了客户体验和企业的市场竞争力。传统的数据质量检查方法多依赖于静态规则引擎，这些方法通常将检查任务串行处理，无法高效应对复杂的多源数据环境.

2、已有的实现方案往往以单一任务为中心，依靠设定的规则进行数据校验。例如，规则引擎可以识别简单的缺失值或格式错误，但在面对多维度的复杂数据关系时，其灵活性和适应性不足。此外，这些方案通常缺乏高效的并行处理能力，导致数据检查的响应时间较长，影响了决策的及时性。

3、在电力营销分析领域，现有技术主要依赖于静态规则引擎进行数据质量检查。这种方法存在几个明显的缺点：

4、(一)效率低下；由于检查任务通常是串行处理的，导致在面对大量数据时，响应时间长，无法及时发现和解决数据质量问题。因而，决策者可能在重要的业务决策时面临延误。

5、(二)灵活性不足；现有方案缺乏针对复杂数据关系的灵活适应性。电力营销数据涉及多个维度(如地域、行业和时间)，单一任务处理方式难以全面应对数据缺失、异常和重复等多重质量问题。

技术实现思路

1、针对电力营销售电分析中面临的多源数据复杂性和数据质量问题，本发明提出了一种高效的数据质量检查与治理技术方案。具体如下：

2、第一方面，一种基于并行任务执行的电力营销售电量数据质量检查方法，包括如下过程：

3、s100：加载检查规则、数据源路径和参数阈值；

4、s200：加载历史和当前售电量数据；

5、s300：依据s100中设定的检查规则并行开展数据异常检查、数据重复检查、数据缺失检查和数据一致性检查；

6、s400：生成详尽的检查报告。

7、优选的，所述数据异常检查包括如下过程：

8、s301：对每一行所涉及的行业或产业，判断同期售电量、同期累计售电量的数据是否存在零值；如果存在，在s400中记录对应的零值行业或产业，然后转s302；否则，直接转s302；

9、s302：对每一行所涉及的行业或产业，判断本月售电量、同期售电量、本年累计售电量、同期累计售电量的数据是否存在负值；如果存在，在s400中记录对应的负值行业或产业，然后转s303；否则，直接转s303；

10、s303：对每一行所涉及的行业或产业，判断本月同比增速和累计同比增速是否在设定的阈值范围内波动；如果超出阈值范围，在s400中记录对应的波动过大的行业或产业，然后转s304；否则，直接转s304；

11、s304：对每一行所涉及的行业或产业，判断其数值是否异常高于或异常低于设置一个阈值范围；如果超出阈值范围，在s400中记录对应的数据过大或过小的行业或产业，然后结束；否则，直接结束。

12、优选的，所述数据重复检查包括如下过程：

13、通过对比管理单位、行业名称、数据日期，防止数据重复输入。

14、优选的，所述数据缺失检查包括如下过程：

15、s321：对每一行所涉及的行业或产业，判断管理单位、行业名称这些基础数据字段是否缺失；如果存在缺失，在s400中记录对应的存在数据字段缺失的行业或产业，然后转s322；否则，直接转s322；

16、s322：对每一行所涉及的行业或产业，判断同期售电量、同期累计售电量字段是否缺失；如果存在缺失，在s400中记录对应的存在数据字段缺失的行业或产业，然后转s323；否则，直接转s323；

17、s323：判断同一管理单位下，所有售电行业的售电量数据是否完整；如果存在缺失不完整，在s400中记录对应存在不完整的管理单位，然后结束；否则，直接结束。

18、优选的，所述数据一致性检查是根据逻辑关系，确保不同分类下的售电量数据相互一致。

19、第二方面，一种基于并行任务执行的电力营销售电量数据质量检查系统，包括：

20、配置管理模块，用于对检查规则、数据源路径、参数阈值进行统一管理和初始化；

21、数据管理模块；用于从多源数据平台中加载历史数据和当前待检查数据，对检查结果进行持久化存储，保证检查过程的可追溯性；

22、任务管理模块，用于将检查任务划分为若干子任务，并对其进行状态跟踪，自动处理任务执行中的异常情况；

23、任务调度模块，用于分配计算资源，协调任务的执行顺序和依赖关系，保证任务在多节点上的高效并行处理。

24、第三方面，一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于并行任务执行的电力营销售电量数据质量检查方法。

25、第四方面，一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于并行任务执行的电力营销售电量数据质量检查方法。

26、本发明通过采用多任务并行处理技术，将复杂的检查任务按照不同的规则类别进行分解，再通过并行框架将各类检查任务同时执行。这种方式显著缩短了检查任务的执行时间。通过将检查任务拆解并并行处理，整个检查流程的时间消耗显著降低，使得大规模数据可以在较短时间内得到检查反馈，从而有效提升数据检查的整体效率。

27、本发明在检查任务执行前，动态加载并初始化配置参数，包括检查规则、数据源路径、阈值参数等，并将检查规则编码成可执行的代码。通过这种方式，检查规则可以灵活扩展和修改，而无需对系统进行大规模调整或停机维护。

28、本发明采用高效的并行处理框架，不仅使得各个检查任务可以同时执行，还能够通过合理的资源调度优化任务的执行顺序，避免资源浪费。这种架构保证了在处理大数据集时，系统能够保持较高的响应能力和稳定性。

29、因此，本发明具有以下显著优点：

30、效率提升：通过多任务并行处理，显著减少了数据检查的时间消耗，使得数据质量问题能够更快地识别和处理。

31、准确性与一致性：动态加载检查规则，保证检查过程中的规则执行准确，确保检查结果的可靠性。

32、高扩展性：系统具有良好的扩展性，能够根据数据量和复杂度灵活适应不同规模的数据检查需求。

技术特征：

1.一种基于并行任务执行的电力营销售电量数据质量检查方法，其特征在于，包括如下过程：

2.根据权利要求1所述一种基于并行任务执行的电力营销售电量数据质量检查方法，其特征在于，所述数据异常检查包括如下过程：

3.根据权利要求1所述一种基于并行任务执行的电力营销售电量数据质量检查方法，其特征在于，所述数据重复检查通过对比管理单位、行业名称、数据日期，防止数据重复输入。

4.根据权利要求1所述一种基于并行任务执行的电力营销售电量数据质量检查方法，其特征在于，所述数据缺失检查包括如下过程：

5.根据权利要求1所述一种基于并行任务执行的电力营销售电量数据质量检查方法，其特征在于，所述数据一致性检查是根据逻辑关系，确保不同分类下的售电量数据相互一致。

6.一种基于并行任务执行的电力营销售电量数据质量检查系统，其特征在于，包括：

7.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的一种基于并行任务执行的电力营销售电量数据质量检查方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种基于并行任务执行的电力营销售电量数据质量检查方法。

技术总结
本发明涉及大数据技术领域，具体涉及一种基于并行任务执行的电力营销售电量数据质量检查方法、系统、设备及存储介质。数据质量检查方法包括如下过程：加载检查规则、数据源路径和参数阈值；加载历史和当前售电量数据；依据设定的检查规则并行开展数据异常检查、数据重复检查、数据缺失检查和数据一致性检查；生成详尽的核查报告。本发明通过采用多任务并行处理技术，将复杂的核查任务按照不同的规则类别进行分解，再通过并行框架将各类核查任务同时执行。这种方式显著缩短了核查任务的执行时间。使得大规模数据可以在较短时间内得到核查反馈，从而有效提升数据核查的整体效率。

技术研发人员：任海洋,潘赢楠,刘鲲鹏,吕静贤,欧伟,彭渤,张妍,张楠
受保护的技术使用者：国家电网有限公司客户服务中心
技术研发日：
技术公布日：2025/3/16