一种适用于误差监测计算的充电桩数据清洗方法及充电站与流程

本发明涉及一种适用于误差监测计算的充电桩数据清洗方法及充电站，属于充电桩数据处理技术领域。

背景技术：

数据清洗是整个数据分析过程中不可缺少的一个环节，在实际操作中，数据清洗通常会占据数据分析过程的50％-80％的时间。其结果质量直接关系到模型效果和最终结论。

传统的数据清洗方法主要包括缺失值清洗、噪声数据清洗、不一致数据的清洗和重复数据的清洗。其中，针对噪声数据的处理方法有分箱法，聚类法等。

但充电桩数据存在量化噪声和时延噪声。

量化噪声主要是电能表数字化量化噪声导致。比如采集电能表综合倍率为200，读数数据保留2位小数，则电量(两读数之差)的最大量化误差位0.01，量化噪声为2；如果保留4位有效数字，则量化误差应该为电能表常数决定，比如常数为1000，则最大量化误差位0.001，量化噪声为0.2。

同时，充电桩内总表与分表的高频数据采集时间可能并不完全绝对一致，会存在时钟偏差，这也就给充电桩数据引入了时延噪声。

传统的数据清洗方法并不能有效解决充电桩数据中存在的量化噪声和时延噪声等问题，导致清洗后的数据质量不高，影响后续的数据分析。

技术实现要素：

针对现有技术的缺陷，本发明的目的在于提供一种能够有效解决充电桩数据中存在的量化噪声和时延噪声等问题，有效提升清洗后的数据质量，能够满足数据分析要求的适用于误差监测计算的充电桩数据清洗方法及充电站。

为实现上述目的，本发明的技术方案为：

一种适用于误差监测计算的充电桩数据清洗方法，

包括以下步骤：

第一步，对需求进行分析，明确数据的作用域与运用环境，确定有效的充电桩数据格式；

第二步，按照第一步中的充电桩数据格式，获取需要清洗的充电桩数据；

第三步，对第二步中获取的充电桩数据调用异常检测模型进行预处理；

所述异常检测模型，用以剔除因异常故障产生的无效数据；

所述异常故障包括充电设备故障或/和tcu故障或/和违规拔枪或/和bms通信异常故障；

第四步，对第三步预处理完成的数据进行分析，结合数据的分布曲线，确定数据的清洗规则；所述数据的清洗规则包括数据合并方式以及合并单位；

第五步，根据第四步中确定的清洗规则，对预处理后的数据进行二次清洗与修正，得到修正数据；

第六步，基于原始数据和第五步中二次清洗和修正完成的修正数据进行盲测模型求解，分析结果，验证经过修正数据是否符合预期要求；

若不符合任务要求，重新确定清洗规则，再次进行二次清洗与修正过程，并重新对修正数据进行分析验证，直到修正数据符合预期要求。

本发明经过不断探索以及试验，对充电桩数据，进行需求分析、预处理、确定清洗规则、二次清洗与修正、分析验证；并结合数据合并方法，有效解决充电桩数据中存在的量化噪声和时延噪声等问题，进而有效提升清洗后的数据质量，满足数据分析要求。

进一步，本发明方案简单实用，计算量小，便于编程实现。

作为优选技术措施：

所述第一步中，

充电桩数据具体包括：充电站档案信息、充电桩档案信息、充电枪档案信息、电能表档案信息、用电时序数据；

充电站档案信息包括充电站运行状态、充电站名称；

充电桩档案信息包括充电桩id、充电桩编号、充电桩类型；

充电枪档案信息包括充电枪id、充电枪类型；

电能表档案信息包括电能表id、倍率；

用电时序数据包括采集时间、电流、电压、功率、电量；

同时明确充电站、充电桩、充电枪、电能表之间的关联关系。

作为优选技术措施：

所述第三步中，

异常检测模型为正态分布2sigma原则或四分差iqr或孤立森林算法，其对数据异常情况进行检测，考虑到充电桩数据高频采集的特性，数据量足够大，并对检测出的无效数据直接删除。

作为优选技术措施：

所述第四步中，

数据的清洗规则为采用按小时合并或/和滑动窗口合并(窗口大小设置为4)，实现对充电桩数据二次清洗与修正的目的。

作为优选技术措施：

按小时合并的具体方法为：对预处理后的数据，按照日期时间升序排列；对日期时间这一列的数据切分，生成两个新的字段：年:月:日时:分，秒；

然后，对于每个电表，针对年:月:日时:分这一字段取值相同的数据累加合并，得到新的按小时合并后的数据，即得到二次清洗与修正后的修正数据。

作为优选技术措施：

按滑动窗口合并的具体方法：对预处理后的数据，按照日期时间升序排列；窗口大小为n，对于每个电表，每n个相邻的数据累加合并，得到新的按滑动窗口合并后的数据，即得到二次清洗与修正后的修正数据。

优选的，所述n为4。

作为优选技术措施：

所述第五步中，

清洗规则的不同作用于相同的充电桩数据所得到的结果会有差异；

验证修正数据，若误差较大，则需要重新选择清洗规则，再次进行二次清洗与修正。

作为优选技术措施：

所述第六步中，

盲测模型求解具体包括以下内容：

通过某块电能表运行数据的等比例调整，该块电能表的运行误差会产生一定量的变化；将等比例调整后的数据替换该电能表原始数据，则得到该充电站关于该电能表的误差盲测数据；

将盲测数据代入误差计算模型，得到该电能表关于误差盲测数据的计量误差，对比运行误差变化量比例，得到盲测模型对于该电能表运行误差变化的检出灵敏度；

对比分析二次清洗与修正前后盲测模型灵敏度(准确度)，验证经过清洗后的修正数据是否符合预期要求；

所述预期要求为数据的计算误差在+5％～-5％之间。

通过数据模拟人为注入+5％/-5％的计量误差，对电能表运行数据进行+5％/-5％等比例调整，将调整后的数据代入模型求解，理想求解结果约为-5％/+5％，验证经过清洗后的数据是否符合预期理想求解结果。

作为优选技术措施：

所述误差计算模型的能量关系为：

充电站总表供电量＝∑充电桩分表用电量+充电站固定损耗

其中，充电站固定损耗包括充电桩显示和通信设备、输电线路损耗；

上述能量关系的计算公式为：

其中：y表示充电站总表的供电量，p表示充电桩的个数，φj表示充电桩分表的用电量计量值，ε0表示充电站内固定损耗，εj表示第j个充电桩分表的计量点误差；

记

则有：

即

作为优选技术措施：

一种具有充电桩数据清洗设备的充电站，

包括至少一个充电桩、充电桩数据清洗设备；

所述充电桩设有至少一个充电枪；

所述充电桩数据清洗设备装配一个或多个处理器以及存储装置；

所述存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种适用于误差监测计算的充电桩数据清洗方法。

与现有技术相比，本发明具有以下有益效果：

本发明经过不断探索以及试验，对充电桩数据，进行需求分析、预处理、确定清洗规则、二次清洗与修正、分析验证；并结合数据合并方法，有效解决充电桩数据中存在的量化噪声和时延噪声等问题，进而有效提升清洗后的数据质量，满足数据分析要求。

进一步，本发明方案简单实用，计算量小，便于编程实现。

附图说明

图1为本发明流程示图；

图2为本发明一种实施例的原始数据分布图；

图3为本发明按小时合并之后的数据分布图；

图4为本发明移成异常点的数据分布图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“或/和”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，一种适用于误差监测计算的充电桩数据清洗方法，包括以下步骤：

第一步，对需求进行分析，明确数据的作用域与运用环境，确定有效的充电桩数据格式；

第二步，按照第一步中的充电桩数据格式，获取需要清洗的充电桩数据；

第三步，对第二步中获取的充电桩数据调用异常检测模型进行预处理；

所述异常检测模型，用以剔除因异常故障产生的无效数据；

所述异常故障包括充电设备故障或/和tcu故障或/和违规拔枪或/和bms通信异常故障；

第四步，对第三步预处理完成的数据进行分析，结合数据的分布曲线，确定数据的清洗规则；所述数据的清洗规则包括数据合并方式以及合并单位；

第五步，根据第四步中确定的清洗规则，对预处理后的数据进行二次清洗与修正，得到修正数据；

第六步，基于原始数据和第五步中二次清洗和修正完成的修正数据进行盲测模型求解，分析结果，验证经过修正数据是否符合预期要求；

若不符合任务要求，重新确定清洗规则，再次进行二次清洗与修正过程，并重新对修正数据进行分析验证，直到修正数据符合预期要求。

本发明经过不断探索以及试验，对充电桩数据，进行需求分析、预处理、确定清洗规则、二次清洗与修正、分析验证；并结合数据合并方法，有效解决充电桩数据中存在的量化噪声和时延噪声等问题，进而有效提升清洗后的数据质量，满足数据分析要求。

进一步，本发明方案简单实用，计算量小，便于编程实现。

本发明的一种最佳实施例：

一种适用于误差监测计算的充电桩数据清洗方法，包括如下清洗步骤：

1)分析数据的作用域与运用环境，明确有效的充电桩数据格式。具体包括为：充电站档案信息如充电站id、充电站运行状态、充电站名称等；充电桩档案信息如充电桩id、充电桩编号、充电桩类型等，充电枪档案信息如充电枪id、充电枪类型等，电能表档案信息如电能表id、倍率等；用电时序数据如采集时间、电流、电压、功率、电量等；具体的还需要明确充电站、充电桩、充电枪、电能表之间的关联关系。

2)采集需要清洗的充电桩数据。

3)调用异常检测算法，如2sigma，iqr，孤立森林等对数据异常情况进行检测，直接删除除由充电设备故障、tcu故障、违规拔枪、bms通信异常故障等原因产生的无效数据。

4)通过数据分析技术，结合数据的分布曲线图，确定数据合并方式，合并单位。本发明中采用按小时和滑动窗口(窗口大小设置为4)两种方式合并数据，实现对充电桩数据二次清洗的目的。

5)根据确定的清洗规则，对预处理后的数据进行二次清洗。不同的清洗规则作用于相同的数据集所得到的效果不尽相同。分许清洗后的结果，若结果不尽人意，则可能需要重新选择清洗规则，再次清洗。

6)通过数据分析技术，分别基于原始数据和清洗后数据构建能量守恒方程，形如：

其中：y表示充电站总表的供电量，p表示充电桩的个数，φj表示第j个充电桩分表的用电量计量值，ε0表示充电站内固定损耗，εj表示第j个充电桩分表的计量点误差。

记则有：

也即是：

通过某块电能表运行数据的等比例调整，该块电能表的运行误差会产生一定量的变化。将等比例调整后的数据替换该电能表原始数据，则得到该充电站关于该电能表的误差盲测数据，将盲测数据代入误差计算模型，得到该电能表关于盲测数据的计量误差，对比运行误差变化量比例，可得到模型对于该电能表运行误差变化的检出灵敏度。

对比分析二次清洗前后模型盲测灵敏度，如我们通过数据模拟人为注入+5％/-5％的计量误差，对电能表运行数据进行+5％/-5％等比例调整，将调整后的数据代入模型求解，理想求解结果约为-5％/+5％，验证经过清洗后的数据是否符合预期理想求解结果。

应用本发明的一种实施例：针对浙江银泰城充电站的数据进行清洗。

一般充电桩内总表倍率和分表倍率相差较大。以浙江银泰城充电站为例，银泰城充电站共九个充电桩，九块交流分表，一块交流总表。

一块交流总表，九块交流分表，电表数据从2020-04-0100:00:00到2020-05-1914:30:00，每15分钟一次读数。总表缺失04-29到05-07时段数据，各个分表缺失各有不同。首先，对原始的充电桩数据进行预处理工作，删除缺失值以及非公共时段数据。最终，共3824个时段，所有电表都有读数，数据分布参见图2所示。

其中，总表倍率为240，其余分表倍率为1，各电表读数保留2位小数。总表电量(两读数之差)的最大量化误差位0.01，量化噪声为2.4，分表电量(两读数之差)的最大量化误差位0.01，量化噪声为0.01.当在采集时间段内各分表用电量之和小于2.4，此时总表计量数据就不会发生变化，根据总表计量数据，该时间段内总表用电量为0。根据实际采集数据，2020-04-0105:15:00至2020-04-0105:30:00，总表计量数据均为4391.69，用电量为0，该15分钟内各分表用电量之和为0.57，小于2.4，此时线损为-0.57，该时段内分表用电量数据就会叠加到下一时刻总表计量上，这时也就产生了时延噪声。

当对数据采用按小时和滑动窗口(窗口大小设置为4)合并数据时，如对2020-04-0105:00:00至2020-04-0106:00:00这一个小时的数据进行合并，2020-04-0105:15:00至2020-04-0105:30:00由于量化噪声和时延噪声对计量数据产生的影响就会消除，也即是整个合并时间区间内由于量化噪声和时延噪声对计量数据产生的影响就会得到有效解决，在一定程度上解决了量化噪声和时延噪声的影响。

观察数据分布图，发现数据点绝对值较大时经常是成对出现的，分析是总表与分表的高频读数的时间可能并不完全一致引起的。这里针对上述预处理后的3824个时段的数据做二次清洗。

这里，本发明选择按小时和滑动窗口(窗口大小为4)对数据进行合并。由于已有数据是15分钟采集一次的高频数据，所以按小时合并和滑动窗口(窗口大小为4)合并两种方式效果差别不大。

其中，按小时具体的合并方式为：对上述预处理后的数据，按照日期时间升序排列；切分日期这一列的数据生成两个新的字段：年:月:日时:分，秒。然后，对于每个电表，针对年:月:日时:分这一字段取值相同的数据累加合并，得到新的按小时合并后的数据，也即是得到二次清洗后的数据。之后的具体的数据分析建模工作就可以基于二次清洗后的数据来进行。

其中，按滑动窗口(窗口大小为4)具体的合并方式为：对上述预处理后的数据，按照日期时间升序排列；然后对于每个电表，对4个相邻的数据累加合并，得到新的按滑动窗口合并后的数据，也即是得到二次清洗后的数据。之后的具体的数据分析建模工作就可以基于二次清洗后的数据来进行，其中按小时合并之后，数据分布参见图3。

简单移除绝对值大于10的异常点，最终，数据分布参见图4。

分别将原始数据和二次合并清洗后的数据，模型求解盲测，结果下表1。

表1

其中，raw表示原始数据模型盲测结果，hour表示按小时合并后数据模型盲测结果，slide_4表示按滑动窗口(窗口大小为4)数据模型盲测结果，如下表2所示。

表2

其中，raw表示原始数据模型盲测结果，hour表示按小时合并后数据模型盲测结果，slide_4表示按滑动窗口(窗口大小为4)数据模型盲测结果。

根据盲测结果来看，基于二次合并清洗后的数据，模型计算结果更显著，效果更好。

以上，就是本发明通过基于时间单位和滑动窗口合并数据的方法，可以有效减少量化噪声的影响，同时在一定程度上，也能有效减少时延噪声的影响，提高数据质量，进而提高模型的求解精度。

应用本发明方法的一种充电站实施例：

一种具有充电桩数据清洗设备的充电站，其特征在于，

包括至少一个充电桩、充电桩数据清洗设备；

所述充电桩设有至少一个充电枪；

所述充电桩数据清洗设备装配一个或多个处理器以及存储装置；

所述存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种适用于误差监测计算的充电桩数据清洗方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。