专利名称：一种电动汽车及充换电设施系统海量数据处理方法
技术领域：
本发明涉及一种计算机应用的海量数据处理方法，尤其是涉及一种专用于电动汽车系统海量数据处理方法。
背景技术：
2009年初国家电网曾经做了汽车充电站的十年长期发展规划。根据规划，到2015年我国汽车充电站数量将达到1700座；到2020年我国汽车充电站数量有望达到10000座。这一规划在电动公交车和PHEV (插电式混合动力汽车)、EV (电动汽车)乘用车的共同拉动下，有望成为现实。汽车充电站的管理需要用到电动汽车管理系统，电动汽车管理系统需要采集数
据，其涉及的数据采集主要通过汽车充电站的站级系统采集充电站数据，将数据集中起来。对于实时采集的数据类型包括I)电能数据包括表码、需量等。2)模拟量包括电压、电流、有功功率等。3)电能质量统计数据包括电压、功率因数、谐波等数据。4)事件记录数据包括终端和表计的事件记录数据。5)开关量数据、监控数据。而运营管理方希望展示的分析数据包括工况统计、计量点电量、功率因数、对象电量、负荷统计、极值分析数据、采集完整率、流量数据。再深入的分析包括涉及决策支持、运营效益、充电设备利用率等。由于电动汽车管理系统实时采集的数据相当庞大，一般的处理方式已经很难满足系统管理的要求。现有的应用系统直接依靠采集的基础数据提供用户所需的结果需要借助数据库的SQL统计分组等语句和应用服务器的实时计算能力，在数据量海量情况下对数据库系统和应用系统都有很大的压力，且某些应用功能要多种业务数据的综合分析才能得出最终结果，此时实时计算更是耗时巨大，对数据库、应用服务器的软硬件也提出了很高的要求，由于统计的耗时很长，用户的体验也很差，特别在多用户并发查询操作的情况下，系统不能再处理用户的请求，甚至造成系统内存不足而宕机。
发明内容
本发明所要解决的技术问题，就是提供一种电动汽车及充换电设施系统海量数据处理方法，其既能满足系统管理的要求，且实时计算费时较短，统计耗时也不长，用户体验较好，对数据库、应用服务器的软硬件要求不高，即便在多用户并发查询操作的情况下，系统也能很好地处理用户的请求，不会造成系统内存不足而宕机。解决上述技术问题，本发明采用的技术方案如下一种电动汽车及充换电设施系统海量数据处理方法，包括以下步骤
SI前置采集系统通过GPRS(通用无线分组业务)网络或应用程序接口、WebService(在线应用服务)服务其中之一的方式采集充电站的实时数据，根据实时数据的属性和业务特征按时间分表的方式录入基础数据采集库；S2根据实时数据的属性，调用策略库的对应处理策略，对采集的实时数据进行预处理，形成基础数据；S3根据基础数据的属性和业务特征，调度系统启动自动计算任务，并赋予自动计算任务对应的属性值；S4调度系统对自动计算任务按照综合权重值的优先级排序，通过策略库中配置的权重阀值动态分配双线程池运行，分析处理基础数据得到以计量点对象为基础的基础计算数据；S5计算服务向C0MCACHE(缓存系统)缓存以计量点对象为基础的基础计算数据；S6计算服务对C0MCACHE缓存中以计量点对象为基础的基础计算数据二次处理，分析并计算出以充电桩、充电站、地区、全省为属性的高级计算数据；S7DBSERVER存储系统向计算结果数据库存储基础计算数据和高级计算数据。所述的步骤SI中，实时数据是指电动汽车充电站运营中产生的一系列不同种类的实时数据，包含I)电能数据包括表码、需量等；2)模拟量包括电压、电流、有功功率等；3)电能质量统计数据包括电压、功率因数、谐波等数据；4)事件记录数据包括终端和表计的事件记录数据；5)开关量数据、监控数据；实时数据的属性和业务特征是指属性是实时数据的不同种类，如表码、瞬时量、谐波、功率因素等；业务特征是每个种类实时数据的采集密度、采集时间、数据项属性、所属上级对象。所述的步骤S2中的实时数据预处理至少包含以下内容之一数据的合并、合理性检查、表码飞走、表码反走、数据满量程、缺数统计、缺数的线性拟合；所述的步骤S2中的策略库是指一组可配置属性和方法的集合，详细定义了各种业务的参数及每种采集数据需要处理的过程和方法，存放于数据库；所述的步骤S3中的基础数据是实时数据经过预处理后形成的新数据；所述的步骤S3中的基础数据的属性和业务特征是属性是实时数据的种类表码、瞬时量、谐波、功率因素等，业务特征是每个种类包含的采集密度、采集时间、数据项属性、统计周期、所属上级对象；所述的步骤S3的调度系统启动自动计算任务是自动计算任务包含属性值为计算类型、计算时间、计算方案、对象类型、对象编码、计算开始时间、计算结束时间、是否计算子项和进度百分比；所述的计算类型的内容包括计量点电量、对象电量、负荷分析、采集完整率、极值分析、工况统计、在线率、工程统计；所述的步骤S4中的计算任务的优先级排序顺序指策略库中每种计算任务属性和业务特征都中配置有加权值，是某个具体的浮点数；根据配置的加权值的大小我们对计算类型权重有如下优先级定义计量点电量 > 工况统计 > 功率因数分析 > 负荷分析 > 对象电量；计算方案权重优先级日方案 > 月方案；对象类型权重优先级表计 > 充电桩 > 充电站 > 地市局 > 省局；计算任务综合权重值=Σ计算任务属性*加权值；计算任务按照综合权重值从大到小排序，形成排序后的计算队列；所述的步骤S4中的双线程池是立即计算的线程池和等待队列的线程池；配置参数包括置等待线程数量、最大线程数量、线程空闲时间、等待队列大小；立即计算的线程池分配的计算任务立即开始运行，等待队列的线程池当它分配的计算任务数量小于配置的等待线程数量时任务会立即分配线程运行，当计算任务数量大于配置的等待线程数量小于配置的最大线程数量时，计算任务进入等待队列待调度；当计算任务数量大于配置的当最大线程数量时，此计算任务会被取消，计算任务会状态设置为待调度，在延迟一段时间后再次被调度服务识别加载。所述的步骤S4中的动态分配双线程池是指根据排序后的计算任务综合权重值当综合权重值大于或等于策略库中配置的阀值时，计算任务分配给立即计算的线程池，当综合权重值小于策略库中配置的阀值时，计算任务分配等待队列的线程池。所述的步骤S5中缓存的基础计算数据是以计量点对象为基本单位，向缓存服务器存储计量的业务数据包括计量点编码、当前计算方案、计算时间、电量值、负荷值、采集数据值等数据。所述的步骤S6中基础计算数据二次处理包括调用缓存服务中的电动汽车业务档案模型，对基础计量点数据统计、求和、极值分析，分析出全省、地区、充电站、充电桩等区域的统计数据。所述的步骤S7中的数据DBSERVER存储服务是指提供统一调用指令访问数据库中的业务数据，存储高级计算数据。有益效果本发明的核心是由独立的计算服务系统按照特定的策略和方法对实时数据进行处理，按照特定的逻辑存储符合业务要求的计算数据，业务系统直接访问计算数据，这样对业务系统和海量基础数据之间进行了隔离，大大降低了应用系统处理数据的数量级，降低对数据库的计算压力，能够很大程度降低系统的软硬件配置费用；和海量的基础的实时数据相比，计算数据对用户业务更加友好，应用开发难度相应降低，提高业务系统的开发效率，降低了开发成本；计算服务灵活的配置策略保证了计算结构的正确性和完整性；通过共享计算数据，保证多用户的并发访问，也能为其他外部系统提供数据支持。
图I是本发明的专用于电动汽车业务的海量数据处理方法的系统逻辑示意图；图2是本发明的专用于电动汽车业务的海量数据处理方法的任务计算服务示意图；图3是本发明的专用于电动汽车业务的海量数据处理方法的业务流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。图I是本发明的专用于电动汽车业务的海量数据处理方法实施例的系统逻辑示意图，它包括系统的总体解决方案，以及和各个服务间的调用关系。
任务调度服务根据系统生成的自动计算任务，权重判断优先级排序，提交计算服务处理(手工计算任务和业务模块发起任务系统同样能够处理，但不在本文讨论之列)。缓存服务会根据电动汽车管理系统模型自动构建业务数据，提供调用的数据接口指令。计算服务是多线程、双线程池的核心单元，负责判断计算任务的计算类型、计算时间、计算方案、对象类型、对象编码等信息，启动业务逻辑计算。计算任务在计算中可以调用缓存服务中的接口指令缓存中间计算结果数据，或调用业务模型数据。当数据处理完毕后交由数据存储服务接口指令存储计算结果数据。图2是本发明的专用于电动汽车业务的海量数据处理方法的任务计算服务示意图。任务计算服务由双线程池构成一个是立即计算的线程池，另一个是可配置参数的等待队列线程池，配置参数包括置等待线程数量、最大线程数量、线程空闲时间、等待队列大小。它分配的计算任务当数量小于等待线程数量时任务会立即分配线程计算，当计算
任务数量大于等待线程数量小于最大线程数量时，计算任务进入等待队列待调度，计算任务数量大于当最大线程数量时，此计算任务会被取消，计算任务会将状态设置为待调度，在延迟一段时间后再次被任务调度加载。图3是本发明的专用于电动汽车业务的海量数据处理方法的流程图。本发明的专用于电动汽车业务的海量数据处理方法，包括下列步骤SI前置采集系统通过GPRS(通用无线分组业务)网络或应用程序接口、WebService(在线应用服务)服务其中之一的方式采集充电站的实时数据，根据实时数据的属性和业务特征按时间分表的方式录入基础数据采集库。在步骤SI中的实时数据是指电动汽车充电站运营中产生的一系列不同种类的实时数据，包含1)电能数据包括表码、需量等；2)模拟量包括电压、电流、有功功率等；3)电能质量统计数据包括电压、功率因数、谐波等数据；4)事件记录数据包括终端和表计的事件记录数据；5)开关量数据、监控数据；实时数据的属性是指实时数据的不同种类，如表码、瞬时量、谐波、功率因素等；实时数据的业务特征是每个种类实时数据的采集密度、采集时间、数据项属性、所属上级对象。S2根据实时数据的属性，调用策略库的对应处理策略，对采集的实时数据进行预处理，形成基础数据。策略库是指一组可配置属性和方法的集合，详细定义了各种业务的参数及每种采集数据需要处理的过程和方法，存放于数据库。实时数据预处理至少包含以下内容之一数据的合并、合理性检查、表码飞走、表码反走、数据满量程、缺数统计、缺数的线性拟合。S3根据基础数据的属性和业务特征，调度系统启动自动计算任务，并赋予自动计算任务对应的属性值。基础数据是指实时数据经过预处理后形成的新数据，基础数据的属性和业务特征分别是属性指实时数据的种类表码、瞬时量、谐波、功率因素等，业务特征是每个种类包含的采集密度、采集时间、数据项属性、统计周期、所属上级对象。调度系统启动自动计算任务是自动计算任务包含属性值为计算类型、计算时间、计算方案、对象类型、对象编码、计算开始时间、计算结束时间、是否计算子项和进度百分比；计算类型的内容包括计量点电量、对象电量、负荷分析、采集完整率、极值分析、工况统计、在线率、工程统计。S4调度系统对自动计算任务按照综合权重值的优先级排序，通过策略库中配置的权重阀值动态分配双线程池运行，分析处理基础数据得到以计量点对象为基础的基础计算数据；计算任务的优先级排序顺序指策略库中每种计算任务属性和业务特征都中配置有加权值，是某个具体的浮点数；根据配置的加权值的大小我们对计算类型权重有如下优先级定义计量点电量〉工况统计〉功率因数分析〉负荷分析〉对象电量；计算方案权重优先级日方案〉月方案；对象类型权重优先级表计 > 充电桩〉充电站 > 地市局 > 省局；计算任务综合权重值=Σ计算任务属性*加权值；计算任务按照综合权重值从大到小排序，
形成排序后的计算队列；双线程池是立即计算的线程池和等待队列的线程池；配置参数包括置等待线程数量、最大线程数量、线程空闲时间、等待队列大小；立即计算的线程池分配的计算任务立即开始运行，等待队列的线程池当它分配的计算任务数量小于配置的等待线程数量时任务会立即分配线程运行，当计算任务数量大于配置的等待线程数量小于配置的最大线程数量时，计算任务进入等待队列待调度；当计算任务数量大于配置的当最大线程数量时，此计算任务会被取消，计算任务会状态设置为待调度，在延迟一段时间后再次被调度服务识别加载。动态分配双线程池是指根据排序后的计算任务综合权重值当综合权重值大于或等于策略库中配置的阀值时，计算任务分配给立即计算的线程池，当综合权重值小于策略库中配置的阀值时，计算任务分配等待队列的线程池。S5计算服务向C0MCACHE(缓存系统)缓存以计量点对象为基础的基础计算数据。基础计算数据是以计量点对象为基本单位，向缓存服务器存储计量的业务数据包括计量点编码、当前计算方案、计算时间、电量值、负荷值、采集数据值等数据。S6计算服务对C0MCACHE缓存中以计量点对象为基础的基础计算数据二次处理，分析并计算出以充电桩、充电站、地区、全省为属性的高级计算数据；基础计算数据二次处理包括调用缓存服务中的电动汽车业务档案模型，对基础计量点数据统计、求和、极值分析，分析出全省、地区、充电站、充电桩等区域的统计数据。S7DBSERVER存储系统向计算结果数据库存储基础计算数据和高级计算数据，指提供统一调用指令访问数据库中的业务数据，存储高级计算数据。存储数据是基于ORACLE数据库系统的MERGE语句上的封装，能高性能实现批量数据的新增和修改操作。
权利要求
1.一种电动汽车及充换电设施系统海量数据处理方法，包括以下步骤 SI前置采集系统通过GPRS网络或应用程序接口、WebService服务其中之一的方式采集充电站的实时数据，根据实时数据的属性和业务特征按时间分表的方式录入基础数据采集库； S2根据实时数据的属性，调用策略库的对应处理策略，对采集的实时数据进行预处理，形成基础数据； S3根据基础数据的属性和业务特征，调度系统启动自动计算任务，并赋予自动计算任务对应的属性值； S4调度系统对自动计算任务按照综合权重值的优先级排序，通过策略库中配置的权重阀值动态分配双线程池运行，分析处理基础数据得到以计量点对象为基础的基础计算数据； S5计算服务向COMCACHE缓存以计量点对象为基础的基础计算数据； S6计算服务对COMCACHE缓存中的基础计算数据二次处理，分析并计算出以充电桩、充电站、地区、全省为属性的高级计算数据； S7DBSERVER存储系统向计算结果数据库存储基础计算数据和高级计算数据。
2.根据权利要求I所述的电动汽车及充换电设施系统海量数据处理方法，其特征是所述的步骤SI中的实时数据是指电动汽车充电站运营中产生的一系列不同种类的实时数据，包含1)电能数据包括表码、需量；2)模拟量包括电压、电流、有功功率；3)电能质量统计数据包括电压、功率因数、谐波数据；4)事件记录数据包括终端和表计的事件记录数据；5)开关量数据、监控数据； 实时数据的属性和业务特征分别指实时数据的不同种类，如表码、瞬时量、谐波、功率因素；业务特征指每个种类实时数据的采集密度、采集时间、数据项属性、所属上级对象。
3.根据权利要求2所述的电动汽车及充换电设施系统海量数据处理方法，其特征是所述的步骤S2中的实时数据预处理至少包含以下内容之一数据的合并、合理性检查、表码飞走、表码反走、数据满量程、缺数统计、缺数的线性拟合； 所述的策略库是指一组可配置属性和方法的集合，详细定义了各种业务的参数及每种采集数据需要处理的过程和方法，存放于数据库。
4.根据权利要求3所述的电动汽车及充换电设施系统海量数据处理方法，其特征是所述的步骤S3中的基础数据是实时数据经过预处理后形成的新数据；所述的基础数据的属性和业务特征是属性是实时数据的种类表码、瞬时量、谐波、功率因素；业务特征是每个种类包含的采集密度、采集时间、数据项属性、统计周期、所属上级对象； 所述的调度系统启动自动计算任务是自动计算任务包含属性值为计算类型、计算时间、计算方案、对象类型、对象编码、计算开始时间、计算结束时间、是否计算子项和进度百分比； 所述的计算类型的内容包括计量点电量、对象电量、负荷分析、采集完整率、极值分析、工况统计、在线率、工程统计。
5.根据权利要求4所述的电动汽车及充换电设施系统海量数据处理方法，其特征是所述的步骤S4中的计算任务的优先级排序顺序指策略库中每种计算任务属性和业务特征都中配置有加权值，是某个具体的浮点数；根据配置的加权值的大小对计算类型权重有如下优先级定义计量点电量 > 工况统计 > 功率因数分析 > 负荷分析 > 对象电量；计算方案权重优先级日方案 > 月方案；对象类型权重优先级表计 > 充电桩 > 充电站 > 地市局>省局；计算任务综合权重值=Σ计算任务属性*加权值；计算任务按照综合权重值从大到小排序，形成排序后的计算队列； 所述的双线程池是立即计算的线程池和等待队列的线程池；配置参数包括置等待线程数量、最大线程数量、线程空闲时间、等待队列大小；立即计算的线程池分配的计算任务立即开始运行，等待队列的线程池当它分配的计算任务数量小于配置的等待线程数量时任务会立即分配线程运行，当计算任务数量大于配置的等待线程数量小于配置的最大线程数量时，计算任务进入等待队列待调度；当计算任务数量大于配置的当最大线程数量时，此计算任务会被取消，计算任务会状态设置为待调度，在延迟一段时间后再次被调度服务识别加载； 所述的动态分配双线程池是指根据排序后的计算任务综合权重值当综合权重值大于或等于策略库中配置的阀值时，计算任务分配给立即计算的线程池，当综合权重值小于策略库中配置的阀值时，计算任务分配等待队列的线程池。
6.根据权利要求5所述的电动汽车及充换电设施系统海量数据处理方法，其特征是所述的步骤S5中缓存的基础计算数据是以计量点对象为基本单位，向缓存服务器存储计量的业务数据包括计量点编码、当前计算方案、计算时间、电量值、负荷值、采集数据值等数据；所述的步骤S6中基础计算数据二次处理包括调用缓存服务中的电动汽车业务档案模型，对基础计量点数据统计、求和、极值分析，分析出全省、地区、充电站、充电桩等区域的统计数据；所述的步骤S7中的数据DBSERVER存储服务是指提供统一调用指令访问数据库中的业务数据，存储高级计算数据。
全文摘要
一种电动汽车及充换电设施系统海量数据处理方法S1采集充电站的实时数据并录入基础数据采集库；S2调用策略库的对应处理策略进行预处理；S3调度系统启动自动计算任务；S4对自动计算任务按照综合权重值的优先级排序，通过策略库中配置的权重阀值动态分配双线程池运行；S5缓存基础计算数据；S6基础计算数据二次处理；S7存储基础计算数据和高级计算数据。本发明大大降低了应用系统处理数据、计算压力和系统的软硬件配置费用，对用户业务更加友好，应用开发难度相应降低，提高业务系统的开发效率，降低开发成本；保证了计算结构的正确性和完整性;通过共享计算数据，保证多用户的并发访问,也能为其他外部系统提供数据支持。
文档编号G06F17/30GK102855293SQ20121028687
公开日2013年1月2日 申请日期2012年8月10日 优先权日2012年8月10日
发明者赵伟, 陈锐民, 张永旺, 丁国茂, 周黎 申请人:广东电网公司电力科学研究院