本发明涉及人工智能,具体涉及一种管理电池储能系统大数据的方法和系统及计算设备。
背景技术:
1、现有电池储能系统构建大数据基础数据池,采用中间件技术设计,构建于开源的linux 操作系统和数据库之上,遵循面向数据架构(doa)和面向服务架构(soa)体系结构设计。大数据基础数据池根据部署位置和处理性能,分为主数据池和子数据池两类。子数据池负责接入前端各类传感器、设备数据或其他子系统数据,实现前端分别预处理、存储,并将重要数据再向上汇入主数据池。主数据池处理、存储重要数据,并为大数据中心或各类应用提供统一数据接口。现有技术中,针对不同设备层数据进行单独的采集预处理,然后汇集到大数据池,用于重要数据处理或后续处理。但是数据的采集预处理分散在多个模块中,存在处理不一致或不及时的问题,缺少统一标准,且重要数据汇入主数据池再处理,可能存在延迟。
2、为此,需要一种技术方案,能够对数据进行分级处理,统一数据处理标准,提高数据处理速度和准确性。
技术实现思路
1、本发明旨在提供管理电池储能系统大数据的方法和系统及计算设备,能够对数据进行分级处理。
2、根据本发明的一方面,提供一种管理电池储能系统大数据的方法,所述方法包括:
3、建立用于第一优先级数据的实时处理模块;
4、建立数据流服务器集群中运行的数据处理拓扑,所述数据处理拓扑用于处理第二优先级数据,至少包括第一数据源节点和第一组处理逻辑节点;
5、所述实时处理模块接收来自数据采集模块的所述第一优先级数据,对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应;
6、所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点,所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
7、根据一些实施例,对所述第一优先级数据进行实时处理,包括:
8、对预警数据进行处理,并根据处理结果确定是否发出警报。
9、根据一些实施例,所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点,所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点,所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
10、根据一些实施例,所述第二组处理逻辑节点对所述第一优先级数据增加时间戳。
11、根据一些实施例,所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点,其中,
12、所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据。
13、根据一些实施例,所述数据处理拓扑还包括汇总处理逻辑节点,用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
14、根据本发明的另一方面,提供一种管理电池储能系统大数据的系统,所述系统包括:
15、用于第一优先级数据的实时处理模块;
16、数据流服务器集群,其中运行数据处理拓扑,所述数据处理拓扑用于处理第二优先级数据,至少包括第一数据源节点和第一组处理逻辑节点,
17、其中,
18、所述实时处理模块接收来自数据采集模块的所述第一优先级数据,对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应,
19、所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点,所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
20、根据一些实施例,所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点,所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点,所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
21、根据一些实施例,所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点,其中,所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据;
22、所述数据处理拓扑还包括汇总处理逻辑节点,用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
23、根据本发明的另一方面,提供一种计算设备,包括:
24、处理器;以及
25、存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如上任一项所述的方法。
26、根据本发明的另一方面,提供一种非瞬时性计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如上任一项所述的方法。
27、根据本发明的实施例,通过建立用于第一优先级数据的实时处理模块和数据处理拓扑处理第二优先级数据,实时处理模块接收数据采集模块的第一优先级数据,对第一优先级数据进行实时处理并做出实时响应,处理逻辑节点对第二优先级数据增加时间戳后存储至时间戳数据库。本发明解决了数据的采集预处理分散在多个模块导致存在处理不一致或不及时的问题,提供了数据处理的统一标准,避免将重要数据汇入主数据池再处理导致的处理延迟,能够对数据进行分级处理,提高数据处理速度和准确性。
28、根据一些实施例,数据分级有助于不同敏感度级别的数据实施精细化的安全策略,通过区分关键数据与非关键数据,可以优先保护高价值信息资源,降低整体安全风险。
29、根据一些实施例,根据数据的重要性和访问频率,可以合理配置存储、计算和网络资源。例如,将经常访问的热数据存放在高速存储介质上,而较少访问的冷数据移至低成本存储系统中,实现存储成本的节省和性能的提升。
30、应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
1.一种管理电池储能系统大数据的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对所述第一优先级数据进行实时处理,包括:
3.根据权利要求1所述的方法,其特征在于,所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点,所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点,所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
4.根据权利要求3所述的方法,其特征在于,所述第二组处理逻辑节点对所述第一优先级数据增加时间戳。
5.根据权利要求1所述的方法,其特征在于,所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点,其中,
6.根据权利要求1所述的方法,其特征在于,所述数据处理拓扑还包括汇总处理逻辑节点,用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
7.一种管理电池储能系统大数据的系统,其特征在于,包括:
8.根据权利要求7所述的系统,其特征在于,所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点,所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点,所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
9.根据权利要求7所述的系统,其特征在于,
10.一种计算设备,其特征在于,包括: