数据存储系统的制作方法
【专利摘要】本发明公开了一种数据存储系统，所述数据存储系统的数据接收单元用以接收基础数据；数据预处理单元连接所述数据接收单元，用以对所述数据接收单元接收的所述基础数据进行预处理，将预处理后的数据统一为同一格式的目标数据，并存储所述目标数据；缓存数据库连接所述数据预处理单元，用以对所述数据预处理单元发送的所述目标数据进行缓存；元数据库连接所述缓存数据库，用以将所述缓存数据库发送的所述缓存数据统一汇总形成元数据，并存储。该数据存储系统实现了即时存储、存储速度快的目的。
【专利说明】数据存储系统
【技术领域】
[0001] 本发明涉及数据管理，尤其涉及一种用于数据管理的数据存储系统。
【背景技术】
[0002] 存储系统的利用，帮助企业解决了大量的存储难题，但是随着海量数据的来临，数 据系统也向着大容量存储系统发展，满足企业的更多需求。磁盘容量的快速增长使得配置 容量惊人的单一存储系统成为可能。例如，用一个NetApp FAS6080,添加1，176个1TB SATA 磁盘驱动器，最后得到一个裸存储容量为1PB(1，000TB)的单一系统。然而，由于新的更大 容量磁盘的故障概率与更小容量的磁盘相当，而且性能也没有改进，因此重建出故障的1TB 磁盘就好象是使用花园的浇水软管给游泳池注水一样。您必须做好准备，耐心等待更长的 重建进程完成。对于远程的大容量数据存储系统，存在实时性差、存储速度慢的问题。
【发明内容】
[0003] 针对现有的数据存储系统存在的上述问题，现提供数据存储系统实现了即时存 储、存储速度快的目的。
[0004] 数据存储系统，包括：
[0005] 数据接收单元，用以接收基础数据；
[0006] 数据预处理单元，连接所述数据接收单元，用以对所述数据接收单元接收的所述 基础数据进行预处理，将预处理后的数据统一为同一格式的目标数据，并存储所述目标数 据；
[0007] 缓存数据库，连接所述数据预处理单元，用以对所述数据预处理单元发送的所述 目标数据进行缓存；
[0008] 元数据库，连接所述缓存数据库，用以将所述缓存数据库发送的所述缓存数据统 一汇总形成元数据，并存储。
[0009] 优选的，所述数据接收单元包括复数个接收模块，每个所述接收模块对应一个采 集单元，所述接收模块采集的基础数据为异构数据。
[0010] 优选的，所述数据预处理单元包括复数个预处理模块，所述预处理模块与所述接 收模块 对应；
[0011] 所述预处理模块，根据预设条件对所述异构数据进行抽取，将抽取后的数据转换 为同一格式的所述目标数据，并存储所述目标数据。
[0012] 优选的，所述预处理模块对存储的所述目标数据进行定期清除。
[0013] 优选的，所述目标数据为数据编码、字段长度、字段类型和日期时间均相同的数 据。
[0014] 优选的，所述缓存数据库包括复数个存储单元，所述存储单元与所述预处理模块 一一对应，所述存储单元用以缓存与所述存储单元对应的所述预处理模块发送的所述目标 数据。
[0015] 优选的，所述元数据库用以将复数个所述存储单元发送的所述缓存数据进行统一 汇总形成元数据，并存储。
[0016] 优选的，还包括：信息发布单元，连接所述元数据库，用以接收移动终端发送的数 据查询指令，将所述数据查询指令发送至所述元数据库，所述元数据库根据所述数据查询 指令将与所述数据查询指令相对应的元数据发送至所述移动终端。
[0017] 有选的，还包括：磁带库，连接所述元数据库，用以对所述元数据库存储的元数据 进行备份。
[0018] 上述技术方案的有益效果：
[0019] 数据接收单元可实时有效的接收基础数据，通过数据预处理单元将基础数据预处 理为目标数据，有利于缓存数据库对目标数据进行同步存储缓存，元数据库将缓存数据统 一汇总为元数据进行存储，可对数据进行永久保存，并保证了数据的完整性，存储效率高、 速度快。
【专利附图】
【附图说明】
[0020] 图1为本发明所述数据存储系统的一种实施例的整体框图。
[0021] 附图中：1.数据接收单元；2.数据预处理单元；3.缓存数据库；4.磁带库；5.元 数据库；6.信息发布单元。
【具体实施方式】
[0022] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其 他实施例，都属于本发明保护的范围。
[0023] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相 互组合。
[0024] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0025] 如图1所示，数据存储系统，包括：数据接收单元1、数据预处理单元2、缓存数据库 3和元数据库5 ;
[0026] 数据接收单元1用以接收基础数据；
[0027] 数据预处理单元2连接数据接收单元1，用以对数据接收单元1接收的基础数据进 行预处理，将预处理后的数据统一为同一格式的目标数据，并存储目标数据；
[0028] 缓存数据库3连接数据预处理单元2,用以对数据预处理单元2发送的目标数据进 行缓存；
[0029] 元数据库5连接缓存数据库3,用以将缓存数据库3发送的缓存数据统一汇总形成 元数据，并存储。
[0030] 本发明可用于对多个企业和单位的能耗数据存储和管理，在本实施例中的数据接 收单元1可实时有效的接收基础数据，通过数据预处理单元2将基础数据预处理为目标数 据，有利于缓存数据库3对目标数据进行同步存储缓存，元数据库5将缓存数据统一汇总为 元数据进行存储，可对数据进行永久保存，并保证了数据的完整性，存储效率高、速度快。
[0031] 在优选的实施例中，数据接收单元1包括复数个接收模块，每个接收模块对应一 个采集单元，接收模块采集的基础数据为异构数据。
[0032] 在本实施例中数据接收单元1可对多个地区的多个基础数据同时存储，提高存储 效率。
[0033] 在优选的实施例中，数据预处理单元2包括复数个预处理模块，预处理模块与接 收模块 对应；
[0034] 预处理模块，根据预设条件对异构数据进行抽取，将抽取后的数据转换为同一格 式的目标数据，有利于将同一时刻接受到的基础数据进行统一传输，并存储目标数据。
[0035] 在本实施例中由于接收模块接收的数据来自不同的采集单元，各文件数据都是原 来系统数据的直接反映，在数据编码、字段长度等多方面存在差异，预处理模块将原始抽取 的基础数据转换为符合需要格式的数据，使之成为统一的目标数据形式。同时将转换好格 式的数据通过Internet网络传输到中心的缓存数据库3中，完成同步数据和异步传输的 功能。
[0036] 预处理模块采用 ETL (Extraction、Transformatio、Loading)技术，ETL 过程就是 从数据源采集所需数据，经过数据转换和清洗，最终按照预先定义好的数据模型，将数据加 载到数据仓库或者数据库中。ETL对于构建数据中心占有非常重要的地位，使用ETL可以从 多个平台的多个数据源抽取数据。并且把这些数据进行和并、计算，能够利用共享维度的设 计方法，将单位的数据组织成数据仓库或数据集市。ETL的功能主要集中在转换和数据载入 方面，最主要的问题就是定义ETL转换规则，完成数据的一致性工作，这包括数据编码的翻 译，数据字长的统一和数据类型的统一，并且通过ETL的规则确定增量数据转换的频度，时 间，错误处理和转换监控等。
[0037] 在优选的实施例中，预处理模块可对存储的目标数据进行定期清除，由于数据存 储系统是24小时不间断的对数据进行存储，因此预处理模块中存储的数据一般以10天或 1个月为周期，对存储的时间进行清除，以使预处理模块的存储空间得到充分利用。
[0038] 在优选的实施例中，目标数据为数据编码、字段长度、字段类型和日期时间均相同 的数据，有利于将同一时刻接受到的基础数据进行统一传输。
[0039] 在优选的实施例中，缓存数据库3包括复数个存储单元，存储单元与预处理模块 一一对应，存储单元用以缓存与存储单元对应的预处理模块发送的目标数据。
[0040] 由于数据存储系统是24小时不间断工作，涉及的数据的内容众多，即时接收的数 据增长迅速。同时企业的用能数据在每个点上的数据都是状态数据，在管理和控制的时候 有效，由此，即时的缓存数据并非必要永久保存，其汇总后的数据已经作为永久保存的元数 据在元数据库5中保留，可将缓存数据设定为1天保存即可。可采24小时的清理机制，使 缓存数据库3存储空间的得到充分利用。
[0041] 在优选的实施例中，元数据库5用以将复数个存储单元发送的缓存数据进行统 一汇总形成元数据，并存储。
[0042] 在本实施里中进行即时存储数据的情况下为了确保传输数据的准备性和完整性， 采用数据预处理单元2将采集到的基础数据预处理后放入缓存数据库3,使缓存数据的组 织和元数据相同，但是在约束和完整性方面并不像元数据一样完整，这种设置是为了便于 处理传输造成的问题，同时为了便于调整同步数据的异步传输问题，即各个单位并不是在 同一时间上报同一时间的目标数据，单是在元数据库5中这些数据是同步的，属于同一时 间范围。
[0043] 在优选的实施例中，还包括信息发布单元6,连接元数据库5,用以接收移动终端 发送的数据查询指令，将数据查询指令发送至元数据库5,元数据库5根据数据查询指令将 与数据查询指令相对应的元数据发送至移动终端，可随时随地的对存储的数据进行查询。
[0044] 在优选的实施例中，还包括：磁带库4,磁带库4连接元数据库5,用以对元数据库 5存储的元数据进行定时备份，保证了元数据的安全性。进一步的，可也采用磁盘阵列对元 数据进行备份。
[0045] 以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范 围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的 等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
【权利要求】
1. 数据存储系统，其特征在于，包括： 数据接收单元，用以接收基础数据； 数据预处理单元，连接所述数据接收单元，用以对所述数据接收单元接收的所述基础 数据进行预处理，将预处理后的数据统一为同一格式的目标数据，并存储所述目标数据； 缓存数据库，连接所述数据预处理单元，用以对所述数据预处理单元发送的所述目标 数据进行缓存； 元数据库，连接所述缓存数据库，用以将所述缓存数据库发送的所述缓存数据统一汇 总形成元数据，并存储。
2. 如权利要求1所述数据存储系统，其特征在于，所述数据接收单元包括复数个接收 模块，每个所述接收模块对应一个采集单元，所述接收模块采集的基础数据为异构数据。
3. 如权利要求2所述数据存储系统，其特征在于，所述数据预处理单元包括复数个预 处理模块，所述预处理模块与所述接收模块一一对应； 所述预处理模块，根据预设条件对所述异构数据进行抽取，将抽取后的数据转换为同 一格式的所述目标数据，并存储所述目标数据。
4. 如权利要求3所述数据存储系统，其特征在于，所述预处理模块对存储的所述目标 数据进行定期清除。
5. 如权利要求3所述数据存储系统，其特征在于，所述目标数据为数据编码、字段长 度、字段类型和日期时间均相同的数据。
6. 如权利要求3所述数据存储系统，其特征在于，所述缓存数据库包括复数个存储单 元，所述存储单元与所述预处理模块一一对应，所述存储单元用以缓存与所述存储单元对 应的所述预处理模块发送的所述目标数据。
7. 如权利要求6所述数据存储系统，其特征在于，所述元数据库用以将复数个所述存 储单元发送的所述缓存数据进行统一汇总形成元数据，并存储。
8. 如权利要求1所述数据存储系统，其特征在于，还包括：信息发布单元，连接所述元 数据库，用以接收移动终端发送的数据查询指令，将所述数据查询指令发送至所述元数据 库，所述元数据库根据所述数据查询指令将与所述数据查询指令相对应的元数据发送至所 述移动终端。
9. 如权利要求1所述数据存储系统，其特征在于，还包括：磁带库，连接所述元数据库， 用以对所述元数据库存储的元数据进行备份。
【文档编号】G06F17/30GK104156395SQ201410334458
【公开日】2014年11月19日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】于兵, 王喜春, 金俭, 张芸芸, 翁志勇 申请人:上海东方延华节能技术服务股份有限公司