一种大数据存储管理系统的制作方法

本发明属于数据管理领域，尤其涉及一种大数据存储管理系统。

背景技术：

随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自各方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据存储需求。

在现有技术中，集中式的数据存储方案的数据处理效率低、容灾能力低，系统恢复时间长；分布式的数据存储方案采用dht方式访问用户数据，以单播方式查找，当发现一个节点失效时，才向另一节点发起查找请求，更新等操作也类似，同样存在数据处理效率低、容灾能力低，并且，实施时需要有繁琐的hash计算和路由查找过程，实现复杂，同时也有可能出现数据不一致的情况。

技术实现要素：

为了克服上述现有技术所存在的问题，本发明实施例提供一种大数据存储管理系统，结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

本发明实施例是这样实现的，一种大数据存储管理系统，包括：云数据服务器以及至少一个智能终端；所述云数据服务器与所述智能终端无线通信连接；其中，所述云数据服务器，包括：数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库；所述数据采集单元采集所述智能终端上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至数据分类编号单元；所述数据分类编号单元将压缩处理后的数据再次分类压缩处理，并将不同类别的相同类型的压缩数据进行数据位置，数据时间，数据容量的类别进行分类，并生成数据分类编号；所述数据并行处理单元采用并行数据预处理技术，设有map/reduce处理模型，通过调用map函数，将每个处理任务由多个map任务并行处理，这些map任务被分配到所属处理任务分配的执行节点上执行，再通过调用reduce函数，分别对每个处理任务的各map任务的处理结果进行合并操作，完成数据预处理；所述数据存储单元将预处理后的每一个压缩数据按着生成的编号依次存入云数据库；所述数据恢复单元针硬盘驱动器的检错机制，将该机制进行优化从而提高系统的检错效率，从而保证系统实现大数据有效地存储。

优选地，所述云数据服务器，还包括：

数据冗余判断模块，与数据采集单元、云数据库连接，用于对数据采集单元采集的数据进行冗余判断，若云数据库内存储的数据与数据采集单元采集的数据相同则将相同的数据丢弃。

优选地，所述云数据服务器，还包括：

数据降噪处理单元，用于对采集到的数据进行降噪预处理；以及

数据挖掘单元，用于对云数据库中的数据进行挖掘分析。

优选地，所述数据挖掘单元，包括：

数据并行挖掘模块，用于从不同角度对云数据库内数据进行多路并行挖掘；

挖掘结果融合模块，用于对多路并行的数据并行挖掘模块输出的数据挖掘结果进行汇总；以及

融合信息分析模块，用于对汇总后的数据进行分析处理。

优选地，所述数据并行处理单元，包括：

数据离散化处理模块，用于将压缩处理后的数据进行离散化处理，方便存储和进一步分析。

本发明实施例提供的大数据存储管理系统，结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。

图1是本发明实施例提供的一种大数据存储管理系统的结构示意图；

图2是本发明实施例提供的一种云数据服务器的结构示意图；

图3是本发明实施例提供的另一种云数据服务器的结构示意图；

图4是本发明实施例提供的数据挖掘单元的结构示意图；

图5是本发明实施例提供的数据并行处理单元的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的大数据存储管理系统，结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1所示，在本发明实施例中，一种大数据存储管理系统，包括：云数据服务器100以及至少一个智能终端200；所述云数据服务器100与所述智能终端200无线通信连接；其中，所述云数据服务器100，包括：数据采集单元110、数据分类编号单元120、数据并行处理单元130、数据恢复单元140、数据存储单元150以及云数据库160；所述数据采集单元110采集所述智能终端上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至数据分类编号单元；所述数据分类编号单元120将压缩处理后的数据再次分类压缩处理，并将不同类别的相同类型的压缩数据进行数据位置，数据时间，数据容量的类别进行分类，并生成数据分类编号；所述数据并行处理单元130采用并行数据预处理技术，设有map/reduce处理模型，通过调用map函数，将每个处理任务由多个map任务并行处理，这些map任务被分配到所属处理任务分配的执行节点上执行，再通过调用reduce函数，分别对每个处理任务的各map任务的处理结果进行合并操作，完成数据预处理；所述数据存储单元150将预处理后的每一个压缩数据按着生成的编号依次存入云数据库160；所述数据恢复单元140针硬盘驱动器的检错机制，将该机制进行优化从而提高系统的检错效率，从而保证系统实现大数据有效地存储。结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

在本发明实施例中，如图2所示，所述云数据服务器100，还包括：数据冗余判断模块170，与数据采集单元110、云数据库160连接，用于对数据采集单元110采集的数据进行冗余判断，若云数据库160内存储的数据与数据采集单元110采集的数据相同则将相同的数据丢弃。

在本发明实施例中，如图3所示，所述云数据服务器100，还包括：数据降噪处理单元180，用于对采集到的数据进行降噪预处理；以及数据挖掘单元190，用于对云数据库中的数据进行挖掘分析。

在本发明实施例中，如图4所示，所述数据挖掘单元190，包括：数据并行挖掘模块191，用于从不同角度对云数据库内数据进行多路并行挖掘；挖掘结果融合模块192，用于对多路并行的数据并行挖掘模块输出的数据挖掘结果进行汇总；以及融合信息分析模块193，用于对汇总后的数据进行分析处理。

在本发明实施例中，如图5所示，所述数据并行处理单元130，包括：数据离散化处理模块131，用于将压缩处理后的数据进行离散化处理，方便存储和进一步分析。

上述发明实施例提供的大数据存储管理系统，结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。