一种大数据统计收集用的高效储存系统

文档序号:37903080发布日期:2024-05-09 21:47阅读:来源:国知局

技术特征:

1.一种大数据统计收集用的高效储存系统,其特征在于,包括:

2.根据权利要求1所述的一种大数据统计收集用的高效储存系统,其特征在于,所述数据采集系统包括数据源模块、数据采集模块、数据转换模块、数据质量控制模块与数据传输模块,所述数据源模块是数据采集的起点,所述数据采集模块通过与数据源模块进行数据交互,获取需要采集的数据,所述数据采集模块负责实时或批量采集数据,根据预设的数据采集策略和规则,从数据源中提取相应的数据,所述数据转换模块负责将采集到的数据进行格式转换和清洗,以确保数据的一致性和规范性,所述数据转换模块它与数据采集模块进行数据交互,接收采集到的原始数据并输出转换后的数据,所述数据质量控制模块用于验证和监控采集到的数据的质量,所述数据质量控制模块与数据采集模块以及数据转换模块进行数据交互,接收数据并进行质量控制的操作,所述数据传输模块负责将采集到的数据传输给其他系统或模块。

3.根据权利要求1所述的一种大数据统计收集用的高效储存系统,其特征在于,所述存储系统包括数据存储模块、数据压缩模块、数据备份模块、数据恢复模块、i/o调度模块、数据冗余和纠错模块、负载均衡模块与安全加密模块,所述数据存储模块用于数据存储,所述数据存储模块支持结构化、非结构化和流数据的存储,所述数据压缩模块用于压缩数据,所述压缩数据被传输给存储模块进行存储,所述数据备份模块用于将数据备份到不同的存储节点上,确保数据的冗余存储和容错性,备份数据与主数据之间进行同步和更新,所述数据恢复模块通过备份数据进行快速的数据恢复,以保证数据的完整性和可用性,所述i/o调度模块负责管理和优化数据的读写操作,所述数据冗余和纠错模块通过使用冗余数据和纠错码技术,确保数据的可靠性和持久性,同时与存储模块进行数据的交互和同步,所述负载均衡模块根据存储节点的负载情况,自动分配和调整数据的存储位置,以达到负载均衡和数据的平衡存储,所述安全加密模块负责对数据进行加密和解密,保护数据在存储和传输过程中的安全性,所述安全加密模块与存储模块之间进行数据的加解密操作和数据传输。

4.根据权利要求3所述的一种大数据统计收集用的高效储存系统,其特征在于,所述数据压缩模块压缩数据的详细过程如下:

5.根据权利要求3所述的一种大数据统计收集用的高效储存系统,其特征在于,所述i/o调度模块管理存储模块的读写操作,将读写请求传输给存储模块并获取相应的结果数据,所述i/o调度模块应用优先级的调度算法,根据请求的优先级对磁盘i/o请求进行排序和处理,所述优先级根据请求的实时需求或系统状态进行动态调整。

6.根据权利要求3所述的一种大数据统计收集用的高效储存系统,其特征在于,所述数据冗余和纠错模块负责与存储模块交互,确保数据的可靠性和持久性,进行数据的冗余存储和纠错,所述数据冗余和纠错模块采用迭代译码算法,具体步骤如下:

7.根据权利要求1所述的一种大数据统计收集用的高效储存系统,其特征在于,所述查询和分析系统包括数据处理模块、查询引擎模块、并行处理模块、算法优化模块、实时数据流处理模块与批处理模式模块,所述数据处理模块用于对采集到的数据进行清洗、整合和转换,所述查询引擎模块用于提供高效的查询功能,支持复杂查询和实时数据分析,所述查询引擎模块接收来自用户或应用的数据查询请求,从数据处理模块中获取相应数据,并返回查询结果,所述并行处理模块用于利用并行处理技术对大规模数据进行快速处理,所述并行处理模块接收来自数据处理模块的数据,将其分配给多个处理单元进行并行处理,以提高数据处理速度,所述算法优化模块用于对算法进行优化,以提高数据处理和分析的效率,所述算法优化模块与并行处理模块进行数据交互,所述实时数据流处理模块用于支持实时数据流处理,对实时数据进行分析和处理,所述实时数据流处理模块接收实时数据流,将其传递给算法优化模块和并行处理模块进行处理,并将结果返回给查询引擎模块供用户或应用使用,所述批处理模式模块用于提供批处理模式,对大规模数据进行批量处理和分析。

8.根据权利要求1所述的一种大数据统计收集用的高效储存系统,其特征在于,所述安全与隐私系统包括身份认证模块、访问控制模块、加密模块、安全通信模块与日志与审计模块,所述身份认证模块用于提供身份认证功能,对用户或应用的身份进行验证,所述访问控制模块用于提供访问控制功能,对用户或应用的数据访问权限进行管理,所述访问控制模块根据身份认证模块提供的身份信息,判断用户或应用是否具有访问特定数据的权限,所述加密模块采用加密技术对数据进行加密,确保数据在存储和传输过程中的安全性,所述安全通信模块用于确保数据在传输过程中的安全性和完整性,所述安全通信模块与其他系统模块进行数据交互,采用安全通信协议进行数据传输,确保数据在传输过程中不被篡改或窃取,所述日志与审计模块用于记录数据操作日志和审计信息,以便进行安全审计和追踪。


技术总结
本发明公开了一种大数据统计收集用的高效储存系统,包括:数据采集系统:负责从各种数据源实时或批量采集数据;存储系统:用于数据存储;查询和分析系统:提供数据查询和高级数据分析功能;用户界面系统:提供一个友好的用户界面,允许用户查询、分析和可视化数据;元数据管理系统:负责管理数据的元数据信息;本发明中,存储模块采用分布式存储架构,将数据分散存储在多个节点上,提高了存储的扩展性和容错性,负载均衡模块提供自适应负载均衡功能确保了数据均匀分布在各个存储节点上,避免了性能瓶颈,数据压缩模块使用LZW对输入数据进行处理,通过构建和更新字典,将重复出现的短语用编码表示,将数据压缩,减少存储空间占用,提高存储效率。

技术研发人员:伍欣叶,张浩敏
受保护的技术使用者:桂林理工大学
技术研发日:
技术公布日:2024/5/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1