磁盘故障预测系统的制作方法

本申请涉及分布式系统，特别是涉及一种磁盘故障预测系统。

背景技术：

1、随着互联网的迅速发展，数据呈指数式增长，而硬盘作为主流存储设备，已经被广泛应用于各行各业。

2、目前，通常采用的磁盘故障预测技术，主要通过收集使用、测试期间磁盘相关属性来设置故障预测标志阈值，当有任何属性超过了预定义的阈值时，认为存在故障或即将发生故障。但是，仅仅对磁盘数据进行阈值处理无法得到预期的预测精度，并且一旦发生磁盘故障会造成严重的影响。有鉴于此，如何提高磁盘的故障预测精度，成为亟待解决的问题。

技术实现思路

1、本申请主要解决的技术问题是提供一种磁盘故障预测系统，能够提高磁盘的故障预测精度。

2、为了解决上述问题，本申请第一方面提供了一种磁盘故障预测系统，包括：数据采集模块、数据分发模块、离线存储模块、离线计算模块、深度学习模块和实时计算模块；其中，数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果。

3、上述方案，磁盘故障预测系统中数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果，一方面通过数据采集模块采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块，进而通过离线存储模块对第一时段内磁盘数据进行累计，得到第一数据，再通过第一数据提取得到的第一特征，并基于第一特征对深度学习模型进行训练优化，有助于提高深度学习模型预测的准确性，另一方面通过实时计算模块获取当前采集的磁盘数据，得到第二数据，再通过第二数据提取得到的第二特征，使训练优化后的深度学习模块基于第二特征得到磁盘当前的故障预测结果，进而能够提高磁盘的故障预测精度。

4、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

技术特征：

1.一种磁盘故障预测系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述数据采集模块还用于从故障磁盘采集表征磁盘故障的磁盘数据，所述离线存储模块还用于获取表征磁盘故障的磁盘数据并作为所述第一数据累积存储，用于平衡分别表征磁盘正常及磁盘故障的第一数据。

3.根据权利要求1或2所述的系统，其特征在于，所述磁盘数据涉及若干数据项，所述离线计算模块具体用于基于主成分分析剔除至少一个所述数据项，得到目标项，并基于所述第一数据中所述目标项的采集值，提取得到所述第一特征，所述实时计算模块具体用于基于所述第二数据中所述目标项的采集值，提取得到所述第二特征。

4.根据权利要求3所述的系统，其特征在于，所述离线计算模块还用于在提取所述第一特征之前对所述第一数据进行预处理，且所述预处理包括：剔除在各个所述第一数据中所述采集值均为空的数据项，并采用预设值填补所述采集值缺失的数据项。

5.根据权利要求4所述的系统，其特征在于，所述实时计算模块还用于在提取所述第二特征之前对所述第二数据进行所述预处理。

6.根据权利要求1所述的系统，其特征在于，所述深度学习模块具体用于采用k折交叉验证基于所述第一特征进行训练优化。

7.根据权利要求1所述的系统，其特征在于，所述磁盘故障预测系统还包括实时预警模块，用于从所述实时计算模块获取所述故障预测结果，并在所述故障预测结果包括疑似未来第二时段内将发生故障的情况下输出预警提示。

8.根据权利要求1所述的系统，其特征在于，所述数据采集模块采用flume；

9.根据权利要求1所述的系统，其特征在于，所述数据分发模块采用kafka，所述离线存储模块和所述实时计算模块分别通过封装后的kafka client api从所述数据分发模块消费数据。

10.根据权利要求1所述的系统，其特征在于，所述深度学习模块采用lstm，且在所述离线计算模块采用spark的情况下，所述lstm采用spark mlib实现。

技术总结
本申请公开了一种磁盘故障预测系统，其中，磁盘故障预测系统包括：数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果。上述方案，能够提高磁盘的故障预测精度。

技术研发人员：郭燕,钱浩东,周明伟,陈文灿
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/13