一种云服务数据存储持久性评估装置和方法与流程

本申请涉及计算机技术领域，尤其涉及一种互联网设施持久性风险评估的装置和方法。

背景技术：

目前云服务数据存储持久性(即数据丢失概率)风险评估缺乏一个统一的理论推导公式，业内多根据云服务实际运行情况以及故障统计，采用历史数据平均得到云服务数据存储持久性概率，具体公式如下：数据存储持久性概率/月＝(总数据量-月丢失数据量)/总数据量。现有数据存储持久性的计算方法主要从实际运行情况出发，多根据经验值平均得到，缺少从存储架构角度进行全面评估过程，未考虑冗余条件、且无法在事前对云服务的数据存储持久性进行整体评估。例如，一种纠删码参数获取方法和装置(CN201310009988.3)，对纠删码冗余进行了分析，通过引用度和冗余度给出参数m、n的计算方法。但是，该技术方案仅对参数m、n的计算方法进行说明，并未对整体数据的丢失概率进行计算和分析。因此，需在事件发生后才能给出数据丢失的风险评估结果，且没有将存储架构考虑进来，这往往难以满足某些需要事前评估的场景。

技术实现要素：

本申请公开一种云服务数据存储持久性评估装置和方法，解决现有技术不能及时、完整评估数据存储持久性风险的问题。

本申请实施例提供一种云服务数据存储持久性评估装置，用于云服务系统，所述云服务系统包含数据存储磁盘，所述数据存储磁盘进一步包含数据分块，用于存储服务数据，所述云服务数据存储性风险评估装置，包括性能采集单元、概率计算单元、风险识别单元；所述性能采集单元，用于监测所述数据分块的故障时间和正常运行时间、数据恢复时间；所述概率计算单元，用于根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；所述风险识别单元，用于根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率。

优选地，所述数据存储方式包含完全副本冗余和纠删码冗余。

优选地，所述性能采集单元与所述云服务系统的运维管理系统相连，用于读取所述运维管理系统的记录。

优选地，所述性能采集单元定期再次进行监测，更新所述故障时间、正常运行时间、数据恢复时间。

优选地，在任一时刻，所述性能采集单元向所述概率计算单元输出自所述时刻起前6个月时间内的所述故障时间、正常运行时间、数据恢复时间或服务商给出的硬件平均无故障时间。

本申请云服务数据存储持久性评估装置优化的实施例进一步包含数据分配单元；所述数据分配单元，包含用户接口；所述用户接口，用于接收数据存储量、数据存储方式的指令；所述数据分配单元，用于根据所述数据存储量、数据存储方式，确定所述数据分块。

当所述数据存储方式为完全副本冗余时，所述数据分块的数量为完全副本数，每一个所述数据分块存储相同的数据；当所述数据存储方式为纠删码冗余时，所述数据分块为多个，其中一部分用于存储原始数据，另一部分用于存储纠删码。

本申请实施例还提供一种云服务数据存储持久性评估方法，用于云服务系统，所述云服务系统包含数据存储磁盘，所述数据存储磁盘进一步包含数据分块，用于存储服务数据，所述方法的特征在于，包括以下步骤：

监测所述数据分块的故障时间和正常运行时间、数据恢复时间；

根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；

根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率。

作为本申请云服务数据存储持久性评估方法进一步优化的实施例，还包含以下步骤：

接收数据存储量、数据存储方式的指令；根据所述数据存储量、数据存储方式，确定所述数据分块。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明给出了数据整体丢失的概率风险。本申请综合考虑纠删码冗余和完全副本冗余两种情况，给出数据丢失概率具体的计算方法。本发明的方案可事前对数据丢失风险进行控制。本申请从存储架构角度出发，根据备份方案和恢复时间可在事前给出数据丢失风险发生概率，满足某些特定场景事前评估的要求。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为云服务数据存储持久性评估装置的实施例；

图2为云服务数据存储持久性评估装置与云服务系统相连接示意图；

图3为云服务数据存储持久性评估装置包含数据分配单元的实施例；

图4为云服务数据存储持久性评估方法的实施例流程图；

图5为云服务数据存储持久性评估方法的冗余存储事后监测实施例流程图；

图6为云服务数据存储持久性评估方法的冗余存储事先监测实施例流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提出一套完整的数据存储持久性的理论推导过程，从存储架构角度出发根据不同的储存方法给出一套完整的计算方法，帮助用户事前判断云服务的数据存储持久性概率。

本申请将数据存储持久性的风险评估方法细分为完全副本冗余和纠删码冗余两种场景，评估过程中需要综合考虑备份方案和故障恢复时间两个关键因素；根据完全副本冗余和纠删码冗余两种场景，给出了数据存储持久性评估的具体装置和方法。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为云服务数据存储持久性评估装置的实施例。本实施例装置，用于云服务系统10，所述云服务系统包含数据存储磁盘11，所述数据存储磁盘进一步包含数据分块12，用于存储服务数据，所述云服务数据存储性风险评估装置20，包括性能采集单元21、概率计算单元22、风险识别单元23；所述性能采集单元，用于监测所述数据分块的故障时间和正常运行时间、数据恢复时间；所述概率计算单元，用于根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；所述风险识别单元，用于根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率P。

优选地，所述数据存储方式包含完全副本冗余和纠删码冗余。

需要说明的是，云服务在进行数据存储时，往往将数据打散，分块存储。如果单块数据不做任何备份处理，当磁盘发生损坏时，数据将永久丢失，这对于云服务用户来说往往造成重大损失。为此，云平台采用特定的存储架构，降低单块数据丢失对整体数据的影响，具体可分为完全副本冗余和纠删码冗余。

图2为云服务数据存储持久性评估装置与云服务系统相连接示意图，所述性能采集单元与所述云服务系统的运维管理系统13相连，用于读取所述运维管理系统的记录。

优选地，所述性能采集单元定期再次进行监测，更新所述故障时间、正常运行时间、数据恢复时间。

进一步优选地，在任一时刻，所述性能采集单元向所述概率计算单元输出自所述时刻起前6个月时间内的所述故障时间、正常运行时间、数据恢复时间。

例如，通过对云服务使用磁盘近六个月运行情况持续监测，统计单块磁盘不能正常运转时间，得出单块磁盘近六个月的故障率。由此类推，得出所有磁盘近六个月的故障率，平均得到云服所使用磁盘的平均故障率。即：

单块磁盘月故障率＝每月故障时间/(每月故障时间+每月正常运转时间)

再例如，在云服务的运维管理系统中监测磁盘状态，如若出现磁盘损坏，在运维管理系统中监测发现磁盘损坏、更换磁盘、数据恢复时间的时间点，差值得到磁盘损坏恢复时间。

此外，磁盘故障率也可通过提供商给出的平均无故障时间计算得到。

图3为云服务数据存储持久性评估装置包含数据分配单元的实施例；

本申请云服务数据存储持久性评估装置优化的实施例进一步包含数据分配单元24；所述数据分配单元，包含用户接口I；所述用户接口，用于接收数据存储量、数据存储方式的指令；所述数据分配单元，用于根据所述数据存储量、数据存储方式，确定所述数据分块。

当所述数据存储方式为完全副本冗余时，所述数据分块的数量为完全副本数，每一个所述数据分块存储相同的数据；当所述数据存储方式为纠删码冗余时，所述数据分块为多个，其中一部分用于存储原始数据，另一部分用于存储纠删码。

例如，完全副本冗余即每个分块数据存储完全相同的副本k块，单块数据丢失后，可根据其余k-1块完全相同的数据进行恢复，整体数据不会造成永久丢失。当且仅当k块备份相同数据的磁盘同时损坏，该块数据将永久丢失。对于完全副本冗余的存储方式，数据存储持久性与磁盘故障率、数据恢复时间、完全副本数直接相关。

再例如，纠删码冗余将数据分块划分为分块组，每个分块组共有m个分块，其中n(n<m)个分块存储原始数据，m-n个分块存储n的分块数据的纠删码。当分块组中小于m-n块数据(原始数据、纠删码数据)所在磁盘损坏时，可根据纠删码进行数据恢复，即数据不会永久丢失后；当分块组中大于m-n个分块(原始数据、纠删码数据)所在磁盘发生损坏时，数据将无法完全恢复，即分块组中部分数据永久丢失。纠删码冗余的存储方式数据存储持久性概率和磁盘故障率、分块组大小、数据恢复时间直接相关。

图4为云服务数据存储持久性评估方法的实施例流程图。本发明方法用于云服务系统，所述云服务系统包含数据存储磁盘，所述数据存储磁盘进一步包含数据分块，用于存储服务数据。本发明的方法根据备份数量、故障恢复时间，以及故障发生计概率，给出数据块所有备份丢失的计算方法。由于数据存储方式包含完全副本冗余和纠删码冗余两种方式，所以，计算数据存储持久性概率也分为完全副本冗余和纠删码冗余两种情形。

本实施例具体包括以下步骤：

步骤101、监测所述数据分块的故障时间和正常运行时间、数据恢复时间；

步骤102、根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；

步骤103、根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率。

当所述数据存储方式为完全副本冗余时，所述计算数据存储持久性概率的方法为：

P＝1-u×{[1-(1-u')^w]}^k-1 公式1

其中，P为数据存储持久性概率(月)，即一块数据所在磁盘在当月发生故障丢失后，在该块数据恢复的时间内，其余副本分块所在磁盘同时发生故障的概率；u为单块数据所在磁盘月故障率；u’为单块数据所在磁盘每小时故障率；w为数据恢复时间(单位：小时)；k为完全副本数。

当所述数据存储方式为纠删码冗余时，所述计算数据存储持久性概率的方法为：

其中，P为数据存储持久性概率(月)，即分块组中一块数据所在磁盘发生故障时，在该块数据恢复时间内，剩余m-1块数据中还允许m-n-1块数据丢失，排列组合计算的是m-1中m-n-1块数据丢失的组合数，累加计算的是丢失1块至m-n-1块数据的所有情况；u为单块数据所在磁盘月故障率；u’为单块数据所在磁盘每小时故障率；w为数据恢复时间(单位：小时)；m为分块组中所有数据块个数；n为分块组中存储原始数据的分块个数。

图5为云服务数据存储持久性评估方法的冗余存储事后监测实施例流程图。本方法用于云服务系统，所述云服务系统包含数据存储磁盘，所述数据存储磁盘进一步包含数据分块，用于存储服务数据。作为本申请云服务数据存储持久性评估方法进一步优化的实施例，包含以下步骤：

步骤100、接收数据存储量、数据存储方式的指令；根据所述数据存储量、数据存储方式，确定所述数据分块；

步骤101、监测所述数据分块的故障时间和正常运行时间、数据恢复时间；

步骤102、根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；

步骤103、根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率。

图6为云服务数据存储持久性评估方法的冗余存储事先实施例流程图。本方法用于云服务系统，所述云服务系统包含数据存储磁盘，所述数据存储磁盘进一步包含数据分块，用于存储服务数据。作为本申请云服务数据存储持久性评估方法进一步优化的实施例，包含以下步骤：

步骤101、监测所述数据分块的故障时间和正常运行时间、数据恢复时间；

步骤100、接收数据存储量、数据存储方式的指令；根据所述数据存储量、数据存储方式，确定所述数据分块；

步骤102、根据所述故障时间、正常运行时间、数据恢复时间，计算所述数据分块所在磁盘的月故障率、每小时故障率；

步骤103、根据所述磁盘月故障率、每小时故障率和数据存储方式，计算数据存储持久性概率。

需要说明的是：本发明从系统架构角度综合评估云服务数据存储持久性风险。本申请将存储方法细分完全副本冗余和纠删码冗余两种情况，通过对冗余备份情况、故障恢复时间等进行分析给出具体的计算方法。

本发明给出了数据整体丢失的概率风险。本申请综合考虑纠删码冗余和完全副本冗余两种情况，给出数据丢失概率具体的计算方法。本发明的方案可事前对风险进行控制。现有的计算方法多根据历史运行数据给出数据丢失概率，需在事件发生后才能给出数据丢失的风险评估结果，这往往难以满足事前评估的要求。本申请从存储架构角度出发，根据备份方案和恢复时间可在事前给出数据丢失风险发生概率，满足事前评估的要求。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。