冷热数据标定方法、装置及电子设备与流程

本发明涉及数据存储，尤其涉及一种冷热数据标定方法、装置及电子设备。

背景技术：

1、随着全球互联网程度的不断提高，全球对数据存储的需求也日益增大。当前计算机服务器的主流存储器件主要分为两种：机械硬盘（hard disk, hd）和固态硬盘（solidstate drive，ssd）。固态硬盘和机械硬盘本质上都是用于数据存储的硬件，其本质上的区别在于其存储介质不同。传统的机械硬盘以机械磁盘为存储介质，通过磁臂和磁头、磁盘之间的机械构造进行数据存储和读取；而固态硬盘则是以nand闪存（非易失性的存储器）作为存储介质，通过存储器内部的电荷数即cell的通断电进行数据的读取和写入进而实现数据存储。

2、固态硬盘中使用的主要存储介质是nand闪存颗粒。由于闪存的物理特性，每次写入数据需要先将原有数据擦除，再进行写入操作。而擦除操作会导致闪存块中的所有数据都被删除，而非仅删除其中的一部分。当数据写入过程中频繁地进行擦除操作，会导致闪存块中产生大量的无效数据，从而导致闪存空间的利用率下降。为了避免这种情况的发生，需要对nand颗粒进行垃圾回收（garbage collection, gc），将无效数据清除并释放空间。在进行垃圾回收时，若无法有效进行数据的冷热识别，会造成大量无效垃圾回收操作。

3、为此，现有技术往往采用阈值对比的方式进行冷热数据的识别判断，但现有技术采用的阈值往往为人为经验值，无法根据当前数据的统计信息进行自适应调整，从而导致现有冷热数据识别和标定方式的适用性较差，无法满足实际场景需求。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的冷热数据标定方法、装置及电子设备。

2、本发明的一个方面，提供了一种冷热数据标定方法，所述方法包括：

3、获取当前统计周期内统计的冷热数据预判阈值为预设阈值取值集合中不同取值时ssd的数据热度指标，所述数据热度指标包括ssd中目标逻辑区块占总逻辑区块的区块比例和目标区块的写数据频度，所述目标区块为ssd的逻辑区块中写访问次数大于或等于当前的冷热数据预判阈值的逻辑区块；

4、获取ssd在不同数据热度指标时对应的当前统计周期的写放大系数；

5、根据上一统计周期的历史冷热数据判决比例计算历史写放大系数，历史冷热数据判决比例为上一统计周期的写放大系数取值最小时对应的数据热度指标中的区块比例；

6、判断所述历史写放大系数与当前统计周期的写放大系数的最小值之间的差值是否小于或等于预设的调整阈值；

7、若所述差值小于或等于所述调整阈值，则将所述历史冷热数据判决比例作为最优冷热数据判决比例，根据所述最优冷热数据判决比例对ssd中的逻辑区块进行冷热数据标定。

8、第二方面，本发明还提供了一种冷热数据标定装置，所述装置包括用于实现如上冷热数据标定方法的功能模块。

9、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上冷热数据标定方法的步骤。

10、第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上冷热数据标定方法的步骤。

11、本发明实施例提供的冷热数据标定方法、装置及电子设备，基于当前统计周期内统计的冷热数据预判阈值为预设阈值取值集合中不同取值时ssd的数据热度指标，根据ssd在不同数据热度指标时对应的写放大系数，通过比较上一统计周期的历史冷热数据判决比例对应的历史写放大系数与当前统计周期的写放大系数的最小值之间的差值，当差值小于或等于预设的调整阈值时将历史冷热数据判决比例作为最优冷热数据判决比例，并根据最优冷热数据判决比例对ssd中的逻辑区块进行冷热数据标定，本发明能够自适应判断当前统计周期的最优冷热数据判决比例，基于最优冷热数据判决比例准确实现对冷热数据的识别和标记，有效减少ssd使用过程中的写放大系数和冷热数据迁移量，从而提高ssd的性能和寿命，减少资源消耗和维护成本。

12、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种冷热数据标定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取当前统计周期内统计的冷热数据预判阈值为预设阈值取值集合中不同取值时ssd的数据热度指标包括：

3.根据权利要求1所述的方法，其特征在于，所述获取ssd在不同数据热度指标时对应的当前统计周期的写放大系数包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，根据上一统计周期的历史冷热数据判决比例计算历史写放大系数，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据上一统计周期的历史冷热数据判决比例计算当前统计周期的第二写数据频度，包括：

8.根据权利要求1所述的方法，其特征在于，根据所述最优冷热数据判决比例对ssd中的逻辑区块进行冷热数据标定包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

11.根据权利要求8所述的方法，其特征在于，所述按照预设的选取规则从所述待选热数据逻辑中根据当前的第一数量选取对应数量个逻辑区块标记为热数据逻辑区块包括：

12.一种冷热数据标定装置，其特征在于，所述装置包括用于实现如权利要求1-11任一项所述的冷热数据标定方法的功能模块。

13.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-11任一项所述方法的步骤。

技术总结
本发明涉及数据存储技术领域，提供了一种冷热数据标定方法、装置及电子设备，该方法包括：获取当前统计周期内统计的冷热数据预判阈值为预设阈值取值集合中不同取值时SSD的数据热度指标；获取SSD在不同数据热度指标时对应的当前统计周期的写放大系数；根据上一统计周期的历史冷热数据判决比例计算历史写放大系数；若历史写放大系数与当前统计周期的写放大系数的最小值之间的差值小于或等于调整阈值，则将历史冷热数据判决比例作为最优冷热数据判决比例，根据最优冷热数据判决比例对SSD中的逻辑区块进行冷热数据标定。本发明能够准确实现对冷热数据的识别和标记，有效减少SSD使用过程中的写放大系数，从而提高SSD的性能和寿命。

技术研发人员：秦东润,刘晓健,王嵩,康雷
受保护的技术使用者：北京得瑞领新科技有限公司
技术研发日：
技术公布日：2024/1/14