基于分布式存储系统的数据存储方法、装置、设备及介质与流程

1.本公开涉及云计算技术领域，更具体地涉及一种基于分布式存储系统的数据存储方法、装置、设备、介质和程序产品。


背景技术：

2.面对日益增长的数据量，如何构建大容量、高可靠、高性能的存储系统是目前存储领域界面临的巨大挑战之一。hdfs(hadoop distributed file system，分布式文件系统)为海量数据存储所面临的挑战提供了一个方便高效的解决方案。
3.hdfs最初是为同构的系统设计的，假设底层所有的存储介质具有一样的i/o性能，然后根据datan ode节点上存储介质的剩余存储空间大小对不同的数据块副本进行分布式放置。但是在hadoop集群的使用过程中，可能会因为节点故障更换节点或添加新的节点来扩展集群。并且随着存储硬件的不断迭代更新，出现了拥有更好存储性能的新型存储器件。同构的硬件环境逐渐演变成异构的环境，因此原来的hadoop存储方案在异构的环境下可能会导致不希望的性能下降。
4.目前有新版本hdfs存储体系结构增加了对异构存储的支持。但hdfs本身支持的异构存储策略需要用户显式地为整个文件或目录设置存储策略，然而这样也很难在hdfs集群运行过程中充分利用高性能存储设备的特性，当用户设置的存储策略不满足需求时，也会导致不希望的性能和效率下降。


技术实现要素：

5.鉴于上述问题，本公开提供了提高hdfs集群运行过程的存储效率的基于分布式存储系统的数据存储方法、装置、设备、介质和程序产品。
6.根据本公开的第一个方面，提供了一种基于分布式存储系统的数据存储方法。所述方法包括：获取第一文件在预设历史时长内的访问记录；基于所述访问记录，计算所述第一文件的历史访问热度值序列；所述历史访问热度值序列包括m个访问热度值；其中，所述历史时长被划分为m个时长相同的第一时间段；每个所述访问热度值反映每个所述第一时间段内的访问热度，所述访问热度值为基于每个所述第一时间段内的访问次数与所述第一文件的文件大小的比值而得到的，其中，m为大于1的整数；基于所述历史访问热度值序列，预测所述第一文件在接下来的至少一个第二时间段内的预期访问热度值；其中，所述第二时间段与所述第一时间段的时长相同；基于所述预期访问热度值与预设的n个存储策略各自对应的热度阈值范围的比较，确定所述第一文件接下来适用的未来存储策略，其中，所述未来存储策略为所述n个存储策略其中之一；以及基于所述未来存储策略，对所述第一文件的存储位置进行调整。
7.根据本公开的实施例，所述基于所述历史访问热度值序列，预测所述第一文件在接下来的至少一个第二时间段内的预期访问热度值包括：利用指数平滑算法来预测所述预期访问热度值。
8.根据本公开的实施例，所述基于所述未来存储策略，对所述第一文件的存储位置进行调整包括：当所述第一文件当前已有的存储策略与所述未来存储策略不同时，按照所述未来存储策略中规定的文件存储位置分布，迁移所述第一文件的至少一个数据块副本的存储位置。
9.根据本公开的实施例，所述按照所述未来存储策略中规定的文件存储位置分布，迁移所述第一文件的至少一个数据块副本的存储位置还包括：若所述第一文件欲迁入的目标存储介质的剩余存储空间不够容纳所述第一文件时，将所述目标存储介质中所述预期访问热度值最小的至少一个第二文件迁移到性能低于所述目标存储介质的存储介质中；以及在所述至少一个第二文件迁移后将所述第一文件迁入所述目标存储介质。
10.根据本公开的实施例，所述基于所述访问记录，计算所述第一文件的历史访问热度值序列包括：将所述历史时长划分为m个所述第一时间段；基于所述访问记录，获得每个所述第一时间段内的访问次数；以及基于每个所述第一时间段内的访问次数与所述第一文件的文件大小的比值，确定每个所述第一时间段对应的所述历史访问热度值。
11.根据本公开的实施例，所述基于每个所述第一时间段内的访问次数与所述第一文件的文件大小的比值，确定每个所述第一时间段对应的所述历史访问热度值包括：获取所述第一文件在所述历史时长内任意时刻的静态文件大小；以及基于每个所述第一时间段内的访问次数与所述静态文件大小的比值，确定每个所述第一时间段对应的所述历史访问热度值。
12.根据本公开的实施例，基于每个所述第一时间段内的访问次数与所述第一文件的文件大小的比值，确定每个所述第一时间段对应的所述历史访问热度值包括：获取所述第一文件在每个所述第一时间段内的动态文件大小；基于每个所述第一时间段内的访问次数与所述动态文件大小的比值，确定每个所述第一时间段对应的所述历史访问热度值。
13.根据本公开的实施例，所述分布式存储系统包括多种异构的存储介质；所述n个存储策略的不同的存储策略中，一个文件的多个数据块副本在所述多种异构的存储介质上的存储分布不同。
14.根据本公开的第二个方面，提供了一种基于分布式存储系统的数据存储装置。所述装置包括获取模块、计算模块、预测模块、策略确定模块、以及调整模块。获取模块用于获取第一文件在预设历史时长内的访问记录。计算模块用于基于所述访问记录，计算所述第一文件的历史访问热度值序列；所述历史访问热度值序列包括m个访问热度值；其中，所述历史时长被划分为m个时长相同的第一时间段；每个所述访问热度值反映每个所述第一时间段内的访问热度，所述访问热度值为基于每个所述第一时间段内的访问次数与所述第一文件的文件大小的比值而得到的，其中，m为大于1的整数。预测模块用于基于所述历史访问热度值序列，预测所述第一文件在接下来的至少一个第二时间段内的预期访问热度值；其中，所述第二时间段与所述第一时间段的时长相同。策略确定模块用于基于所述预期访问热度值与预设的n个存储策略各自对应的热度阈值范围的比较，确定所述第一文件接下来适用的未来存储策略，其中，所述未来存储策略为所述n个存储策略其中之一。调整模块用于基于所述未来存储策略，对所述第一文件的存储位置进行调整。
15.本公开的第三方面提供了一种电子设备。所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器
执行时，使得一个或多个处理器执行上述方法。
16.本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
17.本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
附图说明
18.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
19.图1示意性示出了根据本公开实施例的基于分布式存储系统的数据存储方法、装置、设备、介质和程序产品的应用场景图；
20.图2示意性示出了根据本公开实施例的基于分布式存储系统的数据存储方法的流程图；
21.图3示意性示出了根据本公开实施例的数据存储方法中对文件的存储位置进行调整的流程图；
22.图4示意性示出了根据本公开另一实施例的基于分布式存储系统的数据存储方法的流程图；
23.图5示意性示出了根据本公开一实施例的基于分布式存储系统的数据存储装置的框图；
24.图6示意性示出了根据本公开另一实施例的基于分布式存储系统的数据存储装置及其系统架构；以及
25.图7示意性示出了根据本公开实施例的适于实现基于分布式存储系统的数据存储方法的电子设备的方框图。
具体实施方式
26.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
27.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
28.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
29.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或
具有a、b、c的系统等)。
30.在本文中，需要理解的是，说明书及附图中的任何元素数量均用于示例而非限制，以及任何命名(例如，第一、第二)都仅用于区分，而不具有任何限制含义。
31.本公开实施例提供了一种基于分布式存储系统的数据存储方法、装置、电子设备、介质和程序产品。
32.该基于分布式存储系统的数据存储方法可以通过如下方式实现。首先获取第一文件在预设历史时长内的访问记录。然后可以基于访问记录，计算第一文件的历史访问热度值序列，其中，历史访问热度值序列包括m个访问热度值，其中，历史时长被划分为m个时长相同的第一时间段，每个访问热度值反映每个第一时间段内的访问热度，访问热度值为基于每个第一时间段内的访问次数与第一文件的文件大小的比值而得到的，其中，m为大于1的整数。接下来基于历史访问热度值序列，预测第一文件在接下来的至少一个第二时间段内的预期访问热度值；其中，第二时间段与第一时间段的时长相同。再接下来，基于预期访问热度值与预设的n个存储策略各自对应的热度阈值范围的比较，确定第一文件接下来适用的未来存储策略，其中，未来存储策略为n个存储策略其中之一。之后基于未来存储策略，对第一文件的存储位置进行调整。
33.根据本公开的实施例，可以通过预测文件的访问热度，动态地调整文件接下来适用的存储策略，进而调整文件的存储位置，可以使得分布式存储系统中文件的存储位置与文件访问热度相适配，提高分布式存储系统中的数据存储效率。
34.需要说明的是，本公开实施例确定的基于分布式存储系统的数据存储方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本公开对应用领域不做限定。
35.图1示意性示出了根据本公开实施例的基于分布式存储系统的数据存储方法、装置、设备、介质和程序产品的应用场景图。
36.如图1所示，根据该实施例的应用场景100可以包括终端设备101、代理服务器102、应用服务器103、网络104、以及hadoop集群105。网络104用以在终端设备101、代理服务器102、应用服务器103和hadoop集群105之间提供通信链路。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
37.在一些实施例中，hadoop集群105可以通过网络104为终端设备101的用户提供分布式文件系统服务。在另一些实施例中，hadoop集群105可以通过网络104为代理服务器102和/或应用服务器103支持的服务提供分布式文件系统服务。
38.hadoop集群105中可以设置根据本公开实施例的基于分布式存储系统的数据存储装置、设备、程序和介质，并可以执行根据本公开实施例的基于分布式存储系统的数据存储方法，通过预测存储于其中的文件的预期访问热度值，对文件的存储位置进行动态调整，从而使得hadoop集群105中分布式文件系统中的文件存储状态与文件的读写需求相适配，提高hadoop集群105中分布式文件存储系统的数据存储效率。
39.需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。。
40.以下将基于图1描述的场景，通过图2～图4对公开实施例的基于分布式存储系统的数据存储方法进行详细描述。
41.图2示意性示出了根据本公开实施例的基于分布式存储系统的数据存储方法的流程图。
42.如图2所示，该实施例的基于分布式存储系统的数据存储方法包括操作s210～操作s250。该方法可以由hadoop集群105执行。
43.在操作s210，获取第一文件在预设历史时长内的访问记录。例如，可以收集hadoop集群105上运行的所有文件或部分文件(例如，指定文件)的历史访问日志信息，从而可以得到文件的访问记录。
44.在操作s220，基于访问记录，计算第一文件的历史访问热度值序列。历史访问热度值序列包括m个访问热度值。
45.具体地，可以参考表1。例如，可以将历史时长按照固定时间间隔划分为m个第一时间段，每个访问热度值反映每个第一时间段内的访问热度。其中，可以基于每个第一时间段内的访问次数与第一文件的文件大小的比值，来得到访问热度值。
46.在一个实施例中，例如，历史时长和第一时间段的时间长度范围均较小(例如，历史时长为几个小时，第一时间段为20分钟)，这样可以得到可以认为在整个历史时长内文件的大小保持基本不变。这种情况下在计算访问热度值时可以获取第一文件在历史时长内任意时刻的的文件大小，以此作为静态的文件大小，并基于每个第一时间段内的访问次数与静态文件大小的比值，确定每个第一时间段对应的历史访问热度值。例如，对表1中的每个时间段中的访问次数除以该静态文件大小，即可得到对应的访问热度值。
47.表1
[0048][0049]
在另一个实施例中，例如，历史时长和第一时间段的时间长度范围均较大(例如，历史时长一周，第一时间段为1天)，这样在历史时长内随着对第一文件的读写操作，第一文件的大小波动有可能是不宜忽略的。在这种情况下，可以获取第一文件在每个第一时间段内的动态文件大小，然后基于每个第一时间段内的访问次数与动态文件大小的比值，确定每个第一时间段对应的历史访问热度值。其中，获取第一文件在每个第一时间段内的动态文件大小，例如，可以是以第一时间段内选定的某一个时刻的文件大小作为该动态文件大小，或者也可以是将第一时间段内的多个时刻、或者整个期间内的文件大小取平均，得到该文件的动态大小。
[0050]
在操作s230，基于历史访问热度值序列，预测第一文件在接下来的至少一个第二时间段内的预期访问热度值；其中，第二时间段与第一时间段的时长相同。
[0051]
结合表1，根据本公开的实施例，可以第一时间段1～m对应的访问热度值，来预测第二时间段1甚至其后的一个或多个第二时间段对应的访问热度值。本文中为了区分，将第二时间段1～s各自对应的访问热度值称之为预期访问热度值，其中，s为大于或等于1的整数。该预期访问热度值不是实际发生的访问热度，而是通过算法预测的访问热度。
[0052]
本公开实施例可以根据历史访问热度值序列的变化趋势来预测未来的访问热度值，例如，可以通过函数拟合来预测，或者通过线性回归来预测，或者在一些实施例中当数据量足够大时可以选择合适的机器学习模型来学习文件的访问热度变化趋势进行预测。
[0053]
根据本公开的一些实施例，可以利用指数平滑算法来预测预期访问热度值。在一个实施例中，可以使用一次指数平滑算法来预测预期访问热度值，其中，一次指数平滑算法中的加权系数可以根据经验来选取。例如，根据经验选取若干个加权系数之后，对历史访问热度值序列进行验证，然后从中选择合适的值，例如，选择系数为0.6。
[0054]
指数平滑算法可使用的历史数据较少。例如一次平滑指数算法可以仅使用当前所在的第一时间段内的访问热度值和前一个第一时间段的访问热度值，来预测下一个时间间隔(即，表2中第二时间段1)的预期访问热度值，这样可以明显减少预测计算的工作量。
[0055]
另外，根据本公开的实施例，在可以忽略同一个文件在不同时间段内的文件大小变化的情况下(即利用静态文件大小计算访问热度值)，为减少计算量，可以使用m个第一时间段的访问次数或频率预测第二时间段1～s内的文件访问次数或频率，然后在通过与静态文件大小求比值来得到在对应的第二时间段内的预期访问热度值。
[0056]
在操作s240，基于预期访问热度值与预设的n个存储策略各自对应的热度阈值范围的比较，确定第一文件接下来适用的未来存储策略，其中，未来存储策略为n个存储策略其中之一。
[0057]
不同的存储策略中一个文件的数据块副本的存储位置分布是不同的。
[0058]
例如，在读写高性能的存储策略策略中，可以将一个文件的一个或多个、甚至全部的数据块副本存放在缓存中，便于文件的快速访问，而在性能低的存储策略策略中，可以将一个文件的多个甚至全部的数据块副本存放在磁盘中。
[0059]
又例如，当hadoop集群105的存储系统包括多种异构的存储介质(例如，ram、ssd固态硬盘、磁盘等)时，不同的存储策略中一个文件的多个数据块副本在多种异构的存储介质上的存储分布不同。例如，可以通过热度阈值范围的设置，将预期访问热度值属于hadoop集群105中前20％的文件的所有数据块副本都可以存储在ram中；将前20％～40％的文件的所有数据块副本存储在ssd固态硬盘中；将前40％～60％的文件中一个数据块副本存储在ssd盘，其他存在在磁盘中；以及可以将剩余文件的数据块副本均存储的磁盘中。
[0060]
这样，可以通过预测文件访问热度的变化趋势，然后根据文件的预期访问热度值尽可能地将数据存储在最合适的存储介质上，达到充分发挥不同存储介质优势的目的。并根据数据的访问特征动态改变数据的存储方式，从而能够在异构的环境下最大程度发挥各类硬件的性能优势。
[0061]
在操作s250，基于未来存储策略，对第一文件的存储位置进行调整。具体调整过程可以参考图3的详细说明。
[0062]
图3示意性示出了根据本公开实施例的数据存储方法中操作s250对文件的存储位置进行调整的流程图。
[0063]
如图3所示，根据该实施例操作s250中对文件的存储位置进行调整可以包括操作s301～操作s307。
[0064]
在操作s301，判断第一文件当前已有的存储策略与未来存储策略是否相同。若相同，则说明不需要改变第一文件的存储位置，从而在操作s302中确定第一文件的存储位置保持不变。若不相同，则执行操作s303～操作s307。
[0065]
在操作s303，当第一文件当前已有的存储策略与未来存储策略不同时，确定需要按照未来存储策略中规定的文件存储位置分布，迁移第一文件的至少一个数据块副本。
[0066]
接下来在操作s304，判断第一文件欲迁入的目标存储介质的剩余存储空间是否能够容纳第一文件。如果否，则执行操作s305和操作s306；如果是，则执行操作s307。
[0067]
具体地，当第一文件欲迁入的目标存储介质的剩余存储空间不够容纳第一文件时，首先在操作s305将目标存储介质中预期访问热度值最小的至少一个第二文件迁移到性能低于目标存储介质的存储介质中。然后在操作s306，在至少一个第二文件迁移后将第一文件迁入目标存储介质。
[0068]
当第一文件欲迁入的目标存储介质的剩余存储空间够容纳第一文件时，在操作s307将第一文件的数据块副本迁入目标存储介质。
[0069]
根据本公开的实施例，可以通过预测文件的访问热度来动态的调整文件的存储策略，进而动态地调整文件的存储位置，可以使得分布式存储系统中文件的存储位置与文件的访问热度相适配，提高分布式存储系统中异构存储介质的利用率和性能，提高整体的数据存储效率。
[0070]
图4示意性示出了根据本公开另一实施例的基于分布式存储系统的数据存储方法的流程图。
[0071]
如图4所示，根据本公开实施例的基于分布式存储系统的数据存储方法可以包括操作s401～操作s405。
[0072]
操作s401，收集数据的历史访问日志信息并统计计算文件在前几个历史周期(即，第一时间段)的访问次数和访问频率。
[0073]
操作s402，根据前几个周期的访问频率，经过一次指数平滑运算后得到本周期末尾文件访问频率的平滑值，并以此作为对下一周期(即，第二时间段)文件访问频率的预测值。
[0074]
操作s403：根据文件的大小对上一步计算出来的访问频率平滑值，得到文件的预期访问热度值。
[0075]
在本公开实施例中，在计算预期访问热度值的过程中，忽略了文件在不同时间内的大小变化。从而可以先预测访问频率的平滑值，然后根据预测的频率来计算逾期访问热度值。
[0076]
操作s404：将文件的预期访问热度值与不同存储策略所设置的热度值阈值进行对比，为其选择合适的存储策略，实现可以根据文件的预期访问热度值尽可能地将数据块的不同副本存储在最合适的存储介质上的目标。
[0077]
在具体迁移存储的过程中，若目标存储介质的剩余存储空间能够容得下该文件，则将文件的数据块副本迁移到拥有目标存储介质的数据节点中。否则，执行置换算法将存储在目标存储介质中访问热度值最小的文件迁移到低一级别的存储介质中，然后再在该目
标存储介质中存储该文件。
[0078]
操作s405：调用mover工具执行实际的数据块迁移操作。重复这个过程，以达到根据文件的实时访问热度在异构存储设备之间动态地进行移动的需求。
[0079]
基于上述基于分布式存储系统的数据存储方法，本公开各个实施例还提供了一种基于分布式存储系统的数据存储装置。以下将结合图5和图6对本公开各个实施例的装置进行详细描述。
[0080]
图5示意性示出了根据本公开一实施例的基于分布式存储系统的数据存储装置500的框图。
[0081]
如图5所示，该实施例的基于分布式存储系统的数据存储装置500包括获取模块510、计算模块520、预测模块530、策略确定模块540及调整模块550。该装置500可以用于实现参考图2～图4所描述的基于分布式存储系统的数据存储方法。
[0082]
获取模块510用于获取第一文件在预设历史时长内的访问记录。在一个实施例中，获取模块510可以执行操作s210。
[0083]
计算模块520用于基于访问记录，计算第一文件的历史访问热度值序列；历史访问热度值序列包括m个访问热度值；其中，历史时长被划分为m个时长相同的第一时间段；每个访问热度值反映每个第一时间段内的访问热度，访问热度值为基于每个第一时间段内的访问次数与第一文件的文件大小的比值而得到的，其中，m为大于1的整数。在一个实施例中，计算模块520可以执行操作s220。
[0084]
预测模块530用于基于历史访问热度值序列，预测第一文件在接下来的至少一个第二时间段内的预期访问热度值；其中，第二时间段与第一时间段的时长相同。在一个实施例中，预测模块530可以执行操作s230。
[0085]
策略确定模块540用于基于预期访问热度值与预设的n个存储策略各自对应的热度阈值范围的比较，确定第一文件接下来适用的未来存储策略，其中，未来存储策略为n个存储策略其中之一。在一个实施例中，策略确定模块540可以执行操作s240。
[0086]
调整模块550用于基于未来存储策略，对第一文件的存储位置进行调整。在一个实施例中，调整模块550可以执行操作s250。
[0087]
图6示意性示出了根据本公开另一实施例的基于分布式存储系统的数据存储装置及其系统架构。
[0088]
如图6所示，该基于分布式存储系统的数据存储装置600可以包括统计文件访问日志信息模块610、文件访问热度值计算模块620、策略制定与调整模块630、以及迁移模块模块640。其中，统计文件访问日志信息模块610、文件访问热度值计算模块620、策略制定与调整模块630可以设置在hadoop集群105中hdfs系统的命名节点namenode中，迁移模块模块640可以设置在hdfs系统中的data节点中。其中，hadoop集群105底层的存储系统hdfs使用性能不同的异构存储介质。
[0089]
统计文件访问日志信息模块610主要用于根据日志信息统计文件过去一段时间内的访问频率，进一步得到按固定时间间隔划分的文件访问频率时间序列。
[0090]
文件访问热度值计算模块620用于对前一模块得到的文件访问频率时间序列经过指数平滑法预测得到的文件访问频率序列以及文件大小，预测文件的预期访问热度值。
[0091]
策略制定与调整模块630用于根据计算得到的预期访问热度值为文件制定合适的
存储策略，并负责监测文件访问热度值的变化以实时调整不同的存储策略。
[0092]
迁移模块640用于将数据块副本迁移到与存储策略相对应的存储介质上。
[0093]
根据本公开实施例，随着预期访问热度的变化动态地调整存储策略以在性能不同的异构存储设备之间进行迁移。从而不仅避免了集群的存储硬件成本过高，还可以根据文件的访问特征动态地将其放在合适的存储介质上，进而最大程度上发挥存储介质的性能优势。
[0094]
根据本公开的实施例，获取模块510、计算模块520、预测模块530、策略确定模块540、调整模块550、统计文件访问日志信息模块610、文件访问热度值计算模块620、策略制定与调整模块630、以及迁移模块模块640中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块510、计算模块520、预测模块530、策略确定模块540、调整模块550、统计文件访问日志信息模块610、文件访问热度值计算模块620、策略制定与调整模块630、以及迁移模块模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块510、计算模块520、预测模块530、策略确定模块540、调整模块550、统计文件访问日志信息模块610、文件访问热度值计算模块620、策略制定与调整模块630、以及迁移模块模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0095]
图7示意性示出了根据本公开实施例的适于实现基于分布式存储系统的数据存储方法的电子设备700的方框图。
[0096]
如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0097]
在ram 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、rom 702以及ram 703通过总线704彼此相连。处理器701通过执行rom 702和/或ram 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除rom 702和ram 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0098]
根据本公开的实施例，电子设备700还可以包括输入/输出(i/o)接口705，输入/输出(i/o)接口705也连接至总线704。电子设备700还可以包括连接至i/o接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信
处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0099]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0100]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 702和/或ram 703和/或rom 702和ram 703以外的一个或多个存储器。
[0101]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。
[0102]
在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0103]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0104]
在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0105]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0106]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代
表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0107]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0108]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。