一种数据存储方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据存储方法和装置。


背景技术：

2.电商平台需要为平台商家提供数字化用户运营系统，以支持其在平台的用户运营管理。为了使营销活动和用户运营策略更具有针对性，建立了4a用户分层模型，根据用户与品牌商品互动行为的深浅程度将用户分为认知(aware)、吸引(appeal)、行动(act)和拥护(advocate)四个层次模型。
3.由于商品的种类繁多，有些商品属于大众类型的爆品，有些商品比较小众新奇，因此不同模型用户分层数据数量差异极大，用户分层数据每天会出现上亿条用户分层数据与几百条用户分层数据的差异，计算每天的用户分层数据所占用的存储空间从几百gb到几百kb。
4.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
5.电商平台使用apache hive(apache hive，是apache软件基金会开源的大规模数据仓库软件。)及其演化版本作为基础软件来建设数据仓库。hive的底层文件存储系统为hdfs，将用户分层数据存储时，每个分区在hdfs中作为一个文件夹，产生过多小文件且难以整合。hdfs的namenode(namenode，负责管理hdfs文件系统名称空间和控制外部客户机的访问的软件。)会将所有的文件元信息加载到内存中，如果小文件过多，在namenode中会占用大量内存空间，导致其性能下降和过大压力。还有，当hive执行任务时，若小文件存储过多，产生更多的扫描任务、浪费资源，难以管理。


技术实现要素：

6.有鉴于此，本发明实施例提供一种数据存储方法和装置，能够解决现有用户分层数据存储效率低，不易管理的问题。
7.为实现上述目的，根据本发明实施例的一个方面，提供了一种数据存储方法，包括接收通过用户分层计算任务获得的用户分层数据，基于存储时间和模型将所述用户分层数据写入预设的热数据集中；
8.根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码；
9.调用归档元数据写入服务，获取所述用户分层数据对应的存储时间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中。
10.可选地，写入到数据库的数据归档元数据表中之后，还包括：
11.根据用户分层数据的读取任务，调用归档元数据读取服务，基于读取请求从数据库的数据归档元数据表中查询预设时间段内目标模型的存储信息，并返回分区编码，以根据所述分区编码读取冷数据集中的用户分层数据。
12.可选地，基于读取请求从数据库的数据归档元数据表中查询预设时间段内目标模
型的存储信息，包括：
13.基于读取请求判断数据库的数据归档元数据表中是否存预设时间段内具有目标模型的存储信息，若是则提取版本号最大的存储信息，返回对应的分区编码，以根据所述分区编码读取冷数据集中的用户分层数据；若否则通知未归档，进而基于读取请求读取热数据集中的用户分层数据。
14.可选地，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，包括：
15.根据模型将满足预设周期的用户分层数据进行分组且按照保有的数据量从大到小排序；
16.获取满足预设周期的用户分层数据总量和分区个数，以得到每个分区的平均用户分层数据量；
17.按顺序依次取出一组用户分层数据，对于每组用户分层数据循环执行下面过程，直至全部用户分层数据转存完成：
18.判断当前组内未转存数据量是否大于或等于平均用户分层数据量，若是则判断冷数据集中是否存在数据量为0的分区，如果是则基于数据量为0的分区进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存；若否则判断是否存在平均用户分层数据量与当前保有数据量的差值大于或等于当前组内未转存数据量的分区，如果是则在所述分区中获取剩余空间最小进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存。
19.可选地，在进行转存时，包括：
20.按照组内存储时间从小到大的顺序，获取待转存用户分层数据；
21.基于冷数据集中本次用于转存的分区编码，对所述每个待转存用户分层数据打标签；
22.将打标签后的待转存用户分层数据合并成hdfs块存储的文件大小，写入冷数据集hive表中。
23.可选地，写入到数据库的数据归档元数据表中，包括：
24.判断当前数据归档元数据表中是否存在具有相同模型编码和存储时间的存储信息；
25.若是则设置该存储信息为无效，且将该存储信息中的版本号加1作为该归档的用户分层数据的版本号；若否则设置该归档的用户分层数据的版本号为1。
26.可选地，基于存储时间和模型将所述用户分层数据写入预设的热数据集中，包括：
27.根据存储时间和模型生成在热数据集中的分区编码，以将所述用户分层数据写入热数据集中。
28.另外，本发明还提供了一种数据存储装置，包括第一模块，用于接收通过用户分层计算任务获得的用户分层数据，基于存储时间和模型将所述用户分层数据写入预设的热数据集中；
29.第二模块，用于根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码；
30.第三模块，用于调用归档元数据写入服务，获取所述用户分层数据对应的存储时
间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中。
31.上述发明中的一个实施例具有如下优点或有益效果：因为采用基于存储时间和模型将所述用户分层数据写入预设的热数据集中；根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码；调用归档元数据写入服务，获取所述用户分层数据对应的存储时间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中的技术手段，实现了能够适应多种数据处理的场景，在用户分层数据使用频率减少时，可以将小文件碎片进行整理，不会占用namenode过多的内存，减小了namenode以及存储系统的压力，保持了自定义用户分层模型数据的读取和写入效率的技术效果。
32.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
33.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
34.图1是根据本发明一个实施例的数据存储方法的主要流程的示意图；
35.图2是根据本发明实施例的数据存储方法的架构图；
36.图3是根据本发明实施例热数据集归档的主要流程示意图；
37.图4是根据本发明实施例热数据集写入冷数据集的主要流程示意图；
38.图5是根据本发明实施例的用户分层数据读取的主要流程示意图；
39.图6是根据本发明实施例的数据存储装置的主要模块的示意图；
40.图7是本发明实施例可以应用于其中的示例性系统架构图；
41.图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
42.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
43.图1是根据本发明一个实施例的数据存储方法的主要流程的示意图，如图1所示，所述数据存储方法包括：
44.步骤s101，接收通过用户分层计算任务获得的用户分层数据，基于存储时间和模型将所述用户分层数据写入预设的热数据集中。
45.在实施例中，本发明设置了热数据集和冷数据集。其中热数据集用于存放近期生产出的用户分层数据，供接下来的计算任务使用。冷数据集存放不再频繁使用的用户分层数据。例如：当一个用户分层模型计算得到的用户分层数据，在定义的周期内，全部生成，且固定的统计任务全部计算完毕后，可认为不再频繁使用。另外如下的表1和表2分别为用户分层计算任务计算出的热数据集包括的字段，以及归档任务写入的冷数据集包括的字段。
46.表1
[0047][0048]
表2
[0049][0050]
较佳的，本发明实施例中使用了spark分布式计算框架来执行步骤s101至步骤s103。其中，spark是apache软件基金会开源的大规模分布式数据计算框架。
[0051]
需要说明的是，本发明一个优选地实施例采用了根据存储时间和模型生成在热数据集中的分区编码，以将所述用户分层数据写入热数据集中。
[0052]
步骤s102，根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码。
[0053]
在一些实施例中，本发明将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中的过程，可以根据模型将满足预设周期的用户分层数据进行分组且按照保有的数据量从大到小排序；获取满足预设周期的用户分层数据总量和分区个数，以得到每个分区的平均用户分层数据量。
[0054]
然后，按顺序依次取出一组用户分层数据，对于每组用户分层数据循环执行下面过程，直至全部用户分层数据转存完成：
[0055]
判断当前组内未转存数据量是否大于或等于平均用户分层数据量，若是则判断冷数据集中是否存在数据量为0的分区，如果是则基于数据量为0的分区进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存；若否则判断是否存在平均用户分层数据量
与当前保有数据量的差值大于或等于当前组内未转存数据量的分区，如果是则在所述分区中获取剩余空间最小进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存。
[0056]
作为进一步地实施例，在将热数据集进行转存至冷数据集的过程中，可以按照组内存储时间从小到大的顺序，获取待转存用户分层数据；然后基于冷数据集中本次用于转存的分区编码，对所述每个待转存用户分层数据打标签；将打标签后的待转存用户分层数据合并成hdfs块存储的文件大小，写入冷数据集hive表中。其中，hdfs为布式文件存储系统。hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能。
[0057]
可以看出，本发明将按照数据条数、模型大小和存储时间排序的顺序，对归档数据进行分区。从而实现了将数据量小的模型按照正常的存储文件大小进行整理，且保证了同一模型、同一模型下相近日期的数据尽量归档到一起，保证了使用冷数据集时扫描的效率。同时保证了冷数据集每个分区的数据量尽量均衡，不会产生数据倾斜严重的情况，在扫描数据时，不会产生因分区存储不均导致的性能瓶颈。
[0058]
步骤s103，调用归档元数据写入服务，获取所述用户分层数据对应的存储时间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中。
[0059]
在一些实施例中，写入到数据库的数据归档元数据表中之后，本发明能够根据用户分层数据的读取任务，调用归档元数据读取服务，基于读取请求从数据库的数据归档元数据表中查询预设时间段内目标模型的存储信息，并返回分区编码，以根据所述分区编码读取冷数据集中的用户分层数据。较佳的，数据库可以采用关系型数据库mysql。
[0060]
值得说明的是，写入到数据库的数据归档元数据表中之后，还可以根据用户分层数据的读取任务，调用归档元数据读取服务。然后，基于读取请求判断数据库的数据归档元数据表中是否存预设时间段内具有目标模型的存储信息，若是则提取版本号最大的存储信息，返回对应的分区编码，以根据所述分区编码读取冷数据集中的用户分层数据；若否则通知未归档，进而基于读取请求读取热数据集中的用户分层数据。
[0061]
作为另一些实施例，在写入到数据库的数据归档元数据表中的过程中，本发明可以判断当前数据归档元数据表中是否存在具有相同模型编码和存储时间的存储信息。根据判断结果，若是则设置该存储信息为无效，且将该存储信息中的版本号加1作为该归档的用户分层数据的版本号；若否则设置该归档的用户分层数据的版本号为1。
[0062]
可以看出，本发明通过读写服务对归档数据进行管理和维护，一是保证数据重刷时，归档元信息存储的数据完整性，通过版本号来区分数据是否最新有效。二是在需要使用到用户分层数据的场景时，直接调用归档元数据读服务就可以获取到相关模型用户分层数据的存储信息，不需要自己去根据业务场景去判断底层数据的存储位置。三是此功能可以拓展到其他类型数据的存储定位，有很好的可拓展性。
[0063]
值得说明的是，本发明还可以按照模型进行分区存储用户分层数据，将新增的用户分层数据直接追加到相关分区中，一段时间进行一次文件合并。由于每个模型的数据量大小并不统一，如果遇到数据量较大的模型，扫描数据的任务效率会变低，对下游任务造成压力；如果遇到用户分层数据的数据量过小情况，小文件的问题依旧存在。其次由于hive对数据更新操作流程比较复杂，直接追加到相关分区，会造成用户分层数据难以维护。
[0064]
综上所述，本发明所述数据存储方法，实现了大规模电商用户分层数据存取，一方
面本发明将数据分为冷数据集和热数据集，能够适应多种数据处理的场景。在频繁使用自定义用户分层数据时，使用热数据集，保证当前模型用户分层数据扫描的效率，同时解决了hive分区过多导致的数据难以管理问题。另一方面本发明解决了因为分区过多导致的小文件问题，将数据量小的用户分层模型数据进行了合并整理，在用户分层数据使用频率减少时，可以将小文件碎片进行整理，不会占用namenode过多的内存，减小了namenode以及存储系统的压力。再者，本发明减轻了namenode压力的同时，保持了自定义用户分层模型数据的读取和写入效率。
[0065]
图2是根据本发明实施例的数据存储方法的架构图，所述数据存储方法通过用户分层计算任务获得用户分层数据，基于存储时间和模型将所述用户分层数据写入预设的热数据集中。根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中(即写入至冷数据集中)，且得到所述用户分层数据在冷数据集中的分区编码。然后，根据归档任务调用归档元数据写入服务，获取用户分层数据对应的存储时间、模型、归档时间和分区编码，写入到mysql数据库的数据归档元数据表中。同时，根据归档任务删除热数据集中已归档的用户分层数据。
[0066]
另外，通过用户分层的数据计算任务，可以调用归档元数据读取服务从mysql数据库的数据归档元数据表中查询预设时间段内目标模型的存储信息，并返回分区编码，以根据所述分区编码读取冷数据集中的用户分层数据。其中，如果没有返回分区编码，则说明热数据集中的用户分层数据还没有写入冷数据集，那么直接读取热数据集中的用户分层数据即可。
[0067]
值得说明的是，用户分层计算任务、归档任务以及基于用户分层的数据计算任务(即读取服务)可以基于spark引擎中执行。
[0068]
图3是根据本发明实施例热数据集归档的主要流程示意图，包括：
[0069]
步骤一：获取归档的基于模型和存储时间的列表。
[0070]
步骤二：扫描热数据集中的用户分层数据。
[0071]
步骤三：判断热数据集中是否存在归档列表对应的用户分层数据，若是则进行步骤四，若否则退出该流程。
[0072]
步骤四：按照转存模型分配归档分区编码。
[0073]
步骤五：按照所述分区编码写入冷数据集。
[0074]
步骤六：判断是否全部写入成功，若是则进行步骤七，若否则删除此次归档冷数据集的用户分层数据并返回步骤五。
[0075]
步骤七：调用归档元数据写入服务，写入此次归档的冷数据集的元数据信息。
[0076]
步骤八：判断是否写入元信息成功，若是则删除此次归档成功热数据集中的用户分层数据，若否则返回步骤七。
[0077]
图4是根据本发明实施例热数据集写入冷数据集的主要流程示意图，包括：
[0078]
步骤一：根据预设周期，获取热数据集中的用户分层数据。
[0079]
步骤二：按照模型进行分组，计算每个模型的总条数。
[0080]
步骤三：按照模型总数从大到小排序，模型内按照日期从小到大排序。
[0081]
步骤四：计算总条数，确认分区数量part_num，得到每个分区平均条数row_num。
[0082]
步骤五：判断是否存在未分配的用户分层数据，若是则进行步骤六，否则退出该流
程。
[0083]
步骤六：从小到大的顺序取出一组模型，初始化模型总条数为剩余未分配条数left_count。
[0084]
步骤七：判断left_count是否大于或等于row_num，若是则进行步骤八，若否则进行步骤九。
[0085]
步骤八：判断是否存在未分配用户分层数据的分区，若是则进行步骤十，若否则进行步骤九。
[0086]
步骤九：判断是否存在row_num减去block_num大于或等于left_count的分区，若是则进行步骤十一，若否则进行步骤十二。
[0087]
其中，分区已存数据条数block_num。
[0088]
步骤十：取出未分配过数据的分区，然后进行步骤十三。
[0089]
步骤十一：查找到row_num减去block_num大于或等于left_count的模型列表，得到其中block_num最大的分区，然后进行步骤十三。
[0090]
步骤十二：取出row_num减去block_num最大的分区，然后进行步骤十三。
[0091]
步骤十三：按顺序取出未分配的用户分层数据，分配至取出的分区，更新block_num和left_count。
[0092]
步骤十四：判断当前模型是否分配完成，若是则返回步骤五，若否则进行步骤十五。
[0093]
步骤十五：判断block_num是否大于或等于row_num，若是则返回步骤七，若否则返回步骤十三。
[0094]
图5是根据本发明实施例的用户分层数据读取的主要流程示意图，包括：
[0095]
步骤一：基于用户分层数据的计算任务启动后，向归档元数据读取服务发送请求，请求所需用户分层数据的数据存储信息。
[0096]
其中，请求中可以包括用户分层模型的编号、存储时间的开始时间、结束时间。
[0097]
步骤二：归档元数据读取服务接收到请求，判断归档元数据表中是否存在请求的元信息，若是则进行步骤四，若否则进行步骤三。
[0098]
步骤三：返回热数据集请求对应的用户分层数据的位置，进行步骤六。
[0099]
在实施例中，此时虽然将热数据集中用户分层数据的元数据归档至了数据库的数据归档元数据表中，但并没有将热数据集中用户分层数据写入冷数据集中。也就是说，本发明实施例可以将热数据集中用户分层数据的元数据归档至数据库与用户分层数据写入冷数据集中可以分别进行。
[0100]
步骤四：判断是否未多条元数据存储信息，若是则进行步骤五，若否则直接返回该条元数据存储信息并进行步骤六。
[0101]
步骤五：返回最新有效的存储信息。
[0102]
在实施例中，取最大版本号的有效元信息返回。
[0103]
步骤六：解析返回的存储信息，以读取冷数据集中的用户分层数据。
[0104]
图6是根据本发明实施例的数据存储装置的主要模块的示意图，如图6所示，所述数据存储装置600包括第一模块601、第二模块602和第三模块603。其中，第一模块601接收通过用户分层计算任务获得的用户分层数据，基于存储时间和模型将所述用户分层数据写
入预设的热数据集中；第二模块602根据归档任务，将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码；第三模块603调用归档元数据写入服务，获取所述用户分层数据对应的存储时间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中。
[0105]
在一些实施例中，第三模块603写入到数据库的数据归档元数据表中之后，还包括：
[0106]
根据用户分层数据的读取任务，调用归档元数据读取服务，基于读取请求从数据库的数据归档元数据表中查询预设时间段内目标模型的存储信息，并返回分区编码，以根据所述分区编码读取冷数据集中的用户分层数据。
[0107]
在一些实施例中，第三模块603基于读取请求从数据库的数据归档元数据表中查询预设时间段内目标模型的存储信息，包括：
[0108]
基于读取请求判断数据库的数据归档元数据表中是否存预设时间段内具有目标模型的存储信息，若是则提取版本号最大的存储信息，返回对应的分区编码，以根据所述分区编码读取冷数据集中的用户分层数据；若否则通知未归档，进而基于读取请求读取热数据集中的用户分层数据。
[0109]
在一些实施例中，第二模块602将热数据集中满足预设周期的用户分层数据按照转存模型归档至预设的冷数据集中，包括：
[0110]
根据模型将满足预设周期的用户分层数据进行分组且按照保有的数据量从大到小排序；
[0111]
获取满足预设周期的用户分层数据总量和分区个数，以得到每个分区的平均用户分层数据量；
[0112]
按顺序依次取出一组用户分层数据，对于每组用户分层数据循环执行下面过程，直至全部用户分层数据转存完成：
[0113]
判断当前组内未转存数据量是否大于或等于平均用户分层数据量，若是则判断冷数据集中是否存在数据量为0的分区，如果是则基于数据量为0的分区进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存；若否则判断是否存在平均用户分层数据量与当前保有数据量的差值大于或等于当前组内未转存数据量的分区，如果是则在所述分区中获取剩余空间最小进行转存，如果否则获取冷数据集中剩余空间最大的分区进行转存。
[0114]
在一些实施例中，第二模块602在进行转存时，包括：
[0115]
按照组内存储时间从小到大的顺序，获取待转存用户分层数据；
[0116]
基于冷数据集中本次用于转存的分区编码，对所述每个待转存用户分层数据打标签；
[0117]
将打标签后的待转存用户分层数据合并成hdfs块存储的文件大小，写入冷数据集hive表中。
[0118]
在一些实施例中，第三模块603写入到数据库的数据归档元数据表中，包括：
[0119]
判断当前数据归档元数据表中是否存在具有相同模型编码和存储时间的存储信息；
[0120]
若是则设置该存储信息为无效，且将该存储信息中的版本号加1作为该归档的用户分层数据的版本号；若否则设置该归档的用户分层数据的版本号为1。
[0121]
在一些实施例中，第一模块601基于存储时间和模型将所述用户分层数据写入预设的热数据集中，包括：
[0122]
根据存储时间和模型生成在热数据集中的分区编码，以将所述用户分层数据写入热数据集中。
[0123]
需要说明的是，在本发明所述数据存储方法和所述数据存储装置在具体实施内容上具有相应关系，故重复内容不再说明。
[0124]
图7示出了可以应用本发明实施例的数据存储方法或数据存储装置，数据存储判别或数据存储判别装置的示例性系统架构700。
[0125]
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0126]
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0127]
终端设备701、702、703可以是具有数据存储屏或者数据存储判别屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0128]
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息
--
仅为示例)反馈给终端设备。
[0129]
需要说明的是，本发明实施例所提供的数据存储方法或数据存储判别方法一般由服务器705执行，相应地，计算装置一般设置于服务器705中。
[0130]
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0131]
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0132]
如图8所示，计算机系统800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有计算机系统800操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0133]
以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶数据存储器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0134]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本发明的系统中限定的上述功能。
[0135]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0136]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0137]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一模块、第二模块和第三模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0138]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括接收通过用户分层计算任务获得的用户分层数据，基于存储时间和模型将所述用户分层数据写入预设的热数据集中；根据归档任务，将热数据集中满足预设周期的用
户分层数据按照转存模型归档至预设的冷数据集中，进而得到所述用户分层数据在冷数据集中的分区编码；调用归档元数据写入服务，获取所述用户分层数据对应的存储时间、模型、归档时间和分区编码，进而写入到数据库的数据归档元数据表中。
[0139]
根据本发明实施例的技术方案，能够解决现有用户分层数据存储效率低，不易管理的问题。
[0140]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。