数据处理方法、装置、设备及计算机可读存储介质与流程

本申请涉及大数据领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着互联网的发展和推广，信息处理系统需要处理的数据规模越来越大，进入大数据时代。在系统版本升级时，需要对存量数据进行调整，比如数据迁移，以满足新的业务需求和程序要求。同时，需要为用户提供持续的信息服务，造成版本更新时间窗口很小，这样就带来大数据需要在短时间内完成数据迁移的问题。另外，随着用户对业务连续性要求变高，系统升级时需要热部署，比如，波动更新；其中，波动更新对数据迁移要求更加严苛，为零时间窗口，需要与之匹配的数据迁移策略。

2、目前，现有的数据迁移策略，是在系统升级前，先部署一个版本，此版本使用新的数据格式记录大数据。此时，会并行运行旧版大数据、新版大数据这两个大数据的存储。等新版大数据积累到数据保存期限后，再考虑进行系统升级。

3、因此，现有技术中，系统升级时间依赖于数据保存期限，如果数据保存期限很长，会导致升级版本不能及时部署，进而无法及时为用户提供新的业务需求对应的服务。

技术实现思路

1、本申请提供一种数据处理方法、装置、设备及计算机可读存储介质，用以解决现有技术中，系统升级时间依赖于数据保存期限，如果数据保存期限很长，会导致升级版本不能及时部署，进而无法及时为用户提供新的业务需求对应的服务的问题。

2、第一方面，本申请提供一种数据处理方法，所述方法包括：

3、在系统版本升级时，对系统的存量数据进行分类，确定迁移数据和补录数据；所述补录数据为用于补录所述存量数据中除所述迁移数据以外遗漏的数据；

4、将所述迁移数据进行数据迁移，用以支持系统升级后基于所述迁移数据进行基本运行；

5、将所述补录数据进行存储，并提供查询接口，用以支持升级后的系统通过调用所述查询接口进行数据补录。

6、第二方面，本申请提供一种数据处理装置，所述装置包括：

7、数据分析模块，用于在系统版本升级时，对系统的存量数据进行分类，确定迁移数据和补录数据；所述补录数据为用于补录所述存量数据中除所述迁移数据以外遗漏的数据；

8、数据迁移模块，用于将所述迁移数据进行数据迁移，用以支持系统升级后基于所述迁移数据进行基本运行；

9、数据补录模块，用于将所述补录数据进行存储，并提供查询接口，用以支持升级后的系统通过调用所述查询接口进行数据补录。

10、第三方面，本申请提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

11、所述存储器存储计算机执行指令；

12、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的方法。

13、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。

14、第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。

15、本申请提供的数据处理方法、装置、设备及计算机可读存储介质，在系统版本升级时，对系统的存量数据进行分类，确定迁移数据和补录数据；所述补录数据为用于补录所述存量数据中除所述迁移数据以外遗漏的数据；将所述迁移数据进行数据迁移，用以支持系统升级后基于所述迁移数据进行基本运行；将所述补录数据进行存储，并提供查询接口，用以支持升级后的系统通过调用所述查询接口进行数据补录。本申请中，为了节约资源，在系统升级时，不是所有的存量数据都需要迁移，可以分为迁移数据和补录数据通过将必要数据进行数据迁移以满足信息系统升级后的基本运行，然后利用数据补录的方式将升级后的系统运行时使用的除迁移数据以外遗漏的数据进行补录，以实现在节约时间资源的前提下完成数据迁移，能够及时实现系统升级，进而及时为用户提供新的业务需求对应的服务。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对系统的存量数据进行分类，确定迁移数据和补录数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据数据影响因素，对存量数据进行分类，确定迁移数据和补录数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述补录数据进行存储，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述提供查询接口，包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述补录数据存储在预定义的存储装置中；在所述将所述补录数据进行存储之后，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种数据处理方法、装置、设备及计算机可读存储介质，可用于大数据领域。该方法包括：在系统版本升级时，对系统的存量数据进行分类，确定迁移数据和补录数据；所述补录数据为用于补录所述存量数据中除所述迁移数据以外遗漏的数据；将所述迁移数据进行数据迁移，用以支持系统升级后基于所述迁移数据进行基本运行；将所述补录数据进行存储，并提供查询接口，用以支持升级后的系统通过调用所述查询接口进行数据补录。本申请的方法，能够解决现有技术中，系统升级时间依赖于数据保存期限，如果数据保存期限很长，会导致升级版本不能及时部署，进而无法及时为用户提供新的业务需求对应的服务的问题。

技术研发人员：王贺超
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15