一种针对海量任务的数据回写方法、装置、设备及介质与流程

本发明涉及数据回写，尤其涉及一种针对海量任务的数据回写方法、装置、设备及介质。

背景技术：

1、任务回写系统能够将第三方平台返回的任务，经由任务分配中心回写至数据库中。

2、但部分第三方平台由于业务需求原因，可能会同时返回海量的写回数据，例如电商平台，若将这些海量的写回数据同时写回到数据库中，对系统负载压力较大，并且在灾难演练时，若未写回数据库的回写任务量较大，还会导致灾难演练后数据恢复时间过长，降低系统稳定性，并且会影响第三方平台的用户正常的平台使用。

技术实现思路

1、本发明提供了一种针对海量任务的数据回写方法、装置、设备及介质，能够实现对于海量的回写任务分批次回写，避免由于同一时刻回写任务过多从而导致的灾难演练数据恢复时间过长，保证了系统的稳定性。

2、根据本发明的一方面，提供了一种针对海量任务的数据回写方法，包括：

3、每当检测到待处理的目标回写任务时，判断所述目标回写任务是否为需要实时写入至数据库；

4、若是，则将目标回写任务实时写入到数据库中，否则，在预设的轮盘数组中确定目标切片，并在目标切片满足暂存条件时，将该回写任务写入所述目标切片中；

5、其中，所述轮盘数组与设定索引指针相对应，该索引指针指向轮盘数组中待写入至数据库中的切片；

6、每当检测到索引指针发生指向切换时，将索引指针的当前指向切片中暂存的数据写入至所述数据库中。

7、根据本发明的另一方面，提供了一种针对海量任务的数据回写装置，包括：

8、目标回写任务检测模块，用于每当检测到待处理的目标回写任务时，判断所述目标回写任务是否为需要实时写入至数据库；

9、目标切片确定模块，用于若是，则将目标回写任务实时写入到数据库中，否则，在预设的轮盘数组中确定目标切片，并在目标切片满足暂存条件时，将该回写任务写入所述目标切片中；

10、其中，所述轮盘数组与设定索引指针相对应，该索引指针指向轮盘数组中待写入至数据库中的切片；

11、数据写入模块，用于每当检测到索引指针发生指向切换时，将索引指针的当前指向切片中暂存的数据写入至所述数据库中。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的针对海量任务的数据回写方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的针对海量任务的数据回写方法。

17、本发明实施例的技术方案，通过判断目标回写任务是否需要实时写入数据库，并将需要实时写入数据库的任务实时回写，将不需要实时写入数据库的任务存入到目标切片中，等到索引指针指向目标切片时，将目标切片内的任务写入到数据库中的方式，能够实现在海量的回写任务需要回写时，将回写任务分批回写，避免由于同一时刻回写任务过多从而导致的灾难演练数据恢复时间过长，保证了系统的稳定性。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种针对海量任务的数据回写方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，每当检测到待处理的目标回写任务时，判断所述目标回写任务是否为需要实时写入至数据库，包括：

3.根据权利要求1所述的方法，其特征在于，在每当检测到待处理的目标回写任务时，判断所述目标回写任务是否为需要实时写入至数据库之前，还包括：

4.根据权利要求1所述的方法，其特征在于，在预设的轮盘数组中确定目标切片，包括：

5.根据权利要求1所述的方法，其特征在于，在在预设的轮盘数组中确定目标切片之前，还包括：

6.根据权利要求4所述的方法，其特征在于，在将索引指针的当前指向切片作为目标切片之后，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.一种针对海量任务的数据回写装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的针对海量任务的数据回写方法。

技术总结
本发明公开了一种针对海量任务的数据回写方法、装置、设备及介质。该方法包括：每当检测到待处理的目标回写任务时，判断目标回写任务是否为需要实时写入至数据库；若是，则将目标回写任务实时写入到数据库中，否则，在预设的轮盘数组中确定目标切片，并在目标切片满足暂存条件时，将该回写任务写入目标切片中；其中，轮盘数组与设定索引指针相对应，该索引指针指向轮盘数组中待写入至数据库中的切片；每当检测到索引指针发生指向切换时，将索引指针的当前指向切片中暂存的数据写入至数据库中。采用上述技术方案，能够实现对于海量的回写任务分批次回写，避免由于同一时刻回写任务过多从而导致的灾难演练数据恢复时间过长，保证了系统的稳定性。

技术研发人员：李吴杰,高孝顺,骆海东,颜嘉梁
受保护的技术使用者：上海聚水潭网络科技有限公司
技术研发日：
技术公布日：2024/1/15