数据处理方法、装置、存储介质以及电子设备与流程

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质以及电子设备。

背景技术：

1、在进行数据处理的时候，在部分场景下，需要在数据处理的过程中对数据进行处理，例如清洗、加密等操作，当前在进行数据处理和处理的时候，在数据量较小的情况下，通常采用人工处理数据的方法将数据进行预处理并进行处理，但是，在数据量较大的情况下，人工处理数据的效率和准确率较低，影响处理后的数据质量。

2、针对相关技术中采用人工进行数据处理的效率和准确率较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请提供一种数据处理方法、装置、存储介质以及电子设备，以解决相关技术中采用人工进行数据处理的效率和准确率较低的问题。

2、根据本申请的一个方面，提供了一种数据处理方法。该方法包括：获取目标数据处理任务，并将目标数据处理任务发送至中间件中，通过中间件解析目标数据处理任务，得到待处理数据的数据处理类型，其中，待处理数据存储在预设数据库中的初始表中；从脚本库中获取与数据处理类型相关联的数据处理脚本，得到目标脚本，并通过中间件从预设数据库中获取待处理数据，将待处理数据发送至目标脚本，通过目标脚本对待处理数据进行处理，得到处理结果；获取待处理数据在初始表中的第一存储信息，根据第一存储信息确定待处理数据在目标表中的第二存储信息，并根据第二存储信息将处理结果存储至目标表中，其中，目标表位于目标数据库中，初始表与目标表的表结构相同。

3、可选地，在通过中间件解析目标数据处理任务之前，该方法还包括：确定第一时刻中间件的历史数据处理任务的数量，得到第一数量，其中，第一时刻为执行获取目标数据处理任务的步骤的时刻；判断第一数量是否大于第一预设数量；在第一数量大于第一预设数量的情况下，暂停执行通过中间件解析目标数据处理任务的步骤，直至检测到第一数量小于等于第一预设数量；在第一数量小于等于第一预设数量的情况下，执行通过中间件解析目标数据处理任务的步骤。

4、可选地，在获取目标数据处理任务之前，该方法还包括：判断目标数据处理任务是否存在执行要求，其中，执行要求中包括任务执行时刻；在目标数据处理任务不存在执行要求的情况下，获取目标数据处理任务；在目标数据处理任务存在执行要求的情况下，判断第二时刻是否早于任务执行时刻，其中，第二时刻为获取目标数据处理任务之前的任意时刻；在第二时刻早于任务执行时刻的情况下，获取并执行目标数据处理之外的数据处理任务，并在到达第二时刻的情况下，获取目标数据处理任务；在第二时刻晚于任务执行时刻的情况下，确定第二时刻中间件的历史数据处理任务的数量，得到第二数量，并且第二数量大于第一预设数量的情况下的情况下，暂停执行历史数据处理任务中不存在任务执行时刻的候选任务，并执行获取目标数据处理任务的步骤。

5、可选地，通过中间件获取待处理数据，将待处理数据发送至目标脚本包括：确定预设数据库的单次字段读取量，得到第三数量，并确定目标脚本的单次字段处理量，得到第四数量；确定第三数量与第四数量中的最小值，并将最小值确定为目标单次读取量，按照目标单次读取量从预设数据库中读取待处理数据，并将待处理数据发送至目标脚本中，直至将预设数据库中的全部待处理数据发送至目标脚本。

6、可选地，从脚本库中获取与数据处理类型相关联的数据处理脚本，得到目标脚本包括：在脚本库中不存在与数据处理类型相关联的目标脚本的情况下，根据数据处理类型确定对待处理数据进行处理的处理需求；根据处理需求生成目标脚本，并将目标脚本添加至脚本库中。

7、可选地，在根据存储信息将处理结果存储至目标表中之后，该方法还包括：接收目标数据库发送的反馈信息，并确定反馈信息中是否存在失败存储数据；在反馈信息中存在失败存储数据的情况下，确定失败存储数据的数量，得到第五数量，并判断第五数量是否大于第二预设数量；在第五数量小于等于第二预设数量的情况下，获取每个失败存储数据的字段信息，并根据字段信息对失败存储数据对应的待处理数据重新进行处理；在第五数量大于第二预设数量的情况下，重新执行通过中间件获取待处理数据，将待处理数据发送至目标脚本的步骤。

8、可选地，根据存储信息将处理结果存储至目标表中包括：确定预设数据库的属性信息，其中，属性信息至少包括：等级信息、权限信息；根据属性信息确定预设数据库对应的目标数据库，并将存储信息存储至目标数据库中的目标表中。

9、根据本申请的另一方面，提供了一种数据处理装置。该装置包括：解析单元，用于获取目标数据处理任务，并将目标数据处理任务发送至中间件中，通过中间件解析目标数据处理任务，得到待处理数据的数据处理类型，其中，待处理数据存储在预设数据库中的初始表中；第一获取单元，用于从脚本库中获取与数据处理类型相关联的数据处理脚本，得到目标脚本，并通过中间件从预设数据库中获取待处理数据，将待处理数据发送至目标脚本，通过目标脚本对待处理数据进行处理，得到处理结果；存储单元，用于获取待处理数据在初始表中的第一存储信息，根据第一存储信息确定待处理数据在目标表中的第二存储信息，并根据第二存储信息将处理结果存储至目标表中，其中，目标表位于目标数据库中，初始表与目标表的表结构相同。

10、根据本发明的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据处理方法。

11、根据本发明的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据处理方法。

12、通过本申请，采用以下步骤：获取目标数据处理任务，并将目标数据处理任务发送至中间件中，通过中间件解析目标数据处理任务，得到待处理数据的数据处理类型，其中，待处理数据存储在预设数据库中的初始表中；从脚本库中获取与数据处理类型相关联的数据处理脚本，得到目标脚本，并通过中间件从预设数据库中获取待处理数据，将待处理数据发送至目标脚本，通过目标脚本对待处理数据进行处理，得到处理结果；获取待处理数据在初始表中的第一存储信息，根据第一存储信息确定待处理数据在目标表中的第二存储信息，并根据第二存储信息将处理结果存储至目标表中，其中，目标表位于目标数据库中，初始表与目标表的表结构相同，解决了相关技术中采用人工进行数据处理的效率和准确率较低的问题。通过控制中间件自动获取数据库中的数据，并根据数据类型确定对数据进行处理的脚本，通过脚本依次对数据进行处理，从而完成对数据进行自动处理流程，并根据数据在预设数据库中的存储信息将数据存储至目标数据库中，从而完成数据处理操作，进而达到了提高数据处理和数据处理的效率和准确率的效果。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在通过所述中间件解析所述目标数据处理任务之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，在获取目标数据处理任务之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，通过所述中间件从所述预设数据库中获取所述待处理数据，将所述待处理数据发送至所述目标脚本包括：

5.根据权利要求1所述的方法，其特征在于，从脚本库中获取与所述数据处理类型相关联的数据处理脚本，得到目标脚本包括：

6.根据权利要求1所述的方法，其特征在于，在根据所述第二存储信息将所述处理结果存储至目标表中之后，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，根据所述第二存储信息将所述处理结果存储至目标表中包括：

8.一种数据处理装置，其特征在于，包括：

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法、装置、存储介质以及电子设备。该方法包括：获取目标数据处理任务，并将目标数据处理任务发送至中间件中，通过中间件解析目标数据处理任务，得到待处理数据的数据处理类型；从脚本库中获取与数据处理类型相关联的数据处理脚本，得到目标脚本，并通过中间件从预设数据库中获取待处理数据，将待处理数据发送至目标脚本，通过目标脚本对待处理数据进行处理，得到处理结果；获取待处理数据在初始表中的第一存储信息，根据第一存储信息确定待处理数据在目标表中的第二存储信息，并根据第二存储信息将处理结果存储至目标表中。通过本申请，解决了相关技术中采用人工进行数据处理的效率和准确率较低的问题。

技术研发人员：邢海轮
受保护的技术使用者：天翼电子商务有限公司
技术研发日：
技术公布日：2024/1/22