批量数据同步任务处理方法、装置、设备及存储介质与流程

1.本技术涉及到人工智能技术领域，特别是涉及到一种批量数据同步任务处理方法、装置、设备及存储介质。


背景技术：

2.随着互联网技术的发展，同一个业务流程可能有多个合作方系统。若需要对接多个合作方系统进行数据同步，每增加一个合作方系统，都需要新增接口和单独的批量同步任务，对接的研发耗时长，导致对接周期长，接口、批量任务开发成本高，导致研发成本高，每个合作方系统需要开发一套接口代码，导致代码冗余。


技术实现要素：

3.本技术的主要目的为提供一种批量数据同步任务处理方法、装置、设备及存储介质，旨在解决现有技术在同一个业务流程中，若需要对接多个合作方系统进行数据同步，存在对接周期长、研发成本高、代码冗余的技术问题。
4.为了实现上述发明目的，本技术提出一种批量数据同步任务处理方法，所述方法包括：
5.获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；
6.将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；
7.根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；
8.获取与所述目标业务流程对应的数据同步请求；
9.响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；
10.根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
11.进一步的，所述根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务的步骤，包括：
12.从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中获取一个所述待处理文件名作为目标文件名；
13.从所述合作方接口配置表中获取与所述目标文件名对应的执行时间窗口、字段选择配置、同步类型和地址数据配置，得到任务配置数据；
14.根据所述目标文件名和所述任务配置数据进行数据同步任务生成，作为与所述目标文件名对应的所述待添加数据同步任务；
15.重复执行所述从不包含在所述合作方数据同步任务表中的各个所述待处理文件
名中获取一个所述待处理文件名作为目标文件名的步骤，直至完成确定不包含在所述合作方数据同步任务表中的每个所述待处理文件名对应的所述待添加数据同步任务。
16.进一步的，所述响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务的步骤，包括：
17.响应所述数据同步请求，获取与所述目标业务流程对应的需同步节点标识集；
18.从定时任务库中获取与所述需同步节点标识集中的每个节点标识对应的定时同步任务作为目标定时同步任务；
19.在预设的目标同步时间段内，按与所述目标业务流程对应的目标时间间隔执行每个所述目标定时同步任务；
20.通过所述目标定时同步任务，从所述合作方数据同步任务表中，抓取所述执行时间窗口包含当前时间并且所述处理状态为待执行或失败的每个所述数据同步任务，作为目标数据同步任务。
21.进一步的，所述根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步的步骤，包括：
22.若所述目标数据同步任务的同步类型为上传，则执行所述目标数据同步任务，将所述目标应用系统中的数据上传到所述目标合作方系统中；
23.若所述目标数据同步任务的同步类型为下载，则执行所述目标数据同步任务，根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新。
24.进一步的，所述将所述目标应用系统中的数据上传到所述目标合作方系统中的步骤，包括：
25.根据所述目标数据同步任务的字段选择配置、地址数据配置及执行时间窗口的开始时间，从所述目标应用系统中获取数据，得到待处理的数据；
26.根据所述待处理的数据进行待同步文件划分；
27.采用md5加密方法，对每个所述待同步文件进行加密，得到目标哈希值；
28.根据各个所述待同步文件生成目录表；
29.将各个所述待同步文件、各个所述目标哈希值和所述目录表，推送到所述目标合作方系统中的与所述目标数据同步任务的上传地址对应的第一存储空间，得到监控同步结果；
30.根据所述监控同步结果，对所述合作方数据同步任务表中的所述处理状态进行更新。
31.进一步的，所述将各个所述待同步文件、各个所述目标哈希值和所述目录表，推送到所述目标合作方系统中的与所述目标数据同步任务的上传地址对应的第一存储空间，得到监控同步结果的步骤之后，还包括：
32.获取所述目标合作方系统发送的目标对账结果，其中，所述目标合作方系统用于：根据所述第一存储空间中的所述目录表，对所述第一存储空间中的各个所述待同步文件分别进行文件数量对账及数据条数对账，得到目录对账结果，根据所述第一存储空间中的各个所述目标哈希值，对所述第一存储空间中的各个所述待同步文件进行内容对账，得到内容对账结果，将所述目录对账结果和所述内容对账结果作为所述目标对账结果；
33.根据所述目标对账结果获取审核端发送的补充上传配置数据；
34.根据所述补充上传配置数据进行异常处理任务生成；
35.执行所述异常处理任务，将所述目标应用系统中的与所述补充上传配置数据对应的数据上传到所述目标合作方系统中。
36.进一步的，所述根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新的步骤，包括：
37.从所述目标合作方系统中的与所述目标数据同步任务的下载地址对应的第二存储空间中获取文件，得到待更新文件；
38.将所述待更新文件存储在所述目标应用系统中的与所述目标数据同步任务的本地临时存储地址对应的第三存储空间；
39.根据所述第三存储空间中的所述待更新文件，对所述目标应用系统中的数据进行更新，得到更新结束信号；
40.基于所述更新结束信号，将所述第三存储空间中的所述待更新文件进行删除处理。
41.本技术还提出了一种批量数据同步任务处理装置，所述装置包括：
42.第一请求获取模块，用于获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；
43.待处理文件名拼接模块，用于将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；
44.合作方数据同步任务表更新模块，用于根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；
45.第二请求获取模块，用于获取与所述目标业务流程对应的数据同步请求；
46.目标数据同步任务确定模块，用于响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；
47.数据同步模块，用于根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
48.本技术还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
49.本技术还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
50.本技术的批量数据同步任务处理方法、装置、设备及存储介质，其中方法将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。通过合作方
接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接，根据各个待处理文件名自动化生成数据同步任务，实现了基于配置实时生成各个合作方系统在目标业务流程中的数据同步任务，不需要针对每个合作方系统新增接口和单独的批量同步任务，缩短了对接周期，降低了研发成本，减少了代码冗余。
附图说明
51.图1为本技术一实施例的批量数据同步任务处理方法的流程示意图；
52.图2为本技术一实施例的批量数据同步任务处理装置的结构示意框图；
53.图3为本技术一实施例的计算机设备的结构示意框图。
54.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
56.参照图1，本技术实施例中提供一种批量数据同步任务处理方法，所述方法包括：
57.s1：获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；
58.s2：将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；
59.s3：根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；
60.s4：获取与所述目标业务流程对应的数据同步请求；
61.s5：响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；
62.s6：根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
63.本实施例通过合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接，根据各个待处理文件名自动化生成数据同步任务，实现了基于配置实时生成各个合作方系统在目标业务流程中的数据同步任务，不需要针对每个合作方系统新增接口和单独的批量同步任务，缩短了对接周期，降低了研发成本，减少了代码冗余。
64.对于s1，可以获取用户输入的与目标业务流程对应的任务生成请求，也可以获取第三方应用系统发送的与目标业务流程对应的任务生成请求，还可以是实现本技术的程序按预设条件主动生成的与目标业务流程对应的任务生成请求。
65.可选的，采用预设的循环执行任务，按预设时间间隔，针对所述目标业务流程生成所述任务生成请求。从而实现本技术的程序按预设条件主动生成与目标业务流程对应的任务生成请求。
66.可选的，预设时间间隔设置为每天1点。
67.目标业务流程，是需要进行批量数据同步的业务流程。业务流程中包括多个节点，业务流程中的需要数据同步的每个节点对应一个同步类型和一个节点标识。同步类型包括：上传或下载。
68.任务生成请求，是生成数据同步任务的请求。
69.合作方接口配置表，是针对目标业务流程中的需要数据同步的每个节点，为每个合作方进行接口配置的列表。
70.合作方接口配置表包括：流程标识、合作方标识、节点标识、文件前缀、执行时间窗口、字段选择配置、同步类型和地址数据配置。当同步类型为上传时，地址数据配置包括：上传地址。当同步类型为下载时，地址数据配置包括：下载地址、本地临时存储地址。字段选择配置是需要同步的字段的配置数据。流程标识可以是流程名称、流程id等唯一标识一个流程的数据。合作方标识可以是合作方名字、合作方id等唯一标识一个合作方的数据。节点标识可以是节点名称、节点id等唯一标识一个节点的数据。文件前缀是字符串。执行时间窗口包括：开始时间和结束时间。
71.可以理解的是，所述目标业务流程的需要数据同步的节点的数量和合作方的数量的乘积等于合作方接口配置表中的配置条数。其中，合作方标识和节点标识作为关联数据，合作方接口配置表中的关联数据的条数就是配置条数。
72.可选的，文件前缀直接采用节点标识。
73.可选的，所述获取与目标业务流程对应的任务生成请求的步骤，包括：获取配置请求；响应所述配置请求，获取与所述目标业务流程对应的待存储的配置数据；根据所述待存储的配置数据对所述合作方接口配置表进行更新；根据更新后的所述合作方接口配置表获取与所述目标业务流程对应的所述任务生成请求。
74.对于s2，将所述合作方接口配置表中的每个文件前缀与当前日期进行依次拼接，将拼接得到的每个字符串作为一个待处理文件名。也就是说，待处理文件名的数量和合作方接口配置表中的配置条数相同。依次拼接，是当前日期拼接在文件前缀的后面。
75.对于s3，不包含在预设的合作方数据同步任务表中的所述待处理文件名，是还未确定数据同步任务的文件名，因此根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，其中，根据所述合作方接口配置表的参数(也就是执行时间窗口、字段选择配置、同步类型、地址数据配置)确定待添加数据同步任务的参数；将所述待添加数据同步任务添加到所述合作方数据同步任务表中，并且，将所述合作方数据同步任务表中的与所述待添加数据同步任务对应的处理状态设为待执行，为后续自动化进行数据同步提供了基础。
76.合作方数据同步任务表包括：文件名、执行时间窗口、字段选择配置、同步类型、地址数据配置和处理状态。
77.对于s4，可以获取用户输入的与所述目标业务流程对应的数据同步请求，也可以获取第三方应用系统发送的与所述目标业务流程对应的数据同步请求，还可以是实现本技术的程序按预设条件主动生成的与所述目标业务流程对应的数据同步请求。
78.可选的，判断当前时间是否等于与所述目标业务流程对应的目标同步时间段的开始时间；若等于，则针对所述目标业务流程生成所述数据同步请求。从而实现本技术的程序
按预设条件主动生成与所述目标业务流程对应的数据同步请求。
79.数据同步请求，是进行数据同步的请求。
80.对于s5，在收到所述数据同步请求时，则开始从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，将抓取的每个数据同步任务作为一个目标数据同步任务，也就是抓取所述目标数据同步任务的时间(也就是当前时间)位于所述目标数据同步任务的所述执行时间窗口内，并且，所述目标数据同步任务的处理状态为待执行或失败。
81.对于s6，根据所述目标数据同步任务携带的字段选择配置、同步类型和地址数据配置，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
82.目标应用系统，是实现目标业务流程的应用系统。
83.在一个实施例中，上述根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务的步骤，包括：
84.s31：从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中获取一个所述待处理文件名作为目标文件名；
85.s32：从所述合作方接口配置表中获取与所述目标文件名对应的执行时间窗口、字段选择配置、同步类型和地址数据配置，得到任务配置数据；
86.s33：根据所述目标文件名和所述任务配置数据进行数据同步任务生成，作为与所述目标文件名对应的所述待添加数据同步任务；
87.s34：重复执行所述从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中获取一个所述待处理文件名作为目标文件名的步骤，直至完成确定不包含在所述合作方数据同步任务表中的每个所述待处理文件名对应的所述待添加数据同步任务。
88.本实施例实现了根据执行时间窗口、字段选择配置、同步类型和地址数据配置和待处理文件名生成待添加数据同步任务，从而为基于待添加数据同步任务进行自动化数据同步提供了基础。
89.对于s31，从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中依次获取一个所述待处理文件名，将获取的所述待处理文件名作为目标文件名。
90.对于s32，从所述合作方接口配置表中获取与所述目标文件名的文件前缀对应的执行时间窗口、字段选择配置、同步类型和地址数据配置，将获取的执行时间窗口、字段选择配置、同步类型和地址数据配置作为任务配置数据。
91.对于s33，根据所述目标文件名生成数据同步任务，并且根据所述任务配置数据设置该数据同步任务的参数，将设置好的数据同步任务作为与所述目标文件名对应的所述待添加数据同步任务。
92.对于s34，重复执行步骤s31至步骤s34，直至完成确定不包含在所述合作方数据同步任务表中的每个所述待处理文件名对应的所述待添加数据同步任务。
93.在一个实施例中，上述响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务的步骤，包括：
94.s51：响应所述数据同步请求，获取与所述目标业务流程对应的需同步节点标识
集；
95.s52：从定时任务库中获取与所述需同步节点标识集中的每个节点标识对应的定时同步任务作为目标定时同步任务；
96.s53：在预设的目标同步时间段内，按与所述目标业务流程对应的目标时间间隔执行每个所述目标定时同步任务；
97.s54：通过所述目标定时同步任务，从所述合作方数据同步任务表中，抓取所述执行时间窗口包含当前时间并且所述处理状态为待执行或失败的每个所述数据同步任务，作为目标数据同步任务。
98.本实施例提供在预设的目标同步时间段内，按与所述目标业务流程对应的目标时间间隔执行每个所述目标定时同步任务，通过所述目标定时同步任务，从所述合作方数据同步任务表中，抓取所述执行时间窗口包含当前时间并且所述处理状态为待执行或失败的每个所述数据同步任务，从而自动化遍历所述合作方数据同步任务表进行数据同步，提高了同步效率。
99.对于s51，在收到所述数据同步请求时，可以从数据库中获取与所述目标业务流程对应的需同步的各个节点标识作为与所述目标业务流程对应的需同步节点标识集，也可以将与所述目标业务流程对应的需同步节点标识集写入实现本技术的程序中。
100.对于s52，从定时任务库中获取与所述需同步节点标识集中的每个节点标识对应的定时同步任务作为目标定时同步任务，也就是说，每个节点标识对应一个目标定时同步任务，目标定时同步任务的数量和与所述目标业务流程对应的需同步的各个节点标识的数量相同。
101.对于s53，在预设的目标同步时间段内，按与所述目标业务流程对应的目标时间间隔执行每个所述目标定时同步任务，也就是说，在目标同步时间段内，以目标同步时间段的开始时间为开始、以目标同步时间段的结束时间为结束和以目标时间间隔为周期，执行每个所述目标定时同步任务。
102.目标定时同步任务携带的参数包括：节点标识。
103.对于s54，通过所述目标定时同步任务，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，将抓取的每个数据同步任务作为一个目标数据同步任务。
104.在一个实施例中，上述根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步的步骤，包括：
105.s61：若所述目标数据同步任务的同步类型为上传，则执行所述目标数据同步任务，将所述目标应用系统中的数据上传到所述目标合作方系统中；
106.s62：若所述目标数据同步任务的同步类型为下载，则执行所述目标数据同步任务，根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新。
107.本实施例根据同步类型对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步，从而满足了个性化的节点数据同步要求。
108.对于s61，若所述目标数据同步任务的同步类型为上传，意味着需要将所述目标应用系统中的数据上传到所述目标合作方系统中，因此，执行所述目标数据同步任务，从所述目标应用系统中提取数据，将提取的数据上传到所述目标合作方系统中。
109.对于s62，若所述目标数据同步任务的同步类型为下载，意味着需要根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新，因此，执行所述目标数据同步任务，从所述目标合作方系统中下载数据，根据下载的数据对所述目标应用系统中的业务表的数据进行更新。
110.在一个实施例中，上述将所述目标应用系统中的数据上传到所述目标合作方系统中的步骤，包括：
111.s611：根据所述目标数据同步任务的字段选择配置、地址数据配置及执行时间窗口的开始时间，从所述目标应用系统中获取数据，得到待处理的数据；
112.s612：根据所述待处理的数据进行待同步文件划分；
113.s613：采用md5加密方法，对每个所述待同步文件进行加密，得到目标哈希值；
114.s614：根据各个所述待同步文件生成目录表；
115.s615：将各个所述待同步文件、各个所述目标哈希值和所述目录表，推送到所述目标合作方系统中的与所述目标数据同步任务的上传地址对应的第一存储空间，得到监控同步结果；
116.s616：根据所述监控同步结果，对所述合作方数据同步任务表中的所述处理状态进行更新。
117.本实施例实现了对待处理的数据进行待同步文件划分，对待同步文件生成目标哈希值，根据各个待同步文件生成目录表，将各个所述待同步文件、各个所述目标哈希值和所述目录表进行上传及生成监控同步结果，最后根据监控同步结果对合作方数据同步任务表中的处理状态进行更新，通过自动化进行数据同步、数据同步结果的监控、监控结果的处理，实现了数据上传的闭环，提高了数据上传的准确性。
118.对于s611，根据所述目标数据同步任务的字段选择配置、地址数据配置，从所述目标应用系统中获取上一个数据周期内的数据，将获取的数据作为待处理的数据。
119.当前的执行时间窗口的开始时间和与当前的执行时间窗口相邻的上一个执行时间窗口的开始时间之间的时间段作为上一个数据周期。
120.对于s612，采用预设的数据条数阈值，对所述待处理的数据进行待同步文件划分。也就是说，不是最后划分的待同步文件的数据条数与数据条数阈值相同，最后划分的待同步文件的数据条数小于或等于数据条数阈值。
121.对于s613，采用md5(信息摘要算法)加密方法，对每个所述待同步文件进行加密，将加密得到的哈希值作为目标哈希值。
122.对于s614，从各个所述待同步文件中提取数据生成目录表。
123.目录表包括：文件标识和数据条数。文件标识可以是文件名称、文件id等唯一标识一份所述待同步文件的数据。
124.对于s615，将各个所述目标哈希值放入同一个列表中，得到哈希值列表；将各个所述待同步文件、哈希值列表和所述目录表，推送到所述目标合作方系统中的与所述目标数据同步任务的上传地址对应的第一存储空间，根据监控到的推送结果生成得到监控同步结果。
125.监控同步结果包括：关键字和同步结果，关键字的取值范围包括：文件标识、目录表标识和哈希值列表标识。同步结果包括：成功或失败。目录表标识可用是目录表名称、目
录表id等唯一标识一个目录表的数据。哈希值列表标识可用是哈希值列表名称、哈希值列表id等唯一标识一个哈希值列表的数据。
126.对于s616，将所述监控同步结果中的同步结果为失败的关键字作为待更新关键字；将所述合作方数据同步任务表中的与所述待更新关键字对应的所述处理状态更新为失败。
127.在一个实施例中，上述将各个所述待同步文件、各个所述目标哈希值和所述目录表，推送到所述目标合作方系统中的与所述目标数据同步任务的上传地址对应的第一存储空间，得到监控同步结果的步骤之后，还包括：
128.s617：获取所述目标合作方系统发送的目标对账结果，其中，所述目标合作方系统用于：根据所述第一存储空间中的所述目录表，对所述第一存储空间中的各个所述待同步文件分别进行文件数量对账及数据条数对账，得到目录对账结果，根据所述第一存储空间中的各个所述目标哈希值，对所述第一存储空间中的各个所述待同步文件进行内容对账，得到内容对账结果，将所述目录对账结果和所述内容对账结果作为所述目标对账结果；
129.s618：根据所述目标对账结果获取审核端发送的补充上传配置数据；
130.s619：根据所述补充上传配置数据进行异常处理任务生成；
131.s6110：执行所述异常处理任务，将所述目标应用系统中的与所述补充上传配置数据对应的数据上传到所述目标合作方系统中。
132.本实施例通过获取目标合作方系统发送的目标对账结果，然后根据所述目标对账结果获取审核端发送的补充上传配置数据，最后将所述目标应用系统中的与所述补充上传配置数据对应的数据上传到所述目标合作方系统中，从而实现了在接收方进行数据对账，避免了数据在传输过程中被修改影响数据同步的准确性。
133.对于s617，判断指定文件标识在所述第一存储空间中是否存在所述待同步文件，其中，指定文件标识是所述第一存储空间中的所述目录表中的任一个文件标识；若存在，则确定与指定文件标识对应的文件标识对账结果为通过，否则确定与指定文件标识对应的文件标识对账结果为不通过；判断所述第一存储空间中的所述目录表中的与所述指定文件标识对应的数据条数和所述第一存储空间中的与指定文件标识对应的所述待同步文件的数据条数是否相等；若相等则确定与指定文件标识对应的条数对账规则为通过，否则，确定与指定文件标识对应的条数对账规则为不通过；将各个文件标识对账结果和各个条数对账规则作为目录对账结果。
134.采用md5加密方法，对所述第一存储空间中的每个所述待同步文件进行加密，得到待对比哈希值；当所述第一存储空间中的与指定文件标识对应的所述目标哈希值和与指定文件标识对应的待对比哈希值相同时，确定与指定文件标识对应的哈希值对比结果为通过，否则，确定与指定文件标识对应的哈希值对比结果为不通过，将各个哈希值对比结果作为内容对账结果。
135.对于s618，通过与审核端的通信连接，将所述目标对账结果发送给审核端；用户在审核端对所述目标对账结果进行审核，并输入补充上传配置数据；获取审核端发送的与所述目标对账结果对应的补充上传配置数据。
136.对于s619，根据所述补充上传配置数据中的每条补充上传配置进行异常处理任务生成。
137.补充上传配置包括：文件标识、执行时间窗口、字段选择配置、同步类型和地址数据配置。
138.对于s6110，执行所述异常处理任务，将所述目标应用系统中的与所述补充上传配置数据对应的数据上传到所述目标合作方系统中，从而实现了补充上传。
139.在一个实施例中，上述根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新的步骤，包括：
140.s621：从所述目标合作方系统中的与所述目标数据同步任务的下载地址对应的第二存储空间中获取文件，得到待更新文件；
141.s622：将所述待更新文件存储在所述目标应用系统中的与所述目标数据同步任务的本地临时存储地址对应的第三存储空间；
142.s623：根据所述第三存储空间中的所述待更新文件，对所述目标应用系统中的数据进行更新，得到更新结束信号；
143.s624：基于所述更新结束信号，将所述第三存储空间中的所述待更新文件进行删除处理。
144.本实施例通过将从目标合作方系统下周文件缓存到第三存储空间，然后从第三存储空间获取文件对所述目标应用系统中的数据进行更新，更新完成删除第三存储空间中的文件，有利于提高对所述目标应用系统中的数据进行更新的准确性，及时删除第三存储空间中临时缓存的文件，节约了存储空间。
145.对于s621，从所述目标合作方系统中的与所述目标数据同步任务的下载地址对应的第二存储空间中获取文件，将获取的文件作为得到待更新文件。待更新文件是与所述目标数据同步任务的执行时间窗口及字段选择配置对应的数据。
146.对于s622，将所述待更新文件，存储在所述目标应用系统中的与所述目标数据同步任务的本地临时存储地址对应的第三存储空间，从而实现了文件缓存。
147.对于s623，从所述第三存储空间中的所述待更新文件中抓取明细数据，将抓取的明细数据对所述目标应用系统中的业务表进行更新，当所述待更新文件中的所有明细数据都更新到所述目标应用系统中的业务表中时，生成更新结束信号。
148.对于s624，响应所述更新结束信号，将所述第三存储空间中的所述待更新文件进行删除处理，从而节约了存储空间。
149.参照图2，本技术还提出了一种批量数据同步任务处理装置，所述装置包括：
150.第一请求获取模块100，用于获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；
151.待处理文件名拼接模块200，用于将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；
152.合作方数据同步任务表更新模块300，用于根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；
153.第二请求获取模块400，用于获取与所述目标业务流程对应的数据同步请求；
154.目标数据同步任务确定模块500，用于响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据
同步任务，作为目标数据同步任务；
155.数据同步模块600，用于根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
156.本实施例通过合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接，根据各个待处理文件名自动化生成数据同步任务，实现了基于配置实时生成各个合作方系统在目标业务流程中的数据同步任务，不需要针对每个合作方系统新增接口和单独的批量同步任务，缩短了对接周期，降低了研发成本，减少了代码冗余。
157.参照图3，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存批量数据同步任务处理方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种批量数据同步任务处理方法。所述批量数据同步任务处理方法，包括：获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；获取与所述目标业务流程对应的数据同步请求；响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
158.本实施例通过合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接，根据各个待处理文件名自动化生成数据同步任务，实现了基于配置实时生成各个合作方系统在目标业务流程中的数据同步任务，不需要针对每个合作方系统新增接口和单独的批量同步任务，缩短了对接周期，降低了研发成本，减少了代码冗余。
159.本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种批量数据同步任务处理方法，包括步骤：获取与目标业务流程对应的任务生成请求，其中，所述任务生成请求携带有合作方接口配置表；将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接；根据所述合作方接口配置表，对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务，并将所述待添加数据同步任务添加到所述合作方数据同步任务表中；获取与所述目标业务流程对应的数据同步请求；响应所述数据同步请求，从所述合作方数据同步任务表中，抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务，作为目标数据同步任务；根据所述目标数据同步任务，对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。
160.上述执行的批量数据同步任务处理方法，通过合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接，根据各个待处理文件名自动化生成数据同步任务，
实现了基于配置实时生成各个合作方系统在目标业务流程中的数据同步任务，不需要针对每个合作方系统新增接口和单独的批量同步任务，缩短了对接周期，降低了研发成本，减少了代码冗余。
161.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
162.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
163.以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。