技术特征：
1.一种大批量文件的同步传输方法，其特征在于，包括下述步骤：数据提供方根据数据接收方传输需求，按周期生成文件列表清单，存储于关系数据库中；根据文件列表清单，数据提供方循环的在数据接收方的ftp/sftp目录下生成同步文件，同步文件生成成功则更新文件列表清单状态为生成文件成功并按命名规则命名；同步文件生成失败则更新文件列表清单状态为生成文件失败并重新生成同步文件；数据接收方根据文件列表清单，循环的到对应的ftp/sftp目录下以并发方式下载同步文件到本地，下载成功则更新文件列表清单状态为下载成功；下载失败则更新文件列表清单状态为下载失败并生成回执文件；数据提供方回执文件重新生成新的文件列表清单；数据接收方下载同步文件后，对下载的同步文件进行稽核，稽核成功则更新文件列表清单状态为稽核成功；稽核失败则更新文件列表清单状态为稽核失败并生成回执文件；数据提供方按照回执文件进行相应处理；稽核完成后，将生成的回执文件放到指定的回执目录中，描述每个同步文件的传输完成情况；数据接收方将稽核完成后的同步文件入库至数据仓库工具或文件系统中。2.根据权利要求1所述的一种大批量文件的同步传输方法，其特征在于，所述按周期生成文件列表清单分为定期生成文件列表清单和准实时生成文件列表清单；所述定期生成文件列表清单是指按照日周期或月周期抽取数据生成文件列表清单，抽取方式分为增量或全量抽取；所述准实时生成文件列表清单是指按小时或分钟生成文件列表清单；所述文件列表清单的内容包括时间、数据名称、需要传输的同步文件、状态及接口文件状态；所述文件列表清单按照：数据应用类型_周期_生成时间.list的方式进行命名；所述数据应用类型根据数据应用类型进行命名；所述周期包括日周期d和月周期m；所述生成时间是指文件列表清单的生成时间表示为yyyymmdd。3.根据权利要求2所述的一种大批量文件的同步传输方法，其特征在于，所述同步文件包括数据文件、md5校验文件和chk校验文件；所述数据文件根据数据量，按设定数据记录数进行拆分后，分包并进行压缩；所述md5校验文件是数据文件的md5校验码；每一数据文件对应一md5校验文件；所述chk校验文件的内容中包括数据文件名、数据文件记录数及数据文件大小；所述数据文件大小为压缩前数据文件的大小，单位为byte。4.根据权利要求3所述的一种大批量文件的同步传输方法，其特征在于，所述命名规则为：数据应用类型_接口序号_周期_文件时间标志_分包编号.文件扩展名；所述数据应用类型根据数据应用类型进行命名；所述接口序号表示接口在主题域中的序号；所述周期包括日周期d和月周期m；所述文件时间标志根据周期进行确定，若为日周期则文件时间标志表示为yyyymmdd；若为月周期则文件时间标志表示为yyyymm；
所述分包编号指分包后的文件编号；所述文件扩展名包括数据文件avl，md5校验文件md5、chk校验文件chk、正常回执文件rr及问题回执文件re。5.根据权利要求4所述的一种大批量文件的同步传输方法，其特征在于，所述回执文件中的内容包括文件号、错误代码、文件名及详细错误信息；所述错误代码包括101、102、103、104、105、106和107；当错误代码为101时，表示同步文件未在规定时间内上传；当错误代码为102时，表示数据文件数与规定的不匹配；当错误代码为103时，表示chk校验文件与规定的不匹配；当错误代码为104时，表示数据文件记录数与chk校验文件中数据文件记录数不一致；当错误代码为105时，表示数据文件为空文件；当错误代码为106时，表示chk校验文件未空文件；当错误代码为107时，表示接口文件波动超过阈值。6.根据权利要求5所述的一种大批量文件的同步传输方法，其特征在于，所述对下载的同步文件进行稽核，包括对数据完整性、一致性及准确性进行稽核，具体为：通过下载同步文件中md5校验文件，校验同步文件下载过程中数据完整性；若数据文件不满足完整性则在相应目录下写回执文件，并更新文件列表清单的接口文件状态为完整性稽核失败；若数据文件满足完整性，则通过下载同步文件中chk校验文件，检查数据文件的一致性；若数据文件不满足一致性则在相应目录下写回执文件，并更新文件列表清单的接口文件状态为一致性稽核失败；若数据文件满足一致性，则通过下载同步文件中chk校验文件，检查数据文件的准确性；若数据文件不满则准确性则在相应目录下写回执文件，并更新文件列表清单的接口文件状态为准确性稽核失败；若数据文件满足准确性则稽核成功。7.一种大批量文件的同步传输系统，其特征在于，应用于权利要求1-6中任一项所述的一种大批量文件的同步传输方法，包括清单生成模块、文件生成模块、文件下载模块、文件稽核模块、回执存放模块及文件入库模块；所述清单生成模块用于数据提供方根据数据接收方传输需求，按周期生成文件列表清单，存储于关系数据库中；所述文件生成模块用于根据文件列表清单，数据提供方循环的在数据接收方的ftp/sftp目录下生成同步文件，同步文件生成成功则更新文件列表清单状态为生成文件成功并按命名规则命名；同步文件生成失败则更新文件列表清单状态为生成文件失败并重新生成同步文件；所述文件下载模块用于数据接收方根据文件列表清单，循环的到对应的ftp/sftp目录下以并发方式下载同步文件到本地，下载成功则更新文件列表清单状态为下载成功；下载失败则更新文件列表清单状态为下载失败并生成回执文件；数据提供方回执文件重新生成新的文件列表清单；所述文件稽核模块用于数据接收方下载同步文件后，对下载的同步文件进行稽核，稽核成功则更新文件列表清单状态为稽核成功；稽核失败则更新文件列表清单状态为稽核失
败并生成回执文件；数据提供方按照回执文件进行相应处理；所述回执存放模块用于稽核完成后，将生成的回执文件放到指定的回执目录中，描述每个同步文件的传输完成情况；所述文件入库模块用于数据接收方将稽核完成后的同步文件入库至数据仓库工具或文件系统中。8.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任意一项所述的一种大批量文件的同步传输方法。9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的一种大批量文件的同步传输方法。
技术总结
本发明公开了一种大批量文件的同步传输方法、系统、设备及介质，方法为：数据提供方生成文件列表清单；根据文件列表清单，在数据接收方的FTP/SFTP目录下生成同步文件；数据接收方到对应的FTP/SFTP目录并发下载同步文件到本地，下载成功则更新文件列表清单状态为下载成功；下载失败则更新文件列表清单状态为下载失败并生成回执文件；数据提供方按回执文件重新生成新的文件列表清单；数据接收方对下载的同步文件进行稽核，稽核成功则更新文件列表清单状态为稽核成功；稽核失败则更新文件列表清单状态为稽核失败并生成回执文件；将生成的回执文件放到指定的回执目录中；同步文件入库至数据仓库工具或文件系统中；实现了大批量文件的同步可靠传输。的同步可靠传输。的同步可靠传输。
技术研发人员：王毅
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2022.08.30
技术公布日：2022/12/5