数据同步系统的制作方法

文档序号:31214751发布日期:2022-08-20 04:15阅读:来源:国知局

技术特征:
1.一种数据同步系统,其特征在于,包括:顺次连接的外部接口、获取模块以及数据同步模块;其中,所述外部接口用于接收目标用户选择的需求数据源以及输入的目标地址;所述获取模块用于获取所述需求数据源的需求源数据,并确定所述目标地址对应的目标数据格式;所述数据同步模块用于基于所述目标数据格式,确定所述需求源数据对应的待同步数据,并将所述待同步数据同步至所述目标地址。2.根据权利要求1所述的数据同步系统,其特征在于,所述需求数据源为所述目标用户具有访问权限的指定数据源;所述数据同步系统还包括:配置模块;所述配置模块用于获取所述指定数据源的数据信息,并基于所述数据信息,配置所述指定数据源中指定源数据的获取方式;所述数据信息包括所述指定数据源的数据体量信息和/或数据增量信息;所述获取模块具体用于基于所述获取方式,获取所述需求源数据。3.根据权利要求2所述的数据同步系统,其特征在于,所述配置模块具体用于:若所述数据体量信息大于第一阈值,和/或,所述数据增量信息大于第二阈值,则确定所述获取方式包括从大数据平台获取所述指定源数据,所述大数据平台与所述指定数据源数据同步。4.根据权利要求3所述的数据同步系统,其特征在于,所述配置模块还用于:若所述数据体量信息不大于所述第一阈值,和/或,所述数据增量信息不大于所述第二阈值,则确定所述获取方式包括从所述指定数据源处获取所述指定源数据。5.根据权利要求1所述的数据同步系统,其特征在于,所述外部接口还用于接收所述目标用户的定时调度设置请求;所述获取模块还用于基于所述定时调度设置请求,向所述目标用户展示定时调度设置项;所述外部接口还用于接收所述目标用户基于所述定时调度设置项反馈的定时调度信息;所述数据同步模块具体用于基于所述定时调度信息,将所述待同步数据同步至所述目标地址。6.根据权利要求1所述的数据同步系统,其特征在于,所述需求数据源包括多个;所述数据同步模块具体用于:若多个所述需求数据源的需求源数据的数据格式不同,则对各需求源数据进行格式统一,并将格式统一后的各需求源数据进行合并,得到第一结果;若所述第一结果的数据格式为所述目标数据格式,则将所述第一结果作为所述待同步数据;否则,将所述第一结果的数据格式转换为所述目标数据格式,得到第二结果,并将所述第二结果作为所述待同步数据。7.根据权利要求1所述的数据同步系统,其特征在于,所述外部接口还用于接收所述目标用户选择的需求数据类型信息;所述获取模块还用于基于所述需求数据类型信息,获取所述需求数据类型信息对应的
目标源数据;所述目标源数据包括离线源数据和实时源数据;所述数据同步模块具体用于:基于所述目标数据格式,确定所述离线源数据对应的离线待同步数据,并将所述离线待同步数据以增量同步方式或全量同步方式同步至所述目标地址;所述数据同步模块还具体用于:基于所述目标数据格式,确定所述实时源数据对应的实时待同步数据,并将所述实时待同步数据以流计算方式同步至所述目标地址。8.根据权利要求7所述的数据同步系统,其特征在于,所述数据同步模块具体用于:检测所述实时待同步数据的同步状态;若所述同步状态为出现异常,则自动进行故障恢复,重新将所述实时待同步数据以流计算方式同步至所述目标地址。9.根据权利要求1-8中任一项所述的数据同步系统,其特征在于,所述数据同步模块具体用于:将所述待同步数据写入临时文件;若写入过程中出现异常,则删除所述临时文件,重新将所述待同步数据写入新的临时文件;若写入过程未出现异常,则将所述临时文件作为正式文件同步至所述目标地址。10.根据权利要求1-8中任一项所述的数据同步系统,其特征在于,所述目标地址包括目标数据源地址、邮件地址以及目标客户端地址中的至少一项,所述目标数据格式包括所述目标数据源地址对应的字段格式和数据格式、所述邮件地址对应的文件格式以及所述目标客户端地址对应的文件格式中的至少一项。

技术总结
本发明涉及计算机技术领域,提供一种数据同步系统,包括:顺次连接的外部接口、获取模块以及数据同步模块,外部接口用于接收目标用户选择的需求数据源以及输入的目标地址;获取模块用于获取需求数据源的需求源数据,确定目标地址对应的目标数据格式;数据同步模块用于基于目标数据格式,确定需求源数据对应的待同步数据,并将待同步数据同步至目标地址。通过数据同步模块,确定具有目标数据格式的待同步数据,适用于各种不同于目标数据格式的需求源数据的数据同步,通用性强,进而降低数据同步系统的开发及维护成本。该数据同步系统并不局限于某一种固定的数据源或数据格式,可以满足用户个性化的数据同步需求,提高应用范围以及用户体验感。户体验感。户体验感。


技术研发人员:张颖 狄玉坤
受保护的技术使用者:中化现代农业有限公司
技术研发日:2022.07.21
技术公布日:2022/8/19
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1