一种数据收集分发处理方法及其数据处理平台与流程

文档序号:32481244发布日期:2022-12-09 22:46阅读:来源:国知局

技术特征:
1.一种数据收集分发处理方法,其特征在于,包括如下步骤,步骤1:数据处理平台在自身数据库中定义与数据源系统交互的数据结构类型;步骤2:数据处理平台在自身数据库中定义与数据源系统交互的数据装载方式;步骤3:数据处理平台在自身数据库中定义与数据源系统交互的数据传输协议;步骤4:数据处理平台在自身数据库中定义与数据源系统对同一对象属性数据的属性翻译规则;步骤5:数据处理平台在自身数据库中定义与数据源系统之间的数据传递方式,并获取或接收数据源系统的数据;步骤6:数据处理平台根据与数据源系统之间的属性翻译规则和数据传输协议,对不同对象属性的数据进行匹配和组合,按数据处理平台的数据结构类型进行存储;步骤7:数据处理平台在自身数据库中定义与数据目标系统交互的数据结构类型;步骤8:数据处理平台在自身数据库中定义与数据目标系统交互的数据装载方式;步骤9:数据处理平台在自身数据库中定义与数据目标系统交互的数据传输协议;步骤10:数据处理平台在自身数据库中定义与数据目标系统对同一对象属性数据的属性翻译规则;步骤11:数据处理平台在自身数据库中定义与数据目标系统之间的数据传递方式,并根据与数据目标系统之间的属性翻译规则和数据传输协议,把数据拼接成数据目标系统可以识别的数据结构类型,调用数据目标系统的api接口,向数据目标系统推送数据;步骤12:数据处理平台在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志,并在出现错误信息时将含有错误信息的执行日志反馈给数据处理平台的管理人员。2.如权利要求1所述的数据收集分发处理方法,其特征在于:在所述步骤1和步骤7中,所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据结构类型为对象的属性结构。3.如权利要求2所述的数据收集分发处理方法,其特征在于:在所述步骤2和步骤8中,所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据装载方式包括json、xml。4.如权利要求3所述的数据收集分发处理方法,其特征在于:在所述步骤3和步骤9中,所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据传输协议包括http、webservice和中间表。5.如权利要求4所述的数据收集分发处理方法,其特征在于:在所述步骤5中,所述数据处理平台与所述数据源系统之间的数据传递方式包括被动接收式和主动读取式,其中,所述被动接收式为所述数据处理平台向所述数据源系统发布自身数据库的api接口,被动接收所述数据源系统推送的数据,所述主动读取式为所述数据处理平台配置调度任务,根据所述数据源系统提供的api接口定时获取所述数据源系统的数据。6.如权利要求5所述的数据收集分发处理方法,其特征在于:在所述步骤11中,所述数据处理平台与所述数据目标系统之间的数据传递方式为主动推送式,即所述数据处理平台配置调度任务,根据所述数据目标系统提供的api接口,定时调用所述数据目标系统的api接口向所述数据目标系统推送数据。7.如权利要求6所述的数据收集分发处理方法,其特征在于:在所述步骤5和所述步骤6
中,所述数据处理平台设有数据查阅接口、数据修改接口、数据获取或推送手动操作接口,其中,所述数据查阅接口用于查阅数据处理平台存储的数据,所述数据修改接口用于修改数据处理平台存储的数据,所述数据获取或推送手动操作接口用于手动操作数据获取和手动操作数据推送到数据目标系统中。8.如权利要求7所述的数据收集分发处理方法,其特征在于:在所述步骤12中,所述数据处理平台设有邮件提醒模块,在数据获取、接收、推送不成功时,根据所述数据处理平台内配置的邮箱列表,主动向交互目标发送邮件提醒。9.如权利要求8所述的数据收集分发处理方法,其特征在于:所述数据处理平台设有数据清理模块,根据所述数据处理平台内配置的数据清理条件,所述数据处理平台定期自动清理符合清理条件的数据。10.一种实现权利要求1-9任一项所述的数据收集分发处理方法的数据处理平台,其特征在于,包括:设置模块,用于在自身数据库中定义与数据源系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式;用于在自身数据库中定义与数据目标系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式;数据接收模块,用于接收数据源系统推送的数据;数据获取模块,用于根据所述数据源系统提供的api接口定时主动获取所述数据源系统的数据;数据推送模块,根据所述数据目标系统提供的api接口,定时调用所述数据目标系统的api接口向所述数据目标系统推送数据;邮件提醒模块,用于在数据获取、接收、推送不成功时,根据所述数据处理平台内配置的邮箱列表,主动向交互目标发送邮件提醒;数据处理和存储模块,用于根据与数据源系统之间的属性翻译规则和数据传输协议,对不同对象属性的数据进行匹配和组合,按数据处理平台的数据结构类型进行存储;用于根据与数据目标系统之间的属性翻译规则和数据传输协议,把数据拼接成数据目标系统可以识别的数据结构类型;用于提供数据查阅接口、数据修改接口、数据获取或推送手动操作接口;数据清理模块,用于根据所述数据处理平台内配置的数据清理条件,所述数据处理平台定期自动清理符合清理条件的数据;日志模块,用于在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志;用于将含有错误信息的执行日志反馈给数据处理平台的管理人员。

技术总结
本发明提供一种数据收集分发处理方法,包括:数据处理平台在自身数据库中定义与数据源系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式;获取或接收数据源系统的数据,按数据处理平台的数据结构类型进行存储;数据处理平台在自身数据库中定义与数据目标系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式;把数据拼接成数据目标系统可以识别的数据结构类型,向数据目标系统推送数据;数据处理平台写下数据获取、接收、转换、存储、推送的执行日志。本发明的有益效果为:能够实现数据的有序收集和快速准确分发。够实现数据的有序收集和快速准确分发。够实现数据的有序收集和快速准确分发。


技术研发人员:魏温远 张钧
受保护的技术使用者:深圳瑞泰信资讯有限公司
技术研发日:2022.09.21
技术公布日:2022/12/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1