一种多系统数据交互方法、装置及系统与流程

文档序号:26406374发布日期:2021-08-24 16:20阅读:189来源:国知局
一种多系统数据交互方法、装置及系统与流程

本发明涉及数据交互技术领域,尤其涉及一种多系统数据交互方法、装置及系统。



背景技术:

数据中台是在政企数字化转型过程中,对各业务单元业务与数据的沉淀,构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系,实现数据赋能;其是新型信息化应用框架体系中的核心。

在实际应用中,工作人员需要利用数据中台与多个第三方数据平台进行数据交互。例如,在多个第三方数据平台中下载不同对象的行为数据,用于在数据中台进行不同对象的标签生成。但是由于数据中台和多个第三方数据平台的不兼容性,工作人员在利用数据中台获取数据时,只能通过数据中台当前时段与单一的第三方数据平台进行数据交互的形式,直到当前的第三方数据平台传输数据完毕后再切换到另一个第三方数据平台进行数据传输,导致工作人员在进行大数据开发时需要在数据中台和多个第三方数据平台中之间来回切换任务并重复地导入和导出数据才能进行数据处理,使得数据中台与第三方数据平台进行数据交互的传输效率低下,不适应现阶段大数据时段的发展需求。

因此,目前市面上亟需一种多系统数据交互策略,可以解决现阶段数据中台与多个第三方数据平台进行数据交互过程中由于不兼容性而出现阐述效率低下的缺陷问题。



技术实现要素:

本发明提供了一种多系统数据交互方法,能够提高数据中台与多个第三方数据平台之间的数据传输速率,以适应现阶段大数据时段的发展需求。

为了解决上述技术问题,本发明实施例提供了一种多系统数据交互方法,应用于数据中台,所述数据中台分别与云端服务器和多个第三方数据平台进行数据交互,所述多系统数据交互方法包括:

接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台;

根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台,以使所述第三方数据平台响应于所述数据获取指令,提取第一目标数据并发送至所述云端服务器;

接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

作为优选方案,所述接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据的步骤,包括:

接收由所述云端服务器响应于所述第一目标数据而生成的发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码;

如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;否则,接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据。

作为优选方案,所述接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据的步骤,包括:

如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器,以使云端服务器响应于所述数据下发指令,将所述第一目标数据发送至所述数据中台;

接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

相应地,本发明实施例还提供了一种多系统数据交互装置,应用于数据中台,所述数据中台分别与云端服务器和多个第三方数据平台进行通信连接,所述多系统数据交互装置包括:

触发指令模块,用于接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台;

获取指令模块,用于根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台,以使所述第三方数据平台响应于所述数据获取指令,提取第一目标数据并发送至所述云端服务器;

数据接收模块,用于接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

作为优选方案,所述数据接收模块具体用于:接收由所述云端服务器响应于所述第一目标数据而生成的发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码;如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;否则,接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据。

作为优选方案,所述数据接收模块用于接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据的步骤,包括:

如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器,以使云端服务器响应于所述数据下发指令,将所述第一目标数据发送至所述数据中台;

接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

本发明实施例还提供了一种多系统数据交互方法,应用于云端服务器,所述云端服务器分别与数据中台和多个第三方数据平台进行数据交互,所述多系统数据交互方法包括:

接收由多个第三方数据平台发送的第一目标数据,得到目标数据集;

建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联;

对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台。

作为优选方案,所述将所述目标数据集中的第一目标数据依次发送至所述数据中台的步骤中,包括:

根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码;

将所述第一目标数据所对应的唯一标识码发送至所述数据中台,以使所述数据中台响应于所述唯一识别码,在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据,如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令;

根据所述数据下发指令将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台。

作为优选方案,所述将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台的步骤,包括:

接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台,以使所述数据中台响应于所述第一目标数据,将所述第一目标数据作为所需数据并将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

相应地,本发明实施例还提供了一种多系统数据交互装置,应用于云端服务器,所述云端服务器分别与数据中台和多个第三方数据平台进行通信连接,所述多系统数据交互装置包括:

目标数据模块,用于接收由多个第三方数据平台发送的第一目标数据,得到目标数据集;

任务关联模块,用于建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联;

数据发送模块,用于对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台。

作为优选方案,所述数据发送模块用于将所述目标数据集中的第一目标数据依次发送至所述数据中台的步骤中,包括:

根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码;

将所述第一目标数据所对应的唯一标识码发送至所述数据中台,以使所述数据中台响应于所述唯一识别码,在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据,如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令;

根据所述数据下发指令将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台。

作为优选方案,所述数据发送模块用于将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台的步骤,包括:

接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台,以使所述数据中台响应于所述第一目标数据,将所述第一目标数据作为所需数据并将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

本发明实施例还提供了一种多系统数据交互系统,包括:数据中台、云端服务器和多个第三方数据平台;所述数据中台分别与云端服务器和多个第三方数据平台进行通信连接,所述云端服务器分别与多个第三方数据平台进行通信连接;

所述数据中台用于:接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台;

所述数据中台用于:根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台;

所述第三方数据平台用于:接收由数据中台发送的数据获取指令,并根据所述数据获取指令中的目标地址提取第一目标数据;以及,根据所述数据获取指令中的所述云端服务器的地址信息,将所述第一目标数据发送至所述云端服务器;

所述云端服务器用于:接收由多个第三方数据平台发送的第一目标数据,得到目标数据集;

所述云端服务器用于:建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联;

所述云端服务器用于:对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台;

所述数据中台用于:接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

作为优选方案,所述多系统数据交互系统还包括:

所述云端服务器还用于:根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码,并将所述第一目标数据所对应的唯一标识码发送至所述数据中台;

所述数据中台还用于:接收由所述云端服务器发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码;如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器;

所述云端服务器还用于:接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台;

所述数据中台还用于:接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

相比于现有技术,本发明实施例具有如下有益效果:

本发明技术方案通过对多个第三方数据平台提取的目标数据传输到云端服务器,利用数据传输流任务将来自不同第三方数据平台的目标数据进行整合成数据集后进行统一传输到数据中台,利用云端服务器与数据中台之间一对一的传输接口完成数据交互,解决了现阶段数据中台与多个第三方数据平台进行数据交互过程中由于不兼容性而出现阐述效率低下的缺陷问题,实现提高数据中台与多个第三方数据平台之间的数据传输速率,以适应现阶段大数据时段的发展需求。

本发明技术方案还可以通过在云端服务器中对目标数据生成唯一识别码,数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据,直接在数据储存库中调用该所需数据而无需重复下载,避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为,进一步提高数据中台与多个第三方数据平台之间的数据传输速率,从而提高本技术方案的实用性。

附图说明

图1:为本发明实施例一提供的一种多系统数据交互方法的步骤流程图;

图2:为本发明实施例二提供的一种多系统数据交互装置的结构示意图;

图3:为本发明实施例三提供的一种多系统数据交互方法的步骤流程图;

图4:为本发明实施例四提供的一种多系统数据交互装置的结构示意图;

图5:为本发明实施例五提供的一种多系统数据交互系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一

请参照图1,为本发明实施例提供的一种多系统数据交互方法的步骤流程图。本实施例的一种多系统数据交互方法应用于数据中台,所述数据中台分别与云端服务器和多个第三方数据平台进行数据交互,所述多系统数据交互方法包括步骤101至步骤103,各个步骤具体如下:

步骤101,接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台。

具体地,所述触发指令可以是工作人员在数据中台中操作点击的动作指令,也可以是在数据中台中新建的任务流。在本实施例一中,工作人员利用数据中台进行数据采集时,通过鼠标点击所需的目标数据,该目标数据所关联的目标地址被提取,通过对该目标地址的ip确认,可以确定其对应的第三方数据平台。

步骤102,根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台,以使所述第三方数据平台响应于所述数据获取指令,提取第一目标数据并发送至所述云端服务器。

具体地,为了使得第三方数据平台将目标数据转发至云端服务器,数据中台将目标地址和云端服务器的地址信息结合生成了数据获取指令,并发送至第三方数据平台。其中,可以根据指令表头、目标地址、云端服务器的地址信息和指令尾部,封装成数据获取指令。只要第三方数据平台识别到该数据获取指令,即可在该第三方数据平台中提取相应的目标数据并根据云端服务器的地址信息将该数据发送到云端服务器。

步骤103,接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

具体地,云端服务器在收到目标数据后,将多个第三方数据平台发送的目标数据集合为数据集,并通过建立数据传输流任务,将数据集中的目标数据传输到数据中台,实现了一对一的数据传输,避免了数据中台与不同的第三方数据平台之间的不兼容性问题。

本发明技术方案通过对多个第三方数据平台提取的目标数据传输到云端服务器,利用数据传输流任务将来自不同第三方数据平台的目标数据进行整合成数据集后进行统一传输到数据中台,利用云端服务器与数据中台之间一对一的传输接口完成数据交互,解决了现阶段数据中台与多个第三方数据平台进行数据交互过程中由于不兼容性而出现阐述效率低下的缺陷问题,实现提高数据中台与多个第三方数据平台之间的数据传输速率,以适应现阶段大数据时段的发展需求。

在本实施例的另一种改进方案中,所述步骤103包括步骤1031和步骤1032,具体如下:

步骤1031,接收由所述云端服务器响应于所述第一目标数据而生成的发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码。

具体地,为了进一步提高数据传输速率,本实施例云端服务器在接收到目标数据后,对该数据获取指令进行拆分,对指令中目标地址的数据进行提取,然后根据指令表头的类型对该提取数据进行唯一识别码转换,生成该提取数据所对应的唯一识别码。云端服务器将唯一标识码发给数据中台后,数据中台首先在其内部的数据储存库中搜索一下有没有该唯一识别码所对应的第二目标数据。

步骤1032,如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;否则,接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据。

在上述实施例的第一个方面中,所述步骤1032具体包括步骤10321和步骤10322,具体如下:步骤10321,如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器,以使云端服务器响应于所述数据下发指令,将所述第一目标数据发送至所述数据中台。步骤10322,接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

具体地,如果存在,则说明所需数据在之前就已经被下载过,为了提高数据传输速率,无需再次重新下载,白白占用宽带数据;只需要直接在数据储存库中提取相应的数据即可。如果在数据储存库中搜索不到该唯一识别码及其对应的目标数据,则证明本次所需数据在之前是没有被下载过的,需要在云端服务器中下载获取。此时,数据中台将再次向云端服务器发送指令,令云端服务器对该所需数据进行下载。数据中台在接收到由云端服务器发送的目标数据后,可以对该数据确定为所需数据进行使用,同时,为了提高下一次数据中台对该数据下载的需要,数据中台会将该所需数据及其对应的唯一识别码关联储存在数据储存库中,以便下次使用。

本发明技术方案还可以通过在云端服务器中对目标数据生成唯一识别码,数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据,直接在数据储存库中调用该所需数据而无需重复下载,避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为,进一步提高数据中台与多个第三方数据平台之间的数据传输速率,从而提高本技术方案的实用性。

实施例二

相应地,请参照图2,为本发明实施例提供的一种多系统数据交互装置的结构示意图。本实施例的一种多系统数据交互装置应用于数据中台,所述数据中台分别与云端服务器和多个第三方数据平台进行通信连接,所述多系统数据交互装置包括:触发指令模块、获取指令模块和数据接收模块;其中:

触发指令模块,用于接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台。

获取指令模块,用于根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台,以使所述第三方数据平台响应于所述数据获取指令,提取第一目标数据并发送至所述云端服务器。

数据接收模块,用于接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

在本实施例另一种改进方案中,所述数据接收模块具体用于:接收由所述云端服务器响应于所述第一目标数据而生成的发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码;如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;否则,接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据。

在上述实施例的第一方面中,所述数据接收模块用于接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据的步骤,包括:如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器,以使云端服务器响应于所述数据下发指令,将所述第一目标数据发送至所述数据中台;接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

实施例三

请参照图3,为本发明实施例提供的一种多系统数据交互方法的步骤流程图。本实施例的一种多系统数据交互方法应用于云端服务器,所述云端服务器分别与数据中台和多个第三方数据平台进行数据交互,所述多系统数据交互方法包括步骤201至步骤203,各个步骤具体如下:

步骤201,接收由多个第三方数据平台发送的第一目标数据,得到目标数据集。

具体地,工作人员利用数据中台进行数据采集,通过鼠标点击所需的目标数据,该目标数据所关联的地址信息被提取,并根据指令表头、目标地址、云端服务器的地址信息和指令尾部,封装成数据获取指令。数据中台将生成的数据获取指令发送至第三方数据平台后,第三方数据平台对该数据获取指令进行拆分,对指令中目标地址的数据进行提取,得到了第一目标数据。只要第三方数据平台识别到该数据获取指令,即可在该第三方数据平台中提取相应的目标数据并根据云端服务器的地址信息将该数据发送到云端服务器。云端服务器在收到目标数据后,将多个第三方数据平台发送的目标数据集合为数据集,以便于后续统一发送任务。

步骤202,建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联。

具体地,为了将多个第三方数据平台统一发送至数据中台,避免不兼容性问题,云端服务器通过建立数据传输流任务,将数据集中的目标数据传输到数据中台。

步骤203,对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台。

具体地,根据之前获取的数据中台地址,对建立的数据传输流任务进行启动,并将统一集合到数据集中的目标数据进行依次传输至数据中台,实现了一对一的数据传输,避免了数据中台与不同的第三方数据平台之间的不兼容性问题。

本发明技术方案通过对多个第三方数据平台提取的目标数据传输到云端服务器,利用数据传输流任务将来自不同第三方数据平台的目标数据进行整合成数据集后进行统一传输到数据中台,利用云端服务器与数据中台之间一对一的传输接口完成数据交互,解决了现阶段数据中台与多个第三方数据平台进行数据交互过程中由于不兼容性而出现阐述效率低下的缺陷问题,实现提高数据中台与多个第三方数据平台之间的数据传输速率,以适应现阶段大数据时段的发展需求。

在本实施例的另一种改进方案中,所述步骤203包括步骤2031至步骤2033,各步骤具体如下:

步骤2031,根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码。

具体地,为了进一步提高数据传输速率,本实施例云端服务器在接收到目标数据后,根据指令表头的类型对该提取数据进行唯一识别码转换,生成该提取数据所对应的唯一识别码,该唯一识别码的生成过程可以由第一目标数据的地址信息、数据属性和数据内容为基础数据,通过编码转换算法换算成唯一识别码。该转换的过程可以参照本领域相关算法转换策略,具体的转换过程属于本领域惯用手段,在本方案中不过多赘述。云端服务器将唯一标识码发给数据中台后,数据中台首先在其内部的数据储存库中搜索一下有没有该唯一识别码所对应的第二目标数据。

步骤2032,将所述第一目标数据所对应的唯一标识码发送至所述数据中台,以使所述数据中台响应于所述唯一识别码,在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据,如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令。

具体地,云端服务器将唯一标识码发给数据中台后,数据中台首先在其内部的数据储存库中搜索一下有没有该唯一识别码所对应的第二目标数据。如果存在,则说明所需数据在之前就已经被下载过,为了提高数据传输速率,无需再次重新下载,白白占用宽带数据;只需要直接在数据储存库中提取相应的数据即可。如果在数据储存库中搜索不到该唯一识别码及其对应的目标数据,则证明本次所需数据在之前是没有被下载过的,需要在云端服务器中下载获取。此时,数据中台将再次向云端服务器发送指令,令云端服务器对该所需数据进行下载。

步骤2033,根据所述数据下发指令将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台。

在上述实施例的第一方面中,所述步骤2033包括:接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台,以使所述数据中台响应于所述第一目标数据,将所述第一目标数据作为所需数据并将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

具体地,数据中台在接收到由云端服务器发送的目标数据后,可以对该数据确定为所需数据进行使用,同时,为了提高下一次数据中台对该数据下载的需要,数据中台会将该所需数据及其对应的唯一识别码关联储存在数据储存库中,以便下次使用。

本发明技术方案还可以通过在云端服务器中对目标数据生成唯一识别码,数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据,直接在数据储存库中调用该所需数据而无需重复下载,避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为,进一步提高数据中台与多个第三方数据平台之间的数据传输速率,从而提高本技术方案的实用性。

实施例四

相应地,请参照图4,为本发明实施例提供的一种多系统数据交互装置的结构示意图,本实施例的一种多系统数据交互装置应用于云端服务器,所述云端服务器分别与数据中台和多个第三方数据平台进行通信连接,所述多系统数据交互装置包括:目标数据模块、任务关联模块和数据发送模块;其中:

目标数据模块,用于接收由多个第三方数据平台发送的第一目标数据,得到目标数据集。

任务关联模块,用于建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联。

数据发送模块,用于对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台。

在本实施例的另一种改进方案中,所述数据发送模块用于将所述目标数据集中的第一目标数据依次发送至所述数据中台的步骤中,包括:根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码;将所述第一目标数据所对应的唯一标识码发送至所述数据中台,以使所述数据中台响应于所述唯一识别码,在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据,如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令;根据所述数据下发指令将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台。

在上述实施例的第一方面中,所述数据发送模块用于将所述目标数据集中没有储存在所述数据储存库中的第一目标数据发送至数据中台的步骤,包括:接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台,以使所述数据中台响应于所述第一目标数据,将所述第一目标数据作为所需数据并将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

实施例五

请参照图5,为本发明实施例提供的一种多系统数据交互系统的结构示意图,包括:数据中台、云端服务器和多个第三方数据平台;所述数据中台分别与云端服务器和多个第三方数据平台进行通信连接,所述云端服务器分别与多个第三方数据平台进行通信连接。

所述数据中台用于:接收触发指令,根据所述触发指令确定目标地址并确定所述目标地址所对应的第三方数据平台。

所述数据中台用于:根据所述目标地址和所述云端服务器的地址信息生成数据获取指令,并将所述数据获取指令发送至所述第三方数据平台。

所述第三方数据平台用于:接收由数据中台发送的数据获取指令,并根据所述数据获取指令中的目标地址提取第一目标数据;以及,根据所述数据获取指令中的所述云端服务器的地址信息,将所述第一目标数据发送至所述云端服务器。

所述云端服务器用于:接收由多个第三方数据平台发送的第一目标数据,得到目标数据集。

所述云端服务器用于:建立数据传输流任务,将所述目标数据集与所述数据传输流任务进行关联。

所述云端服务器用于:对所述数据中台为传输地址,启动所述数据传输流任务,将所述目标数据集中的第一目标数据依次发送至所述数据中台。

所述数据中台用于:接收由所述云端服务器响应于所述第一目标数据而生成的数据传输流任务,获取所述第一目标数据作为所需数据。

本发明技术方案通过对多个第三方数据平台提取的目标数据传输到云端服务器,利用数据传输流任务将来自不同第三方数据平台的目标数据进行整合成数据集后进行统一传输到数据中台,利用云端服务器与数据中台之间一对一的传输接口完成数据交互,解决了现阶段数据中台与多个第三方数据平台进行数据交互过程中由于不兼容性而出现阐述效率低下的缺陷问题,实现提高数据中台与多个第三方数据平台之间的数据传输速率,以适应现阶段大数据时段的发展需求。

在本实施例的另一种改进方案中,所述多系统数据交互系统还包括:

所述云端服务器还用于:根据所述第一目标数据的地址信息、数据属性和数据内容生成所对应的唯一标识码,并将所述第一目标数据所对应的唯一标识码发送至所述数据中台。

所述数据中台还用于:接收由所述云端服务器发送的唯一标识码,并在数据储存库中查找是否存在所述唯一标识码所对应的第二目标数据;其中,所述数据储存库储存有历史的所需数据及其对应的唯一标识码;如果确定在数据储存库中存在所述唯一标识码所对应的第二目标数据,则提取所述第二目标数据作为所需数据;如果确定在数据储存库中不存在所述唯一标识码所对应的第二目标数据,则生成数据下发指令,并将所述数据下发指令发送至所述云端服务器。

所述云端服务器还用于:接收由所述数据中台发送的数据下发指令,并根据所述数据下发指令将所述第一目标数据发送至所述数据中台。

所述数据中台还用于:接收由所述云端服务器发送的第一目标数据并将所述第一目标数据作为所需数据;同时,将所述第一目标数据及其对应的唯一标识码储存到所述数据储存库中。

本发明技术方案还可以通过在云端服务器中对目标数据生成唯一识别码,数据中台可以根据历史储存的所需数据所对应的唯一识别码在数据储存库中查找出曾经下载的历史数据,直接在数据储存库中调用该所需数据而无需重复下载,避免了数据中台与第三方数据平台进行数据传输过程中重复下载相同数据的无用功行为,进一步提高数据中台与多个第三方数据平台之间的数据传输速率,从而提高本技术方案的实用性。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1