数据对接方法、装置、设备及存储介质与流程

文档序号:20839028发布日期:2020-05-22 17:15阅读:427来源:国知局
数据对接方法、装置、设备及存储介质与流程

本发明涉及大数据技术领域,尤其涉及数据对接方法、装置、设备及存储介质。



背景技术:

目前大数据理念在社会中被广泛的普及,数据积累及数据服务已经被应用到了各行各业。例如,在公司a的日常业务中,经常需要和公司b对接数据,所以公司a需要从公司b获取信息数据,然后将信息数据对接到公司b中。由此可见,如何对接数据是大数据服务很重要的一个项目。

但是,由于各个公司之间对接的数据或数据形式各不相同,对接数据需要接入的协议、系统都比较复杂,造成对接困难和对接效率较低的问题。



技术实现要素:

本发明的提供一种数据对接方法、装置、设备及存储介质,用于根据数据采集请求指令直接提取构建第一预置维度模型与第一预置维度细分模型的历史业务数据,或者将数据输入第二预置维度模型与第二预置维度细分模型中进行数据拆分与重组,得到新业务数据,并将历史业务数据或新业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

为本发明实施例的第一方面提供一种数据对接方法,包括:获取数据采集请求指令,所述数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的所述数据采集请求指令对应不同的所述目标业务的业务数据;基于所述数据采集请求指令判断所述目标业务的业务数据所属的数据类型,所述数据类型包括历史数据和新数据,所述历史数据为预置在数据库中的数据,所述新数据为预置在闪存空间中的数据;若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令提取所述历史业务数据,所述历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据;若所述目标业务的业务数据属于所述新数据,则根据所述新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取所述新业务数据;将所述新业务数据或所述历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

可选的,在本发明实施例第一方面的第一种实现方式中,所述若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令提取所述历史业务数据,所述历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据包括:若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型;从所述第一预置维度模型和所述第一预置维度细分模型中提取符合所述筛选条件的历史业务数据。

可选的,在本发明实施例第一方面的第二种实现方式中,所述若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型包括:若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令确定筛选条件;根据所述筛选条件在预置维度模型中确定第一预置维度模型;根据所述筛选条件与所述第一预置维度模型,在预置维度细分模型中确定第一预置维度细分模型。

可选的,在本发明实施例第一方面的第三种实现方式中,所述若所述目标业务的业务数据属于所述新数据,则根据所述新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取所述新业务数据包括:若所述目标业务的业务数据属于所述新数据,则根据所述筛选条件筛选新数据,得到新标准数据;计算所述新标准数据与多个预置维度模型的相似度,并根据所述相似度确定第二预置维度模型与第二预置维度细分模型;根据所述第二预置维度模型与所述第二预置维度细分模型将所述新标准数据进行重组,得到新业务数据并提取所述新业务数据。

可选的,在本发明实施例第一方面的第四种实现方式中,所述根据所述第二预置维度模型与所述第二预置维度细分模型将所述新标准数据进行重组,得到新业务数据并提取所述新业务数据包括:通过预置计算引擎处理所述新标准数据,得到新维度粒度数据与新维度细分粒度数据,所述新维度粒度数据和所述新维度细分粒度数据为所述新标准数据的细化数据;将所述新维度粒度数据与所述新维度细分粒度数据分别输入预置事实数据表的首列表与其他列表,得到新事实数据表;将所述新事实数据表映射到预置属性数据表中,得到新属性数据表;根据所述新属性数据表,提取新业务数据。

可选的,在本发明实施例第一方面的第五种实现方式中,在所述获取数据采集请求指令,所述数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的所述数据采集请求指令对应不同所述目标业务的业务数据之前,所述数据对接方法还包括:获取历史数据;根据所述历史数据建立多个预置维度模型与预置维度细分模型;判断建立所述预置维度模型和建立所述预置维度细分模型的历史数据是否有变更;若所述历史数据有变更,则根据变更后的历史数据调整所述预置维度模型与所述预置维度细分模型。

可选的,在本发明实施例第一方面的第六种实现方式中,在若所述目标业务的业务数据属于所述新数据,则根据所述新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取所述新业务数据之后,在将所述新业务数据或所述历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口之前,所述数据对接方法还包括:在预置页面写入url地址,得到预置url地址,且将url地址存储到数据库中,所述url地址为目标系统的地址。

本发明实施例的第二方面提供一种数据对接装置,包括:获取单元,用于获取数据采集请求指令,所述数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的所述数据采集请求指令对应不同的所述目标业务的业务数据;判断单元,用于基于所述数据采集请求指令判断所述目标业务的业务数据所属的数据类型,所述数据类型包括历史数据和新数据,所述历史数据为预置在数据库中的数据,所述新数据为预置在闪存空间中的数据;第一提取单元,若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令提取所述历史业务数据,所述历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据;第二提取单元,若所述目标业务的业务数据属于所述新数据,则用于根据所述新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取所述新业务数据;传输单元,用于将所述新业务数据或所述历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

可选的,在本发明实施例第二方面的第一种实现方式中,第一提取单元具体包括:确定模块,若所述目标业务的业务数据属于所述历史数据,则用于根据所述数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型;第一提取模块,用于从所述第一预置维度模型和所述第一预置维度细分模型中提取符合所述筛选条件的历史业务数据。

可选的,在本发明实施例第二方面的第二种实现方式中,确定模块具体用于:若所述目标业务的业务数据属于所述历史数据,则根据所述数据采集请求指令确定筛选条件;根据所述筛选条件在预置维度模型中确定第一预置维度模型;根据所述筛选条件与所述第一预置维度模型,在预置维度细分模型中确定第一预置维度细分模型。

可选的,在本发明实施例第二方面的第三种实现方式中,第二提取单元具体包括:筛选模块,若所述目标业务的业务数据属于所述新数据,则用于根据所述筛选条件筛选新数据,得到新标准数据;计算模块,用于计算所述新标准数据与多个预置维度模型的相似度,并根据所述相似度确定第二预置维度模型与第二预置维度细分模型;重组模块,用于根据所述第二预置维度模型与所述第二预置维度细分模型将所述新标准数据进行重组,得到新业务数据并提取所述新业务数据。

可选的,在本发明实施例第二方面的第四种实现方式中,重组模块具体用于:通过预置计算引擎处理所述新标准数据,得到新维度粒度数据与新维度细分粒度数据,所述新维度粒度数据和所述新维度细分粒度数据为所述新标准数据的细化数据;将所述新维度粒度数据与所述新维度细分粒度数据分别输入预置事实数据表的首列表与其他列表,得到新事实数据表;将所述新事实数据表映射到预置属性数据表中,得到新属性数据表;根据所述新属性数据表,提取新业务数据。

可选的,在本发明实施例第二方面的第五种实现方式中,数据对接装置还用于:获取历史数据;根据所述历史数据建立多个预置维度模型与预置维度细分模型;判断建立所述预置维度模型和建立所述预置维度细分模型的历史数据是否有变更;若所述历史数据有变更,则根据变更后的历史数据调整所述预置维度模型与所述预置维度细分模型。

可选的,在本发明实施例第二方面的第六种实现方式中,数据对接装置还用于:在预置页面写入url地址,得到预置url地址,且将url地址存储到数据库中,所述url地址为目标系统的地址。

本发明实施例的第三方面提供了一种数据对接设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施方式所述的数据对接方法。

本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。

从以上技术方案可以看出,本发明实施例具有以下优点:

本发明的提供一种数据对接方法、装置、设备及存储介质,获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据;基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据;若目标业务的业务数据属于历史数据,则根据数据采集请求指令提取历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据;若目标业务的业务数据属于新数据,则根据新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取新业务数据;将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。本发明实施例根据数据采集指令、预置维度模型与预置维度细分模型提取业务目标的业务数据,并将业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

附图说明

图1为本发明中数据对接方法的一个实施例示意图;

图2为本发明中数据对接方法的另一个实施例示意图;

图3为本发明中数据对接装置的一个实施例示意图;

图4为本发明中数据对接装置的另一个实施例示意图;

图5为本发明中数据对接设备的一个实施例示意图。

具体实施方式

本发明的提供一种数据对接方法,用于根据数据采集请求指令直接提取构建第一预置维度模型与第一预置维度细分模型的历史业务数据,或者将数据输入第二预置维度模型与第二预置维度细分模型中进行数据拆分与重组,得到新业务数据,并将历史业务数据或新业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1,本发明实施例中数据对接方法一个实施例包括:

101、获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据。

服务器获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据。

数据采集请求指令可以为各省市的各个机构发出的数据采集请求指令,各省市的各个机构需要采集的业务类型各不相同,服务器需要根据不同的数据采集请求指令将对应的业务数据发送至各省市的各个机构,即各个目标系统。

例如,深圳交通运输局发出采集车辆保险的数据采集请求指令,服务器则根据车辆保险的数据采集请求指令提取车辆保险的业务数据,并将车辆保险的业务数据发送至与深圳交通运输局对应的目标系统;如果深圳行业协会发出采集商业险的数据采集请求指令,服务器则根据商业险的数据请求指令提取商业保险的业务数据,并将商业保险的业务数据发送至与深圳行业协会对应的目标系统。

102、基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据。

服务器基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据。

由于目标业务的业务数据可以从历史数据中提取也可以从新数据中提取,因此服务器需要判断目标业务的业务数据的数据类型是历史数据还是新数据,目标业务的业务数据的数据类型不同代表服务器的提取方式不同。在本实施例中,历史数据为存储在数据库中的保单数据,新数据为新出的保单数据且存储在闪存空间中。

需要说明的是,历史数据与新数据的存储位置不同,历史数据存储在数据库中,新数据存储在闪存空间中,服务器根据历史数据与新数据的存储位置判断目标业务的业务数据的数据类型是历史数据还是属于新数据。当预置在闪存空间中的新数据被发送到目标系统一次之后,新数据的存储位置变为数据库,新数据此时成为历史数据。

103、若目标业务的业务数据属于历史数据,则根据数据采集请求指令提取历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据。

若目标业务的业务数据属于历史数据,服务器则根据数据采集请求指令提取历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据。

经过服务器判断目标业务的业务数据属于新数据还是属于历史数据,如果目标业务的业务数据属于历史数据,则说明服务器需要从历史数据中提取目标业务的业务数据,服务器根据数据采集请求指令提取相对应的历史数据作为历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型时需要的历史数据。

104、若目标业务的业务数据属于新数据,则根据新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取新业务数据。

若目标业务的业务数据属于新数据,服务器则根据新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取新业务数据。

经过服务器判断目标业务的业务数据属于新数据还是属于历史数据,如果目标业务的业务数据属于新数据,则说明服务器需要根据新数据提取新业务数据,由于新数据的数据形式或数据类型等不符合目标业务的业务数据的数据形式或数据类型,所以服务器需要将新数据输入至相匹配的第二预置维度模型与第二预置维度细分模型中,将新数据进行拆分与重组,得到新业务数据。

105、将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

服务器将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

每个目标系统都有独立的url地址,每个url地址有相对应的传输接口,服务器将提取到的新业务数据或历史业务数据上传至与url地址相匹配的传输接口,完成与目标系统的数据对接。

本发明实施例根据数据采集指令、预置维度模型与预置维度细分模型提取业务目标的业务数据,并将业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

请参阅图2,本发明实施例中数据对接方法另一个实施例包括:

201、获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据。

服务器获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据。

数据采集请求指令可以为各省市的各个机构发出的数据采集请求指令,各省市的各个机构需要采集的业务类型各不相同,服务器需要根据不同的数据采集请求指令将对应的业务数据发送至各省市的各个机构,即各目标系统。

例如,深圳交通运输局发出采集车辆保险的数据采集请求指令,服务器则根据车辆保险的数据采集请求指令提取车辆保险的业务数据,并将车辆保险的业务数据发送至与深圳交通运输局对应的目标系统;如果深圳行业协会发出采集商业险的数据采集请求指令,服务器则根据商业险的数据请求指令提取商业保险的业务数据,并将商业保险的业务数据发送至与深圳行业协会对应的目标系统。

202、基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据。

服务器基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据。

由于目标业务的业务数据可以从历史数据中提取也可以从新数据中提取,因此服务器需要判断目标业务的业务数据的数据类型是历史数据还是新数据,目标业务的业务数据的数据类型不同代表服务器的提取方式不同。在本实施例中,历史数据为存储在数据库中的保单数据,新数据为新出的保单数据且存储在闪存空间中。

需要说明的是,历史数据与新数据的存储位置不同,历史数据存储在数据库中,新数据存储在闪存空间中,服务器根据历史数据与新数据的存储位置判断目标业务的业务数据的数据类型是历史数据还是属于新数据。当预置在闪存空间中的新数据被发送到目标系统一次之后,新数据的存储位置变为数据库,新数据此时成为历史数据。

203、若目标业务的业务数据属于历史数据,则根据数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型。

若目标业务的业务数据属于历史数据,服务器则根据数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型。

经过服务器判断目标业务的业务数据属于新数据还是属于历史数据,如果目标业务的业务数据属于历史数据,则说明服务器需要从历史数据中提取目标业务的业务数据,服务器需要确定与数据采集请求指令相匹配的筛选条件、第一纬度模型与第一纬度细分模型。

例如数据采集请求指令为保险人为20岁以上的车辆保险的保单,服务器首先要确定20岁以上与车辆保险的筛选条件,根据这些筛选条件在多个预置纬度模型和预置纬度细分模型中选取第一预置纬度模型和第一预置纬度细分模型,为提取历史业务数据做准备。

具体的,若目标业务的业务数据属于历史数据,则服务器根据数据采集请求指令确定筛选条件;服务器根据筛选条件在预置维度模型中确定第一预置维度模型;服务器根据筛选条件与第一预置维度模型,在预置维度细分模型中确定第一预置维度细分模型。

为了便于理解,下面结合应用场景进行说明:

假设数据采集请求指令为保险人为20岁以上的车辆保险的保单,服务器根据这一数据采集请求指令确定筛选条件20岁以上和车辆保险,服务器根据20岁以上和车辆保险的筛选条件提取目标业务的业务数据。服务器根据车辆保险的筛选条件确定保险种类模型、保险人模型和车辆模型等第一预置维度模型。由于筛选条件为20岁以上,服务器则在与第一维度模型相对应的预置维度细分模型中确定20岁、21岁及22岁等第一预置维度细分模型。服务器最终通过这些第一预置维度模型与第一预置维度细分模型提取目标业务的业务数据。

204、从第一预置维度模型和第一预置维度细分模型中提取符合筛选条件的历史业务数据。

服务器根据数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型。

在服务器根据数据采集请求指令确定筛选条件、第一预置纬度模型与第一预置纬度细分模型之后,服务器直接抽取建立第一预置纬度模型与第一预置纬度细分模型的历史数据作为历史业务数据。

205、若目标业务的业务数据属于新数据,则根据筛选条件筛选新数据,得到新标准数据。

若目标业务的业务数据属于新数据,服务器则根据筛选条件筛选新数据,得到新标准数据。

经过服务器判断目标业务的业务数据属于新数据还是属于历史数据,如果目标业务的业务数据属于新数据,则说明服务器需要根据新数据提取新业务数据,服务器首先根据数据采集请求指令确定筛选条件,然后根据筛选条件筛选新数据,得到新标准数据。

例如,假设数据采集请求指令为保险人为20岁以上的车辆保险的保单,服务器根据20岁以上和车辆保险的筛选条件在多个新数据中进行筛选,得到20岁以上的车辆保险的保单的新标准数据。

206、计算新标准数据与多个预置维度模型的相似度,并根据相似度确定第二预置维度模型与第二预置维度细分模型。

服务器计算新标准数据与多个预置维度模型的相似度,并根据相似度确定第二预置维度模型与第二预置维度细分模型。

服务器首先根据预置向量模型获取新标准数据的向量与预置维度模型的向量,其次根据欧式距离公式和相似度公式计算新标准数据的向量与预置维度模型的向量之间的相似度,然后服务器搜寻相似度最大的预置维度模型,获取最大相似度预置维度模型,即第二预置维度模型,服务器根据与第二预置维度模型获取相对应的第二预置维度细分模型。最后服务器将新标准数据输入第二预置纬度模型与第二预置纬度细分模型进行数据重组,得到新业务数据并提取新业务数据。

欧式距离公式如下所示:

式中,dxy为匹配距离,xi为新标准数据的向量,yi为预置维度模型的向量。

相似度公式具体如下所示:

式中,sxy为新标准数据的向量与预置维度模型的向量之间的相似度,由公式可以看出,匹配距离越小,相似度越大,相似度越高说明新标准数据与预置维度模型越匹配。

为了便于理解,下面结合应用场景进行说明:

假设数据采集请求指令为保险人为20岁以上的车辆保险的保单,服务器根据20岁以上和车辆保险的筛选条件在多个新保单数据中进行筛选,得到20岁以上的车辆保险的保单的新标准保单数据,即新标准数据。服务器采用预置向量模型对新标准保单数据进行量化,得到新标准数据的向量,服务器采用预置向量模型对预置纬度模型进行量化,得到预置维度模型的向量。使用上述欧氏距离公式与相似度公式,计算得到新标准数据向量与预置维度模型向量的的相似度,例如,新标准数据向量与保险人模型、车辆信息模型、保险种类模型、保险人家属模型的相似度为(0.80.80.80.2),因此确定第二预置维度模型为保险人模型、车辆信息模型和保险种类模型,根据保险人模型、车辆信息模型和保险种类模型确定相对应的第二预置维度细分模型,第二预置维度细分模型可以为与保险人相对应的姓名、电话和地址等预置维度细分模型。

207、根据第二预置维度模型与第二预置维度细分模型将新标准数据进行重组,得到新业务数据并提取新业务数据。

服务器根据第二预置维度模型与第二预置维度细分模型将新标准数据进行重组,得到新业务数据并提取新业务数据。

具体的,服务器通过预置计算引擎处理新标准数据,得到新维度粒度数据与新维度细分粒度数据,新维度粒度数据和新维度细分粒度数据为新标准数据的细化数据;服务器将新维度粒度数据与新维度细分粒度数据分别输入预置事实数据表的首列表与其他列表,得到新事实数据表;服务器将新事实数据表映射到预置属性数据表中,得到新属性数据表;服务器根据新属性数据表,提取新业务数据。

需要说明的是,在本实施例中,预置计算引擎为spark计算引擎,spark计算引擎是专为大规模数据处理而设计的快速通用的计算引擎,通过spark计算引擎能够得到不同的维度粒度数据与维度细分粒度数据。预置事实数据表可以包含业务销售数据,如保险公司产生的数据,预置事实数据表通常包含大量的行。预置事实数据表的主要特点是包含数字数据即事实数据,并且这些数字信息可以汇总,以提供有关单位作为历史的数据,预置事实数据表不应该包含描述性的信息,也不应该包含除数字度量字段及使事实与预置属性数据表中对应项的相关索引字段之外的任何数据。预置属性数据表可以看作是用户来分析数据的窗口,预置属性数据表中包含预置事实数据表中事实数据记录的特性,有些特性提供描述性信息,有些特性指定如何汇总事实数据表的数据,以便为分析者提供有用的信息,预置属性数据表包含帮助汇总数据的特性的层次结构。

为了便于理解,下面结合具体场景进行说明:

服务器采用spark计算引擎将新的车辆保单数据进行拆分,得到保险人、保险种类和车辆信息等新维度粒度数据,服务器还能够得到与保险人新维度粒度数据相匹配的姓名、地址和电话等新维度细分粒度数据、与保险种类相匹配的保护时限和保单价格等新维度细分粒度数据以及与车辆信息相匹配的车辆品牌和车牌号码等新维度细分粒度数据,将这些新维度粒度数据与新维度细分粒度数据输入预置事实数据表。将保险人、保险种类和车辆信息等新维度粒度数据以事实数据(数字数据)的形式输入至预置事实数据表的首列表;将与保险人维度粒度信息相匹配的姓名、地址和电话等新维度细分粒度数据、与保险种类相匹配的保护时限和保单价格等新维度细分粒度数据以及与车辆信息相匹配的车辆品牌和车牌号码等新维度细分粒度数据以事实数据的形式输入到预置事实数据表的其他列表,从而得到新事实数据表。服务器将新事实数据表映射到预置属性数据表中,即将事实数据转换为具有描述性信息的数据(属性数据),得到新属性数据表,服务器提取与新维度粒度数据和新维度细分粒度数据相对应的属性数据,即新业务数据。

208、将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

服务器将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

每个目标系统都有独立的url地址,每个url地址有相对应的传输接口,服务器将提取到的新业务数据或历史业务数据上传至与url地址相匹配的传输接口,完成与目标系统的数据对接。

可选的,在201之前,数据对接方法还包括:服务器获取历史数据;服务器根据历史数据建立多个预置维度模型与预置维度细分模型;服务器判断建立预置维度模型和建立预置维度细分模型的历史数据是否有变更;服务器若历史数据有变更,则根据变更后的历史数据调整预置维度模型与预置维度细分模型。

服务器获取历史数据,采用spark计算引擎将历史数据进行拆分,得到不同的维度粒度数据与维度细分粒度数据。例如,将保单数据处理为新维度粒度数据,新维度粒度数据可以为投保人、车主与保险种类等数据,将保单数据拆分为新维度细分粒度数据,新维度细分粒度数据包括姓名、地址及电话等数据。将维度粒度数据设置在预置事实数据表的首列,将维度细分粒度数据设置在预置事实数据表的其他列,再将预置事实数据表映射为预置属性数据表。服务器根据预置属性数据表进行模型训练,得到预置维度模型与预置维度细分模型。当历史数据发生变更时,服务器将更新后的数据重新设置到预置事实数据表中,得到更新后的预置事实数据表,将更新后的预置事实数据表映射为更新后的预置属性数据表,服务器根据更新后的预置属性数据表调整预置维度模型与预置维度细分模型。

可选的,在207之后,208之前,数据对接方法还包括:服务器在预置页面写入url地址,得到预置url地址,且将url地址存储到数据库中,url地址为目标系统的地址。

例如,深圳交通运输局发起数据采集请求指令,服务器则获取该数据采集请求指令,并在页面写入深圳交通运输局的url地址,这样一来,将深圳交通运输局需要的目标业务的业务数据传输至该url地址相对应的传输接口即可。

本发明实施例根据数据采集指令、预置维度模型与预置维度细分模型提取业务目标的业务数据,并将业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

上面对本发明实施例中数据对接方法进行了描述,下面对本发明实施例中数据对接装置进行描述,请参阅图3,本发明实施例中数据对接置一个实施例包括:

获取单元301,用于获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据;

判断单元302,用于基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据;

第一提取单元303,若目标业务的业务数据属于历史数据,则根据数据采集请求指令提取历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据;

第二提取单元304,若目标业务的业务数据属于新数据,则用于根据新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取新业务数据;

传输单元305,用于将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

本发明实施例根据数据采集指令、预置维度模型与预置维度细分模型提取业务目标的业务数据,并将业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

请参阅图4,本发明实施例中数据对接装置另一个实施例包括:

获取单元301,用于获取数据采集请求指令,数据采集请求指令用于获取目标系统需要的目标业务的业务数据,不同的数据采集请求指令对应不同的目标业务的业务数据;

判断单元302,用于基于数据采集请求指令判断目标业务的业务数据所属的数据类型,数据类型包括历史数据和新数据,历史数据为预置在数据库中的数据,新数据为预置在闪存空间中的数据;

第一提取单元303,若目标业务的业务数据属于历史数据,则根据数据采集请求指令提取历史业务数据,历史业务数据为建立第一预置维度模型和建立第一预置维度细分模型所需要的历史数据;

第二提取单元304,若目标业务的业务数据属于新数据,则用于根据新数据、第二预置维度模型和第二预置维度细分模型,得到新业务数据并提取新业务数据;

传输单元305,用于将新业务数据或历史业务数据传输至与预置统一资源定位符url地址相匹配的传输接口。

可选的,第一提取单元303具体包括:

确定模块3031,若目标业务的业务数据属于历史数据,则用于根据数据采集请求指令确定筛选条件、第一预置维度模型与第一预置维度细分模型;

第一提取模块3032,用于从第一预置维度模型和第一预置维度细分模型中提取符合筛选条件的历史业务数据。

可选的,确定模块3031具体用于:

若目标业务的业务数据属于历史数据,则根据数据采集请求指令确定筛选条件;

根据筛选条件在预置维度模型中确定第一预置维度模型;

根据筛选条件与第一预置维度模型,在预置维度细分模型中确定第一预置维度细分模型。

可选的,第二提取单元304具体包括:

筛选模块3041,若目标业务的业务数据属于新数据,则用于根据筛选条件筛选新数据,得到新标准数据;

计算模块3042,用于计算新标准数据与多个预置维度模型的相似度,并根据相似度确定第二预置维度模型与第二预置维度细分模型;

重组模块3043,用于根据第二预置维度模型与第二预置维度细分模型将新标准数据进行重组,得到新业务数据并提取新业务数据。

可选的,重组模块3043具体用于:

通过预置计算引擎处理新标准数据,得到新维度粒度数据与新维度细分粒度数据,新维度粒度数据和新维度细分粒度数据为新标准数据的细化数据;

将新维度粒度数据与新维度细分粒度数据分别输入预置事实数据表的首列表与其他列表,得到新事实数据表;

将新事实数据表映射到预置属性数据表中,得到新属性数据表;

根据新属性数据表,提取新业务数据。

可选的,数据对接装置还用于:

获取历史数据;

根据历史数据建立多个预置维度模型与预置维度细分模型;

判断建立预置维度模型和建立预置维度细分模型的历史数据是否有变更;

若历史数据有变更,则根据变更后的历史数据调整预置维度模型与预置维度细分模型。

可选的,数据对接装置还用于:

在预置页面写入url地址,得到预置url地址,且将url地址存储到数据库中,url地址为目标系统的地址。

本发明实施例根据数据采集指令、预置维度模型与预置维度细分模型提取业务目标的业务数据,并将业务数据发送至目标系统,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。

上面图3至图4从模块化功能实体的角度对本发明实施例中的数据对接装置进行详细描述,下面从硬件处理的角度对本发明实施例中数据对接设备进行详细描述。

下面结合图5对数据对接设备的各个构成部件进行具体的介绍:

图5是本发明实施例提供的一种数据对接设备的结构示意图,该数据对接的设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)501(例如,一个或一个以上处理器)和存储器509,一个或一个以上存储应用程序507或数据506的存储介质508(例如一个或一个以上海量存储设备)。其中,存储器509和存储介质508可以是短暂存储或持久存储。存储在存储介质508的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对签到管理设备中的一系列指令操作。更进一步地,处理器501可以设置为与存储介质508通信,在数据对接设备500上执行存储介质508中的一系列指令操作。

数据对接设备500还可以包括一个或一个以上电源502,一个或一个以上有线或无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作系统505,例如windowsserve,macosx,unix,linux,freebsd等等。本领域技术人员可以理解,图5中示出的数据对接设备结构并不构成对数据对接设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图5对数据对接设备的各个构成部件进行具体的介绍:

处理器501是数据对接设备的控制中心,可以按照数据对接方法进行处理。处理器501利用各种接口和线路连接整个数据对接设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,利用预置维度模型与预置维度细分模型提取业务目标的业务数据,提高了对接目标业务的业务数据的效率且解决数据对接困难的问题。存储介质508和存储器509都是存储数据的载体,本发明实施例中,存储介质508可以是指储存容量较小,但速度快的内存储器,而存储器509可以是储存容量大,但储存速度慢的外存储器。

存储器509可用于存储软件程序以及模块,处理器501通过运行存储在存储器509的软件程序以及模块,从而执行数据对接设备500的各种功能应用以及数据处理。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据数据对接设备的使用所创建的数据等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在本发明实施例中提供的数据对接程序和接收到的数据流存储在存储器中,当需要使用时,处理器501从存储器509中调用。

在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、双绞线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,光盘)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1