业务数据的生成方法、装置、处理器及电子设备与流程

本技术涉及大数据领域，具体而言，涉及一种业务数据的生成方法、装置、处理器及电子设备。

背景技术：

1、目前，实时数据仓库技术可向用户提供实时数据采集、实时数据计算(加工)，实时数据分析服务。在实时数据计算环节，各源表通过drp(data replication数据复制技术)-kafka(最常见的消息队列产品)到贴源层进行存储，然后对实时数据湖或消息队列的数据进行实时计算和统计。相关技术中，在源表定下入湖模式之后，进入哪一层的贴源层(比如图1中的“5分钟实时计算”和“1分钟实时计算”“秒级实时计算”的各自对应层级的贴源层和消息队列)是固定下来，由业务人员根据需求设置源表所属的贴源层，但是实际应用中可能存在业务员对源表的贴源层设置错误的问题，导致关联计算需要跨层执行，从而导致关联计算需要额外的资源开销，在关联方更新频率和数量较大的情况下，这些开销会大到拖累整个实时计算的效率。

2、针对相关技术中实时数据计算效率较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种业务数据的生成方法、装置、处理器及电子设备，以解决相关技术中数据仓对数据计算效率较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种业务数据的生成方法。

3、该方法包括：

4、接收目标数据仓发送的目标请求，其中，所述目标请求为所述目标数据仓响应数据请求生成的，所述数据请求用于请求所述目标数据仓输出目标业务数据，所述目标请求用于请求获取n个维度的参考业务表，n个维度的所述参考业务表为存储了生成所述目标业务数据所需要的n个维度的数据信息的业务表；

5、根据所述参考业务表之间的数据关联关系对n个维度的所述参考业务表进行分类，得到m个业务表集合，其中，同一个所述业务表集合中的所述参考业务表之间的数据关联度大于或者等于目标关联度；

6、将每个所述业务表集合分配至所述目标数据仓中与当前所述业务表集合对应的目标数据处理层，其中，所述目标数据仓用于按照所述目标数据处理层对应的数据处理频率对分配至所述目标数据处理层的所述参考业务表进行数据处理，并对不同的数据处理层输出的处理后的数据进行关联计算，得到所述目标业务数据。

7、作为一种可选的实施例，所述根据所述参考业务表之间的数据关联关系对n个维度的所述参考业务表进行分类，得到m个业务表集合，包括：

8、根据每个所述参考业务表的参考更新次序构建n个所述参考业务表的数据生成链，其中，所述数据生成链中包括n个节点之间的指向关系，一个所述节点对应一个所述参考业务表，所述指向关系用于指示相邻两个节点对应的所述参考业务表在同一个业务进程中的数据更新顺序；

9、使用目标搜索算法从所述数据生成链中筛选出m个目标节点集合，其中，所述目标搜索算法用于搜索所述数据生成链中具有相同归属关系的多个节点；

10、将所述目标节点集合中节点对应的所述参考业务表构建为一个所述业务表集合。

11、作为一种可选的实施例，所述使用目标搜索算法从所述数据生成链中筛选出m个目标节点集合，包括：

12、在所述数据生成链中搜索每个节点的起始节点；

13、将所述数据生成链中具有相同的起始节点的节点构建为所述目标节点集合。

14、作为一种可选的实施例，所述在所述数据生成链中搜索每个节点的起始节点，包括：

15、在所述数据生成链中当前待执行搜索起始节点操作的初始节点的第一时间戳和第一追溯值不相等的情况下，从所述数据生成链中查找更新次序位于所述初始节点之前的参考节点，其中，所述第一时间戳用于指示所述初始节点对应所述参考业务表的更新时间，所述第一追溯值用于表征所述初始节点的起始节点对应的时间戳；

16、在所述参考节点的第二时间戳和第二追溯值相等的情况下，将所述参考节点确定为所述初始节点的起始节点。

17、作为一种可选的实施例，所述根据每个所述参考业务表的参考更新次序构建n个所述参考业务表的数据生成链，包括：

18、调用埋点程序采集业务进程中每个所述参考业务表进行数据更新时的第三时间戳；

19、按照所述第三时间戳的先后顺序构建所述数据生成链。

20、作为一种可选的实施例，所述将每个所述业务表集合分配至所述目标数据仓中与当前所述业务表集合对应的目标数据处理层，包括：

21、根据所述业务表集合中每个所述参考业务表的初始数据处理频率预测所述业务表集合的目标数据处理频率；

22、从所述目标数据仓部署的多个数据处理层中筛选出数据处理频率为所述目标数据处理频率的所述目标数据处理层。

23、作为一种可选的实施例，所述将每个所述业务表集合分配至所述目标数据仓中与当前所述业务表集合对应的目标数据处理层，包括：

24、确定每个所述初始数据处理频率对应的时效等级；

25、从所述业务表集合中筛选出时效等级大于或者等于目标等级的候选业务表；

26、将所述候选业务表对应的所述初始数据处理频率确定为所述目标数据处理频率。

27、为了实现上述目的，根据本技术的另一方面，提供了一种业务数据的生成装置。

28、该装置包括：

29、接收模块，用于接收目标数据仓发送的目标请求，其中，所述目标请求为所述目标数据仓响应数据请求生成的，所述数据请求用于请求所述目标数据仓输出目标业务数据，所述目标请求用于请求获取n个维度的参考业务表，n个维度的所述参考业务表为存储了生成所述目标业务数据所需要的n个维度的数据信息的业务表；

30、分类模块，用于根据所述参考业务表之间的数据关联关系对n个维度的所述参考业务表进行分类，得到m个业务表集合，其中，同一个所述业务表集合中的所述参考业务表之间的数据关联度大于或者等于目标关联度；

31、分配模块，用于将每个所述业务表集合分配至所述目标数据仓中与当前所述业务表集合对应的目标数据处理层，其中，所述目标数据仓用于按照所述目标数据处理层对应的数据处理频率对分配至所述目标数据处理层的所述参考业务表进行数据处理，并对不同的数据处理层输出的处理后的数据进行关联计算，得到所述目标业务数据。

32、根据本技术的实施例的又一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述业务数据的生成方法。

33、根据本技术的实施例的又一个方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的业务数据的生成方法。

34、通过本技术，采用以下步骤：接收目标数据仓发送的目标请求，其中，目标请求为目标数据仓响应数据请求生成的，数据请求用于请求目标数据仓输出目标业务数据，目标请求用于请求获取n个维度的参考业务表，n个维度的参考业务表为存储了生成目标业务数据所需要的n个维度的数据信息的业务表；根据参考业务表之间的数据关联关系对n个维度的参考业务表进行分类，得到m个业务表集合，其中，同一个业务表集合中的参考业务表之间的数据关联度大于或者等于目标关联度；将每个业务表集合分配至目标数据仓中与当前业务表集合对应的目标数据处理层，其中，目标数据仓用于按照目标数据处理层对应的数据处理频率对分配至目标数据处理层的参考业务表进行数据处理，并对不同的数据处理层输出的处理后的数据进行关联计算，得到目标业务数据。即通过使用业务表之间的数据关联关系对目标数据仓所需的n个维度的参考业务表进行分类，从而使得分类得到的m个业务表集合中每个业务表集合的参考业务表之间的数据关联度大于或者等于目标关联度，进而将属于同一个业务表集合的参考业务表分配到目标数据仓中同一个目标数据处理层，使得目标数据处理层使用相同的数据处理频率对同一个业务表集合中的参考业务表进行数据处理，从而尽可能的降低目标数据仓对n个参考业务表进行的关联计算是数据跨层调取计算的概率，降低数据计算对运行资源的开销，解决了相关技术中数据仓对数据计算效率较低的问题。进而达到了提高数据仓对数据计算效率的效果。