一种关联数据的处理方法及装置与流程

本申请涉及数据库和数据处理，尤其涉及一种关联数据的处理方法及装置。

背景技术：

1、对海量数据计算处理时，经常会采用spark sql处理。例如，在处理销售领域的数据时，有些产品销售范围广、销售层级多。具体来说，有些产品的销售范围包括国内市场和海外市场，销售层级包括国家级、省市级、地区级、门店级。对于复杂的销售体系，各层级每日会产生大量的客户信息和产品交易信息，为全盘掌握销售情况和市场动态，采用大数据技术计算各渠道层级的货物采购、销售和库存情况，可提高日常运营效率，辅助决策。

2、由于业务数据库（也称为业务从表）每日都增加新数据，数据积累越来越多，当需要对关联关系的多个业务数据库的数据进行累计计算时，需要消耗系统的大量计算能力，甚至拉低整个平台的运算效率，使得前端数据处理出现功能无法使用的严重情况。为了避免平台崩溃只能缩小处理范围。例如，以日期为限定条件处理产品库存数据时，需要对产品的入库数据和出库数据进行关联，再按照每日所发生的业务量从开始日期到结束日期进行累计，获得指定时间段内的累计值。当所需要处理的时间跨度大、入库数据和出库数据关系复杂时，需要消耗大量的存储和计算资源。只能被迫缩小时间跨度，从而影响了处理效果，无法满足累计的需要。

3、另外，对于有多个海量数据表相互关联，并且，在时间上做大跨度累计处理时，需要考虑如何减少关联数据的数量、简化数据处理复杂度、采用快速计算方法来减少处理计算时间和增大处理的时间跨度，进而实现快速、大跨度累计。

技术实现思路

1、本申请提出一种关联数据的处理方法及装置，解决了有关联的多个业务数据库处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新，为海量数据的高效快捷处理及更新提供了解决办法，提高了关联海量数据的处理能力。

2、第一方面，本申请实施例提供一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，包括：

3、响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片，所述日期切片是包括开始日期、结束日期、日期切片厚度和累计字段的数据簇，其中，所述开始日期是至少1个业务数据库中任意1个变化量所对应的日期，所述日期切片厚度表示未发生变化的时长，直到所述结束日期；

4、生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段；所述累计字段用于表示所述关联属性从所述指定时间段起点至所述日期切片开始日期的变化量累计值。

5、在一些实施例中，生成所述累计字段，包括：根据某个日期切片的前一日期切片的关联属性的变化量累计值，与所述某个日期切片的开始日期到结束日期之间的关联属性的变化量之和，确定所述某个日期切片内关联属性的累计字段的值。

6、在一些实施例中，生成所述累计字段，包括：在所述日期切片的开始日期到结束日期范围内，根据所述关联关系的多个业务数据库中的关联属性的变化量，根据所述关联关系，合并计算关联数据集中的关联属性的累计字段的值。

7、第二方面，本申请实施例还提供了一种关联数据的处理装置，包括：包括业务数据输入模块、日期切片处理模块和关联数据集处理模块，

8、所述业务数据输入模块，用于输入业务数据库，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，还用于发起业务数据库关联请求；

9、所述日期切片处理模块，用于响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片，所述日期切片是包括开始日期、结束日期、日期切片厚度和累计字段的数据簇，其中，所述开始日期是至少1个业务数据库中任意1个变化量所对应的日期，所述日期切片厚度表示未发生变化的时长，直到所述结束日期；

10、所述关联数据集处理模块，用于生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段，所述累计字段用于表示所述关联属性从所述指定时间段起点至所述日期切片开始日期的变化量累计值。

11、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：解决了有关联关系的海量数据处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新，为海量数据的高效快捷处理及更新提供了解决办法，提高了有关联海量数据的处理能力。

技术特征：

1.一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量；其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，生成所述累计字段，包括：根据某个日期切片的前一日期切片的关联属性的变化量累计值，与所述某个日期切片的开始日期到结束日期之间的关联属性的变化量之和，确定所述某个日期切片内关联属性的累计字段的值。

3.根据权利要求1所述的方法，其特征在于，生成所述累计字段，包括：在所述日期切片的开始日期到结束日期范围内，根据所述关联关系的多个业务数据库中的关联属性的变化量，根据所述关联关系，合并计算关联数据集中的关联属性的累计字段的值。

4.根据权利要求1所述的方法，其特征在于，查询在所述指定时间段内发生在某个日期切片之前的累计字段，获得初始的变化量累计值和对应的日期值；以所述初始的变化量累计值和对应的日期为基础，累计计算至少1个业务数据库的中的变化量值，直到所述某个日期切片的开始日期，得到所述日期切片的累计字段的值。

5.根据权利要求1所述的方法，其特征在于，还包括以下步骤：

6.根据权利要求1所述的方法，其特征在于，在所述步骤之前，还包含以下步骤：

7.根据权利要求1~6任意一项所述的方法，其特征在于，还包含以下步骤：响应于输入日期，在所述关联数据集中，获取所述关联属性与所述输入日期对应的变化量累计值。

8.一种关联数据的处理装置，用于实现权利要求1~7任意一项所述方法，其特征在于，包括业务数据输入模块、日期切片处理模块和关联数据集处理模块，

9.一种关联数据的处理装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，用于实现权利要求1~7任意一项所述方法。

10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1~7任意一项所述的方法。

技术总结
本申请公开了一种关联数据的处理方法，用于业务数据库处理，所述业务数据库包含记载属性状态的时间值的序列及与每一个所述时间值相对应的变化量，包括：响应于业务数据库关联请求，在请求中指定时间段内，根据有关联关系的多个业务数据库中关联属性的变化时间来创建一个或多个日期切片；生成或更新关联数据集，按照所述日期切片的开始日期或结束日期从小到大顺序，基于至少1个业务数据库生成所述关联属性对应所述日期切片的累计字段。还公开了相应的处理装置。本申请解决了有关联关系的海量数据处理时大量消耗存储资源、处理时间长等问题，实现了多业务数据库之间海量数据的关联、处理及更新。

技术研发人员：解静雅,李勇,陈曦,王若凡
受保护的技术使用者：中国邮电器材集团有限公司
技术研发日：
技术公布日：2024/1/15