指标库构建方法及装置、大数据应用系统与流程

本申请涉及数据库，具体涉及一种指标库构建方法及装置、大数据应用系统。

背景技术：

1、目前，大数据领域尚未有统一指标库的解决方法，无法实现产研一体的指标定义。虽然，基于数据仓库理论，已实现标准的数据模型建设，但对于数据应用层如何满足不同业务的指标需求，同时保证指标的唯一性和准确性，避免重复定义与滥用一直是待解决的问题。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请实施例提供了一种指标库构建方法及装置、大数据应用系统。

2、第一方面，本申请一实施例提供了一种指标库构建方法，包括：基于指标定义规则，在预设库中构建指标定义，预设库中包括多个指标，指标定义中包含多个指标各自的属性信息；基于指标定义，确定多个指标各自对应的目标数据的聚合结果，从而得到指标库，指标库用于响应于指标查询请求，向指标查询请求的发起方发送指标查询请求对应的指标的聚合结果。

3、结合第一方面，在第一方面的某些实现方式中，指标定义中包含指标配置表和表结构配置表。基于指标定义规则，在预设库中构建指标定义，包括：基于指标定义规则，在预设库中构建指标配置表，指标配置表中包含多个指标各自对应的字段的属性信息；在预设库中构建表结构配置表，表结构配置表中包含表结构配置表的属性信息；其中，指标配置表通过多个指标中的至少一个指标对应的字段与表结构配置表关联。

4、结合第一方面，在第一方面的某些实现方式中，指标定义中包含指标计算逻辑。基于指标定义，确定多个指标各自对应的目标数据的聚合结果，包括：获取数据集市指标表和联机分析处理明细表，数据集市指标表中包含聚合类型的指标信息，联机处理明细表中包含自定义的指标信息；基于指标计算逻辑，构建基于数据集市指标表的计算流程；基于指标计算逻辑，构建基于联机处理明细表的计算方式；基于计算流程和计算方式，确定多个指标各自对应的目标数据的聚合结果。

5、结合第一方面，在第一方面的某些实现方式中，在基于指标定义，确定多个指标各自对应的目标数据的聚合结果，从而得到指标库之后，该方法还包括：响应于业务变更请求，确定多个指标中已过时的指标；关闭已过时的指标的使用权限。

6、第二方面，本申请一实施例提供了一种大数据应用系统，包括：指标库、以及分别与指标库通信连接的数据层、服务层和应用层，指标库是利用第一方面所述的方法构建的；其中，指标库用于响应于服务层发送的指标查询请求，从数据层获取与指标查询请求对应的与目标指标关联的数据，确定与目标指标关联的数据的聚合结果，并将聚合结果发送至应用层。

7、结合第二方面，在第二方面的某些实现方式中，数据层中包括hive模型表和clickhouse表，并且，hive模型表的表结构和clickhouse表的表结构相同，以便指标库基于指标对应的字段，追溯hive模型表和clickhouse表中的字段关联关系。

8、结合第二方面，在第二方面的某些实现方式中，clickhouse表为分区表，clickhouse表保留至少两份分区数据，以便满足指标库查询容错。

9、第三方面，本申请一实施例提供了一种指标库构建装置，包括：构建模块，用于基于指标定义规则，在预设库中构建指标定义，预设库中包括多个指标，指标定义中包含多个指标各自的属性信息；确定模块，用于基于指标定义，确定多个指标各自对应的目标数据的聚合结果，从而得到指标库，指标库用于响应于指标查询请求，向指标查询请求的发起方发送指标查询请求对应的指标的聚合结果。

10、第四方面，本申请一实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面所述的指标库构建方法。

11、第五方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面所述的指标库构建方法。

12、本申请实施例提供的指标库构建方法具有以下有益效果：

13、第一，本申请基于固定的指标定义规则，在预设库中构建指标定义，保证了指标的一致性和准确性，满足了不同业务的指标需求，避免了重复的指标定义与滥用。并且，按照固定的指标定义规则构建的指标库易于管理和维护。第二，在本申请构建的指标库中，通过指标定义，确定多个指标各自对应的目标数据的聚合结果。换句话说，指标库具有数据处理功能，避免了在做数据应用开发时，将数据处理逻辑分散到每层(例如，数据层、应用层、服务层等)导致的过高的研发成本。即，本申请中的指标库构建方法可以降低研发成本、以及指标库对应的系统的维护成本，同时，也简化了数据处理方法。

技术特征：

1.一种指标库构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述指标定义中包含指标配置表和表结构配置表，所述基于指标定义规则，在预设库中构建指标定义，包括：

3.根据权利要求1所述的方法，其特征在于，所述指标定义中包含指标计算逻辑，所述基于所述指标定义，确定所述多个指标各自对应的目标数据的聚合结果，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述基于所述指标定义，确定所述多个指标各自对应的目标数据的聚合结果，从而得到指标库之后，还包括：

5.一种大数据应用系统，其特征在于，包括：指标库、以及分别与所述指标库通信连接的数据层、服务层和应用层，所述指标库是利用权利要求1至4任一项所述的方法构建的；

6.根据权利要求5所述的系统，其特征在于，所述数据层中包括hive模型表和clickhouse表，并且，所述hive模型表的表结构和所述clickhouse表的表结构相同，以便所述指标库基于指标对应的字段，追溯所述hive模型表和所述clickhouse表中的字段关联关系。

7.根据权利要求6所述的系统，其特征在于，所述clickhouse表为分区表，所述clickhouse表保留至少两份分区数据，以便满足所述指标库查询容错。

8.一种指标库构建装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至4任一项所述的指标库构建方法。

10.一种电子设备，其特征在于，包括：

技术总结
本申请提供了一种指标库构建方法及装置、大数据应用系统，涉及数据库领域。该方法包括：基于指标定义规则，在预设库中构建指标定义，预设库中包括多个指标，指标定义中包含多个指标各自的属性信息；基于指标定义，确定多个指标各自对应的目标数据的聚合结果，从而得到指标库，指标库用于响应于指标查询请求，向指标查询请求的发起方发送指标查询请求对应的指标的聚合结果。在本申请中，保证了指标库中指标的唯一性和准确性，并解决了指标重复定义和滥用的问题。

技术研发人员：高峰,刘芳洁,杨桂英
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：
技术公布日：2024/1/12