一种数据处理方法及装置的制造方法
【技术领域】
[0001]本发明属于数据仓库领域中数据计算或数据处理领域，具体涉及一种提高数据计算效率和灵活性的数据处理方法及装置。
【背景技术】
[0002]随着大数据概念的兴起，各个行业都在基于数据仓库技术，积极地利用行业生产过程中产生的各类结构化和非结构化数据。传统的数据指标计算方法在计算每个指标时，往往需要进行复杂的配置操作，或者开发代码完成，相同或者类似的计算过程无法重用，重复性工作很多，并且当指标计算规则发生变化时，也需要进行同样的配置或者开发，导致不能及时响应用户指标统计分析的需求。
[0003]传统的数据指标计算方法，计算规则和计算过程绑定比较紧密，这种处理方法有两个弊端:一是指标计算规则发生调整或者新增指标时，需要技术人员进行配置或者调整代码，系统使用者无法直接干预；二是指标没有集中管理，中间计算结果以及过渡指标不能复用，经常会出现重复计算的现象，导致整体数据计算效率低下。
【发明内容】
[0004]针对现有技术中存在的缺陷，本发明提供一种数据处理方法，能够提高数据计算效率、计算灵活性和可扩展性。
[0005]为实现上述目的，本发明采用的技术方案如下:提供一种数据处理方法，该方法包括如下步骤:
[0006](I)对指标的基本信息和计算规则进行配置，所述的指标包括提数类指标和公式类指标；
[0007](2)自动装载上述步骤中的指标配置信息并完成指标的计算工作，得到指标结果。
[0008]进一步，在步骤(I)中，将待计算各个指标的基本信息存储在预设的指标定义表中，进行统一管理。
[0009]进一步，在步骤(I)中，所述提数类指标是从预先设置的事实表元数据里选取事实表名称及度量字段名称，设置对应的提数规则；所述公式类指标，选取依赖指标，设置依赖指标之间的计算规则。
[0010]进一步，所述提数类指标采用事实表数据口径，所述公式类指标根据依赖指标的数据口径，取得每个指标计算维度使用到最粗的级次，作为该公式类指标的数据口径。
[0011]进一步，将提数类指标的提数规则存储在预设的提数规则配置表，将依赖指标以及对应的计算规则存储在预设的公式规则配置表里。
[0012]进一步，所述提数类指标由于不依赖任何其他指标，先进行计算，计算步骤如下:
[0013]a、从指标定义表里取得事实表和度量字段名称；
[0014]b、从提数规则配置表里取得提数类指标的计算规则；
[0015]C、动态组装事实表数据源和计算规则完成指标计算，并将计算结果保存到预设指标结果表里；
[0016]d、对每个指标计算维度逐级向上汇总，得到各级汇总数据口径的计算结果。
[0017]e、将各级计算结果也保存到指标结果表，结束该提数类指标计算。
[0018]进一步，所述公式类指标按照优先级逐一进行计算，计算步骤如下:
[0019]al、从公式规则配置表里取得所有依赖指标及各依赖指标之间的计算公式；
[0020]bl、根据依赖指标自动计算出该指标的数据口径；
[0021]Cl、按照此数据口径从指标结果表取得所有依赖指标的计算结果；
[0022]dl、根据公式进行计算，将结果保存在指标结果表；
[0023]el、对每个依赖指标计算维度逐级向上汇总，得到各级数据口径的计算结果；
[0024]Π、将各级计算结果也保存到指标结果表里，结束该公式类指标计算。
[0025]本发明还提供一种数据处理装置，包括配置模块和运行模块，所述配置模块用于对指标的基本信息和对应的计算规则进行配置；所述运行模块用于自动装载所述配置模块中的指标配置信息，并完成指标的计算工作，得到指标结果。
[0026]进一步，配置模块包括提数类指标子模块和公式类指标子模块，提数类指标子模块用于存储提数类指标的提数规则；公式类指标子模块用于存储所有的依赖指标以及对应的计算规则。
[0027]进一步，运行模块包括提数运算模块和公式计算模块，提数运算模块用于读取事实表源数据以及提数类指标子模块中对应的提数规则，并进行计算；所述公式计算模块，用于读取公式类指标子模块中的依赖指标和对应的计算规则，并进行计算。
[0028]本发明的有益技术效果在于:
[0029](I)本发明提供的数据处理方法，提供了一套统一的待计算指标的计算规则配置功能及指标自动装载功能，当指标的计算规则和计算公式发生变化时，由业务用户直接调整指标的相关配置即可生效，无需复杂的配置程序，就能够将事实表中的源数据高效地转变成最终的指标数据，提高了数据的计算效率和数据使用的灵活性。
[0030](2)本发明将所有涉及数据计算的指标，进行统一维护，加强了各个指标间的数据共享，避免了重复操作，提高数据计算效率；
[0031](3)结构简单，操作容易。
【附图说明】
[0032]图1为本发明数据处理的流程图；
[0033]图2为提数类指标配置的示例表；
[0034]图3为公式类指标配置的示例表；
[0035]图4为指标计算运行期结构图；
[0036]图5为提数类指标计算过程图；
[0037]图6为公式类指标计算过程图；
[0038]图7为指标定义表；
[0039]图8为提数条件配置表；
[0040]图9为公式规则配置表；
[0041]图10指标结果表；
[0042]图11指标结果表数据存储示例表。
【具体实施方式】
[0043]下面结合说明书附图与【具体实施方式】对本发明作进一步的详细说明。
[0044]本发明提供了一种针对多维数据的处理方法，该方法提供了一套统一的各类待计算指标的计算规则配置功能及指标自动装置计算的机制。预先将指标的基本信息和计算规则，通过前台的配置功能维护到一套配置表里，在数据计算时自动装载配置表，对指标进行逐一计算，获得最终需要的指标数据，从而将事实表中的源数据高效地转变成最终的指标数据，提高了数据计算效率。
[0045]如图1所示，将上述方法分为配置期和运行期；配置期用于确定待计算的各个指标，根据待计算各个指标，配置对应的计算规则；在配置过程将所有指标进行统一管理，并且按照计算过程的不同将指标分为两大类，提数类指标和公式类指标。运行期自动装载配置期的指标配置信息，并完成指标的计算工作，获取需要的指标数据计算结果。
[0046]提数类指标定义指标基本信息，从预先维护的事实表元数据里选取事实表名称及度量字段名称，设置提数指标规则，采用事实表数据口径。提数类指标配置功能参见图2。
[0047]公式类指标定义指标基本信息，选取依赖的指标，设置对应的计算公式，并且根据依赖指标的数据口径，取得每个指标计算维度使用到最粗的级次，作为该公式指标的数据口径。
[0048]举例如下:
[0049]I)指标A和指标B都只使用到时间维度；
[0050]2)指标A的数据口径到月，指标B的数据口径到年；
[0051]3)指标C =指标A+指标B，在进行交集计算时，指标A也需要使用到年的数据口径，计算结果指标C的数据口径也是到年；
[0052]4)为了计算方便，每个指标都需要逐级汇总计算结果数据，如指标A在做计算时，除了到月的基本数据口径，还需逐级汇总计算生成到年的口径，以及全部年度口径的结果数据。公式类指标前台配置功能，参见图3，配置指标编码、指标名称及计算规则。
[0053]运行期自动装载配置期的指标配置信息并且完成指标的计算工作，运行期结构参见图4。该过程从指标定义表中取得需要参与计算的指标，按照优先级逐一进行计算，将最终的结果保存在指标结果表里。提数类指标由于不依赖任何其他指标，首先进行计算，整个计算过程分为以下5步，参见图5。
[0054]I)从指标定义表取得事实表和度量字段名称；
[0055]2)从提数条件配置表里取得提数规则；
[0056]3)动态组装事实表数据源和提数条件进行计算，将计算结果保存到指标结果表里；
[0057]4)对每个指标计算维度逐级向上汇总，得到各级汇总数据口径的计算结果；
[0058]5)将各级计算结果也