一种多维数据处理方法、系统、电子设备及存储介质与流程

文档序号:32691548发布日期:2022-12-27 18:38阅读:30来源:国知局
一种多维数据处理方法、系统、电子设备及存储介质与流程

1.本发明涉及多维数据处理技术领域,特别是涉及一种多维数据处理方法、一种多维数据处理系统、一种电子设备以及一种计算机可读存储介质。


背景技术:

2.多维数据库是指将数据存放在一个n维数组中,而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵,用户可以通过多维视图来观察数据,例如,multidimension olap,简称molap,是arbor software严格遵照codd的定义,自行建立了多维数据库,来存放联机分析系统数据,开创了多维数据存储的先河,后来的很多家公司纷纷采用多维数据存储。
3.随着企业数字化转型力度越来越大,企业数据成了各行各业新的生产要素,是企业蓬勃发展的先决条件,所以,如何高效、准确、灵活地了解数据、观察数据、运用数据,成为了最影响企业生产效率的因素之一,molap虽然能够存放联机分析系统数据,但常规molap无法进行跨业务模型做数据分析,以传统多维分析工具ibm cognos为例,若用户需要从特定业务背景的多维模型a、模型b、模型c中分别提取部分指标进行合并分析,只能分别从模型a、模型b、模型c单独取出目标数据,导出到excel(microsoft office excel,是microsoft微软公司为使用windows和apple macintosh操作系统的电脑编写的一款电子表格软件)等分工工具进行人工整合加工后,才能进行分析,从而使用数据,若采用上述方式,在每次需要进行数据分析时,都需要专业技术人员对多维数据进行合并,而数据分析人员往往不具备对多维数据进行合并的专业技术,这无形中提升了针对多维数据处理的门槛,从而导致针对跨业务的多维数据合并分析效率低下。


技术实现要素:

4.本发明实施例是提供一种多维数据处理方法、系统、电子设备以及计算机可读存储介质,以解决多维数据库无法进行跨业务模型做数据分析的问题。
5.本发明实施例公开了一种多维数据处理方法,可以包括:
6.获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数据和用于筛选所述业务数据的预设筛选项;
7.通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;
8.基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板。
9.可选地,所述通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据的步骤可以包括:
10.判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同;
11.若是,则采用所述预设筛选项从所述业务数据中确定出交集数据;
12.按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据。
13.可选地,所述方法应用于多维数据处理系统中,所述多维数据处理系统具有对应的用户操作界面,所述方法还可以包括:
14.在所述用户操作界面显示所述单一数据类型分析模板,并监听针对所述单一数据类型分析模板的选定操作;
15.当检测到针对多个所述单一数据类型分析模板的选定操作时,触发所述多维数据处理系统执行所述判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同的步骤。
16.可选地,所述维度信息具有对应的第一权限信息,在所述用户操作界面显示所述单一数据类型分析模板的步骤之前,还可以包括:
17.通过所述第一权限信息判断用户是否具有符合查看与所述维度信息对应的单一数据类型分析模板;
18.若是,则执行所述在所述用户操作界面显示所述单一数据类型分析模板的步骤。
19.可选地,在所述按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据的步骤之前,还可以包括:
20.采用所述交集数据生成数据列表;
21.所述基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板的步骤包括:
22.生成包含所述数据列表的组合模板;
23.根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目标业务数据显示于所述组合模板。
24.可选地,所述目标业务数据具有对应的第二权限信息,所述基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板的步骤可以包括:
25.通过所述第二权限信息确定针对所述目标业务数据的权限数据范围;
26.将符合所述权限数据范围的目标业务数据录入至所述数据列表中,以使符合所述权限数据范围的目标业务数据显示于所述组合模板。
27.本发明实施例还公开了一种多维数据处理系统,可以包括:
28.单一数据类型分析模板创建模块,用于获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数据和用于筛选所述业务数据的预设筛选项;
29.目标业务数据生成模块,用于通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;
30.组合模板生成模块,用于基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板。
31.可选地,所述目标业务数据生成模块可以包括:
32.相符数据判断子模块,用于判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同;若是,则调用交集数据确定子模块;
33.交集数据确定子模块,用于采用所述预设筛选项从所述业务数据中确定出交集数据;
34.目标业务数据生成子模块,用于按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据。
35.可选地,所述多维数据处理系统具有对应的用户操作界面,所述系统还可以包括:
36.单一数据类型分析模板显示子模块,用于在所述用户操作界面显示所述单一数据类型分析模板,并监听针对所述单一数据类型分析模板的选定操作;
37.第一调用子模块,用于在检测到针对多个所述单一数据类型分析模板的选定操作时,触发所述多维数据处理系统调用所述相符数据判断子模块。
38.可选地,所述维度信息具有对应的第一权限信息,还可以包括:
39.第一权限信息判断子模块,用于通过所述第一权限信息判断用户是否具有符合查看与所述维度信息对应的单一数据类型分析模板;
40.若是,则调用所述单一数据类型分析模板显示子模块。
41.可选地,还可以包括:
42.数据列表生成子模块,用于采用所述交集数据生成数据列表;
43.所述组合模板生成模块包括:
44.组合模板生成子模块,用于生成包含所述数据列表的组合模板;
45.目标业务数据录入子模块,用于根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目标业务数据显示于所述组合模板。
46.可选地,所述目标业务数据具有对应的第二权限信息,所述目标业务数据录入子模块可以包括:
47.数据范围确定单元,用于通过所述第二权限信息确定针对所述目标业务数据的权限数据范围;
48.目标业务数据录入单元,用于将符合所述权限数据范围的目标业务数据录入至所述数据列表中,以使符合所述权限数据范围的目标业务数据显示于所述组合模板。
49.本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
50.所述存储器,用于存放计算机程序;
51.所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。
52.本发明实施例还公开了一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
53.本发明实施例包括以下优点:
54.本发明实施例,通过获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数据和用于筛选所述业务数据的预设筛选项;通过所述维度信息、所述业务数据
和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板,从而解决了多维数据库无法进行跨业务模型做数据分析的问题,从而提升了针对多维数据进行合并分析的效率。
附图说明
55.图1是本发明实施例中提供的一种多维数据处理方法的步骤流程图;
56.图2是本发明实施例中提供的一种单一数据类型分析模板的示意图;
57.图3是本发明实施例中提供的另一种单一数据类型分析模板的示意图;
58.图4是本发明实施例中提供的一种组合模板的示意图;
59.图5是本发明实施例中提供的另一种多维数据处理方法的步骤流程图;
60.图6是本发明实施例中提供的又一种多维数据处理方法的步骤流程图;
61.图7是本发明实施例中提供的一种多维数据处理系统的结构框图;
62.图8是本发明各实施例中提供的一种电子设备的硬件结构框图。
具体实施方式
63.为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
64.在实际应用中,molap产品均需要对原始数据进行预处理,组合处理好用户可能需要的所有结果数据,将其以多维立方体数据cube形式存储在经过优化的数组存储中,实现稳定快速的高性能目标,这种方式的核心思路是利用空间换取时间,如果业务发生需求变更,或者模型发生变更,需要进行预订模型之外新的查询操作。然而,对现有molap的模式,应对起来不够灵活,只能进行重新建模或者预计算处理,对相应业务需求及时性有一定影响。
65.另外,molap的多维分析模型,通常是基于特定的业务背景和特定的目标数据,虽然现有的多维分析模型针对特定业务背景的数据可以进行灵活多变的自主取数和分析,但是现有的多维分析模型普遍无法跨业务模型取数分析的短板,以传统多维分析工具ibm cognos为例,若用户需要从特定业务背景的多维模型a、模型b、模型c中分别提取部分指标进行合并分析,只能分别从模型a、模型b、模型c单独取出目标数据,导出到excel等分工工具做人工整合加工后,才能进行分析用数,这类方式存在数据泄露、出错率高、数据处理烦琐等弊端。
66.随着企业数字化转型力度越来越大,企业数据成了各行各业新的生产要素,是企业蓬勃发展的先决条件,所以,如何高效、准确、灵活地了解数据、观察数据、运用数据,成为了最影响企业生产效率的因素之一,如何实现在多维数据库中实现跨业务模型数据分析,成为了本领域技术人员急需攻克的技术问题。
67.参照图1,示出了本发明实施例中提供的一种多维数据处理方法的步骤流程图,具体可以包括如下步骤:
68.步骤101,获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数
据和用于筛选所述业务数据的预设筛选项;
69.步骤102,通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;
70.步骤103,基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板。
71.在实际应用中,多维数据库是指将数据存放在一个n维数组中,而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵,人们可以通过多维视图来观察数据。储存于多维数据库中的数据可以是多维数据,其一般采用多维立方体数据cube形式存储在多维数据库中,多维数据一般包括以下信息:维度信息(dimension),维度信息可以用于表达数据范围,是用户观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维度信息,例如,时间维、地理维等;指标(measure),即,多维数组的取值,例如,“2000年1月,上海,笔记本电脑,0000”,在实际应用中,与维度信息对应的业务数据本身也可以作为指标,例如,假设维度信息是江西省,江西省内“单移动加装宽带或者加装itv转融合套餐”这一业务对应的值(业务数据)即可作为指标。
72.在具体实现中,本发明实施例可以应用于多维数据处理系统中,本发明实施例可以直接从多维数据库中获取多维数据,并采用多维数据创建单一数据类型分析模板,示例性地,单一数据类型分析模板可以是只代表一种业务类型的数据模板,单一数据类型分析模板可以包含有单一业务类型的多维数据,同时,可以包含该多维数据的维度信息、与维度信息对应的业务数据和用于筛选业务数据的预设筛选项,可选地,预设筛选项可以但不限于包括:维度信息、业务类型、业务发生时间和权限等级等等,当然,除此之外本领域技术人员还可以采用其他用于划分数据的方式作为预设筛选项,对此,本发明实施例不作限制。
73.例如,如图2所示,图2是本发明实施例中提供的一种单一数据类型分析模板的示意图,单一数据类型分析a模板中,可以包含维度(信息):江西分公司,与江西分公司这一维度对应的指标(业务数据):当日加c数、当日加c副卡数,以及,筛选(预设筛选项):业务发生时间(用于表达2022年04月25日的字符串“20220425”)。
74.在实际应用中,kylin引擎,是一个开源的分布式分析引擎,为hadoop(hadoop是一个由apache基金会所开发的分布式系统基础架构)平台上超大规模数据集提供标准sql(结构化查询语言,structured query language)查询及多维分析olap能力,提供亚秒级交互式分析能力。核心特性是通过数据预处理,对mr数据、spark数据、hbase数据具有可伸缩高吞吐,通过多维表达式mdx实现与bi(business intelligence,是一种运用了数据仓库,在线分析和数据挖掘等技术来处理和分析数据的崭新技术)工具无缝对接。相对其他多维数据分析引擎,例如,多维数据分析引擎elasticsearch,kylin包括以下优点,1)数据转化成本较低,在数据仓库数据转换到kylin的cube模型的中间依赖服务已有且较为完善。2)数据平台接入简单,可用标准sql进行调用,对数据平台整体查询介入平滑且易测试。3)可实现秒级至亚秒级海量数据多维度查询,相比起kylin,elasticsearch则存在原生的sql支持,查询dsl(digital subscriber line,数字用户线路)有一定的学习门槛,进行聚合运算时性能下降明显,无法关联查询等缺点。
75.可选地,本发明实施例的多维数据处理系统可以具有对应的用户操作界面,本发明实施例可以基于kylin开源技术对多维数据处理系统进行二次封装开发,根据用户在用
户操作界面上选择的维度信息、业务数据以及预设筛选项,构建个人模板数据集和数据提取sql,多维数据处理系统sql引擎则可以根据与sql对应的语句接口restapi动态调用的逻辑关系自动创建单一数据类型分析模板。
76.在创建单一数据类型分析模板后,本发明实施例可以通过维度信息、业务数据和预设筛选项,将与多个单一数据类型分析模板对应的业务数据进行合并,并生成目标业务数据,然后基于目标业务数据生成组合模板,并将目标业务数据显示于所述组合模板。
77.在具体实现中,用户可以通过用户操作界面对至少两个单一数据类型分析模板进行选定,然后多维数据处理系统可以将单一数据类型分析模板中的业务数据进行合并,从而生成目标业务数据,其中,目标业务数据可以是包含了多个单一数据类型分析模板的业务数据,然后将目标业务数据显示于组合模板中。
78.例如,图3是本发明实施例中提供的另一种单一数据类型分析模板的示意图,用户通过用户操作界面选择了a模板和b模板两个单一数据类型分析模板,其中,a模板可以包含维度(信息):江西分公司,与江西分公司这一维度对应的指标(业务数据):当日加c数、当日加c副卡数,以及,筛选(预设筛选项):业务发生时间(用于表达2022年04月25日的字符串“20220425”),b模板可以包含维度(信息):江西分公司,与江西分公司这一维度对应的指标(业务数据):当同时加宽加v、当日加宽转融、当日加v转融,以及,筛选(预设筛选项):业务发生时间(用于表达2022年04月25日的字符串“20220425”),然后多维数据处理系统可以将a模板和b模板中的业务数据进行合并,从而生成目标业务数据,然后基于目标业务数据生成组合模板,参考图4,图4是本发明实施例中提供的一种组合模板的示意图,目标业务数据包含了a模板的业务数据“当日加c数、当日加c副卡数”也包含了b模板的业务数据“当同时加宽加v、当日加宽转融、当日加v转融”,目标业务数据显示于组合模板中。
79.本发明实施例,通过获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数据和用于筛选所述业务数据的预设筛选项;通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板,从而简化了对不同数据(业务)类型的数据合并的流程,避免了在针对多维数据进行数据分析时需要不同的人员分别对多维数据进行合并和分析,使数据分析人员能够根据实际需求合并所需多维数据,并通过组合模板查看包含不同类型的业务数据的目标业务数据,以对目标业务数据进行分析,即,用户可以在不依赖输入代码指令的前提下,在对多维数据合并分析的过程中,以操作数据模板的形式执行视化操作;另外,由于本发明实施例避免了在针对多维数据进行数据分析时需要不同的人员分别对多维数据进行合并和分析,同时,不必将数据导出后再通过其他工具执行数据合并,也在一定程度上避免了数据泄露,降低了因人工合并数据而产生错误的出错率,进而提升了针对多维数据的合并分析效率,也降低了针对多维数据的合并分析成本。
80.在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
81.在本发明的一个可选地实施例中,所述通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成
目标业务数据的步骤包括:
82.判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同;
83.若是,则采用所述预设筛选项从所述业务数据中确定出交集数据;
84.按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据。
85.在实际应用中,由于在进行数据分析时,需要被用来比对的数据往往需要具备相同的条件,例如,同一个体育馆内不同球场的人流量,又或是不同辖区道路在相同时间下的车流量等等,所以,本发明实施例可以判断与多个单一数据类型分析模板对应的维度信息和预设筛选项是否相同,并当多个单一数据类型分析模板对应的维度信息和预设筛选项相同时,采用预设筛选项从业务数据中确定出交集数据。
86.参考图3,图3是本发明实施例中提供的另一种单一数据类型分析模板的示意图,用户通过用户操作界面选择了a模板和b模板两个单一数据类型分析模板,其中,a模板可以包含维度(信息):江西分公司,与江西分公司这一维度对应的指标(业务数据):当日加c数、当日加c副卡数,以及,筛选(预设筛选项):业务发生时间(用于表达2022年04月25日的字符串“20220425”),b模板可以包含维度(信息):江西分公司,与江西分公司这一维度对应的指标(业务数据):当同时加宽加v、当日加宽转融、当日加v转融,以及,筛选(预设筛选项):业务发生时间(用于表达2022年04月25日的字符串“20220425”),可以得知,多维数据处理系统在判断与多个单一数据类型分析模板对应的维度信息和预设筛选项是否相同后,可以判定a模板和b模板的维度信息相同,即,a模板和b模板的维度信息都为“江西分公司”,同时,可以判定a模板和b模板的预设筛选项相同,即,a模板和b模板的预设筛选项都为“20220425”,所以,此时就可以从a模板和b模板的业务数据中,分别确定出时间为2022年04月25日的“当日加c数、当日加c副卡数”和“当同时加宽加v、当日加宽转融、当日加v转融”这两个具有时间交集的业务数据。
87.当然,上述例子仅作为示例,在实际应用中,预设筛选项可以是一个或多个,例如,预设筛选项除了时间信息“20220425”外还可以包括“创建人信息”,则此时交集数据则是2022年04月25日,且由创建人xx创建的“当日加c数、当日加c副卡数”和“当同时加宽加v、当日加宽转融、当日加v转融”,对此本发明实施例不作限制。
88.在实际应用中,交集数据中往往存在无意义数据,例如,指标为0的数据,相同维度下不同维度值的映射数据,比如维度是性别,“男”和“女”即是相同维度下不同维度值的映射数据,又或是其他错误的数据,所以,需要对数据进行数据清洗,以获得在对多维数据进行分析的过程中具有参考意义的目标数据。但由于业务数据的数据量巨大,若每次确定交集时都要先对业务数据进行清洗,则会增加不必要的算力负担。
89.所以,本发明实施例可以在确定出交集数据后,再按预设规则从交集数据中筛除出无效数据,从而生成目标业务数据,即,在执行确定交集数据的算法前,不管数据是否有效,在假定数据有效地情况下进行计算合并,对业务数据进行组合排列,从而生成交集数据,然后再对交集数据进行清洗。
90.例如,用户选定了模板a和模板b,其中,a模板江西分公司可能只包含10个地市、b模板的江西分公司可能包含11个地市;又如a模板的时间账期可能到了最新的25号账期,而b模板的时间账期可能只刷到24号账期数据,此时,可以先不考虑数据的真实情况,先全部
按预处理排序算法进行逻辑关系的建立,即,可以先初步预先计算出合并后模板的大致雏形,其中维度包或江西分公司、指标包含“当日加c数、当日加c副卡数、当同时加宽加v、当日加宽转融、当日加v转融”五个指标、筛选账期时间(20220425),可以先大致按照以上实际数据,形成初步的一个数据集合,然后再进行数据清洗,这样可以避免在提取数据的过程中同步做各类逻辑判断,从而提高跨业务模型取数的效率。
91.本发明实施例通过判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同;若是,则采用所述预设筛选项从所述业务数据中确定出交集数据;按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据,从而实现了对比对数据的范围进行统一,也提升了生成目标业务数据的效率。
92.在本发明的一个可选地实施例中,所述方法应用于多维数据处理系统中,所述多维数据处理系统具有对应的用户操作界面,所述方法还包括:
93.在所述用户操作界面显示所述单一数据类型分析模板,并监听针对所述单一数据类型分析模板的选定操作;
94.当检测到针对多个所述单一数据类型分析模板的选定操作时,触发所述多维数据处理系统执行所述判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同的步骤。
95.在具体实现中,本发明实施例可以为多维数据处理系统设置对应的用户操作界面,以使用户能够通过用户操作界面对不同数据类型下的多维数据进行合并操作,可选地,用户可以通过点击触控,又或是拖拽等方式在用户操作界面中完成对不同数据类型下的多维数据进行合并操作,避免用户通过输入代码指令实现对不同数据类型下的多维数据进行合并。
96.具体地,本发明实施例可以在用户操作界面显示单一数据类型分析模板,然后通过多维数据处理系统监听用户在用户操作界面中针对单一数据类型分析模板的选定操作,当检测到针对多个单一数据类型分析模板的选定操作时,触发多维数据处理系统对与多个单一数据类型分析模板对应的维度信息和预设筛选项是否相同进行判断。
97.可选地,用户操作界面还可以用于显示多维数据,用户可以通过用户操作界面对维度信息、业务数据以及预设筛选项进行选择操作从而生成单一数据类型分析模板。
98.本发明实施例通过在用户操作界面显示单一数据类型分析模板,然后通过多维数据处理系统监听用户在用户操作界面中针对单一数据类型分析模板的选定操作,当检测到针对多个单一数据类型分析模板的选定操作时,触发多维数据处理系统对与多个单一数据类型分析模板对应的维度信息和预设筛选项是否相同进行判断,使用户可以在不依赖输入代码指令的前提下,在对多维数据合并分析的过程中,通过用户操作界面查看单一数据类型分析模板,并通过用户操作界面以操作数据模板的形式执行视化操作,更进一步地提升了针对多维数据的合并分析效率。
99.在本发明的一个可选地实施例中,所述维度信息具有对应的第一权限信息,在所述用户操作界面显示所述单一数据类型分析模板的步骤之前,还包括:
100.通过所述第一权限信息判断用户是否具有符合查看与所述维度信息对应的单一数据类型分析模板;
101.若是,则执行所述在所述用户操作界面显示所述单一数据类型分析模板的步骤。
102.在实际应用中,也可能存在具有不同权限的用户只能查看对应权限的数据的情况,所以,在本发明实施例中,可以通过第一权限信息判断用户是否具有符合查看与维度信息对应的单一数据类型分析模板,并当用户具有符合查看与维度信息对应的单一数据类型分析模板的权限时,在用户操作界面显示单一数据类型分析模板。
103.例如,a模板的维度信息是江西分公司,而当前用户是广西分公司的员工,第一权限信息则可以是江西分公司内部设置的密码或是其他能够证明权限的加密信息,在通过第一权限信息判断用户是否具有符合查看与维度信息对应的单一数据类型分析模板后,则可以判定当前用户不具备查看a模板的权限,所以,不在用户操作界面显示a模板。
104.本发明实施例,通过第一权限信息判断用户是否具有符合查看与维度信息对应的单一数据类型分析模板,并当用户具有符合查看与维度信息对应的单一数据类型分析模板的权限时,在用户操作界面显示单一数据类型分析模板,从而保证了在对多维数据进行合并分析过程中的数据安全。
105.在本发明的一个可选地实施例中,在所述按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据的步骤之前,还包括:
106.采用所述交集数据生成数据列表。
107.所述基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板的步骤包括:
108.生成包含所述数据列表的组合模板;
109.根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目标业务数据显示于所述组合模板。
110.本发明实施例可以将生成的目标业务数据完全录入至数据列表中,以使所有目标业务数据完全显示于包含数据列表的组合模板中,但在实际应用中,若将所有目标业务数据一次性回填至数据列表中,仍然会造成很大的运算压力,这是因为在一般情况下,一个维度信息所对应的业务数据体量非常庞大,如果在生成组合模板的过程中将所有的目标业务数据进行全量计算势必需要耗费巨大的算力资源,所以,本发明实施例可以在生成目标业务数据之前,先采用所述交集数据生成数据列表,但此时数据列表中的数据并非全部为有效数据,所以,可以先生成包含数据列表的组合模板,然后将从交集数据中筛除出无效数据所生成的目标业务数据按预设规则拆分,例如,可以在用户操作界面中向用户再次提供针对目标业务数据的预设筛选项,以使用户能够通过针对目标业务数据的预设筛选项部分符合用户需求的目标业务数据,或是按照其他用户指令筛选出部分符合用户需求的目标业务数据。然后,可以仅将该部分目标业务数据显示于组合模板中,即,仅对该部分目标业务数据在数据列表中进行加载,对于未被选中的其他目标业务数据,可以仅保存计算逻辑关系,而不加载于数据列表中。
111.例如,a模板的账期时间和b模板的账期时间所对应的业务数据不一致的情况下,没有对应账期时间的模板指标做0数据填充,其余正常的实际数据按维度信息映射关系录入至数据列表。
112.本发明实施例通过在所述按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据的步骤之前,采用所述交集数据生成数据列表;生成包含所述数据列表的组合模板;根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目
标业务数据显示于所述组合模板,从而更进一步地提升了针对多维数据的合并分析效率。
113.在本发明的一个可选地实施例中,所述目标业务数据具有对应的第二权限信息,所述根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目标业务数据显示于所述组合模板的步骤包括:
114.通过所述第二权限信息确定针对所述目标业务数据的权限数据范围;
115.将符合所述权限数据范围的目标业务数据录入至所述数据列表中,以使符合所述权限数据范围的目标业务数据显示于所述组合模板。
116.在实际应用中,本发明实施例的目标业务数据可以向其他数据分析人员发布,但需要建立在数据安全性得到保障的前提下,所以,本发明实施例可以先通过第二权限信息确定针对目标业务数据的权限数据范围,再将符合权限数据范围的目标业务数据录入至数据列表中,以使符合权限数据范围的目标业务数据显示于组合模板,以使在向外发布目标业务数据时,显示于组合模板中的目标业务数据为符合权限数据范围的目标业务数据,从而保障了在对多维数据进行合并分析时的安全性。
117.为了使本领域技术人员更好的理解本发明实施例,以下用一完整示例对本发明实施例进行说明。
118.参考图5,图5是本发明实施例中提供的另一种多维数据处理方法的步骤流程图,用户进入多维数据处理系统(以下简称系统)的用户操作界面,确定维度信息、业务数据和预设筛选项,触发系统从多维数据库中获取相应的多维数据并采用该多维数据创建单一数据类型分析模板,并将单一数据类型分析模板显示于用户操作界面中;用户操作界面中选择需要组合的单一数据类型分析模板,触发模板组合流程,具体地,模板组合流程可以参考图6,图6是本发明实施例中提供的又一种多维数据处理方法的步骤流程图,

系统在创建单一数据类型分析模板,且确定用户所属团队和角色后,在用户操作界面中展示出有权限进行组合的单业务模板,用户通过用户操作界面选择要组合的模板进行模板组合;

通过循环,获取需要组合的单一数据类型分析模板的cube信息,并进行信息比对和检验组合逻辑的完整性,具体地,信息比对主要是对cube中的维表信息(维度)进行检验,其中包括:维度信息要求一致,预设筛选项要求一致;

提取公共信息(相同的维度信息和预设筛选项),同时,做一定权限控制逻辑处理,例如,根据操作用户的数据权限和管理权限进行逻辑处理,具体地,若具有最大权限的用户则不做逻辑判断,若是普通用户则根据用户所属数据权限判断组合后的组合模板需要展示的数据范围;

对于n单一数据类型分析模板所对应的业务数据,使用预计算排列法,优先加载出组合模板的雏形,即,在执行预计算时,不考虑数据是否为有效数据,只是先根据大体的一个数据总量,假定存在的数据是合理且具有数据分析意义的,并进行计算合并,组合排列,得出一个组合排列后的交集数据,并采用交集数据生成数据列表;

对于不正确的、没有意义的、不需要的数据进行过滤清除和清洗,例如,对指标全零的数据、相同维度下不同维度值的映射数据清洗;

将经清洗的交集数据回填至数据列表中,可选地,可以不把全部数据一次性回填至数据列表中,而是根据用户实际需求(如依据用户选择,也可以根据权限)进行数据回填,即,可以根据预设规则选取部分目标业务数据录入至数据列表中,以使部分目标业务数据显示于组合模板;

:在之前处理好的数据列表的基础上,对维度信息做合计汇总处理等操作,并将目标业务数据转换成前端超文本标记语言html表格字符串,从而实现数据分享。
119.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
120.参照图7,示出了本发明实施例中提供的一种多维数据处理系统的结构框图,具体可以包括如下模块:
121.单一数据类型分析模板创建模块701,用于获取多维数据,并采用所述多维数据创建单一数据类型分析模板;所述单一数据类型分析模板包括用于表达数据范围的维度信息、与所述维度信息对应的业务数据和用于筛选所述业务数据的预设筛选项;
122.目标业务数据生成模块702,用于通过所述维度信息、所述业务数据和所述预设筛选项,将与多个所述单一数据类型分析模板对应的所述业务数据进行合并,并生成目标业务数据;
123.组合模板生成模块703,用于基于所述目标业务数据生成组合模板,并将所述目标业务数据显示于所述组合模板。
124.可选地,所述目标业务数据生成模块可以包括:
125.相符数据判断子模块,用于判断与多个所述单一数据类型分析模板对应的所述维度信息和所述预设筛选项是否相同;若是,则调用交集数据确定子模块;
126.交集数据确定子模块,用于采用所述预设筛选项从所述业务数据中确定出交集数据;
127.目标业务数据生成子模块,用于按预设规则从所述交集数据中筛除出无效数据,生成目标业务数据。
128.可选地,所述多维数据处理系统具有对应的用户操作界面,所述系统还可以包括:
129.单一数据类型分析模板显示子模块,用于在所述用户操作界面显示所述单一数据类型分析模板,并监听针对所述单一数据类型分析模板的选定操作;
130.第一调用子模块,用于在检测到针对多个所述单一数据类型分析模板的选定操作时,触发所述多维数据处理系统调用所述相符数据判断子模块。
131.可选地,所述维度信息具有对应的第一权限信息,还可以包括:
132.第一权限信息判断子模块,用于通过所述第一权限信息判断用户是否具有符合查看与所述维度信息对应的单一数据类型分析模板;
133.若是,则调用所述单一数据类型分析模板显示子模块。
134.可选地,还可以包括:
135.数据列表生成子模块,用于采用所述交集数据生成数据列表;
136.所述组合模板生成模块包括:
137.组合模板生成子模块,用于生成包含所述数据列表的组合模板;
138.目标业务数据录入子模块,用于根据预设规则选取部分所述目标业务数据录入至所述数据列表中,以使部分所述目标业务数据显示于所述组合模板。
139.可选地,所述目标业务数据具有对应的第二权限信息,所述目标业务数据录入子模块可以包括:
140.数据范围确定单元,用于通过所述第二权限信息确定针对所述目标业务数据的权限数据范围;
141.目标业务数据录入单元,用于将符合所述权限数据范围的目标业务数据录入至所述数据列表中,以使符合所述权限数据范围的目标业务数据显示于所述组合模板。
142.对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
143.另外,本发明实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述多维数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
144.本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述多维数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等。
145.图8为实现本发明各个实施例的一种电子设备的硬件结构示意图。
146.该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
147.应理解的是,本发明实施例中,射频单元801可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器810处理;另外,将上行的数据发送给基站。通常,射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元801还可以通过无线通信系统与网络和其他设备通信。
148.电子设备通过网络模块802为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
149.音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元803还可以提供与电子设备800执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
150.输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(graphics processing unit,gpu)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
151.电子设备800还包括至少一种传感器805,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度,接近传感器可在电子设备800移动到耳边时,关闭显示面板8061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
152.显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板8061。
153.用户输入单元807可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器810,接收处理器810发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071,用户输入单元807还可以包括其他输入设备8072。具体地,其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
154.进一步的,触控面板8071可覆盖在显示面板8061上,当触控面板8071检测到在其上或附近的触摸操作后,传送给处理器810以确定触摸事件的类型,随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中,触控面板8071与显示面板8061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板8071与显示面板8061集成而实现电子设备的输入和输出功能,具体此处不做限定。
155.接口单元808为外部装置与电子设备800连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备800内的一个或多个元件或者可以用于在电子设备800和外部装置之间传输数据。
156.存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器809可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
157.处理器810是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器809内的软件程序和/或模块,以及调用存储在存储器809内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器810可包括一个或多个处理单元;优选的,处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
158.电子设备800还可以包括给各个部件供电的电源811(比如电池),优选的,电源811可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
159.另外,电子设备800包括一些未示出的功能模块,在此不再赘述。
160.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
161.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
162.上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
163.本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
164.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
165.在本技术所提供的实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
166.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显
示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
167.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
168.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
169.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1