一种数据分析平台建设方法、装置、设备、介质及程序与流程

1.本技术涉及软件领域，具体涉及一种数据分析平台建设方法、装置、设备、介质及程序。


背景技术：

2.随着各公司线上业务增多，业务数据大量累积，公司决策或运营活动开展更多依赖数据分析的结果，所以对数据分析结果的实效性、直观性有更高的要求。
3.然而，各公司运营人员及数据分析师缺少代码编写经验，数据分析过程依赖于技术人员写sql取数，人工写sql取数的繁琐工作量大，耗费时间长且存在误操作风险，造成了可视化的数据分析图表的难以建设，导致可视化的数据分析图表建设效率低下。
4.申请内容
5.鉴于以上所述现有技术的缺点，本技术提供一种数据分析平台建设方法、装置、设备、介质及程序产品，以解决上述可视化的数据分析图表建设效率低的问题。
6.在第一方面，本技术提供的一种数据分析平台建设方法，包括：
7.获取原始数据所在的多个数据表；
8.对所述多个数据表中的所述原始数据进行处理，生成新数据表；
9.采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；
10.在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表。
11.于本技术的一实施例中，所述对所述多个数据表中的所述原始数据进行处理，生成新数据表，具体为：
12.通过拖拽操作、链接操作、配置操作中的任一操作，对所述多个数据表中的所述原始数据进行聚合处理、关联处理和合并处理中的任一处理，生成新数据表。
13.于本技术的一实施例中，所述对所述多个数据表中的所述原始数据进行处理，生成新数据表，具体为：
14.获取所述多个数据表中的所述原始数据，根据选定的维度与度量，对所述多个数据表中的所述原始数据做聚合处理，得到聚合处理后的所述原始数据，所述聚合处理包括数据汇总处理和数据平均处理中的任一处理；
15.将所述多个数据表关联为一张宽表，对所述聚合处理后的所述原始数据进行关联，显示关联后的所述原始数据；
16.合并关联后的所述原始数据中名称相同的字段，通过字段映射将所述原始数据同步到预设的数据表模板，生成新数据表。
17.于本技术的一实施例中，采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型，具体为：
18.获取拖动至预设画布内的所述新数据表，采用预设的可视化组件中的左外连接、内连接、全连接中的任一关联方式，对所述新数据表进行关联，生成数据模型。
19.于本技术的一实施例中，所述在预设的可视化图表中配置所述数据模型的字段，
建设可视化的数据分析图表，具体为：
20.显示预设的可视化图表中的字段配置区域，获取所述数据模型中的字段，在所述字段配置区域中配置所述数据模型中的字段，建设可视化的数据分析图表。
21.于本技术的一实施例中，所述可视化图表包括指标看板、指标趋势图、仪表盘、翻牌器、饼状图、线图、柱状图之一或其组合。
22.在第二方面，本技术提供的一种数据分析平台建设装置，所述装置包括：
23.数据表获取模块，用于获取原始数据所在的多个数据表；
24.新数据表生成模块，用于对所述多个数据表中的所述原始数据进行处理，生成新数据表；
25.数据模型生成模块，用于采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；
26.数据分析图表建设模块，用于在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表。
27.在第三方面，本技术提供的一种电子设备，包括：
28.一个或多个处理器；
29.存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述的数据分析平台建设方法。
30.在第四方面，本技术提供的一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述的数据分析平台建设方法。
31.在第五方面，本技术提供的一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机执行上述的数据分析平台建设方法。
32.本技术的有益效果：采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表，避免了出现人工写sql取数的繁琐工作量大，耗费时间长且存在误操作风险的问题，不仅提高了可视化的数据分析图表的建设效率，还提高了可视化的数据分析图表的建设精度。
33.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
35.图1是本技术的一示例性实施例示出的数据分析平台建设方法的实施环境示意图；
36.图2是本技术的一示例性实施例示出的数据分析平台建设方法的流程图；
37.图3是本技术的一示例性实施例示出的获取用户数据的流程图；
38.图4是本技术的一示例性实施例示出的生成新数据表的流程图；
39.图5是本技术的一示例性实施例示出的生成数据模型的流程图；
40.图6是本技术的一示例性实施例示出的数据分析平台建设的数据分析图表；
41.图7是本技术的一示例性实施例示出的数据分析平台建设的另一数据分析图表；
42.图8是本技术的一示例性实施例示出的数据分析平台建设装置的结构框图；
43.图9是本技术的一示例性实施例示出的电子设备的计算机系统的结构示意图。
具体实施方式
44.以下将参照附图和优选实施例来说明本技术的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本技术，而不是为了限制本技术的保护范围。
45.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，遂图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
46.在下文描述中，探讨了大量细节，以提供对本技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本技术的实施例难以理解。
47.请参见图1，图1是本技术的一示例性实施例示出的数据分析平台建设方法的实施环境示意图。如图1所示，该实施环境应用网络架构可以包括服务器101(服务器集群)和用户终端集群。该用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限制。如图1所示，具体可以包括用户终端10a、用户终端10b、用户终端10c、
…
、用户终端10n。如图1所示，用户终端10a、用户终端10b、用户终端10c、
…
、用户终端10n可以分别与上述服务器101进行网络连接，以便于每个用户终端可以通过该网络连接与服务器101进行数据交互。其中，这里不限定该网络连接的具体连接方式，比如，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接。
48.其中，该用户终端集群中的每个用户终端均可以包括：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等具有图像数据处理功能的智能终端。应当理解，如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各用户终端中时，可以分别与上述图1所示的服务器101之间进行数据交互。其中，该应用客户端可以包括社交客户端、多媒体客户端(例如，视频客户端)、娱乐客户端(例如，游戏客户端)、教育客户端、直播客户端等应用客户端。其中，该应用客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端、教育客户端以及多媒体客户端等)中的小程序，在此不做限定。
49.如图1所示，本技术实施例中的服务器101可以为该应用客户端对应的服务器。该服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
50.为便于理解，本技术实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如，本技术实施例可以将图1所示的用户终端10a作为目标用户终端，该目标用户终端中可以集成有目标应用(即应用客户端)。此时，该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器101之间实现数据交互。其中，上述数据分析平台建设方法可以在服务器、终端、服务器集群或云计算服务集群等任意设备中进行。
51.请参阅图2，图2是本技术的一示例性实施例示出的数据分析平台建设方法的流程图，详述如下：
52.步骤s201，获取原始数据所在的多个数据表；
53.其中，获取原始数据所在的多个数据表，具体为：
54.通过配置数据源类型、显示名称、数据库地址、端口、数据库名称、用户名、密码的信息，获取自建的多个数据表；或者，获取上传文件的多个数据表。
55.步骤s202，对所述多个数据表中的所述原始数据进行处理，生成新数据表；
56.其中，对所述多个数据表中的所述原始数据进行处理，生成新数据表，具体为：
57.通过拖拽操作、链接操作、配置操作中的任一操作，对所述多个数据表中的所述原始数据进行聚合处理、关联处理和合并处理中的任一处理，生成新数据表。
58.步骤s203，采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；
59.其中，采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型，具体为：
60.获取拖动至预设画布内的所述新数据表，采用预设的可视化组件中的左外连接、内连接、全连接中的任一关联方式，对所述新数据表进行关联，生成数据模型。
61.步骤s204，在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表。
62.其中，所述在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表，具体为：
63.显示预设的可视化图表中的字段配置区域，获取所述数据模型中的字段，在所述字段配置区域中配置所述数据模型中的字段，建设可视化的数据分析图表。
64.其中，所述可视化图表包括指标看板、指标趋势图、仪表盘、翻牌器、饼状图、线图、柱状图之一或其组合。
65.在所述在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表之后，所述方法还包括：
66.生成所述数据分析图表的链接，通过所述链接进行分享所述数据分析图表。这样，用户可以随时随地看到数据分析图表。
67.在本实施例中，采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表，避免了出现人工写sql取数的繁琐工作量大，耗费时间长且存在误操作风险的问题，
不仅提高了可视化的数据分析图表的建设效率，还提高了可视化的数据分析图表的建设精度。
68.请参阅图3，图3是本技术的一示例性实施例示出的获取用户数据的流程图，包括：
69.步骤s301，获取所述多个数据表中的所述原始数据，根据选定的维度与度量，对所述多个数据表中的所述原始数据做聚合处理，得到聚合处理后的所述原始数据，所述聚合处理包括数据汇总处理和数据平均处理中的任一处理；
70.步骤s302，将所述多个数据表关联为一张宽表，对所述聚合处理后的所述原始数据进行关联，显示关联后的所述原始数据；
71.步骤s303，合并关联后的所述原始数据中名称相同的字段，通过字段映射将所述原始数据同步到预设的数据表模板，生成新数据表。
72.其中，预设的数据表模板可设置多个权限，每个权限对应不同的指标数据，这样可以生成不同权限的新数据表，满足用户的不同需求。
73.在本实施例中，通过字段映射将原始数据同步到预设的数据表模板，生成新数据表，解决了取数难的问题，提高了数据表的取数效率和取数精度。
74.请参阅图4，图4是本技术的一示例性实施例示出的生成新数据表的流程图，详述如下：
75.以多个数据表为数据表1、数据表2为例，数据加工过程如下：
76.可视化轻量(extract-transform-load，etl)系统的操作节点提供数据输入、数据转换和数据输出，数据转换包括聚合、关联、合并；
77.数据输入，用于数据表1的数据输入与数据表2的数据输入；
78.数据转换，用于将数据表1与数据表2关联为一张宽表，合并数据表1的数据输入和数据表2的数据输入的原始数据中名称相同的字段，以及对原始数据做数据汇总或数据平均处理，得到处理后的原始数据；
79.数据输出，用于接收用户的拖拽操作，当拖拽操作指定数据表3时，将处理后的原始数据通过字段映射同步到一张已建立的数据表3，即新数据表。
80.在本实施例中，通过字段映射同步到一张已建立的数据表3，解决了取数难的问题，提高了数据表的取数效率和取数精度。
81.请参阅图5，图5是本技术的一示例性实施例示出的生成数据模型的流程图，详述如下：
82.以数据库为mysql数据库1为例，配置关联关系的过程如下：
83.选择数据源，mysql数据库1提供数据表3、数据表4、数据表5、数据表6；
84.获取用户拖曳进入画布中的数据表3和数据表4，在画布下方的数据预览中，显示指标1、指标2、指标3、指标4，该指标可用于数据处理；
85.显示数据表3的字段选择，数据表3的字段选择有23个物理字段名，和每个物理字段名对应的备注；
86.获取用户选中的字段，当用户选中的字段为字段1和字段2时，在数据表3中加入字段1和字段2；
87.显示数据表4的字段选择，数据表4的字段选择有23个物理字段名，和每个物理字段名对应的备注；
88.获取用户选中的字段，当用户选中的字段为字段1和字段2时，在数据表4中加入字段1和字段2；
89.通过连接方式中的左外连接，将数据表3的字段1和数据表4的字段1建立数据关联，将数据表3的字段3和数据表4的字段3建立数据关联。
90.其中，连接方式包括但不限于左外连接、内连接、全连接。
91.其中，左外连接：以左表为基础，查询结果中包含左表全部数据，右表匹配数据不存在时用空指针代替；
92.内连接：通过id将左表和右表链接起来产生一个新表，新表是由这个表的交集部分组成；
93.全连接：左连接和右连接的一个集合，包含左表和右表的全部数据，匹配不上的显示为空指针。
94.在本实施例中，通过连接方式中的左外连接，将数据表3的字段1和数据表4的字段1建立数据关联，无需手动输入字段3，简化了数据关联的步骤，提高了数据模型的生成效率。
95.请参阅图6，图6是本技术的一示例性实施例示出的数据分析平台建设的数据分析图表，详述如下：
96.效果图包括图表预览区域、字段配置区域、基础表展示。
97.图表预览区域用于显示上海、四川、重庆、广东的订单数量2000，订单金额10万，运输成本1000，利润金额1.4万；
98.字段配置区域用于显示维度和度量。维度：指定不同值的对象的描述性属性或特征，包括但不限于省份、性别、地区、渠道类别。
99.度量：基于某个属性对其属性的指标进行衡量，包括但不限于订单数、订单金额，运输成本、利润金额、销售额、付费客户数。
100.基础表展示基础表的内容，包括但不限于省份、订单数、订单金额，运输成本、利润金额、销售额。
101.在本实施例中，通过图表预览区域可提高图表的显示效果，同时，图表预览区域用户可以根据需要自定义修改，满足了用户个性化的需求。
102.请参阅图7，图7是本技术的一示例性实施例示出的数据分析平台建设的另一数据分析图表，详述如下：
103.效果图包括图表预览区域、字段配置区域、基础表展示。
104.图表预览区域用于显示2016、2017、2018、2019、2020、2021、2022年的销售金额和利润；
105.字段配置区域用于显示维度中的年份和度量中的销售金额、利润；
106.基础表展示基础表的内容，包括但不限于年份、销售金额、利润。
107.在本实施例中，通过图表预览区域可提高图表的显示效果，同时，图表预览区域用户可以根据需要自定义修改，满足了用户个性化的需求。
108.图8是本技术的一示例性实施例示出的数据分析平台建设装置的结构框图。该装置可以应用于图1所示的实施环境，并具体配置在智能终端。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限
制。
109.如图8所示，该示例性的数据分析平台建设装置包括：
110.数据表获取模块801，用于获取原始数据所在的多个数据表；
111.新数据表生成模块802，用于对所述多个数据表中的所述原始数据进行处理，生成新数据表；
112.数据模型生成模块803，用于采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；
113.数据分析图表建设模块804，用于在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表。
114.在该示例性的数据分析平台建设装置采用预设的可视化组件中的关联方式，对所述新数据表进行关联，生成数据模型；在预设的可视化图表中配置所述数据模型的字段，建设可视化的数据分析图表，避免了出现人工写sql取数的繁琐工作量大，耗费时间长且存在误操作风险的问题，不仅提高了可视化的数据分析图表的建设效率，还提高了可视化的数据分析图表的建设精度。
115.需要说明的是，上述实施例所提供的数据分析平台建设装置与上述实施例所提供的数据分析平台建设方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的数据分析平台建设装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
116.本技术的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的数据分析平台建设方法。
117.图9是本技术的一示例性实施例示出的电子设备的计算机系统的结构示意图。需要说明的是，图9示出的电子设备的计算机系统1000仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
118.如图9所示，计算机系统1000包括中央处理单元(central processing unit，cpu)1001，其可以根据存储在只读存储器(read-only memory，rom)1002中的程序或者从储存部分1008加载到随机访问存储器(random access memory，ram)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram1003中，还存储有系统操作所需的各种程序和数据。cpu1001、rom1002以及ram1003通过总线1004彼此相连。输入/输出(input/output，i/o)接口1005也连接至总线1004。
119.以下部件连接至i/o接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
120.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时，执行本技术的系统中限定的各种功能。
121.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
122.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
123.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
124.本技术的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的数据分析平台建设方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
125.本技术的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该
计算机设备执行上述各个实施例中提供的数据分析平台建设方法。
126.上述实施例仅示例性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。