一种数据分析方法、系统及大数据平台与流程

本发明涉及数据分析技术领域，更具体的，涉及一种数据分析方法、系统及大数据平台。

背景技术：

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息并形成结论，进而对数据进行详细研究和概括总结的过程。在实际应用中，数据分析是一种重要的技术手段，可帮助人们作出判断，以便采取适当行动。

当前在对业务数据进行分析时，业务系统直接对相关业务数据进行分析，业务数据分析操作占用业务系统的计算资源，影响业务系统的运行性能。

技术实现要素：

有鉴于此，本发明提供了一种数据分析方法、系统及大数据平台，在大数据平台对业务数据进行分析，不影响业务系统的运行。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种数据分析方法，应用于大数据平台，所述大数据平台同步存储至少一个业务系统的基础数据，所述方法包括：

获取业务数据分析请求；

对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项；

根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据，并依据所述指标项对所述目标业务数据进行统计分析，得到所述目标业务数据的统计分析结果。

可选的，所述获取业务数据分析请求，包括：

接收用户通过所述大数据平台的可视化交互界面发送的所述业务数据分析请求。

可选的，所述获取业务数据分析请求，包括：

接收业务系统发送的所述业务数据分析请求，所述业务数据分析请求包括业务系统在接收到用户发送的分析请求后添加的所述目标业务数据的标识，用户发送的所述分析请求携带有所述指标项。

可选的，所述根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据，包括：

读取预先存储的权限配置信息；

根据所述权限配置信息，判断发送所述业务数据分析请求的用户是否具有对所述目标业务数据的访问权限；

若有对所述目标业务数据的访问权限，根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据。

可选的，所述方法还包括：

从所述至少一个业务系统的核心数据库中同步提取新增的原始数据；

对所述原始数据进行预处理，得到所述基础数据；

存储所述基础数据。

可选的，所述大数据平台同步存储至少一个业务系统的基础数据，包括：

获取业务系统的基础数据的标识；

根据业务系统的基础数据的标识，确定业务系统的基础数据的所属基础主题域；

将业务系统的基础数据存储在其所属基础主题域对应的存储空间中。

可选的，在所述得到所述目标业务数据的统计分析结果之后，所述方法还包括：

根据所述目标业务数据的统计分析结果，以预设格式生成报表；

将生成的报表存储在缓存中；

对缓存中的报表进行渲染；

在所述大数据平台的可视化交互界面显示渲染后的报表。

一种大数据平台，包括：

数据层，用于同步存储至少一个业务系统的基础数据；

交互界面层，用于获取用户发送的业务数据分析请求，并将所述业务数据分析请求转发至管理控制层；

所述管理控制层，用于对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项，并将所述目标业务数据的标识和所述指标项发送至数据处理层；

所述数据处理层，用于根据所述目标业务数据的标识从所述数据层中提取所述目标业务数据，并依据所述指标项对所述目标业务数据进行统计分析，得到所述目标业务数据的统计分析结果。

可选的，所述交互界面层，具体用于接收用户通过所述大数据平台的可视化交互界面发送的所述业务数据分析请求。

可选的，所述交互界面层，具体用于接收业务系统发送的所述业务数据分析请求，所述业务数据分析请求包括业务系统在接收到用户发送的分析请求后添加的所述目标业务数据的标识，用户发送的所述分析请求携带有所述指标项。

可选的，所述管理控制层，具体用于：

读取所述数据层存储的权限配置信息；

根据所述权限配置信息，判断发送所述业务数据分析请求的用户是否具有对所述目标业务数据的访问权限；

若有对所述目标业务数据的访问权限，根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据。

可选的，所述数据层，还用于：

从所述至少一个业务系统的核心数据库中同步提取新增的原始数据；

对所述原始数据进行预处理，得到所述基础数据；

存储所述基础数据。

可选的，所述数据层，具体用于：

获取业务系统的基础数据的标识；

根据业务系统的基础数据的标识，确定业务系统的基础数据的所属基础主题域；

将业务系统的基础数据存储在其所属基础主题域对应的存储空间中。

可选的，所述大数据平台还包括缓存机制层；

所述数据处理层，还用于根据所述目标业务数据的统计分析结果，以预设格式生成报表，并将生成的报表存储在所述缓存机制层的缓存中；

所述管理控制层，还用于将缓存中的报表发送至所述交互界面层；

所述交互界面层，还用于对接收到的报表进行渲染，并在所述大数据平台的可视化交互界面显示渲染后的报表。

一种数据分析系统，包括：大数据平台与至少一个业务系统；

所述大数据平台与所述业务系统通信连接，同步存储所述业务系统的基础数据；

所述大数据平台，用于执行如上述中任意一项所述的数据分析方法。

可选的，所述业务系统，用于：

接收用户发送的携带有指标项的分析请求；

根据所述指标项，在所述分析请求中添加目标业务数据的标识，得到业务数据分析请求；

将所述业务数据分析请求发送至所述大数据平台；

接收并显示所述大数据平台反馈的所述目标业务数据的统计分析结果。

相对于现有技术，本发明的有益效果如下：

本发明公开的数据分析方法，应用于独立于业务系统的大数据平台，大数据平台通过同步存储至少一个业务系统的基础数据，使大数据平台与业务系统中的基础数据一致，不影响数据分析的准确性。在接收到业务数据分析请求后，可以从预先存储的基础数据中提取业务数据分析请求对应的目标业务数据，并对目标业务数据进行统计处理，整个数据分析过程不需要占用业务系统的计算资源，不影响业务系统的运行，实现对至少一个业务系统的业务数据的数据分析，同时利用大数据平台强大的处理能力，提高了数据分析效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据分析方法的流程示意图；

图2为本发明实施例公开的一种大数据平台的结构示意图；

图3为本发明实施例公开的另一种大数据平台的结构示意图；

图4为本发明实施例公开的一种数据分析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人通过研究发现现有数据分析方法存在以下问题：

1、当前在对业务数据进行分析时，业务系统直接对相关业务数据进行分析，业务数据分析操作占用业务系统的计算资源，影响业务系统的运行性能。

2、随着信息技术的快速发展，企业中业务系统的种类越来越多，业务数据分析趋于精细化和复杂化，往往出现需要对涉及多个业务系统的业务数据进行综合分析的情况，但是当前业务系统只能对本系统内的业务数据进行分析，无法实现对多个业务系统的业务数据进行综合分析。

为了解决上述技术问题，本发明提供了一种数据分析方法，应用于独立于业务系统的大数据平台，整个数据分析过程不需要占用业务系统的计算资源，不影响业务系统的运行，大数据平台同步存储至少一个业务系统的基础数据，使大数据平台与业务系统中的基础数据一致，实现对至少一个业务系统的业务数据的数据分析，同时利用大数据平台强大的处理能力，提高了数据分析效率。

具体的，请参阅图1，本发明实施例公开的数据分析方法包括以下步骤：

s101：获取业务数据分析请求；

获取业务数据分析请求的方法可以有多种。

其中一种方式为：接收用户通过大数据平台的可视化交互界面发送的业务数据分析请求，即用户可以直接与大数据平台交互。

另一种方式为：接收业务系统发送的业务数据分析请求，在这种方式中，用户还可以沿用之前的数据分析流程，直接向业务系统发送携带有指标项的分析请求，业务系统在接收到分析请求后在分析请求中添加目标业务数据的标识，得到业务数据分析请求，并将该业务数据分析请求发送至大数据平台。这种方式中，用户可以无感知的沿用之前的数据分析流程，就可以实现业务数据分析的目的，在不影响业务系统性能的基础上提升了用户体验。

s102：对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项；

其中，目标业务数据的标识指示目标数据的范围，指标项指示统计分析后需要得到的指标项。

s103：根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据，并依据所述指标项对所述目标业务数据进行统计分析，得到所述目标业务数据的统计分析结果。

需要说明的是，大数据平台同步存储至少一个业务系统的基础数据，基础数据不是业务系统的全部数据，而是后续分析可能用到的数据，基础数据是按照预先规则从业务系统核心数据库中提取出来的数据。

为了便于后续分析，大数据平台可以从至少一个业务系统的核心数据库中同步提取新增的原始数据，对原始数据进行预处理，如清洗、加工等，得到基础数据，并存储基础数据。

在大数据平台中，为了便于存储基础数据，预先为每个基础主题域设置一个对应的存储空间，如数据仓库，在存储业务系统的基础数据时，首先获取业务系统的基础数据的标识，然后根据业务系统的基础数据的标识，确定业务系统的基础数据的所属基础主题域，最后将业务系统的基础数据存储在其所属基础主题域对应的存储空间中。

基础主题域表示基础数据范围，如存款、信贷、结算、资金、财务等。

在此基础上，在进行数据分析时，可以直接从与目标业务数据的标识相对应的基础主题域的存储空间中提取目标业务数据，并依据指标项对目标业务数据进行统计分析，得到目标业务数据的统计分析结果。

其中，当目标业务数据量较大时，为了提高了处理效率，可以将对目标业务数据的分析统计任务拆分成多个子任务，多线程并行处理子任务，提高数据统计分析效率。

得到目标业务数据的统计分析结果后，还可以根据目标业务数据的统计分析结果，以预设格式生成报表，预设格式如html、excel等，将生成的报表存储在缓存中，便于后续查看。

当需要向用户展示报表时，对缓存中的报表进行渲染，在大数据平台的可视化交互界面显示渲染后的报表。

也就是说，用户通过大数据平台的可视化交互界面，可以进行报表查询、报表展示，还可以进行报表导出和报表打印。

由于大数据平台可以实现对至少一个业务系统的业务数据进行数据分析，也就是说，多个业务系统都可以通过大数据平台进行数据分析，为了保证数据的安全性，每个业务系统的用户，以及上层用户都需要被分配不同的权限，只有具有权限才能访问相应的数据。

在此基础上，在大数据平台预先存储权限配置信息，权限配置信息包括每个用户对应的权限。

在接收到业务数据分析请求后，对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项，读取预先存储的权限配置信息，根据权限配置信息，判断发送业务数据分析请求的用户是否具有对目标业务数据的访问权限。

若该用户有对目标业务数据的访问权限，根据目标业务数据的标识从预先存储的基础数据中提取目标业务数据，并依据指标项对目标业务数据进行统计分析，得到目标业务数据的统计分析结果，进一步可以向该用户展示统计分析结果。

若该用户没有对目标业务数据的访问权限，则提示该用户无权限访问，或提示无法显示相应的统计分析结果。

可见，本实施例公开的数据分析方法，应用于独立于业务系统的大数据平台，大数据平台通过同步存储至少一个业务系统的基础数据，使大数据平台与业务系统中的基础数据一致，不影响数据分析的准确性。在接收到业务数据分析请求后，可以从预先存储的基础数据中提取业务数据分析请求对应的目标业务数据，并对目标业务数据进行统计处理，整个数据分析过程不需要占用业务系统的计算资源，不影响业务系统的运行，实现对至少一个业务系统的业务数据的数据分析，同时利用大数据平台强大的处理能力，提高了数据分析效率。

基于上述实施例公开的一种数据分析方法，本实施例对应公开了一种大数据平台，请参阅图2，大数据平台包括：

数据层100，用于同步存储至少一个业务系统的基础数据；

数据层可以通过oracle、hbase等数据库存储基础数据，也可以通过预先定义好的数据仓库模型存储基础数据，如每个基础主题域分别对应数据仓库模型中的一个存储空间。

交互界面层200，用于获取用户发送的业务数据分析请求，并将所述业务数据分析请求转发至管理控制层；

交互界面层可以实现用户与大数据平台之间的交互，如报表查询、报表展示、报表导出、报表打印等。

所述管理控制层300，用于对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项，并将所述目标业务数据的标识和所述指标项发送至数据处理层；

管理控制层可以实现定时任务功能，如定时执行某个预先设定好的数据分析任务，权利控制功能、容错处理功能、个性化支持功能、安全控制功能和响应机制功能。

所述数据处理层400，用于根据所述目标业务数据的标识从所述数据层中提取所述目标业务数据，并依据所述指标项对所述目标业务数据进行统计分析，得到所述目标业务数据的统计分析结果。

可选的，所述交互界面层200，具体用于接收用户通过所述大数据平台的可视化交互界面发送的所述业务数据分析请求。

可选的，所述交互界面层200，具体用于接收业务系统发送的所述业务数据分析请求，所述业务数据分析请求包括业务系统在接收到用户发送的分析请求后添加的所述目标业务数据的标识，用户发送的所述分析请求携带有所述指标项。

可选的，所述管理控制层300，具体用于：

读取所述数据层存储的权限配置信息；

根据所述权限配置信息，判断发送所述业务数据分析请求的用户是否具有对所述目标业务数据的访问权限；

若有对所述目标业务数据的访问权限，根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据。

可选的，所述数据层100，还用于：

从所述至少一个业务系统的核心数据库中同步提取新增的原始数据；

对所述原始数据进行预处理，得到所述基础数据；

存储所述基础数据。

可选的，所述数据层100，具体用于：

获取业务系统的基础数据的标识；

根据业务系统的基础数据的标识，确定业务系统的基础数据的所属基础主题域；

将业务系统的基础数据存储在其所属基础主题域对应的存储空间中。

可选的，请参阅图3，所述大数据平台还包括缓存机制500；

所述数据处理层400，还用于根据所述目标业务数据的统计分析结果，以预设格式生成报表，并将生成的报表存储在所述缓存机制层的缓存中；

所述管理控制层300，还用于将缓存中的报表发送至所述交互界面层；

所述交互界面层200，还用于对接收到的报表进行渲染，并在所述大数据平台的可视化交互界面显示渲染后的报表。

缓存机制层500，可以实现对报表的redis缓存，并记录日志，便于后续追溯。

本实施例公开的大数据平台，大数据平台通过同步存储至少一个业务系统的基础数据，使大数据平台与业务系统中的基础数据一致，不影响数据分析的准确性。在接收到业务数据分析请求后，可以从预先存储的基础数据中提取业务数据分析请求对应的目标业务数据，并对目标业务数据进行统计处理，整个数据分析过程不需要占用业务系统的计算资源，不影响业务系统的运行，实现对至少一个业务系统的业务数据的数据分析，同时利用大数据平台强大的处理能力，提高了数据分析效率。

本发明实施例还公开了一种数据分析系统，请参阅图4，包括：大数据平台与至少一个业务系统；

所述大数据平台与所述业务系统通信连接，同步存储所述业务系统的基础数据；

所述大数据平台，用于执行下数据分析方法：

获取业务数据分析请求；

对所述业务数据分析请求进行解析，确定目标业务数据的标识和指标项；

根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据，并依据所述指标项对所述目标业务数据进行统计分析，得到所述目标业务数据的统计分析结果。

进一步，所述获取业务数据分析请求，包括：

接收用户通过所述大数据平台的可视化交互界面发送的所述业务数据分析请求。

进一步，所述获取业务数据分析请求，包括：

接收业务系统发送的所述业务数据分析请求，所述业务数据分析请求包括业务系统在接收到用户发送的分析请求后添加的所述目标业务数据的标识，用户发送的所述分析请求携带有所述指标项。

进一步，所述根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据，包括：

读取预先存储的权限配置信息；

根据所述权限配置信息，判断发送所述业务数据分析请求的用户是否具有对所述目标业务数据的访问权限；

若有对所述目标业务数据的访问权限，根据所述目标业务数据的标识从预先存储的基础数据中提取所述目标业务数据。

进一步，所述方法还包括：

从所述至少一个业务系统的核心数据库中同步提取新增的原始数据；

对所述原始数据进行预处理，得到所述基础数据；

存储所述基础数据。

进一步，所述大数据平台同步存储至少一个业务系统的基础数据，包括：

获取业务系统的基础数据的标识；

根据业务系统的基础数据的标识，确定业务系统的基础数据的所属基础主题域；

将业务系统的基础数据存储在其所属基础主题域对应的存储空间中。

进一步，在所述得到所述目标业务数据的统计分析结果之后，所述方法还包括：

根据所述目标业务数据的统计分析结果，以预设格式生成报表；

将生成的报表存储在缓存中；

对缓存中的报表进行渲染；

在所述大数据平台的可视化交互界面显示渲染后的报表。

可选的，所述业务系统，用于：

接收用户发送的携带有指标项的分析请求；

根据所述指标项，在所述分析请求中添加目标业务数据的标识，得到业务数据分析请求；

将所述业务数据分析请求发送至所述大数据平台；

接收并显示所述大数据平台反馈的所述目标业务数据的统计分析结果。

也就是说，用户还可以沿用之前的数据分析流程，直接向业务系统发送分析请求，业务系统在接收到分析请求后在分析请求中添加目标业务数据的标识，得到业务数据分析请求，并将该业务数据分析请求发送至大数据平台。这种方式中，用户可以无感知的沿用之前的数据分析流程，就可以实现业务数据分析的目的，在不影响业务系统性能的基础上提升了用户体验。

可见，本实施例公开的数据分析系统，在大数据平台进行数据分析，整个数据分析过程不需要占用业务系统的计算资源，不影响业务系统的运行，实现对至少一个业务系统的业务数据的数据分析，同时利用大数据平台强大的处理能力，提高了数据分析效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。