一种数据分析处理平台的制作方法

本发明涉及数据分析领域，具体涉及一种数据分析处理平台。

背景技术：

大数据、云计算、“互联网+”已成为创新发展的新趋势，在大数据条件下，企业需具备在第一时间洞察数据的变化、感知有问题的数据，并提供有效的安全策略的能力。目前，传统的产品工具对数据的处理目前仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联要靠人工进行逐条甄别。

鉴于此，迫切需要设计一种可实现数据自动获取分析处理的数据分析处理平台。

技术实现要素：

为解决上述问题，本发明提供了一种数据分析处理平台，实现了多种目标数据的自动获取分析，大大方便了工作人员的使用。

为实现上述目的，本发明采取的技术方案为：

一种数据分析处理平台，包括：

目标数据采集模块，用于进行目标数据的采集；

数据标准化模块，基于预设的算法完成目标数据的标准化处理；

数据处理模块，采用基于平均多粒度决策粗糙集的属性约简算法对完成标准化处理后的目标数据进行约简处理；

数据特征提取模块，基于ccipca算法实现数据特征的提取；

数据分类模块，基于libsvm根据所述特征数据实现目标数据的分类；

数据分析模块，基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型基于所述数据特征实现目标数据的分析。

进一步地，所述目标数据采集模块内设有一定时模块，用于限制数据缓存通道、数据转移通道的启闭，达到目标数据的采集时限时，启动数据缓存通道，将目标数据经数据缓存通道输送至数据缓存模块，实现目标数据的缓存，当前一批数据完成标准化模块处理进入数据处理模块时，数据转移通道启动，将后一批数据经数据缓存模块输送至数据标准化模块。

进一步地，所述数据标准化模块用于实现图片数据和文本数据的分割，并将图片数据经图片输送通道输送到分析报告制作模块。

进一步地，所述分析报告制作模块用于将完成约简处理的目标数据、对应的分析结果及其相关图片填入预制的模板内，生成对应的分析报告，分析报告中，完成约简处理的目标数据以及相关图片采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成约简处理的目标数据和相关图片的查看，该超链接的名称为数据来源+时间。

进一步地，所述分析模板内设有对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于matlab实现。

进一步地，还包括目标数据采集工况接入模块，用于接入各目标数据采集模块的工况，并基于最邻近法实现各目标数据采集模块工况的评估，落入预设的门限时，预警模块启动。

进一步地，所述分析模块采用transformer模型。

进一步地，还包括一数据可视化分析模块，基于完成标准化处理后的数据通过zingchart实现数据的可视化分析。

进一步地，还包括一数据定位储存模块，基于数据分析结果在数据库中为目标数据找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。

本发明具有以下有益效果：

1）基于目标数据采集模块进行数据的针对性挖掘，然后基于平均多粒度决策粗糙集的属性约简算法进行数据的预处理，基于ccipca算法实现数据特征的提取提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据；

2）基于matlab根据分析模板内设有对应的分析步骤以及每个步骤对应的分析算法、分析模型实现了数据的自动分析，从而实现了多种目标数据的计算获取，大大方便了工作人员的使用。

3）通过数据的定时采集、缓存设计，可以很好的避免由于数据的拥堵而造成的数据分析平台的故障。

4）通过分析报告格式的优化，大大方便了用户后续对目标数据分析结果的调用查看。

附图说明

图1为本发明实施例一种数据分析处理平台的系统框图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种数据分析处理平台，包括：

目标数据采集模块，用于进行目标数据的采集；所述目标数据采集模块内设有一定时模块，用于限制数据缓存通道、数据转移通道的启闭，达到目标数据的采集时限时，启动数据缓存通道，将目标数据经数据缓存通道输送至数据缓存模块，实现目标数据的缓存，当前一批数据完成标准化模块处理进入数据处理模块时，数据转移通道启动，将后一批数据经数据缓存模块输送至数据标准化模块；

数据标准化模块，用于基于预设的算法实现图片数据和文本数据的分割，并将图片数据经图片输送通道输送到分析报告制作模块；

数据处理模块，采用基于平均多粒度决策粗糙集的属性约简算法对完成标准化处理后的目标数据进行约简处理；

数据特征提取模块，基于ccipca算法实现数据特征的提取；

数据分类模块，基于libsvm根据所述特征数据实现目标数据的分类；

数据分析模块，基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型基于所述数据特征实现目标数据的分析；所述分析模板内设有对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于matlab实现；

分析报告制作模块，用于将完成约简处理的目标数据、对应的分析结果及其相关图片填入预制的模板内，生成对应的分析报告，分析报告中，完成约简处理的目标数据以及相关图片采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成约简处理的目标数据和相关图片的查看，该超链接的名称为数据来源+时间。

目标数据采集工况接入模块，用于接入各目标数据采集模块的工况，并基于最邻近法实现各目标数据采集模块工况的评估，落入预设的门限时，预警模块启动；

数据可视化分析模块，基于完成标准化处理后的数据通过zingchart实现数据的可视化分析；

数据定位储存模块，基于数据分析结果在数据库中为目标数据找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；

中央处理器，用于协调上述各模块的工作。

本实施例中，所述分析模块采用transformer模型。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：

1.一种数据分析处理平台，其特征在于，包括：

目标数据采集模块，用于进行目标数据的采集；

数据标准化模块，基于预设的算法完成目标数据的标准化处理；

数据处理模块，采用基于平均多粒度决策粗糙集的属性约简算法对完成标准化处理后的目标数据进行约简处理；

数据特征提取模块，基于ccipca算法实现数据特征的提取；

数据分类模块，基于libsvm根据所述特征数据实现目标数据的分类；

数据分析模块，基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型基于所述数据特征实现目标数据的分析。

2.如权利要求1所述的一种数据分析处理平台，其特征在于，所述目标数据采集模块内设有一定时模块，用于限制数据缓存通道、数据转移通道的启闭，达到目标数据的采集时限时，启动数据缓存通道，将目标数据经数据缓存通道输送至数据缓存模块，实现目标数据的缓存，当前一批数据完成标准化模块处理进入数据处理模块时，数据转移通道启动，将后一批数据经数据缓存模块输送至数据标准化模块。

3.如权利要求1所述的一种数据分析处理平台，其特征在于，所述数据标准化模块用于实现图片数据和文本数据的分割，并将图片数据经图片输送通道输送到分析报告制作模块。

4.如权利要求3所述的一种数据分析处理平台，其特征在于，所述分析报告制作模块用于将完成约简处理的目标数据、对应的分析结果及其相关图片填入预制的模板内，生成对应的分析报告，分析报告中，完成约简处理的目标数据以及相关图片采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成约简处理的目标数据和相关图片的查看，该超链接的名称为数据来源+时间。

5.如权利要求1所述的一种数据分析处理平台，其特征在于，所述分析模板内设有对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于matlab实现。

6.如权利要求1所述的一种数据分析处理平台，其特征在于，还包括目标数据采集工况接入模块，用于接入各目标数据采集模块的工况，并基于最邻近法实现各目标数据采集模块工况的评估，落入预设的门限时，预警模块启动。

7.如权利要求1所述的一种数据分析处理平台，其特征在于，所述分析模块采用transformer模型。

8.如权利要求1所述的一种数据分析处理平台，其特征在于，还包括一数据可视化分析模块，基于完成标准化处理后的数据通过zingchart实现数据的可视化分析。

9.如权利要求1所述的一种数据分析处理平台，其特征在于，还包括一数据定位储存模块，基于数据分析结果在数据库中为目标数据找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。

技术总结
本发明公开了一种数据分析处理平台，包括目标数据采集模块，用于进行目标数据的采集；数据标准化模块，基于预设的算法完成目标数据的标准化处理；数据处理模块，采用基于平均多粒度决策粗糙集的属性约简算法对完成标准化处理后的目标数据进行约简处理；数据特征提取模块，基于CCIPCA算法实现数据特征的提取；数据分类模块，基于LIBSVM根据所述特征数据实现目标数据的分类；数据分析模块，基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型基于所述数据特征实现目标数据的分析。本发明提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

技术研发人员：张守成
受保护的技术使用者：广西民族师范学院
技术研发日：2019.12.27
技术公布日：2020.04.14