一种企业数据采集与分析系统的制作方法

本发明涉及数据采集与分析领域，具体涉及一种企业数据采集与分析系统。

背景技术：

企业数据泛指所有与企业经营相关的信息、资料，包括公司概况、产品信息、经营数据、研究成果等，各企业都需要定期对企业数据进行整理、分析和记载，以掌握企业运营状况和企业状态。

企业数据的采集和分析系统被应用在各个企业，分别对企业数据进行自动的获取和计算分析，然后将数据更直观简单地呈现给企业人员，可以使数据分析更明了，将内外部数据集中采集和处理还可以提高效率。

技术实现要素：

本发明公开了一种企业数据采集与分析系统，目的是实现内外数据集中处理，提高处理系统的一体化程度。

为了解决上述问题，本发明采取以下技术方案：

一种企业数据采集与分析系统，包括数据采集模块、数据预处理模块、数据分析模块、数据可视化模块、数据传输模块和远程客户端；所述数据采集模块包括etl脚本模块和数据爬虫模块；

所述数据采集模块的输出端连接到数据预处理模块的输入端；所述数据预处理模块的输出端连接到数据分析模块的输入端；所述数据分析模块的输出端通过数据传输模块连接到远程客户端，远程客户端内置数据可视化模块；

所述数据采集模块用于采集和载入待分析数据，所述数据预处理模块用于对数据进行清洗，所述数据分析模块用于对数据进行计算分析，所述远程客户端通过数据可视化模块显示数据结果。

优选地，所述数据可视化模块包括列表展示模块、曲线图展示模块和柱状图展示模块。

优选地，所述数据传输模块采用无线通信模块。

优选地，所述远程客户端包括计算机和手机。

优选地，所述数据分析模块包括数据整合模块、统计分析模块和数据存储模块；数据整合模块的输入端为数据分析模块的输入端，数据整合模块的输出端连接到统计分析模块的输入端，统计分析模块的输出端作为数据分析模块的输出端；统计分析模块还连接有数据存储模块。

优选地，所述数据分析模块还包括警示模块，警示模块用于在企业数据异常时向所述远程客户端发出警示信息。

优选地，所述数据清洗模块采用卡尔曼滤波器。

本发明通过etl脚本模块和数据爬虫模块采集企业内部和外部数据；数据分析模块中，数据整合模块使得预处理后的数据更有条理，然后再交给统计分析模块，降低了数据分析模块的工作难度，数据存储模块可以暂时存储数据，分别数据分析模块调用历史数据；远程客户端方便企业人员在任何地方都可以查看企业数据的分析结果；警示模块可以主动提醒企业人员数据异常状况，使得异常结果更显著。

附图说明

图1为本发明的实施例1的模块连接示意图。

具体实施方式

实施例1

参阅图1，一种企业数据采集与分析系统，包括数据采集模块、数据预处理模块、数据分析模块、数据可视化模块、数据传输模块和远程客户端。数据采集模块的输出端连接到数据预处理模块的输入端；数据预处理模块的输出端连接到数据分析模块的输入端；数据分析模块的输出端通过数据传输模块连接到远程客户端，远程客户端内置数据可视化模块。

在以上模块中，数据采集模块用于采集和载入待分析数据，数据预处理模块用于对数据进行清洗，数据分析模块用于对数据进行计算分析，远程客户端通过数据可视化模块显示数据结果。

其中，数据采集模块包括etl脚本模块和数据爬虫模块，etl脚本模块提取内部数据，数据爬虫模块提取外部数据；数据清洗模块可以采用卡尔曼滤波器。

需要说明的是，本实施例中，数据分析模块优选包括数据整合模块、统计分析模块和数据存储模块；数据整合模块的输入端为数据分析模块的输入端，数据整合模块的输出端连接到统计分析模块的输入端，统计分析模块的输出端作为数据分析模块的输出端；统计分析模块还连接有数据存储模块；数据传输模块可以采用无线通信模块，实现系统与远程客户端的无线通信，远程客户端可以包括计算机和手机，分别用户使用。

同时，数据可视化模块可以包括列表展示模块、曲线图展示模块和柱状图展示模块，列表展示模块、曲线图展示模块进而柱状图展示模块分别将数据分析结构以列表、曲线图和柱状图的形式展现。

进一步地，数据分析模块还可以包括警示模块，警示模块用于在企业数据异常时向远程客户端发出警示信息。

本发明的工作原理如下：

首先，数据采集模块中的etl脚本模块提取内部数据，数据爬虫模块提取外部数据，然后将提取的数据交给数据预处理模块。

然后由数据预处理模块对数据进行清洗，本实施例采用卡尔曼滤波器对异常数据进行修正，对缺失数据进行填补，将清洗后的数据传送到数据预处理模块。

接着，数据分析模块中的数据整合模块先对数据进行整理，将数据归类整合，然后交付统计分析模块，统计分析模块对手机进行数值计算处理，计算出企业人员所需要的数值；数据存储模块用于存储每次的分析计算结果，保存供有需求时用户主动调用。同时，统计分析模块可以比较计算结果和企业用户设定的企业数据标准值，当实际结果与数据标准值偏差超过一定百分比后，可以通过警示模块发出警示提醒。

最后，数据分析模块的计算结果通过数据传输模块发送到远程客户端，通过远程客户端内置的数据可视化模块，数据结果可以以列表、曲线图和柱状图的形式展现。

技术特征：

1.一种企业数据采集与分析系统，其特征在于：包括数据采集模块、数据预处理模块、数据分析模块、数据可视化模块、数据传输模块和远程客户端；所述数据采集模块包括etl脚本模块和数据爬虫模块；

所述数据采集模块的输出端连接到数据预处理模块的输入端；所述数据预处理模块的输出端连接到数据分析模块的输入端；所述数据分析模块的输出端通过数据传输模块连接到远程客户端，远程客户端内置数据可视化模块；

所述数据采集模块用于采集和载入待分析数据，所述数据预处理模块用于对数据进行清洗，所述数据分析模块用于对数据进行计算分析，所述远程客户端通过数据可视化模块显示数据结果。

2.根据权利要求1所述的一种企业数据采集与分析系统，其特征在于：所述数据可视化模块包括列表展示模块、曲线图展示模块和柱状图展示模块。

3.根据权利要求1所述的一种企业数据采集与分析系统，其特征在于：所述数据传输模块采用无线通信模块。

4.根据权利要求1所述的一种企业数据采集与分析系统，其特征在于：所述远程客户端包括计算机和手机。

5.根据权利要求1所述的一种企业数据采集与分析系统，其特征在于：所述数据分析模块包括数据整合模块、统计分析模块和数据存储模块；数据整合模块的输入端为数据分析模块的输入端，数据整合模块的输出端连接到统计分析模块的输入端，统计分析模块的输出端作为数据分析模块的输出端；统计分析模块还连接有数据存储模块。

6.根据权利要求5所述的一种企业数据采集与分析系统，其特征在于：所述数据分析模块还包括警示模块，警示模块用于在企业数据异常时向所述远程客户端发出警示信息。

7.根据权利要求1所述的一种企业数据采集与分析系统，其特征在于：所述数据清洗模块采用卡尔曼滤波器。

技术总结
本发明公开一种企业数据采集与分析系统，涉及数据采集与分析领域，包括数据采集模块、数据预处理模块、数据分析模块、数据可视化模块、数据传输模块和远程客户端；数据采集模块包括ETL脚本模块和数据爬虫模块；数据分析模块的输出端通过数据传输模块连接到远程客户端，远程客户端内置数据可视化模块；数据采集模块用于采集和载入待分析数据，数据预处理模块用于对数据进行清洗，数据分析模块用于对数据进行计算分析，远程客户端通过数据可视化模块显示数据结果，实现了一种集成度高处理数据高效率的数据采集与分析系统。

技术研发人员：杨静;赵鹏;黄文平;徐炜;青其烈
受保护的技术使用者：四川博道维新企业管理有限公司
技术研发日：2020.12.30
技术公布日：2021.04.30