一种基于大数据的计算机数据分析管理系统

1.本发明涉及大数据分析管理技术领域，具体为一种基于大数据的计算机数据分析管理系统。


背景技术：

2.大数据信息分析多通过机器学习算法进行分析学习，学习分析的速度及准确率主要由算力决定，而中小型公司无法满足大数据信息分析的计算学习算力要求的算力服务器配置，影响到对大数据信息分析的准确性和即时性，影响到大数据信息服务分析的发展，并且大数据中数据繁杂，重复的数据流也严重影响到数据分析的精度，不能很好的满足大数据信息分析需要，传统的计算机数据分析系统对数据的处理仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式。因此我们对此做出改进，提出一种基于大数据的计算机数据分析管理系统。


技术实现要素：

3.为了解决上述技术问题，本发明提供了如下的技术方案：
4.本发明一种基于大数据的计算机数据分析管理系统，包括数据库，所述数据库包括数据导入模块、数据分类储存模块和数据备份模块，所述数据导入模块输出端连接有数据整合模块，所述数据整合模块连接有数据采集模块；
5.所述数据采集模块包括多个数据采集子单元和数据预处理单元，所述数据采集模块对大数据进行采集和预处理工作；
6.所述数据整合模块包括数据分类单元、数据挖掘单元和数据转换单元，所述数据整合模块用于对采集到的信息进行分类归导，对于不符合要求的信息结构进行数据形式的转换，最终将整合完成的数据导入到数据库内。
7.作为本发明的一种优选技术方案，所述数据库通过数据传输模块连接有云管理中心，所述云管理中心用于存储数据库和更新数据库的内容，所述数据传输模块通过无线通讯和有线通讯连接到云管理中心，且所述数据传输模块采用gsm模块，所述数据备份模块对存储到数据库内的信息进行备份复制处理。
8.作为本发明的一种优选技术方案，所述数据采集模块用于对大数据信息进行采集，并且对采集的信息进行初步的清洗，对采集到的信息进行审核和对比，删除重复的数据数据信息，纠正错误数据，所述数据预处理单元包括重复数据筛选单元、错误信息删除单元、纠正错误信息单元和数据信息打包单元，所述数据采集子单元主要通过互联网采集的方式采集，并且搭配爬虫采集。
9.作为本发明的一种优选技术方案，所述数据分类单元通过数据采集模块对应采集的数据进行分类归导，且分类归导的数据将逐一与产品信息对应，对应生成收集数据，所述数据分类单元包括数据信息类别区分单元、数据信息主体检索单元、数据信息单位检索单元、数据信息对比分析单元，所述数据转换单元是对不符合存储要求的数据形式进行转换，
得到符合要求的数据形式，并且传输到数据分类单元，进行统一分类处理。
10.作为本发明的一种优选技术方案，所述数据挖掘单元用于对数据进行深层次分析，提取数据主要信息内容，对齐进行分析，并且生成分析报告，所述数据挖掘单元包括数据统计单元、数据计算单元和数据结果处理单元，所述数据结果处理单元与数据导入模块的输入端连接，所述数据结果处理单元使用算法为python算法、sql算法和决策树算法中的一种。
11.作为本发明的一种优选技术方案，所述数据分类存储模块收集的信息包括语音信息、图像信息、视频信息、文本信息、行业信息和舆情信息，所述数据分类存储模块包括分析压缩单元，对所收集到的信息进行压缩储存处理，得到数据压缩包。
12.作为本发明的一种优选技术方案，所述云管理中心连接多个数据库，用于存储源数据，并且及时的更新内容，定时查缺处理结果，通过程序对多套数据库进行定时扫描，以查找丢点数据并将丢点数据信息保存起来。
13.作为本发明的一种优选技术方案，所述数据库中还包括数据查找模块，所述数据查找模块用于快速的查找和调取数据库内的信息。
14.本发明的有益效果是：
15.1、该种基于大数据的计算机数据分析管理系统，通过在数据采集模块内设置多个数据采集子单元和数据预处理单元，增加了数据采集的范围利用数据预处理单元能过滤掉部分无用信息和重复信息，提高了数据处理的效率，有助于数据整合模块处理的便利性，对多个数据源进行属性分类和数据分级处理后，根据数据请求指令选定最优数据获取路径从而获取数据请求方所需的目标数据，有效提高从众多数据源中获取目标数据的能力；
16.2、该种基于大数据的计算机数据分析管理系统，通过在数据分类存储模块进行对语音信息、图像信息、视频信息、文本信息、行业信息、舆情信息进行实时收集储存，并通过数据传输模块将收集的数据上传至云管理中心，云管理中心中的信息分类存储，使得基于大数据的信息收集分析系统具有信息收集功能，且信息分类明确；
17.3、该种基于大数据的计算机数据分析管理系统，通过数据分类模块对数据信息对比分析将待分析的数据与检索到的信息进行对比分析，完成人工智能分析，增加了分析数据的准确性，使得使用端可以通过分析数据做出准确的应对判断，通过将数据信息与云管理中心连接，便捷了对数据信息的快速调整，且避免传统的分析系统不便实时调整，更新换代率高的情况。
附图说明
18.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
19.图1是本发明一种基于大数据的计算机数据分析管理系统的框图；
20.图2是本发明一种基于大数据的计算机数据分析管理系统的数据整合模块框图；
21.图3是本发明一种基于大数据的计算机数据分析管理系统的云管理中心框图。
具体实施方式
22.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实
施例仅用于说明和解释本发明，并不用于限定本发明。
23.实施例：如图1-3所示，本发明一种基于大数据的计算机数据分析管理系统，包括数据库，数据库包括数据导入模块、数据分类储存模块和数据备份模块，数据导入模块输出端连接有数据整合模块，数据整合模块连接有数据采集模块；
24.数据采集模块包括多个数据采集子单元和数据预处理单元，数据采集模块对大数据进行采集和预处理工作；
25.数据整合模块包括数据分类单元、数据挖掘单元和数据转换单元，数据整合模块用于对采集到的信息进行分类归导，对于不符合要求的信息结构进行数据形式的转换，最终将整合完成的数据导入到数据库内。
26.其中，数据库通过数据传输模块连接有云管理中心，云管理中心用于存储数据库和更新数据库的内容，数据传输模块通过无线通讯和有线通讯连接到云管理中心，且数据传输模块采用gsm模块，数据备份模块对存储到数据库内的信息进行备份复制处理。
27.其中，数据采集模块用于对大数据信息进行采集，并且对采集的信息进行初步的清洗，对采集到的信息进行审核和对比，删除重复的数据数据信息，纠正错误数据，数据预处理单元包括重复数据筛选单元、错误信息删除单元、纠正错误信息单元和数据信息打包单元，数据采集子单元主要通过互联网采集的方式采集，并且搭配爬虫采集。
28.其中，数据分类单元通过数据采集模块对应采集的数据进行分类归导，且分类归导的数据将逐一与产品信息对应，对应生成收集数据，数据分类单元包括数据信息类别区分单元、数据信息主体检索单元、数据信息单位检索单元、数据信息对比分析单元，数据转换单元是对不符合存储要求的数据形式进行转换，得到符合要求的数据形式，并且传输到数据分类单元，进行统一分类处理。
29.其中，数据挖掘单元用于对数据进行深层次分析，提取数据主要信息内容，对齐进行分析，并且生成分析报告，数据挖掘单元包括数据统计单元、数据计算单元和数据结果处理单元，数据结果处理单元与数据导入模块的输入端连接，数据结果处理单元使用算法为python 算法、sql算法和决策树算法中的一种。
30.其中，数据分类存储模块收集的信息包括语音信息、图像信息、视频信息、文本信息、行业信息和舆情信息，数据分类存储模块包括分析压缩单元，对所收集到的信息进行压缩储存处理，得到数据压缩包。
31.其中，云管理中心连接多个数据库，用于存储源数据，并且及时的更新内容，定时查缺处理结果，通过程序对多套数据库进行定时扫描，以查找丢点数据并将丢点数据信息保存起来。
32.其中，数据库中还包括数据查找模块，数据查找模块用于快速的查找和调取数据库内的信息。
33.可以根据数据采集计划，自动运行对应的数据挖掘模型、数据预处理模型和数据分析模块依次完成大数据的采集、预处理和分析工作，通过在数据采集模块内设置多个数据采集子单元和数据预处理单元，增加了数据采集的范围利用数据预处理单元能过滤掉部分无用信息和重复信息，提高了数据处理的效率，有助于数据整合模块处理的便利性，对多个数据源进行属性分类和数据分级处理后，根据数据请求指令选定最优数据获取路径从而获取数据请求方所需的目标数据，有效提高从众多数据源中获取目标数据的能力，通过在
数据分类存储模块进行对语音信息、图像信息、视频信息、文本信息、行业信息、舆情信息进行实时收集储存，并通过数据传输模块将收集的数据上传至云管理中心，云管理中心中的信息分类存储，使得基于大数据的信息收集分析系统具有信息收集功能，且信息分类明确，通过数据分类模块对数据信息对比分析将待分析的数据与检索到的信息进行对比分析，完成人工智能分析，增加了分析数据的准确性，使得使用端可以通过分析数据做出准确的应对判断，通过将数据信息与云管理中心连接，便捷了对数据信息的快速调整，且避免传统的分析系统不便实时调整，更新换代率高的情况
34.最后应说明的是：在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
35.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
36.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。