一种大数据清洗与分析系统的制作方法

1.本发明涉及数据清洗技术领域，涉及一种大数据清洗与分析系统。


背景技术：

2.大数据清洗单元装置是部门业务应用系统进入水力客户信息大数据平台的接入设备，也是水力客户信息挖掘的边界，大数据清洗单元装置与部门业务应用系统进行信息交换，使用安全管理模块保证信息的安全可靠，并采用基于xml的资源交换协议，通过中心交换前置机发送信息到信息接收端；
3.大数据清洗单元装置运行在各个业务部门，同时，把中心共享数据库，文件共享库等作为特殊的部门，在网络中心安装大数据清洗单元装置，供其他业务部门访问这些数据，现有的大数据清洗系统与管理系统功能比较单一，清洗速度比较低。


技术实现要素：

4.为了解决上述问题，本发明提供一种功能齐全、清洗速度高的大数据清洗和分析系统。
5.本发明下技术方案：
6.一种大数据清洗，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。
7.所述的分析系统包括系统配置和界面配置。
8.所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。
9.所述的元数据管理和主题管理连接远程管理接口。
10.所述的公共代码管理连接公共代码管理器。
11.所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。
12.所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
13.所述的安全管理用以管理元数据和主安全管理。
14.所述的服务管理包括服务定义、服务注册、服务注销操作。
15.本发明一种大数据分析系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、分析系统模块、系统工具模块和安全管理模块。
16.所述的数据交换模块包括数据检索、数据更新、数据删除和sql数据交换。
17.所述的数据库数据传输模块包括数据库传输和数据库同步。
18.所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数
据。
19.所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义sql数据交换和自定义数据发布订阅。
20.所述的定时操作模块包括定时数据交换、定时数据库传输、定时sql数据交换和定时数据发布订阅。
21.所述的分析系统模块包括系统配置、系统监控、日志管理和定时操作监控器。
22.所述的系统工具模块包括模式定义工具、动作定义工具和过滤条件定义工具。
23.所述的安全管理模块包括用户管理、代理安全管理和模式安全管理和sql数据交换安全管理。
24.本发明提供的技术方案带来的有益效果是：
25.通过大数据清洗和分析系统能实现整个城市水力客户信息大数据平台的基础统一和功能的侧重，共同完成水力客户信息资源目录及水力客户信息大数据平台中心共享数据路的数据共享和交换工作，另外，本发明的大数据清洗与分析系统功能多样，清洗速度快。
附图说明
26.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本发明分析系统的结构示意图；
28.图2是本发明数据清洗结构示意图；
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.第一部分：
31.如图1
‑
2所示，一种大数据清洗，包括引擎模块、管理模块、组件运行管理器1和接口模块，所述的引擎模块包括数据交换引擎2、数据同步复制引擎3、定时处理引擎4和服务处理引擎5，所述的管理模块包括分析系统6、系统监控7、服务管理8、安全管理9、元数据管理10、主题管理11和公共代码管理12、所述的接口模块包括数据交换与访问接口13、数据同步复制接口14和业务处理接口15。
32.所述的分析系统6包括系统配置16和界面设置17。
33.所述的系统监控7通过系统监控接口18控制系统操作信息19和系统线程信息20。
34.所述的元数据管理10和主题管理11连接远程管理接口21。
35.所述的公共代码管理12连接公共代码管理器22。
36.所述的数据交换引擎2，负责数据交换工作，包括数据检索、数据更新、数据插入、
数据删除。
37.所述的定时处理引擎4定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
38.所述的安全管理9用以管理元数据和主题安全管理。
39.所述的服务管理8包括服务定义、服务注册、服务注销操作。
40.本发明的一种大数据分析系统，包括控制模块23、数据交换模块24、数据库数据传输模块25、数据发布订阅模块26、自定义操作模块27、定时操作模块28、分析系统模块29、系统工具模块30和安全管理模块31。
41.所述的数据交换模块24包括数据检索、数据更新、数据删除和sql数据交换。
42.所述的数据库数据传输模块25包括数据库传输和数据库同步。
43.所述的数据发布订阅模块26包括发布数据声明、订阅数据声明、发布数据和订阅数据。
44.所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义sql数据交换和定时数据发布订阅。
45.所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义sql数据交换和自定义数据发布订阅。
46.所述的，定时操作模块28包括定时数据交换、定时数据传输、定时sql数据交换和定时数据发布订阅。
47.所述的分析系统模块29包括系统配置、系统监控、日志管理和定时操作监控器。
48.所述的系统工具模块30包括模式定义工具、动作自定义工具和过滤条件定义工具。
49.所述的安全管理模块31包括用户管理、代理安全管理和模式安全管理和sql数据交换安全管理。
50.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
51.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
52.以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。