面向多类型产业集群互联网流式数据存储与计算系统的制作方法

1.本发明涉及数据存储与计算系统技术领域，具体为面向多类型产业集群 互联网流式数据存储与计算系统。


背景技术：

2.工业互联网的本质是通过开放的、全球化的工业级网络平台把设备、生 产线、工厂、供应商、产品和客户紧密地连接和融合起来，高效共享工业经 济中的各种要素资源，从而通过自动化、智能化的生产方式降低成本、增加 效率，帮助制造业延长产业链，推动制造业转型发展，工业互联网通过智能 机器间的连接并最终将人机连接，结合软件和大数据分析，重构全球工业、 激发生产力，让世界更美好、更快速、更安全、更清洁且更经济。中国工业 互联网标识解析国家顶级节点落户在北京、上海、广州、武汉、重庆五大城 市，但是不少企业由于缺乏统一的总体规划和标准规范，从而产生不同厂家、 不同专业、不同平台、不同功能、不同协议的高端装备之间，信息化应用系 统之间，以及高端装备与信息化系统之间难以深度集成，造成无法对车间高 端装备联网、数据采集和集中管控。
3.现有的工业互联网流式数据存储与计算系统的数据处理方法还不够完 善，存在诸多问题，数据处理方法的建设成本高、系统灵活性弱以及共享性 差的问题较为普遍，不利于工业企业的发展，同时大量的数据计算会占用较 多的存储空间，会降低数据处理速度，不利于长期的数据处理。


技术实现要素：

4.针对现有技术的不足，本发明提供了面向多类型产业集群互联网流式数 据存储与计算系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：面向多类型产业集群互联 网流式数据存储与计算系统，包括工业互联网全业务大数据管理平台，其特 征在于，通过整合、重构和集成方式构建工业互联网全业务大数据管理平台， 用于对工业互联网全业务大数据进行服务，所述工业互联网全业务大数据管 理平台包括智能计算系统、数据存储计算系统以及数据采集处理系统；
6.所述智能计算系统即为数据分析挖掘层，用于对工业互联网全业务大数 据进行挖掘，进而构建相应的知识管理服务库；
7.所述数据存储计算系统，即并行计算层和数据存储层，用于工业互联网 全业务大数据的计算以及存储，形成具有分布式文件集成管理的数据统一存 储服务构架；
8.所述数据采集处理系统，即数据接入层和数据处理层，数据接入层具备 定期批量采集、实时采集、日志/非结构化操作标准构件；数据处理层用于 数据清洗、数据转化、数据加载以及任务调度。
9.进一步优化本技术方案，所述智能计算系统，应须包括：基于机器学习 算法、深度学习算法的人工智能与数字孪生建模、文本及自然语言处理，并 构建相应的知识管理服务
库。
10.进一步优化本技术方案，所述数据存储计算系统中计算层应有基于 spark sql引擎的离线计算及流式计算，所述数据存储层具有基于分布式数 据仓库、关系型数据库、时序数据库，并具有分布式文件集成管理的数据统 一存储服务构架。
11.进一步优化本技术方案，所述大数据全业务服务管理平台内部设置有数 据资产管理单元，所述数据资产管理单元用于元数据管理、数据质量管理、 安全与隐私管理以及监控与报告管理。
12.进一步优化本技术方案，所述大数据全业务服务管理平台内部设置有运 维管理系统，所述运维管理系统用于系统管理、日志管理、权限管理、节点 管理以及运行监控。
13.进一步优化本技术方案，所述大数据全业务服务管理平台内部设置有安 全保障系统，所述安全保障系统用于物理安全、运行安全、数据安全、网络 安全以及系统安全管理。
14.进一步优化本技术方案，所述所述数据采集处理系统主要根据以太网口 数据采集、串口数据采集、数据采集卡数据采集以及传感器数据采集。
15.进一步优化本技术方案，所述以太网口数据采集对于带有rj45以太网接 口的数控/智能设备，可直接通过网线与采集系统连接，因网口设备系统的 开放性，采集到的数据较多，只要系统内部支持，都能尽可能地采集到，可 采集到的内容有设备运行状态、具体报警信息、正在执行的程序、伺服参数、 当前坐标信息、位移量。
16.进一步优化本技术方案，所述串口数据采集可支持tcp，udp，http，dns 协议，支持过网关、跨路由通信，通过设置可以实现串口设备立即联网，此 方式适用于现有带串口的专机，可采集到的内容有设备电压、电流、速度及 位移量，可对质量进行实时监督和追溯。
17.进一步优化本技术方案，所述数据采集卡数据采集不受数控系统、设备 接口限制，只要能与设备相关的i/o点、对应的传感器上，采用专用的采集 卡即可采集到设备相关信息，可采集到的内容有设备上电，设备断电，程序 加工开始，程序加工结束，设备故障，主轴功率，各种压力以及温度。
18.与现有技术相比，本发明提供了面向多类型产业集群互联网流式数据存 储与计算系统，具备以下有益效果：
19.该面向多类型产业集群互联网流式数据存储与计算系统，利于对工业互 联网流式数据进行存储与计算，使得企业可以根据生产需求，调节生产运作 时间，从而达到降低生产成本、提高生产效率，优化管理企业生产流程的目 的，同时利于帮助企业充分利用每台设备，提高生产效率，同时也利于了解 生产线的生产情况、设备的运行状态，掌握整个车间的运行状态，帮助企业 了解生产任务的进展，从而根据业务需求进行生产调节，保证生产任务按期 完成，进而利于提高企业工作效率，同时该系统具有较好的推广价值，可以 面向多类型产业集群工业进行使用。
附图说明
20.图1为本发明提出的面向多类型产业集群互联网流式数据存储与计算系 统的控制系统示意图；
21.图2为本发明提出的面向多类型产业集群互联网流式数据存储与计算系 统的数
据采集处理系统示意图；
22.图3为本发明提出的面向多类型产业集群互联网流式数据存储与计算系 统的数据存储计算系统示意图；
23.图4为本发明提出的面向多类型产业集群互联网流式数据存储与计算系 统的智能计算系统示意图。
具体实施方式
24.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全 部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例：
26.请参考图1-4所示，面向多类型产业集群互联网流式数据存储与计算系 统，包括工业互联网全业务大数据管理平台，其特征在于，通过整合、重构 和集成方式构建工业互联网全业务大数据管理平台，用于对工业互联网全业 务大数据进行服务，所述工业互联网全业务大数据管理平台包括智能计算系 统、数据存储计算系统以及数据采集处理系统，该工业互联网流式数据存储 与计算系统，利于对工业互联网流式数据进行存储与计算，使得企业可以根 据生产需求，调节生产运作时间，从而达到降低生产成本、提高生产效率， 优化管理企业生产流程的目的，同时利于帮助企业充分利用每台设备，提高 生产效率，同时也利于了解生产线的生产情况、设备的运行状态，掌握整个 车间的运行状态，帮助企业了解生产任务的进展，从而根据业务需求进行生 产调节，保证生产任务按期完成，进而利于提高企业工作效率，同时该系统 具有较好的推广价值，可以面向多类型产业集群工业进行使用。
27.所述智能计算系统即为数据分析挖掘层，用于对工业互联网全业务大数 据进行挖掘，进而构建相应的知识管理服务库。
28.所述数据存储计算系统，即并行计算层和数据存储层，用于工业互联网 全业务大数据的计算以及存储，形成具有分布式文件集成管理的数据统一存 储服务构架。
29.所述数据采集处理系统，即数据接入层和数据处理层，数据接入层具备 定期批量采集、实时采集、日志/非结构化操作标准构件；数据处理层用于 数据清洗、数据转化、数据加载以及任务调度。
30.作为本实施例的具体优化方案，所述智能计算系统，应须包括：基于机 器学习算法、深度学习算法的人工智能与数字孪生建模、文本及自然语言处 理，并构建相应的知识管理服务库。
31.作为本实施例的具体优化方案，所述数据存储计算系统中计算层应有基 于spark sql引擎(交互查询)的离线计算及流式计算功能，所述数据存储层 具有基于分布式数据仓库、关系型数据库、时序数据库，并具有分布式文件 集成管理的数据统一存储服务构架。
32.作为本实施例的具体优化方案，所述大数据全业务服务管理平台内部设 置有数据资产管理单元，所述数据资产管理单元用于元数据管理、数据质量 管理、安全与隐私管理以及监控与报告管理。
33.作为本实施例的具体优化方案，所述大数据全业务服务管理平台内部设 置有运维管理系统，所述运维管理系统用于系统管理、日志管理、权限管理、 节点管理以及运行监控。
34.作为本实施例的具体优化方案，所述大数据全业务服务管理平台内部设 置有安全保障系统，所述安全保障系统用于物理安全、运行安全、数据安全、 网络安全以及系统安全管理。
35.作为本实施例的具体优化方案，所述所述数据采集处理系统主要根据以 太网口数据采集、串口数据采集、数据采集卡数据采集以及传感器数据采集， 所述以太网口数据采集对于带有rj45以太网接口的数控/智能设备，可直接 通过网线与采集系统连接，因网口设备系统的开放性，采集到的数据较多， 只要系统内部支持，都能尽可能地采集到，可采集到的内容有设备运行状态、 具体报警信息、正在执行的程序、伺服参数、当前坐标信息、位移量，所述 串口数据采集可支持tcp，udp，http，dns协议，支持过网关、跨路由通信， 通过设置可以实现串口设备立即联网，此方式适用于现有带串口的专机，可 采集到的内容有设备电压、电流、速度及位移量，可对质量进行实时监督和 追溯，所述数据采集卡数据采集不受数控系统、设备接口限制，只要能与设 备相关的i/o点、对应的传感器上，采用专用的采集卡即可采集到设备相关 信息，可采集到的内容有设备上电，设备断电，程序加工开始，程序加工结 束，设备故障，主轴功率，各种压力以及温度。
36.本发明的有益效果是：该面向多类型产业集群互联网流式数据存储与计 算系统，利于对工业互联网流式数据进行存储与计算，使得企业可以根据生 产需求，调节生产运作时间，从而达到降低生产成本、提高生产效率，优化 管理企业生产流程的目的，同时利于帮助企业充分利用每台设备，提高生产 效率，同时也利于了解生产线的生产情况、设备的运行状态，掌握整个车间 的运行状态，帮助企业了解生产任务的进展，从而根据业务需求进行生产调 节，保证生产任务按期完成，进而利于提高企业工作效率，同时该系统具有 较好的推广价值，可以面向多类型产业集群工业进行使用。
37.本系统中涉及到的相关模块均为硬件系统模块或者为现有技术中计算机 软件程序或协议与硬件相结合的功能模块，该功能模块所涉及到的计算机软 件程序或协议的本身均为本领域技术人员公知的技术，其不是本系统的改进 之处；本系统的改进为各模块之间的相互作用关系或连接关系，即为对系统 的整体的构造进行改进，以解决本系统所要解决的相应技术问题。
38.值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只 是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应 的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不 用于限制本发明的保护范围。
39.注意，上述仅为本发明的较佳实施例及所运用技术原理，本领域技术人 员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能 够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因 此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅 仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等 效实施例，而本发明的范围由所附的权利要求范围决定。
40.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限 定。