本申请涉及工业自动化控制技术领域,特别涉及一种工业大数据建模平台。
背景技术:
工业数据是在工业领域信息化应用中产生的数据,其可以反映机器设备的运行情况,因此可以通过分析工业数据对机器设备的运行进行监控及控制。
但是,在工业领域,需要一种平台,至少可以提供工业数据分析功能。
技术实现要素:
为解决上述技术问题,本申请实施例提供一种工业大数据建模平台,以达到实现对工业数据进行分析的目的,技术方案如下:
一种工业大数据建模平台,包括:数据管理设备、算法管理设备、模型管理设备、模型发布部署设备及预测控制设备;
所述数据管理设备的输入接口与工业数据库相连,所述数据管理设备的输出接口与所述模型管理设备的第一输入接口相连;
所述模型管理设备的第二输入接口与所述算法管理设备的输出接口相连;
所述模型管理设备的输出接口与所述模型发布部署设备的输入接口相连,所述模型发布部署设备的输出接口与所述预测控制设备的输入接口相连;
所述数据管理设备,用于从所述工业数据库中获取工业数据,并对获取到的工业数据进行管理;
所述算法管理设备,用于对预置的机器学习算法进行管理;
所述模型管理设备,用于利用所述算法管理设备管理的机器学习算法构建基于机器学习的工业大数据分析模型,并从所述数据管理设备获取到的工业数据中获取目标数据,作为训练数据,并利用所述训练数据对所述基于机器学习的工业大数据分析模型进行训练;
所述模型发布部署设备,用于将所述模型管理设备训练得到的基于机器学习的工业大数据分析模型部署到预测服务端;
所述预测控制设备,用于控制所述预测服务端利用所述基于机器学习的工业大数据分析模型,对目标设备产生的工业数据进行预测,并将根据所述预测服务端的预测结果产生的控制指令下发给所述目标设备,以控制所述目标设备运行。
优选的,所述工业大数据建模平台还包括:模型有效性监控及优化设备;
所述模型有效性监控及优化设备的输入接口与所述预测控制设备相连,所述模型有效性监控及优化设备的输出接口与所述模型管理设备相连;
所述模型有效性监控及优化设备,用于对所述基于机器学习的工业大数据分析模型的预测性能进行监控,若预测性能下降,则发送控制命令至所述模型管理设备;
所述模型管理设备,还用于按照所述控制命令,对所述基于机器学习的工业大数据分析模型进行优化,并将优化后的基于机器学习的工业大数据分析模型替换所述基于机器学习的工业大数据分析模型。
优选的,所述模型有效性监控及优化设备,还用于:
若监控到所述基于机器学习的工业大数据分析模型的预测性能在设定时间内无效,则发出警告。
优选的,所述模型管理设备,具体用于:
将所述算法管理设备管理的机器学习算法编排为建模过程图;
并按照所述建模过程图,构建基于机器学习的工业大数据分析模型。
优选的,所述模型管理设备,还用于:
保存所述建模过程图。
优选的,所述模型管理设备,还用于:
对所述建模过程图进行复制。
优选的,所述模型管理设备,还用于:
对用于构建所述基于机器学习的工业大数据分析模型的机器学习算法的参数进行配置。
优选的,所述模型管理设备,还用于:
对构建的多个基于机器学习的工业大数据分析模型进行组合。
优选的,所述算法管理设备还包括输入接口,用于接收用户上传的自定义算法;
所述算法管理设备,还用于保存并管理所述用户上传的自定义算法。
优选的,所述模型管理设备还用于:
对训练得到的各个基于机器学习的工业大数据分析模型进行管理。
与现有技术相比,本申请的有益效果为:
在本申请中,提供一种工业大数据建模平台,包括:数据管理设备、算法管理设备、模型管理设备、模型发布部署设备及预测控制设备,数据管理设备、算法管理设备、模型管理设备、模型发布部署设备及预测控制设备之间协同工作,可以构建基于机器学习的工业大数据分析模型,并利用基于机器学习的工业大数据分析模型对工业数据进行分析,实现对目标设备运行的控制。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种工业大数据建模平台实施例1的结构示意图;
图2是本申请提供的一种工业大数据建模平台实施例2的结构示意图;
图3是本申请提供的一种工业大数据建模平台实施例3的结构示意图;
图4是本申请提供的一种工业大数据建模平台实施例4的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种工业大数据建模平台,包括:数据管理设备、算法管理设备、模型管理设备、模型发布部署设备及预测控制设备;所述数据管理设备的输入接口与工业数据库相连,所述数据管理设备的输出接口与所述模型管理设备的第一输入接口相连;所述模型管理设备的第二输入接口与所述算法管理设备的输出接口相连;所述模型管理设备的输出接口与所述模型发布部署设备的输入接口相连,所述模型发布部署设备的输出接口与所述预测控制设备的输入接口相连;所述数据管理设备,用于从所述工业数据库中获取工业数据,并对获取到的工业数据进行管理;所述算法管理设备,用于对预置的机器学习算法进行管理;所述模型管理设备,用于利用所述算法管理设备管理的机器学习算法构建基于机器学习的工业大数据分析模型,并从所述数据管理设备获取到的工业数据中获取目标数据,作为训练数据,并利用所述训练数据对所述基于机器学习的工业大数据分析模型进行训练;所述模型发布部署设备,用于将所述模型管理设备训练得到的基于机器学习的工业大数据分析模型部署到预测服务端;所述预测控制设备,用于控制所述预测服务端利用所述基于机器学习的工业大数据分析模型,对目标设备产生的工业数据进行预测,并将根据所述预测服务端的预测结果产生的控制指令下发给所述目标设备,以控制所述目标设备运行。在本申请中,可以实现对工业数据进行分析。
接下来对本申请实施例公开的工业大数据建模平台进行介绍,如图1所示的,为本申请提供的一种工业大数据建模平台实施例1的结构示意图,工业大数据建模平台可以包括:
数据管理设备11、算法管理设备12、模型管理设备13、模型发布部署设备14及预测控制设备15。
所述数据管理设备11的输入接口与工业数据库相连,所述数据管理设备11的输出接口与所述模型管理设备13的第一输入接口相连;
所述模型管理设备13的第二输入接口与所述算法管理设备12的输出接口相连;
所述模型管理设备13的输出接口与所述模型发布部署设备14的输入接口相连,所述模型发布部署设备14的输出接口与所述预测控制设备15的输入接口相连;
所述数据管理设备11,用于从所述工业数据库中获取工业数据,并对获取到的工业数据进行管理。
对获取到的工业数据进行管理可以包括但不局限于:针对获取到的工业数据新建数据表、对数据表进行删除、下载或浏览进行管理。
工业数据库可以包括但不局限于工业时序数据库和/或工业非时序数据库。
从工业时序数据库中获取的工业数据为工业时序数据。工业时序数据可以理解为:按照时间顺序采集的工业数据。
从工业非时序数据库中获取的工业数据为工业非时序数据。工业非时序数据可以理解为:未按照时间顺序采集的工业数据。
所述算法管理设备12,用于对预置的机器学习算法进行管理。
对预置的机器学习算法进行管理,可以包括但局限于:对预置的机器学习算法进行增加、删除、修改、查找或分类。
预置的机器学习算法可以包括但不局限于:特征选择算法、数据预处理算法、机器学习算法、神经网络算法和性能评估算法。
需要说明的是,算法管理设备12提供多个框架的算法分布式运行环境,如,spark-mllib、scikit-learn、tensorflow、xgboost。框架的算法分布式运行环境可以理解为机器学习算法的运行环境。
优选的,可以使用spark框架的算法分布式运行环境。
所述模型管理设备13,用于利用所述算法管理设备12管理的机器学习算法构建基于机器学习的工业大数据分析模型,并从所述数据管理设备11获取到的工业数据中获取目标数据,作为训练数据,并利用所述训练数据对所述基于机器学习的工业大数据分析模型进行训练.
模型管理设备13利用所述算法管理设备12管理的机器学习算法构建基于机器学习的工业大数据分析模型的过程,可以包括但不局限于:
a11、将所述算法管理设备12管理的机器学习算法编排为建模过程图。
建模过程图可以为但不局限于:有向无环图。
a12、按照所述建模过程图,构建基于机器学习的工业大数据分析模型。
本实施例中,所述模型管理设备13,还可以用于:
保存所述建模过程图。
优选的,所述模型管理设备13,具体可以用于按照自定义json格式保存所述建模过程图。其中,按照自定义json格式保存所述建模过程图时,保存的内容可以包括但不局限于:每个算法节点的实例id,类型、参数、位置以及节点间的相互关系、每个节点展现的方式和可以进行连接的锚点设计。
本实施例中,所述模型管理设备13,还可以用于:
对所述建模过程图中的每个节点的运行结果保存在hdfs(hadoop分布式文件系统)中。其中,保存位置由任务id、节点实例id和输出参数名称唯一确定。
所述建模过程图中的每个节点可以理解为:每个算法(清洗、预处理、特征工程、机器学习、评估等算法)。
本实施例中,所述模型管理设备13,还可以用于:
对所述建模过程图进行复制。
对所述建模过程图进行复制,实现建模过程的克隆,支持复用相同工艺的模型。
本实施例中,所述模型管理设备13,还可以用于:
对用于构建所述基于机器学习的工业大数据分析模型的机器学习算法的参数进行配置。
本实施例中,所述模型管理设备13,还可以用于:
对构建的多个基于机器学习的工业大数据分析模型进行组合。
本实施例中,所述模型管理设备13还可以用于:
对训练得到的各个基于机器学习的工业大数据分析模型进行管理。
所述模型发布部署设备14,用于将所述模型管理设备13训练得到的基于机器学习的工业大数据分析模型部署到预测服务端。
所述预测控制设备15,用于控制所述预测服务端利用所述基于机器学习的工业大数据分析模型,对目标设备产生的工业数据进行预测,并将根据所述预测服务端的预测结果产生的控制指令下发给所述目标设备,以控制所述目标设备运行。
目标设备产生的工业数据可以理解为:目标设备运行过程中产生的实时工业数据。
预测服务端的预测服务环境可以支持但不局限于:pmml格式模型、pkl格式模型。
所述预测服务端的预测结果可以理解为:控制所述预测服务端利用所述基于机器学习的工业大数据分析模型,对目标设备产生的工业数据进行预测的结果。
在本申请中,提供一种工业大数据建模平台,包括:数据管理设备11、算法管理设备12、模型管理设备13、模型发布部署设备14及预测控制设备15,数据管理设备11、算法管理设备12、模型管理设备13、模型发布部署设备14及预测控制设备15之间协同工作,可以构建基于机器学习的工业大数据分析模型,并利用基于机器学习的工业大数据分析模型对工业数据进行分析,实现对目标设备运行的控制。
作为本申请另一可选实施例,参照图2,为本申请提供的一种工业大数据建模平台实施例2的结构示意图,本实施例主要是对上述实施例1描述的工业大数据建模平台的扩展方案,如图2所示,在图1示出的工业大数据建模平台的基础上,还可以包括:模型有效性监控及优化设备16。
所述模型有效性监控及优化设备16的输入接口与所述预测控制设备15相连,所述模型有效性监控及优化设备16的输出接口与所述模型管理设备13的第三输入接口相连。
所述模型有效性监控及优化设备16,用于对所述基于机器学习的工业大数据分析模型的预测性能进行监控,若预测性能下降,则发送控制命令至所述模型管理设备13。
所述模型管理设备13,还用于按照所述控制命令,对所述基于机器学习的工业大数据分析模型进行优化,并将优化后的基于机器学习的工业大数据分析模型替换所述基于机器学习的工业大数据分析模型。
模型管理设备13对所述基于机器学习的工业大数据分析模型进行优化的过程,可以包括:
a21、对所述训练数据进行更新。
对训练数据进行更新可以包括:
从数据管理设备11获取到的工业数据中获取新的目标数据,替换所述训练数据;
或,从数据管理设备11获取到的工业数据中获取新的目标数据,并新的目标数据与所述训练数据合并,合并得到的数据替换所述训练数据。
a22、利用更新后的训练数据对所述基于机器学习的工业大数据分析模型进行训练。
本实施例中,所述模型有效性监控及优化设备16,还可以用于:
若监控到所述基于机器学习的工业大数据分析模型的预测性能在设定时间内无效,则发出警告。
发出警告后,可以有人工干预,来优化基于机器学习的工业大数据分析模型。
作为本申请另一可选实施例,参照图3,为本申请提供的一种工业大数据建模平台实施例3的结构示意图,本实施例主要是对上述实施例1描述的工业大数据建模平台的细化方案,如图3所示,所述算法管理设备12还包括输入接口,用于接收用户上传的自定义算法。
自定义算法可以理解为:按照平台开发文档《自定义算法开发规范》编写。《自定义算法开发规范》定义了应用程序开发规范和算法作为可视化组件的可识别模板文件。
所述算法管理设备12,还用于保存并管理所述用户上传的自定义算法。
作为本申请另一可选实施例,参照图4,为本申请提供的一种工业大数据建模平台实施例4的结构示意图,本实施例主要是对上述实施例2描述的工业大数据建模平台的扩展方案,如图4所示,在图1示出的工业大数据建模平台的基础上,还可以包括:显示设备17。
所述显示设备17分别与数据管理设备11、算法管理设备1212、模型管理设备13、模型发布部署设备14、预测控制设备15及模型有效性监控及优化设备16相连,将数据管理设备11、算法管理设备12、模型管理设备13、模型发布部署设备14、预测控制设备15及模型有效性监控及优化设备16的程序及操作可视化。
需要说明的是,图4为简化的结构示意图,图4中并未画出显示设备17分别与数据管理设备11、算法管理设备12、模型管理设备13、模型发布部署设备14、预测控制设备15及模型有效性监控及优化设备16之间的连接关系。
需要说明的是,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种工业大数据建模平台进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。