一种基于OPC-UA规范的数据建模系统和方法与流程

一种基于opc
‑
ua规范的数据建模系统和方法
技术领域
1.本发明涉及物联网应用技术领域与opc
‑
ua信息建模技术领域，特别是一种 基于opc
‑
ua规范的数据建模系统和方法。


背景技术：

2.在钢铁企业的物联网世界中，设备不再是孤立的，而是通过各种关系相互连 接构成复杂的拓扑结构，并通过相互协作实现更为复杂的功能。
3.随着钢铁物联网规模的不断扩大，十万、百万级别的设备互联已经成为现实， 但对于整个钢铁制造及生产领域，存在不同领域、不同类型的对象、以及不同的 历史设备，这些设备的数据多而杂，数据标准不一致，各钢铁工厂设备能对接的 通信协议不一致，难以对不同设备传感器进行统一数据建模，且目前常用的关系 型数据库基于外键的方案在处理大规模拓扑上性能低下，已经难以满足需求；若 生产管理人员要抽取不同设备的数据，还需协调设备厂商进行参与，甚至还存在 投入资源定制开发接口，仅需要设备的一个关键数据，都需要钢铁工厂进行大量 资金投入，可想而知，钢铁企业这么多的设备数据均要抽取的话，已在生产经营 方面对企业管理造成不可控制的趋势。不仅加大了生产成本，还降低了生产利润， 长期以往对钢铁企业的各方面发展将造成严重的影响。


技术实现要素：

4.为了解决上述问题，本发明提供一种应用于钢铁行业的基于opc
‑
ua规范的 数据建模系统和方法。
5.本发明的目的是这样实现的：
6.一种基于opc
‑
ua规范的数据建模系统，包括ui层、service层和数据传输层；
7.ui层进行可视化建模，形成企业基础数据模型扩展领域模型；service层通过 模型运行引擎的运行，对工业数据建模模型库；
8.数据传输层通过kafka进行数据传输，采用hdfs存储批量数据，spark分布 式计算，批量计算结果采用mysql和hbase存储，其中，mysql用于查询少量 的最近结果数据，hbase用于查询大量的历史结果数据。
9.进一步地，ui层创建工厂的基础数据模型，基于基础数据模型，适应工厂多 个领域模型。
10.进一步地，service层包括模型运行服务引擎和数据模型建库模块；
11.模型运行服务引擎包括查询引擎、脚本引擎、工作流引擎、分析引擎和协议 转换引擎；
12.其中，查询引擎基于flink提供的最高抽象sql，集成mysql查询少量的最 近结果数据；脚本引擎集成脚本编辑器，与第三方脚本集成，满足第三方脚本的 运行；分析引擎采用elasticsearch技术进行实时全文搜索、分析和存储数据，进 行高效搜索；
13.协议转换引擎：基于opc
‑
ua规范将模型选择的协议转换为mqtt协议；
14.分析引擎：基于elasticsearch，首先将数据模型进行存储，再通过elasticsearch 的rest接口将数据进行检索，根据数据异构性的特点进行数据格式转换；根据 读取用户查询需求，适配查询条件中的索引，最终将查询翻译成elasticsearch的 语法并将查询提交给elasticsearch、收集查询结果，将查询分析结果返回。
15.数据模型建库模块：经模型运行引擎运行后，将数据模型或扩展领导的模型 存入模型库里，通过minio service进行对象存储来保存图片、视频、文档，通过 mysql存储基本配置信息，通过restful接口输出数据。
16.进一步地，模型选择的协议包括：opc da、opc a&e、opc ua、modbus、 iec101、iec103、iec 104、iec 61850、cdt、profibus、profinet。
17.进一步地，通过标准接口输出模型数据后，数据传输层采用lambda大数据 架构，基于spark采用大数据实时计算和批量计算相结合的方式，保证系统的容 错，以及隔离计算的复杂性；采用java语言通过restful接口输出数据；采用spark 作为内存分布式计算框架；基于dag图计算调度；采用mysql和hbase存储批 量计算结果，其中，mysql用于查询少量的最近结果数据，hbase用于查询大量 的历史结果数据。
18.进一步地，与数据建模系统连接的多台设备区域均部署网络覆盖，每个区域 有对应有ip段划分，通过整个流程的处理，将进行设备实时数据的存储；所述实 时数据的存储：根据时序数据的特点及数据类型，对时序数据进行近实时压缩， 同时保证数据的时间顺序；定期将每小时时序数据合并成一行，并进行压缩存储； 采用delta
‑
delta、xor、rle以及simple8b压缩算法压缩数据。
19.本发明还涉及的一种基于opc
‑
ua规范的数据建模方法，按以下进行：
20.可视化建模，形成企业基础数据模型扩展领域模型；通过模型运行引擎的运 行，对工业数据建模模型库；
21.通过kafka进行数据传输，采用hdfs存储批量数据，spark分布式计算，批 量计算结果采用mysql和hbase存储。
22.进一步地，该方法中：
23.可视化建模：通过将工厂设备的plc点位进行设备可视化建模即依托cad图 或者组态图，构建该设备的静态模型；
24.设备模型类型管理：允许用户针对模型类型进行扩展，按层级来组装实现复 杂类型建模；
25.设备对象管理：通过模型分类、分层级完成物理实体建模后，可设置设备的 通用属性、组件、变量、其他关联对象、基本信息配置；
26.设备告警管理：用户可针对某一层级的对象，或者全局进行告警规则的自定 义配置，当满足规则要求后，实现及时预警；
27.协议接入：基于opc
‑
ua规范的模型类型选择后，用户输入绑定当前设备的 通信协议，最终模型均将各设备协议转换为标准的mqtt协议将数据进行采集， 实现数据建模步骤；
28.生命周期管理服务包括：对于设备模型的生命周期进行管控，同时对模型关 键操作提供日志可以进行追溯；
29.事件及订阅服务包括：基于分布式、高可用的elasticsearch进行设计，通过 设备
告警规则自定义配置后，一旦规则成立，事件服务将通过websocket客户端 订阅事件，平台把产生的实时事件告警数据推送到设备模型，同时，事件服务进 行校验、格式转换后，存储到分布式数据库中，满足利时查询、告警查询；
30.基于flink流处理框架、基于spark作为内存分布式计算框架的运行引擎，通 过结合设备模型和底层的运行引擎，实现模型的在线运行，展示设备模型各点位 时序数据采集情况。
31.模型库及管理服务：包括公共模型管理和私有模型管理，提供模型上传下载 入口，所述公共模型基于opc
‑
ua规范抽象出一套基础模型，并基于此模型实现 可扩展出领域模型；所述私有模型管理包括设备可视化建模模型、用户上传到模 型库的模型；实现钢铁行业按领域、层级进行模型库的管理，达到企业多种类型 设备模型进行统一的模型集控管理。
32.模型数据服务：实现模型数据存储、数据查询与模型数据接口输出，通过模 型数据接口能满足不同应用场景和业务系统对数据的需求。
33.与现有技术相比，本发明的有益效果如下：
34.本发明结合钢铁行业的设备数采现状，基于opc
‑
ua规范，通过此发生所述 数据建模方法及装置，解决传统钢铁行业企业多工厂设备数据采集复杂、设备模 型在不同的厂商，不同的工程师手上，无法实现企业统一的数据模型管理问题； 间接解决企业多工厂异构数据集成难、海量数据集成难、服务器资源耗费大，成 本高的问题；最大程度的实现企业生产设备数据资产的归集。
35.本发明实现了实时设备数据采集可视化展现、实时设备数据预警告警推送获 获取分析结果，从而全面集控设备运行情况。本发明具有设备数据建模自定义性、 即时性、可扩展性、安全性等优势。
附图说明
36.图1为本发明之基于opc
‑
ua规范的数据建模方法流程示意图；
37.图2为本发明之基于opc
‑
ua规范的数据建模装置原理结构示意图；
38.图中：s100
‑
ui层；s200
‑
service层；s300
‑
数据传输层。
具体实施方式
39.下面将结合本技术实施例中的附图，对实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施 例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本技术保护的范围。
40.除非另外定义，本技术实施例中使用的技术术语或者科学术语应当为所属领 域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二
”ꢀ
以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组 成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件 涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
ꢀ“
安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接；可以是直接相连，也可以通
过中间媒介间接相连，可 以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用 于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于 相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发 生变化。
41.如图1、2所示，本实施例的基于opc
‑
ua规范的数据建模系统，其特征在于： 包括ui层s100、service层s200和数据传输层s300。
42.ui层s100将设备进行可视化建模，形成企业基础数据模型扩展领域模型。 service层s200通过模型运行引擎的运行，实现工业数据建模模型库。数据传输层 s300通过service层s200(服务层)的运用与数据输出，通过kafka进行数据传输， 采用hdfs存储批量数据，spark分布式计算，批量计算结果采用mysql和hbase 存储，其中mysql用于查询少量的最近结果数据，而hbase用于查询大量的历史 结果数据。
43.本实施例利用flink流式计算框架，负责从kafka中读取时序数据，并对数据 进行压缩处理，以及持久化到hbase，过程如下：
44.如图1所示，本实施例实施前置条件是工厂的多台设备区域均部署网络覆盖， 每个区域有对应有ip段划分，通过整个流程的处理，将进行设备实时数据的存储；
45.所述实时数据的存储：根据时序数据的特点及数据类型，采用压缩比好的数 据压缩算法，对时序数据进行近实时压缩，同时保证数据的时间顺序。其中所述 数据压缩算法部分设计如下所示：
[0046][0047]
将每小时时序数据合并成一行，并进行压缩存储。一条时序数据包括两个字 段：v和s，因此行健中的字段名只有v和s两个取值，分别代表时序值和数据质量。 字段类型的取值：b、l、f、s。
[0048]
具体描述如下：
[0049][0050][0051]
所述行键说明：
kepware、rslink的分类数据，在不更改现场设备的原则下，采用opc
‑
ua规范 进行设备接入；
[0063]
b、基于opc
‑
ua规范的装置：包括运行服务引擎；工厂设备接入后，通过 ui设计的装置界面，进行设备创建模型，形成基础的数据模型，进行模型类型的 选择，分为简单类型与复杂类型，对应不同的层级属性设置，即设置设备的通用 属性、组件、变量、其他关联对象、基本信息配置等；然后再进行模型生命周期 的配置，若模型失效，将存入模型库里管理，若模型有效，将进行协议接入，绑 定对opc
‑
ua规范的设备点位；
[0064]
运行服务引擎：包括事件及订阅、模型预览、在线运行、数据采集、协议转 换mqtt、flink流处理、spark流计算、数据存储；模型创建完成走到协议接入 后，将通过运行服务引擎运转，进行模型的在线运行，通过协议转换mqtt，将 设备数据实时采集，采集后的数据根据事件及订阅设置好的规则，进行flink、 spark流处理计算，将数据进行存储，一旦满足规则，将进行事件的触发及订阅 的消息发送、数据转发，最终输出对应的数据；
[0065]
c、输出模型数据：通过上述b步骤后，整个流程已采集好、存储好对应的 数据，通过装置输出restful标准接口，输出给对应应用场景、不同领域使用。
[0066]
本实施例按各工厂的各设备传感器作为物理实体，将物理实体建模产生的静 态模型作为基础，再基于opc
‑
ua规范把各工厂同类型设备传感器描述为一个对 象，以模型为抽象，以对象为载体，建立通用的静态模型，并配置其基本信息、 属性、事件以及订阅等信息；包括：基于opc
‑
ua规范的设备可视化建模服务、 生命周期管理服务、事件及订阅服务、运行引擎服务、模型库及管理服务、模型 数据服务等，具体：
[0067]
a、设备可视化建模服务包括：设备建模、设备模型类型管理、设备对象管 理、设备告警管理、协议接入、模型的在线预览、模型导入导出；
[0068]
所述设备可视化建模：通过将工厂设备的plc点位进行设备可视化建模即依 托cad图或者组态图，构建该设备的静态模型；所述设备模型类型管理：装置 具备opc
‑
ua规范中的模型类型，允许用户针对模型类型进行扩展，按层级来组 装实现复杂类型建模；所述设备对象管理：通过模型分类、分层级完成物理实体 建模后，可设置设备的通用属性、组件、变量、其他关联对象、基本信息配置等； 所述设备告警管理：用户可针对某一层级的对象，或者全局进行告警规则的自定 义配置，当满足规则要求后，实现及时预警；
[0069]
协议接入：基于opc
‑
ua规范的模型类型选择后，用户输入绑定当前设备的 通信协议，最终模型均将各设备协议转换为标准的mqtt协议将数据进行采集， 实现数据建模步骤；所述模型的在线预览、导入导出：装置提供2d、3d模型的 导入、导出，满足多种数据建模需求场景，基于b/s提供模型的在线预览。
[0070]
b、生命周期管理服务包括：对于设备模型的生命周期进行管控，同时对模 型关键操作提供日志可以进行追溯。
[0071]
c、事件及订阅服务包括：基于分布式、高可用的elasticsearch进行设计， 通过设备告警规则自定义配置后，一旦规则成立，事件服务将通过websocket客 户端订阅事件，平台把产生的实时事件告警数据推送到设备模型，同时，事件服 务进行校验、格式转换后，存储到分布式数据库中，满足利时查询、告警查询。
[0072]
d、运行引擎服务是整个方法及装置的关键，是基于flink流处理框架、基于 spark作为内存分布式计算框架的运行引擎，通过结合设备模型和底层的运行引 擎，实现模型的
在线运行，展示设备模型各点位时序数据采集情况。
[0073]
e、模型库及管理服务：包括公共模型管理和私有模型管理，提供模型上传 下载入口，所述公共模型基于opc
‑
ua规范抽象出一套基础模型，并基于此模型 实现可扩展出领域模型；所述私有模型管理包括设备可视化建模模型、用户上传 到模型库的模型；实现钢铁行业按领域、层级进行模型库的管理，达到企业多种 类型设备模型进行统一的模型集控管理。
[0074]
f、模型数据服务：实现模型数据存储、数据查询与模型数据接口输出，通 过模型数据接口能满足不同应用场景和业务系统对数据的需求。
[0075]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。