一种基于数字孪生的三维监控系统及交互方法

本发明属于智能制造，涉及一种基于数字孪生的三维监控系统及交互方法。

背景技术：

1、随着制造业成本的增加、市场竞争的日益激烈，精益生产受到越来越多制造企业的关注。精益生产的核心就是“三现”，即当发生问题时，管理者也要快速到“现场”去，亲眼确认“现物”，认真探究“现实”，并据此提出符合实际的解决办法。但是由于时空因素的限制，管理人员很难在第一时间深入“现场”，确认“现物”，探究“现实”。传统的车间监控方式以人工记录、二维报表等方式为主，实时性和可视化效果很差。近年来，随着计算机仿真技术的发展，基于实时数据驱动的车间三维虚拟监控系统备受关注，国内外许多学者也对此进行了研究，但是普遍存在系统开发门槛高、开发效率低、系统可移植性差、监控方式单一等问题。为解决当前车间缺乏有效的监控方法，有必要对基于数字孪生的车间三维虚拟监控系统。

技术实现思路

1、为了克服上述现有技术的缺点，本发明的目的在于提供一种基于数字孪生的三维监控系统及交互方法，解决了传统二维表单、组态软件等方式存在的透明度低、实时性差、监控方式单一的问题。

2、一种基于数字孪生的三维监控系统，包括系统管理单元、数据采集与通信单元、数据驱动单元与数据展示单元；实现以三维虚拟车间实时呈现真实车间设备的工作状态，并以三维虚拟车间驱动真实车间设备的生产；

3、所述系统管理单元用于登录管理和权限管理，系统将用户分为普通用户和专业用户，对不同用户设置不同权限；

4、所述数据采集与通信单元用于获取实体设备实时运行数据，基于物联网平台作为数据应用总线，以高频无源rfid采集物料信息，以opc协议和设备sdk结合远程过程调用协议rpc实现设备数据的采集；

5、所述数据驱动单元用于为三维虚拟车间和前端显示维提供数据服务，并将用户输入的实时数据转换为事件驱动的指令，实现虚拟车间设备与实体设备的实时映射；

6、所述数据展示单元用于车间实时数据的一体化展示，用于向用户全方位展示车间的运行情况、直观观察车间人、材、机和管理信息。

7、所述数据采集与通信单元包括物料识别模块、信息读取模块、信息传输模块；

8、所述物料识别模块，基于rfid射频识别方法，读取自动化生产车间内物料电子标签中的物料量信息，实现物料的识别与追踪；

9、所述信息读取模块，基于opc方法向现场plc设备发送指令，读取现场设备状态数据；

10、所述信息传输模块，基于远程过程调用协议，通过网络调用位于现场远程计算机中的服务，实现远程设备之间传输数据信息。

11、所述数据驱动单元根据用户输入的指令封装成json文本数据形式，在rest ful架构下进行数据交换传输；所述rest ful架构，采用标准的http方法实现数据的获取与写入服务。

12、所述数据展示单元包括几何模型和相关动态展示的三维数据看板；

13、所述几何模型模块基于图形学、机构学实现车间对象几何外形和机械结构的映射，通过模型材质及物理属性的添加、刚体属性设置和环境渲染，实现物理模型的构建；

14、所述三维数据看板用于看板管理和以人机交互相结合的管理工具，包括：可视化界面配置、提示框设置、数据样式设置、图元设置，通过可视化界面获取指令实现人机交互。

15、一种基于数字孪生的三维监控交互方法，包括以下3个步骤：

16、步骤a，通过数据采集与通信单元获取实体设备实时运行数据，基于所述实体设备实时运行数据中的实体设备数据标签，将所述实体设备实时运行数据添加至待展示的对应实体设备的三维模型中；其中，所述实体设备实时运行数据包括获取的原始实时运行数据和根据所述原始实时运行数据计算得到的计算后的实时运行数据；

17、步骤b，当接收到用户发送的任一实体设备的三维模型交互请求时，基于所述实体设备的三维模型展示请求操作，将相应的设备详情模型及看板界面展示给用户；

18、步骤c，当接收到用户发送的任一实体设备的控制请求时，将所述任一实体设备的控制请求中的控制指令发送至对应实体设备的物联网平台，并通过所述物联网平台发出控制指令来控制对应实体设备，实现以虚驱实控制现场生产。

19、所述步骤a包括：

20、通过kepware软件采集实体设备实时运行数据，在监控系统配置相应端口，添加需要监控的数据，将获取到的实时运行数据存储至实时数据库，将处理完的实时运行数据和报警实时运行数据存储至历史数据库；

21、通过数据访问接口，数据展示单元的几何模型模块将获取到的数据加载到实时三维场景中，并通过数据驱动单元实现三维场景中模型的动作；

22、所述步骤b包括：

23、捕获三维监控平台的人机交互界面的鼠标和键盘的相关事件，通过触发相关事件获取用户对三维监控平台的不同请求操作；

24、基于调用接口，三维监控平台获取用户的鼠标位置、点击、移动距离信号，通过数据驱动单元调用对应的实体设备的三维模型，并将查询到的实体设备的模型加载至当前场景中。

25、所述步骤c包括：

26、当检测到用户处于三维监控展示界面时，且三维监控虚拟平台接收到用户发送的当前三维监控展示的任一实体设备的控制请求时，通过三维监控虚拟平台解析所述控制请求，并获取所述控制请求中控制指令和所述任一实体设备的标识信息；

27、将所述控制指令和所述标识信息通过数据采集与通信单元发送至现场服务器的数据库，根据所述标识信息和控制指令控制对应实体设备。

28、本申请的有益效果包括：

29、1.本发明以工业物联网平台作为数据总线，借助物联网平台强大的设备接入、数据管理和系统集成能力，使得现场设备的运行情况、各类传感器的安装位置以及测量参数都可以通过三维可视化的形式直观呈现。

30、2.本发明基于多系统协同开发，降低系统开发难度，便于三维虚拟监控系统的快速开发和部署。

31、3.基于物联网平台作为数据应用总线，通过多种数据采集方式相结合，实现了对车间数据的采集，基于rest ful架构的get方法，实现集成界面与工业物联网平台之间的数据交换，保证了系统数据的高效传输。

32、4.本发明通过虚拟场景中人机交互和场景漫游实现了系统中场景切换和三维模型的细节展示。

33、5.无需管理人员到现场即可直观的观察到生产线全设备运行状况，提高管理效率，减少了车间运营与维护成本。

技术特征：

1.一种基于数字孪生的三维监控系统，其特征在于，包括系统管理单元、数据采集与通信单元、数据驱动单元与数据展示单元；实现以三维虚拟车间实时呈现真实车间设备的工作状态，并以三维虚拟车间驱动真实车间设备的生产；

2.根据权利要求1所述的基于数字孪生的三维监控系统，其特征在于，所述数据采集与通信单元包括物料识别模块、信息读取模块、信息传输模块；

3.根据权利要求1所述的基于数字孪生的三维监控系统，其特征在于，所述数据驱动单元根据用户输入的指令封装成json文本数据形式，在rest ful架构下进行数据交换传输；所述rest ful架构，采用标准的http方法实现数据的获取与写入服务。

4.根据权利要求1所述的基于数字孪生的三维监控系统，其特征在于，所述数据展示单元包括几何模型和相关动态展示的三维数据看板；

5.一种基于数字孪生的三维监控交互方法，其特征在于，包括以下3个步骤：

6.根据权利要求5所述的基于数字孪生的三维监控交互方法，其特征在于，所述步骤a包括：

7.根据权利要求5所述的基于数字孪生的三维监控交互方法，其特征在于，所述步骤b包括：

8.根据权利要求5所述的基于数字孪生的三维监控交互方法，其特征在于，所述步骤c包括：

技术总结
本发明公开一种基于数字孪生的三维监控系统及交互方法。系统包括：系统管理模块、数据采集与通信单元、数据驱动单元与数据展示单元；方法包括：A，获取实体设备实时运行数据，基于实体设备数据标签，将实时运行数据添加至待展示的对应实体设备的三维模型中；B，当接收到用户发送的三维模型交互请求时，跳转到该设备的设备详情界面；C，当接收到用户发送的实体设备控制请求时，将控制请求中的控制指令发送至对应实体设备的物联网平台，通过物联网平台发出控制指令来控制对应实体设备。本发明将各类传感器的测量参数等数据都通过三维可视化的方式直观形象地呈现，通过接入设备数据信息，驱动三维数字化模型，进行三维车间监控场景的展示和交互。

技术研发人员：史海波,潘福成,里鹏,石泽宇,杨子豪
受保护的技术使用者：中国科学院沈阳自动化研究所
技术研发日：
技术公布日：2024/1/15