一种数字孪生车间装备云端运行高可用协同计算方法

1.本发明属于离散制造系统建模与仿真技术领域，具体涉及一种数字孪生车间装备云端运行高可用协同计算方法。


背景技术：

2.离散制造系统是制造形式中应用最为广泛的，大如高速列车、航空装备，小到电子产品，日用百货都会大量用到离散制造系统进行生产。然而，由于外在因素(市场需求)与内在因素(产品或生产系统等)都会发生不确定的变化，离散制造系统中存在很强的动态性和不确定性，这为离散制造系统的运行与管理带来了巨大挑战，为此，产生了将信息技术与车间结合以建设智能车间的需求。
3.数字孪生(digital twin,dt)作为促进制造智能化升级和实现智能制造的重要使能技术，其强调的各类数据机床、全生命周期动态演化以及基于模型的优化迭代等内容十分适合于信息技术赋能的智能车间建设，基于数字孪生技术的生产车间称为数字孪生车间。如今，数字孪生车间的研究已经从理论走向了实际应用，基于面向服务架构实现的数字孪生车间可以使用户从任何设备上通过浏览器轻松地访问数字孪生车间。要建设面向服务的数字孪生车间，首先需要在云端构建车间的虚拟模型来映射物理车间，并承载一系列车间应用，而数字孪生车间设备模型众多，生产逻辑复杂，多维信息的虚实融合需要消耗大量资源。这种面向云服务方式的限制在于计算资源、存储资源受限，存在一定的瓶颈问题，进而导致系统运行数据难以同步，实时性降低。为此，需要一种高效方式对云端数字孪生车间中的数据进行运算。
4.目前针对数字孪生车间高效计算问题的方法较少，很多方法仅初步提供了一种系统高效计算架构方案，并未全面对其关键技术开展实施，尤其在如何对系统环境进行高保真映射，以及如何在映射精度与运行效率之间保持平衡方面缺乏相应研究。


技术实现要素：

5.针对以上问题，本发明提供一种数字孪生车间装备云端运行高可用协同计算方法。
6.本发明的一种数字孪生车间装备云端运行高可用协同计算方法，具体为：
7.(1)采集物理车间设备信息与环境信息，利用基于计算机图形学的三维建模技术、基于多体系统的离散事件系统建模技术对其中制造装备进行几何、材质、拓扑、行为多维信息建模，形成高保真数字模型，然后将数字模型关联到计算模型。
8.物理信息的采集：采集方式有依靠设备内部控制系统和外接数据通信接口的内部采集，与依靠各类传感器的外部采集；物理信息包括制造装备信息以及车间环境信息，制造装备信息为设备坐标、尺寸、材质、结构、位姿，车间环境信息为光照环境信息。
9.基于所采集信息，在三维建模软件中对制造装备进行几何建模，通过链接节点材质与纹理贴图为几何模型增加渲染属性，建立三维模型，同时根据装备各个部件的空间自
由度与装配关系，将其运动部件依次连接形成拓扑链并设定父子结构，建立局部运动坐标系，根据物理车间与设备运行流程，确定其行为逻辑，建立逻辑模型。
10.(2)基于仿真与运动拓扑对逻辑模型进行表征与解算：将逻辑运算与可视化运算分离，前者置于cpu中进行处理，后者通过可编程渲染管线方式转移到gpu中，并通过记录每帧之间gpu运行时间作为仿真时钟推进的方式保证运算过程同步。
11.(3)将计算模型连接的信息通过计算流从数字模型传输至孪生模型，获取制造装备拓扑节点与控制点，通过plc程序对其进行控制，实现物理装备与孪生模型双向映射，并将孪生模型作为web服务，为用户提供实时交互与控制。
12.进一步的，对光照环境信息采用基于阴影贴图的三级映射，硬阴影渲染算法设置为ⅰ级服务；pcf算法对阴影贴图进行固定区域随机采样，为ⅱ级服务；改进pcss算法作为ⅲ级服务。
13.改进pcss算法具体为：
14.首先，在着色点附近进行泊松圆盘采样，进行深度比较，将处于阴影中的像素称为遮挡物，记录遮挡物平均深度。
15.随后，根据遮挡物平均深度来决定阴影过滤范围。
16.最后，基于所求过滤范围，在阴影贴图中进行泊松圆盘采样并计算未被遮挡采样点的数量占比，将其与采用blinn-phong模型所解得的模型光照颜色进行点积，输出像素最终颜色。
17.进一步的，对逻辑模型轻量化处理：利用二次误差测度qem算法减少所建模型面片，通过ext_meshopt_compression算法对模型网格数据进行压缩，最后将其输出为.glb文件。
18.逻辑模型的解算为：
19.基于多体系统描述数字孪生车间制造装备逻辑模型，并基于离散事件仿真理论对其运动逻辑进行求解。
20.多体系统通过对复杂系统运动特征进行抽象、提炼，从而准确描述其运动关系，拓扑模型是对多体系统的抽象映射，用以表达系统运动层次关系，控制数字模型部件运动，支撑孪生模型逻辑行为；拓扑模型是一种链状结构，由多个节点组成，每个节点关联一个或多个三维模型部件，描述了设备部件运动层次关系，且至多存在一个空间自由度，通过链式组合拓扑节点来描述模型运动逻辑。
21.为保证逻辑与渲染的同步，将计算过程置于cpu中处理，并将输出的模型变换矩阵传递至gpu缓存区进行可视化更新，同时读取gpu渲染帧时，更新仿真时钟推进。
22.本发明的有益技术效果为：
23.(1)本方法对系统环境映射服务进行了设计，相比于直接映射，可以通过配置与自优化在系统运行中获得效率与精度的平衡，保证运行的高可用性。
24.(2)本方法对pcss算法进行了设计，相比于传统基于随机采样的pcss算法，所提出基于泊松圆盘采样的pcss算法噪点更少，模拟保真度更高。
25.(3)本方法设计了数字孪生车间运行可视化与逻辑的协同计算，通过渲染帧时驱动逻辑仿真计算的时钟推进，可以在模型运行的实时性与同步性方面带来优势。
附图说明
26.图1为数字孪生车间制造装备云端高可用实时协同计算框架。
27.图2为多维度信息建模示意图。
28.图3为三级光照映射服务运行过程。
29.图4为六自由度机械手拓扑节点、控制点示意图。
30.图5为不同阴影算法下效果对比(a-d分别为硬阴影、pcf、均匀采样pcss、泊松圆盘采样pcss)。
31.图6为六自由度机械手解算过程(a-e分别为开始运动、抓取工件、放置工件、机械手复位、抓取失败)。
32.图7为机械手视觉识别过程。
33.图8为系统运行界面。
具体实施方式
34.下面结合附图和具体实施例对本发明做进一步详细说明。
35.本发明的一种数字孪生车间装备云端运行高可用协同计算方法，将逻辑计算与可视化计算分别置于cpu与gpu中协同处理，以提升数字孪生车间系统实时性。该框架分别从三维模型和逻辑模型维度构建物理车间制造装备高保真数字模型；以可增强虚拟场景真实感和辅助视觉识别降噪的光照阴影为例，讨论系统使用环境的高保真映射与服务匹配优化方案，基于阴影贴图提出可配置、可优化的阴影计算服务以进行可视化模型计算，并对其中pcss算法进行适应性改进；提出基于仿真的设备运动解算算法进行逻辑模型计算，将可视化计算每帧间隔作为逻辑仿真时钟推进，将仿真所得运动解算结果写入gpu常量缓冲区，实时驱动可视化渲染，以解决逻辑解算与可视化的同步，保证模型运动准确连续。
36.本发明的一种数字孪生车间装备云端运行高可用协同计算方法框图如图1所示，首先通过rfid、传感器等设备采集物理车间设备信息与环境信息，利用基于计算机图形学的三维建模技术、基于多体系统的离散事件系统建模技术等对其中制造装备进行几何、材质、拓扑、行为等多维信息建模，形成高保真数字模型，然后将数字模型关联到计算模型。计算模型根据不同功能可分为逻辑计算与可视化计算，由于数字孪生车间整体运行过程中需要利用服务端进行计算与存储，为减轻服务端资源压力，将可视化计算与制造装备逻辑运算置于客户端。此运算过程需要消耗大量资源，而基于cpu运算资源有限，同时逻辑与可视化运算之间存在高耦合、低内聚、扩展性差等问题，为达到实时性，需要增加gpu计算资源。考虑到逻辑计算数据量较小，单个模型计算复杂度较高，更适用于cpu运算架构；可视化运算数据量大，模型顶点的计算复杂度较低，相似度高，更适合应用gpu运算。因此，将逻辑运算与可视化运算分离，前者置于cpu中进行处理，后者通过可编程渲染管线方式转移到gpu中，并通过记录每帧之间gpu运行时间作为仿真时钟推进的方式保证运算过程同步，该过程逻辑与可视化运算低耦合、高内聚，可减少cpu压力，提升gpu使用率与系统计算效率。
37.最后将计算模型连接的信息通过计算流从数字模型传输至孪生模型，获取制造装备拓扑节点与控制点，通过plc程序对其进行控制，实现物理装备与孪生模型双向映射，并将孪生模型作为web服务，为用户提供实时交互与控制。
38.系统多维度建模：
39.数字孪生车间系统是物理车间、数字车间与孪生车间数据、逻辑以及控制信号的集成，物理车间与孪生车间可以进行双向实时交互与映射，为了实现这一点，首先需要在虚拟场景中对物理车间的设备多维度信息进行精准化建模，建立高保真数字模型。同时，物理设备的运行环境在决定其使用效率和寿命方面也起着至关重要的作用，需要对其使用环境进行映射以准确计算整体系统状态和性能。多维度信息建模示意图如图2所示。
40.为了将物理对象精准映射至数字模型，需要对其物理信息进行采集。采集方式有依靠设备内部控制系统和外接数据通信接口的内部采集，与依靠各类传感器的外部采集，物理信息包括制造装备信息以及车间环境信息，前者为设备坐标、尺寸、材质、结构、位姿等，后者在本发明中主要以环境光照信息为例，包括光源面积、光照强度、光照方向等。基于所采集信息，在三维建模软件(如blender)中对制造装备进行几何建模，通过链接节点材质与纹理贴图为几何模型增加渲染属性，建立三维模型，同时根据装备各个部件的空间自由度与装配关系，将其运动部件依次连接形成拓扑链并设定父子结构，建立局部运动坐标系，根据物理车间与设备运行流程，确定其行为逻辑，建立逻辑模型。为满足模型轻量化需求，降低系统运行资源消耗，利用二次误差测度(quadric error metrics,qem)算法减少所建模型面片，通过ext_meshopt_compression算法对模型网格数据进行压缩，最后将其输出为.glb文件。经过上述关键部分，基本建立了多维度数字模型，从而能够准确反映物理设备以及车间环境信息，为下一步进行数据协同计算提供基础。
41.基于阴影贴图的光照环境映射：
42.阴影是光线被阻挡的结果，阴影效果不仅可以增强虚拟场景真实感，还可以辅助车间分析与优化。例如，在基于计算机视觉的产品检测中，需要去除图片中的阴影噪声以避免误判，这种情况下将通过模拟真实光照阴影环境，为该过程提供参考，因此本发明以光照阴影效果为例，对系统真实环境进行模拟。随着计算机图形学发展，产生了很多阴影生成算法，目前使用较多的是基于阴影贴图生成阴影的算法，如pcf(percentage closer filter)、pcss(percentage closer soft shadows)、vssm(variance soft shadow mapping)等，这些算法已经部分解决了计算机图形学领域阴影绘制问题。然而，不同算法的复杂度与精度不同，为了在模拟精度与运行效率之间保持平衡，基于服务匹配与优化理论，提出基于阴影贴图的三级映射，对三种具有代表性的算法(硬阴影、pcf、pcss)进行集成，并根据用户需求与实际运行情况选择最合适的映射服务。
43.各种算法的复杂度差异主要体现在阴影着色计算部分。硬阴影渲染算法仅对深度信息比较一次，效率最高，但锯齿效果较为严重，将其设置为ⅰ级服务；pcf算法对阴影贴图进行固定区域随机采样，在一定程度上减少了锯齿，为ⅱ级服务；pcss算法基于随机采样动态决定pcf采样的区域，可以模拟在数字孪生车间中由于制造装备尺寸各异(如天车或agv等)，造成距离光源越近的部分所产生的阴影越软的现象，其消耗最高，作为ⅲ级服务。在系统运行中，用户可以通过对于环境信息映射精度需求，选择合适的服务级别，同时，系统实时收集帧率信息，并在帧率不满足需求时将服务降级，保证运行实时性。其过程如图3所示。
44.pcf与pcss算法需要对阴影贴图随机采样，传统算法使用均匀采样，可能造成采样点混叠，且所需样本数量较多，同时数字孪生车间制造装备形态各异、结构复杂，需要降低距离采样中心点较远区域的采样频率，使样本点向中心点集中，以减少噪声。因此本发明对pcss算法进行改进，应用泊松圆盘采样代替均匀采样，采样算法如表1所示。
45.表1泊松圆盘采样算法
[0046][0047][0048]
改进pcss算法主要分为以下步骤：首先在着色点附近进行泊松圆盘采样，进行深度比较，将处于阴影中的像素称为遮挡物，记录遮挡物平均深度；随后根据遮挡物平均深度来决定阴影过滤范围；最后基于所求过滤范围，在阴影贴图中进行泊松圆盘采样并计算未被遮挡采样点的数量占比，将其与采用blinn-phong模型所解得的模型光照颜色进行点积，输出像素最终颜色。算法如表2所示。
[0049]
表2改进pcss算法
[0050][0051]
基于仿真的运动逻辑解算：
[0052]
为保证数字孪生车间中模型运动流畅、准确，本发明基于多体系统描述数字孪生车间制造装备逻辑模型，并基于离散事件仿真理论对其运动逻辑进行求解。多体系统通过对复杂系统运动特征进行抽象、提炼，从而准确描述其运动关系，拓扑模型是对多体系统的抽象映射，用以表达系统运动层次关系，控制数字模型部件运动，支撑孪生模型逻辑行为。拓扑模型是一种链状结构，由多个节点组成，每个节点关联一个或多个三维模型部件，描述了设备部件运动层次关系，且至多存在一个空间自由度(沿x、y、z方向的平移或绕x、y、z轴的旋转)，通过链式组合拓扑节点来描述模型运动逻辑。由于机械手运动逻辑相对复杂，本节以六自由度机械手为例，基于仿真与运动拓扑对其逻辑模型进行表征与解算。为保证逻辑与渲染的同步，将计算过程置于cpu中处理，并将输出的模型变换矩阵传递至gpu缓存区进行可视化更新，同时读取gpu渲染帧时，更新仿真时钟推进。
[0053]
由于部件运动行为需要根据其局部坐标系确定，为每个拓扑节点绑定的部件模型设置控制点，表示部件坐标变换中心，用以控制逻辑模型运动行为。六自由度机械手拓扑模型与控制点如图4所示，箭头终点所指节点运动时，起点所指节点跟随运动。
[0054]
六自由度机械手运行流程为抓取任意位置工件，将其放置在任意指定货位，随后将机械手复位至初始姿态。由于机械手每个部件运动方式不同，运动目标也各不相同，需要单独对各个运动部件进行解算，通过仿真方法计算部件运动目标，求解每帧运动部件坐标变换矩阵。由于机械手抓取与放置行为逻辑基本一致，因此将工件位置与货位抽象为目标点。
[0055]
s节点控制机械手回转轴旋转，将s节点前向向量指向s到目标点的方向，其运动目标可以表达为下式：
[0056][0057]
其中θs为s节点需要旋转的角度，ts为s到目标点方向向量在xoz平面投影后的向量，fs为s节点前向向量，对应s到w节点向量sw在xoz平面投影后向量，由于式(1)中旋转角度无法判断正负，需通过向量积判断旋转的方向，公式如下。若cs＝1，旋转角度为正，方向为逆时针，若cs＝-1，旋转角度为正，方向为顺时针。
[0058][0059]
l节点控制机械手下臂旋转轴旋转，将w节点对应到目标点，l节点转动的目标角度为θ
l
，其公式为：
[0060]
θ
l
＝arccos(lw
·
lw
′
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0061]
其中，w
′
为目标点坐标，通过向量积判断旋转方向。
[0062]
u节点控制机械手上臂旋转轴旋转，将机械手运动范围调整至目标点范围。u节点转动的目标角度为θu，其公式为：
[0063][0064]
r节点控制机械手前臂回转轴旋转，将r节点的右向量rr与目标点右向量rw′
对齐，公式为：
[0065][0066]
b节点控制机械手手臂摆动轴旋转，将b节点的上向量ub与目标点上向量uw′
对齐，公式为：
[0067][0068]
t节点控制机械手手腕回转轴旋转，将t节点的右向量r
t
与目标点右向量rw′
对齐，公式为：
[0069][0070]
每帧渲染调用前，cpu将对每个运动节点进行一次推进，传统计算方法依据运动速度推进固定的步长，渲染与逻辑解算难以同步，易造成画面卡顿、闪烁，且无法保证在不同主机上部件运动速度一致，为解决可视化渲染与逻辑解算的同步，获取每帧之间gpu渲染时间作为机械手仿真解算时钟推进，动态计算各个部件每帧运动步长。若w控制点位置与目标点位置相同且所有节点均满足运动目标，则更新工件位置，完成货物抓取或放置；若部件超出某种限位约束(如l节点与u节点夹角不得超过180
°
或低于0
°
)则该部件不能继续运动，本次解算不更新其坐标变换矩阵；若所有节点求解结束或超出限位，仍无法达到目标点，则目标点距离过远，无法完成货物抓取或放置。机械手运动逻辑仿真解算算法如表3所示。
[0071]
表3六自由度机械手运动逻辑仿真解算算法
[0072]
[0073][0074]
实施例：
[0075]
基于云仿真思想，本发明搭建了一个基于web的数字孪生车间建模仿真平台，并以六自由度机械手与某转向架构架加工车间为应用对象，对所提出的协同计算框架以及其中关键方法进行实例验证分析。平台采用前后端分离框架，将车间可视化渲染与设备运动逻辑解算放置在前端浏览器，将采集的物理设备数据、环境数据与数字模型储存至后端服务器，通过http请求将模型与物理系统参数加载至虚拟环境中，最后结合javascript编程与glsl编程完成逻辑与可视化数据协同计算。
[0076]
图5为六自由度机械手在平行光源照射下分别使用硬阴影、pcf、均匀采样pcss、泊松圆盘采样pcss所渲染阴影效果，后三种算法的采样频率为每帧200次。可以看出，模拟精度与保真度随着映射服务等级提高而增加，同时相比于均匀采样pcss算法，本发明所提泊松圆盘采样pcss算法样本更集中，所生成阴影噪声更小，保真度更高。
[0077]
基于本发明六自由度机械手运行逻辑，设置机械手每个节点运行速度为0.5π/s，同时设置物料当前位置与放置点，进行机械手运动仿真解算，其解算过程如图6所示。从图6中可以看出，解算数据与渲染同步，运动过程连续流畅，计算结果准确可信。
[0078]
图7(a)机械手视觉识别过程中所拍摄的图片，可以看出，由于工件被阴影遮挡，难以判断其具体位置，因此无法确定机械手是否到位。为此，采用本文阴影映射方法对其光照环境进行模拟，得出渲染结果如图7(b)所示，随后，降低片段着色器中阴影的权重再次渲染，结果如图7(c)所示。从图7中可以看出，经过上述步骤，可以清楚地判断出零件位置，同时准确识别机械手是否到位。
[0079]
最后，以某转向架构架加工车间为例，利用其物理设备真实位姿进行设备模型布局，建立车间模型，该车间包括118个制造装备，其模型总体积为22.52m，界面如图8所示。