一种基于数字孪生的物料管理方法和系统与流程

本发明属于数字孪生与智能制造领域，具体涉及一种基于数字孪生的物料管理方法和系统。

背景技术：

1、数字孪生是以数据为纽带将物理空间与虚拟空间关联在一起的概念和模型，通过物理空间内各类传感器获取到的真实数据信息，并将其映射至虚拟空间从而实现对物理空间进行描述和建模，同时虚拟空间内的数据也通过分析、预测、决策等方式反过来干预物理空间的生产制造过程。数字孪生是一个具有普遍适用性的技术体系，是当前生产制造信息化、数字化转型的重要发展方向，在近年来受到广泛关注。目前对于数字孪生技术的实现和应用仍处于探索阶段，并没有明确的技术路线以及结构化流程。

2、近年来，随着物联网、人工智能等高新技术的快速发展，工厂智能化、无人化的程度越来越高，物料管理系统作为一个重复性较强的应用场景，是目前实现智能制造的主要环境。

3、目前大部分数字孪生系统中虚实映射的过程都需要预先建模并由数据信息完成映射，对于实际场景的映射灵活性并不高，中国专利申请cn112529511a公开了一种基于机器视觉的存储仓库管理系统，以机器视觉为核心，通过ai服务器对图像中涉及的货物、人员等信息进行识别和定位，实时分析获取货物相关信息，并映射至可视化单元，便于银行监控仓库单抵押货物。中国专利申请cn113822993a公开了一种基于3d模型匹配的数字孪生方法和系统，该方法包括：模型和纹理训练、模型匹配、纹理融合和场景放置四步，基于iou将重建后的模型与数据库中保存的模型进行匹配，通过纹理融合形成标准的3d模型，并放置在3d场景之中，提高了数字孪生的效率。

4、上述专利在一定程度上实现了虚实空间内数字信息的流动，但在物理模型映射这方面较为局限，只能生成已知的相应模型，且没有考虑如何将物理世界与虚拟世界的信息更加紧密的结合，通过信息的流动对物料生产过程起到指导作用，实现以虚映实、以虚控实的目的。

技术实现思路

1、本发明的目的是提供一种基于数字孪生的物料管理方法和系统，借助双目视觉对物理空间内的物料模型进行采集并反映至虚拟空间，同时利用算法对传感器采集到的数据进行分析反过来指导物理空间内物料的运输、调度，为后续的数字孪生在智能制造领域的应用和研究提供新的思路。

2、为了实现上述目的，本发明所采用的技术方案是：一种基于数字孪生的物料管理系统，包括物理层、服务层、虚拟层以及连接层；物理层设置有采集传送带上物料物理数据的采集装置，并将所采集的物料的物理数据传输给服务层；服务层包括边缘服务层和云端服务层，边缘服务层包含对采集物理数据处理的处理模块与本地数据库，云端服务层包含对物理数据的分析模块与孪生的云端数据库；虚拟层包括仓库内三维模型和系统服务模块，仓库内三维模型包括物料三维模型和货架三维模型，系统服务模块包括视角切换模块、人机交互模块和物料状态监控模块；连接层用于物理层与服务层、服务层与虚拟层之间的数据交互。

3、所述采集装置包括用于采集图像的双目摄像头和激光发射器、用于采集运动速度的编码器和用于采集物料质量的重量传感器。

4、所述双目摄像头和激光发射器作为一组图像装置并配合使用，传送带的图像采集区域设置三组图像装置，三组呈品字形布局在传送带上方，均斜向下照射三组之间的物料，其中左右分布的两组图像装置位于采集区域的后端，另一组图像装置位于采集区域的前端，且后端的两组图像装置的设置位置低于前端的图像装置。

5、所述物料的物理数据包括物料经过传送带指定位置时多个角度下双目摄像头采集图像、物料质量数据和运动速度数据。

6、一种基于数字孪生的物料管理方法，该方法采用所述的管理系统，包括如下步骤：

7、s1、物理层的物料信息采集，利用所设置的采集装置实时采集传送带上所经过的物料的物理数据，并传输给服务层；

8、s2、服务层的图像算法分析，由服务层对物理层采集的图像进行特征提取、立体匹配、点云拼接进而得到三维点云数据，使用三维点云数据完成对物料体积的计算；

9、s3、在服务层以仓库剩余空闲货位、物料质量、物料体积作为输入值，使用基于遗传算法的货位优化方法对不同物料存放位置进行分析、预测，求解多个物料即将入库的最优货位；之后通过遗传算法的交叉、变异进行迭代求得该组物料的最优存放货位集，并指导物料入库存放；

10、s4、虚拟层采用three.js3d引擎实现将物理层获取的真实数据、实际指令以及服务层的规划结果对虚拟仓库进行映射；虚拟层的状态同步模块利用本地数据库与云端数据库中的信息同步更新来将仓储的实时变化映射至虚拟空间内，当物理仓库的物料出库时，在虚拟空间内对应的物料模型也会消失，并更新数据库信息。

11、s2中，三维点云数据生成包括多角度点云拼接和多帧点云拼接两个流程。

12、多角度点云拼接是将相同时刻三个位置采集到的图像生成对应点云，并通过预先得到的三个双目摄像头间相互转换的rt矩阵，将后端两个双目摄像头采集到的单线激光的点云数据旋转、平移至前端的双目摄像头的坐标系下。

13、多帧点云拼接为根据时间流将连续采集到的点云数据进行拼接，从而得到不含底面的完整点云模型。

14、s2中，物料体积计算时，预先对无物料的传送带表面点云进行采集，根据主成分分析法得到平面点云，获取传送带表面点云转至xoy平面的旋转矩阵和平移矩阵，并将传送带实时采集到物料点云坐标进行平移和旋转，得到以物料底面与xoy平面共面的点云数据，通过对点云数据栅格化得到单个的立方体，通过对立方体积分得到物料点云的体积。

15、本发明的有益效果是：本发明借助物理场景内的传感器对生产物料虚拟化，对获取到的生产信息和物理模型进行分析，对现实场景的生产过程进行指导并相应的映射至虚拟场景。

16、与现有技术相比，本发明实现了数字孪生与物料生产制造相结合的闭环过程，通过物理层传感器获取到物料的图像，发送至服务层处理得到物料的三维信息，并根据物料的三维信息、质量对物料存放位置进行预测，指导物理层的下一步操作，并将对应物料模型展示在数字孪生场景中。

技术特征：

1.一种基于数字孪生的物料管理系统，其特征在于：包括物理层、服务层、虚拟层以及连接层；物理层设置有采集传送带上物料物理数据的采集装置，并将所采集的物料的物理数据传输给服务层；服务层包括边缘服务层和云端服务层，边缘服务层包含对采集物理数据处理的处理模块与本地数据库，云端服务层包含对物理数据的分析模块与孪生的云端数据库；虚拟层包括仓库内三维模型和系统服务模块，仓库内三维模型包括物料三维模型和货架三维模型，系统服务模块包括视角切换模块、人机交互模块和物料状态监控模块；连接层用于物理层与服务层、服务层与虚拟层之间的数据交互。

2.根据权利要求1所述的一种基于数字孪生的物料管理系统，其特征在于：所述采集装置包括用于采集图像的双目摄像头和激光发射器、用于采集运动速度的编码器和用于采集物料质量的重量传感器。

3.根据权利要求2所述的一种基于数字孪生的物料管理系统，其特征在于：所述双目摄像头和激光发射器作为一组图像装置并配合使用，传送带的图像采集区域设置三组图像装置，三组呈品字形布局在传送带上方，均斜向下照射三组之间的物料，其中左右分布的两组图像装置位于采集区域的后端，另一组图像装置位于采集区域的前端，且后端的两组图像装置的设置位置低于前端的图像装置。

4.根据权利要求3所述的一种基于数字孪生的物料管理系统，其特征在于：所述物料的物理数据包括物料经过传送带指定位置时多个角度下双目摄像头采集图像、物料质量数据和运动速度数据。

5.一种基于数字孪生的物料管理方法，其特征在于，该方法采用如权利要求1-4任一项所述的管理系统，包括如下步骤：

6.根据权利要求5所述的一种基于数字孪生的物料管理方法，其特征在于：s2中，三维点云数据生成包括多角度点云拼接和多帧点云拼接两个流程。

7.根据权利要求6所述的一种基于数字孪生的物料管理方法，其特征在于：多角度点云拼接是将相同时刻三个位置采集到的图像生成对应点云，并通过预先得到的三个双目摄像头间相互转换的rt矩阵，将后端两个双目摄像头采集到的单线激光的点云数据旋转、平移至前端的双目摄像头的坐标系下。

8.根据权利要求6所述的一种基于数字孪生的物料管理方法，其特征在于：多帧点云拼接为根据时间流将连续采集到的点云数据进行拼接，从而得到不含底面的完整点云模型。

9.根据权利要求5所述的一种基于数字孪生的物料管理方法，其特征在于：s2中，物料体积计算时，预先对无物料的传送带表面点云进行采集，根据主成分分析法得到平面点云，获取传送带表面点云转至xoy平面的旋转矩阵和平移矩阵，并将传送带实时采集到物料点云坐标进行平移和旋转，得到以物料底面与xoy平面共面的点云数据，通过对点云数据栅格化得到单个的立方体，通过对立方体积分得到物料点云的体积。

技术总结
本发明涉及一种基于数字孪生的物料管理系统及方法，管理系统包括物理层、服务层、虚拟层以及连接层，物理层采集物料在传送带上输送的物理数据，并传输至服务层；服务层对物理层采集到的真实数据进行处理、分析，为整个生产过程提供信息化、智能化服务；虚拟层通过可视化3D引擎实现，包含仓库内三维模型与系统服务模块，利用服务层处理得到的数据进行可视化映射并提供相应的服务；连接层负责物理层与服务层、服务层与虚拟层之间的数据交互。这种数字孪生的物料管理系统能够根据物理空间采集到数据自动地生成对应3D模型，并根据模型的相关参数指导生产流程，提高了生产效率和数字化程度。

技术研发人员：李淳芃,王伟博,夏为丙
受保护的技术使用者：洛阳中科人工智能研究院有限公司
技术研发日：
技术公布日：2024/1/13