一种散料堆场移动机器人3D环境感知方法与流程

本发明涉及环境感知，尤其涉及一种散料堆场移动机器人3d环境感知方法。

背景技术：

1、露天大型散料堆料的作业及盘库的一项十分重要的工作。料场占地大，种类繁多且料堆摆放不规则，人工作业困难，无法满足当前抓料的巨大需求。而在复杂的非结构化环境中充分观察环境信息是智能机器面临的一个重要挑战，机器的感知能力会直接影响其在任务中的表现，仅依靠单一类型的传感器感知环境很难满足当前复杂的工作需求。此外，装配任务中的传统编程方法需要技术水平高、工作经验丰富的技术人员完成大量的代码编译和参数部署。这不仅需要时间和精力，也限制了生产线的灵活性。结构化环境中的传统编程方法已不能满足需要频繁升级的需求。因此，利用基于学习的方法训练机器独立获得工作技能的研究越来越多，经过训练的机器可以自主地与环境交互，完成工作。

2、目前，基于学习的3d环境感知方法取得了诸多研究进展，但是仍然普遍存在一些技术上的不足，从而限制了这些3d环境感知方法在实际工程中的大规模应用。这些不足主要体现在以下几个方面。

3、(1)部分3d环境感知方法仅仅依靠视觉进行感知，可以获得非常高分辨率的感知结果，但是无法直接获得物体的深度；

4、(2)部分3d环境感知方法虽然利用基于学习的方法提升了机器的环境感知能力，但是由于其深度神经网络结构复杂冗余，往往需要部署大量的参数，这就需要技术人员花费大量的时间进行编程部署；

5、(3)3d环境感知方法对多样化负责环境感知困难，通常对语义信息进行定性感知，对对距离、结构等几何信息的定量感知却不尽人意。

技术实现思路

1、本发明的目的在于提供一种散料堆场移动机器人3d环境感知方法。

2、为了实现上述发明目的，本发明采用技术方案具体为：

3、一种散料堆场移动机器人3d环境感知方法，包括：

4、step1、系统部署，针对现场工作环境，对相机和传感器进行选型；

5、step2、散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；

6、step3、3-d环境建模，使用icp算法来拟合预扫描的三维物体模型并估计其姿态；

7、step4、触觉信息与视觉信息结合训练，通过视觉特征预测对准调整动作，再根据力与力矩信息判断出点状态，从而选择对准调节动作作出视觉预测标签，最后视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。

8、所述step1中对相机和传感器的选型参考视觉、像素和精度要求的因素。

9、所述step2中处理分割对象的副本，将分割和聚合的点云分割成适当数量的对象。然后在算法的模型拟合阶段对每个聚类进行独立处理。

10、所述step3中通过对点云进行三维均匀平均网格滤波，可以得到点云在三维空间中的一致分布。

11、所述step3中解决点云噪声问题，使其收敛到一个精确的姿态。

12、所述step4中基于自监督深度强化学习的组合感知方法中，智能体首先通过视觉特征预测对准调整的动作；然后根据力和力矩信息判断触点状态，接触状态选择对准调整动作，并作为视觉预测标签；视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。最后，随着迭代训练的增加，智能体将学会组合感知的抓取技能。

13、与现有技术相比，本发明的有益效果为：

14、1、本发明通过散料料场盘库等相关作业的自动执行，减少现场作业人员，同时提高了料场盘库的准确性与实时性，实现了料场作业的无人化高效运行。

15、2、本发明使用了将触觉感知与视觉感知相结合的自监督深度强化学习方法，在训练过程中不需要人工干预，大大降低了数据收集的难度和成本，实现了采集与训练过程的有效统一。

16、3、本发明中视觉感知和触觉感知建立了映射关系，使移动机器能够很好地感知环境信息的变化,同时对位置、类型等不同信息进行感知。

技术特征：

1.一种散料堆场移动机器人3d环境感知方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种散料堆场移动机器人3d环境感知方法，其特征在于，所述step1中对相机和传感器的选型参考视觉、像素和精度要求的因素。

3.根据权利要求1所述的一种散料堆场移动机器人3d环境感知方法，其特征在于，所述step2中处理分割对象的副本，将分割和聚合的点云分割成适当数量的对象。然后在算法的模型拟合阶段对每个聚类进行独立处理。

4.根据权利要求1所述的一种散料堆场移动机器人3d环境感知方法，其特征在于，所述step3中通过对点云进行三维均匀平均网格滤波，可以得到点云在三维空间中的一致分布。

5.根据权利要求4所述的一种散料堆场移动机器人3d环境感知方法，其特征在于，所述step3中解决点云噪声问题，使其收敛到一个精确的姿态。

6.根据权利要求1所述的一种散料堆场移动机器人3d环境感知方法，其特征在于，所述step4中基于自监督深度强化学习的组合感知方法中，智能体首先通过视觉特征预测对准调整的动作；然后根据力和力矩信息判断触点状态，接触状态选择对准调整动作，并作为视觉预测标签；视觉感知网络根据视觉预测标签进行反向传播，对网络权重进行修正。最后，随着迭代训练的增加，智能体将学会组合感知的抓取技能。

技术总结
本发明提供了一种散料堆场移动机器人3D环境感知方法，属于环境感知技术领域。解决了当前基于学习在3D环境感知中存在的不足的问题。其技术方案为：系统部署，针对现场工作环境，对相机和传感器进行选型；散料分割，使用多个视图进行对象分割，通过组合来自多个视图的信息来解决缺失的信息；3‑D环境建模，使用ICP算法来拟合预扫描的三维物体模型并估计其姿态；触觉信息与视觉信息结合训练。本发明的有益效果为：本发明使堆场移动机器人能够很好地感知环境信息的变化。

技术研发人员：何晓峰
受保护的技术使用者：南通长石科技有限公司
技术研发日：
技术公布日：2024/1/12