一种基于旋转目标检测的视觉引导拆垛方法与流程

本发明涉及拆垛视觉定位，尤其涉及一种基于旋转目标检测的视觉引导拆垛方法。

背景技术：

1、在现代仓储物流领域中，拆垛分拣技术得到了长远的发展。由于拆垛场景中来料箱体完全随机，能否准确的识别与分割箱体堆垛是提升物流效率的首要问题；拆垛场景下的箱体来料随机，箱体角度随机、尺寸差异较大、密集堆叠的现象；同时由于箱体纹理特征、胶带污渍等影响，定位难度较大。

2、在实际的工业生产中，大多数机器人通常都是采用示教的方式，提前设计好机器人的相关运动轨迹和抓取位置，这种方式不能够实时感知机器人周围的环境信息，不能获取待拆垛箱体的实时位置和姿态，受到生产环境的约束性较大。

3、传统视觉特征提取算法使用经典的图像处理方法对目标特征进行提取，比如主流的边缘检测算法和sift特征匹配算法等，然而这种算法容易受到现场环境光照和物体遮挡的影响，鲁棒性不强，难以得到实际应用；而深度学习作为当前目标检测领域的主流算法，其精度与速度较传统视觉算法得到了很大的提升，现有的基于深度学习的视觉技术中，将水平目标检测方法简单迁移到拆垛场景下的箱体识别，各检测框之间存在重叠，且无法提取出箱体边缘；实例分割方法基于像素级别的图像特征进行特征提取，在箱体边界分割掩膜不规则，且受胶带反光等影响导致其无法准确分割箱体，影响定位精度，并且该方法耗时较大。

4、鉴于此，为了能够满足市场上对工件的上下料、箱体拆垛、装配等业务场景的需求，亟需设计一种不受堆垛外观、类型和尺寸影响、识别稳定快速的拆垛方法。

技术实现思路

1、本发明的目的在于克服上述现有技术的问题，提供了一种基于旋转目标检测的视觉引导拆垛方法，以解决现有技术受箱体角度随机、尺寸差异、紧密堆叠现象而不能对箱体进行有效定位的技术问题。

2、上述目的是通过以下技术方案来实现：

3、一种基于旋转目标检测的视觉引导拆垛方法，包括：

4、步骤(1)采用3d相机获取箱体堆垛的原始图像及对应的原始点云数据；

5、步骤(2)调用深度学习模型对所述原始图像进行旋转目标检测，得到箱体堆垛中顶层箱体的边界框坐标信息；

6、步骤(3)根据所述边界框坐标信息得到顶层箱体的掩膜，对所述掩膜进行点云映射，得到箱体的目标点云区域；

7、步骤(4)对所述目标点云区域进行平面拟合，计算箱体目标点云的位姿；

8、步骤(5)对所述位姿进行调整与排序，并进行拆垛。

9、进一步地，所述步骤(1)具体为：采用所述3d相机拍摄得到箱体堆垛的原始rgb图像及深度图像，将所述深度图像转化为相机坐标系下的点云信息，保存原始图像与原始点云数据。

10、进一步地，所述箱体堆垛为固定在托盘上的物料周转箱体，具有密集堆叠、角度随机的特点。

11、进一步地，所述步骤(2)具体为：利用预先训练好的所述深度学习模型，对所述原始图像中目标箱体进行旋转目标检测，得到图像中堆垛顶层箱体的边界框坐标、分类标签及对应置信度信息。

12、进一步地，所述深度学习模型为旋转目标检测模型，训练流程包括：

13、步骤(2-1)获取数据，获取箱体堆垛rgb图像，建立并划分数据集；

14、步骤(2-2)数据标注，使用rolabelimg进行标注，只标注堆垛顶层完整箱体；

15、步骤(2-3)数据预处理，对图像进行数据增强，扩充数据集；

16、步骤(2-4)模型训练，将训练集输入到旋转目标检测模型中进行训练，得到训练好的旋转目标检测模型；

17、步骤(2-5)迭代优化，根据旋转iou指标对模型性能进行评估，并收集识别错误图像以供模型优化。

18、进一步地，所述步骤(3)包括：

19、步骤(3-1)将每个目标箱体的边界框坐标通过形态学填充得到每个目标箱体的掩膜；

20、步骤(3-2)将每个目标箱体的掩膜映射到所述原始点云数据中，提取得到各个箱体掩膜对应的点云区域。

21、进一步地，所述步骤(4)包括：

22、步骤(4-1)对所述目标点云区域进行平面拟合，得到至少一个点云平面，在所有点云平面中，选择深度最高的平面，获取所述箱体堆垛的最高层区域；对所述箱体堆垛的最高层点云区域进行形态学处理，补全空白区域，得到所述箱体堆垛的最高层点云区域，并验证箱体点云区域是否满足要求，得到满足要求的箱体目标点云。

23、步骤(4-2)根据满足要求的箱体目标点云，计算得到箱体点云的位姿。

24、进一步地，所述步骤(4-1)具体为：针对箱体堆垛点云数据，根据应用场景，选择合适的验证指标验证箱体点云是否满足要求；针对每一个箱体点云，根据人为设定点云的最大最小点云数目，剔除超出或者小于目标箱体的点云；针对每一个堆垛，根据目标箱体的轮廓特点，人为设定合适的轮廓度量方式及其参数，提取满足要求的点云区域；针对每一个箱体，计算其点云最小包围框的矩形度，提取满足要求的点云区域；

25、所述步骤(4-2)具体为：针对每一个满足要求的堆垛，根据堆垛特点，确定计算点云区域位姿中心的方法，确定计算点云区域位姿姿态的方法，得到该箱体的位姿。

26、进一步地，所述步骤(5)，包括：

27、步骤(5-1)根据所述箱体的位姿信息与轴参数设置将识别堆垛位姿的轴旋转到目标方向，得到旋转后的位姿；

28、步骤(5-2)根据上述箱体识别置信度进行排序，确定堆垛的拆垛顺序，对所述堆垛进行拆垛。

29、有益效果

30、本发明所提供的一种基于旋转目标检测的视觉引导拆垛方法，针对拆垛场景下堆垛密集堆叠、角度随机特点，使用深度学习模型对目标箱体图像进行旋转目标检测，考虑了角度信息，能高效精确地得到箱体边界框；本方法使用2d与3d融合的技术方案，针对箱体堆垛的顶层区域进行检测，能够排除其他外界因素的干扰。其中，2d方案使用旋转目标检测来得到目箱体的边界信息，3d方案提取堆垛最高层箱体点云位姿，定位精度与速度都得到提升。

技术特征：

1.一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，包括：

2.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(1)具体为：采用所述3d相机拍摄得到箱体堆垛的原始rgb图像及深度图像，将所述深度图像转化为相机坐标系下的点云信息，保存原始图像与原始点云数据。

3.根据权利要求2所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述箱体堆垛为固定在托盘上的物料周转箱体。

4.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(2)具体为：利用预先训练好的所述深度学习模型，对所述原始图像中目标箱体进行旋转目标检测，得到图像中堆垛顶层箱体的边界框坐标、分类标签及对应置信度信息。

5.根据权利要求4所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述深度学习模型为旋转目标检测模型，训练流程包括：

6.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(3)包括：

7.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(4)包括：

8.根据权利要求7所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(4-1)具体为：针对箱体堆垛点云数据，根据应用场景，选择合适的验证指标验证箱体点云是否满足要求；针对每一个箱体点云，根据人为设定点云的最大最小点云数目，剔除超出或者小于目标箱体的点云；针对每一个堆垛，根据目标箱体的轮廓特点，人为设定合适的轮廓度量方式及其参数，提取满足要求的点云区域；针对每一个箱体，计算其点云最小包围框的矩形度，提取满足要求的点云区域；

9.根据权利要求1所述的一种基于旋转目标检测的视觉引导拆垛方法，其特征在于，所述步骤(5)，包括：

技术总结
本发明涉及拆垛视觉定位的技术领域，具体是一种基于旋转目标检测的视觉引导拆垛方法，包括(1)采用3D相机获取箱体堆垛的原始图像及对应的原始点云数据；(2)调用深度学习模型对所述原始图像进行旋转目标检测，得到箱体堆垛中顶层箱体的边界框坐标信息；(3)根据所述边界框坐标信息得到顶层箱体的掩膜，对所述掩膜进行点云映射，得到箱体的目标点云区域；(4)对所述目标点云区域进行平面拟合，计算箱体目标点云的位姿；(5)对所述位姿进行调整与排序，并进行拆垛。本发明针对拆垛场景下箱体堆垛密集堆叠、角度随机的特点，使用深度学习模型对目标箱体图像进行旋转目标检测，考虑了角度信息，能高效精确地得到箱体边界框，此外结合箱体点云信息，得到目标箱体的位姿，最终有效提升箱体拆垛时的定位精度。

技术研发人员：王昌龙,程嘉宝,黄腾蛟,过志强
受保护的技术使用者：无锡信捷电气股份有限公司
技术研发日：
技术公布日：2024/3/11