托盘的识别方法和叉起方法以及自主移动叉车与流程

本申请涉及机器人，具体涉及一种托盘的识别方法、利用叉车叉起托盘的方法、自主移动叉车、电子设备以及非瞬时性计算机可读存储介质。

背景技术：

1、目前，自主移动机器人(autonomous mobile robot，amr)已经大量地应用于自动化仓储等场景中，以执行搬运、拣选等工作。

2、智能叉车作为自主移动机器人的一个分支种类也已逐渐应用在仓储物流等场景中，用于代替人工驾驶的叉车。智能叉车需要在起点叉起托盘，然后行驶到终点再放下托盘。因此，叉车在起点时需要获取托盘相对于叉车的位置和位姿，才能准确叉起托盘。

3、然而，因为各种原因，系统告知叉车的托盘位置和位姿往往不够精确，从而可能导致叉车叉起托盘失败。在这种情况下，不得不需要人工介入，从而降低了智能叉车的使用效率。更有严重者，将有可能导致托盘上承载的货物损坏，甚至造成生产安全事故。

技术实现思路

1、为了解决现有技术中出现的上述问题，本申请提供了一种托盘的识别方法、利用叉车叉起托盘的方法、自主移动叉车、电子设备以及非瞬时性计算机可读存储介质。

2、根据本申请的一个方面，提供了一种托盘的识别方法，包括：

3、确定托盘的至少三个视觉关键点；

4、在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集；

5、在每个所述激光点集中确定激光代表点；以及

6、对所述激光点集中的激光代表点进行直线约束过滤，并将通过所述直线约束过滤的代表点中两端的代表点确定为所述托盘的两个端点。

7、根据一个实施方式，确定托盘的至少三个视觉关键点包括：

8、通过车载单目相机拍摄包含所述托盘的图像；以及

9、基于所述托盘的预设几何特征，从所述图像中识别所述托盘的至少三个视觉关键点。

10、根据一个实施方式，所述视觉关键点是所述托盘的各立柱在所述图像中最靠近地面的像素点。

11、根据一个实施方式，确定托盘的至少三个视觉关键点还包括：

12、利用单目深度估计算法，确定所述至少三个视觉关键点在相机坐标系下的坐标和角度；

13、通过坐标变换，得到所述至少三个视觉关键点在自车坐标系下的坐标和角度。

14、根据一个实施方式，在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集包括：

15、根据所述单目相机所拍摄图像与所述激光点云的对应关系，基于预设的距离阈值，在所述激光点云中获取激光点集。

16、根据一个实施方式，在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集还包括：

17、对每个所述激光点集中的激光点进行聚类；以及

18、将激光点的个数小于预定阈值的类别中的激光点从所述激光点集中去除。

19、根据一个实施方式，在每个所述激光点集中确定激光代表点包括：

20、在每个所述激光点集中，选择距离自车最近的激光点作为所述激光代表点。

21、根据本申请的另一方面，提供了一种利用叉车叉起托盘的方法，包括：

22、根据如上所述的方法识别托盘；

23、基于所述托盘的两个端点的位置，计算所述两个端点的中点的位置和位姿；以及

24、根据所述中点的位置和位姿，控制叉车移动至所述中点处并叉起所述托盘。

25、根据一个实施方式，该叉起托盘的方法还包括：

26、将所述中点的位置与接收到的托盘位置信息做比较；以及

27、将比较结果最小且小于预设的偏差阈值的中点作为待叉起托盘的中点。

28、根据一个实施方式，根据所述中点的位置和位姿，控制叉车移动至所述中点处并叉起所述托盘，包括：

29、建立托盘坐标系；

30、计算所述托盘坐标系到叉车坐标系的变换矩阵；以及

31、根据所述中点的位置和位姿，基于所述变换矩阵，计算所述中点在所述叉车坐标系的坐标和位姿。

32、根据一个实施方式，建立托盘坐标系包括：

33、以所述中点为所述托盘坐标系的原点；

34、根据所述两个端点的连线和所述中点的位姿确定所述托盘坐标系的坐标轴。

35、根据本申请的另一方面，提供了一种自主移动叉车，包括：

36、车身；

37、处理器；

38、驱动装置，驱动所述车身进行移动；

39、单目相机和激光雷达，安装在所述车身上，分别用于拍摄图像和获取激光点云；以及

40、存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法。

41、根据本申请的另一方面，提供了一种电子设备，包括：

42、处理器；以及

43、存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法。

44、根据本申请的另一方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上所述的方法。

45、由此，根据本申请的技术方案，将视觉和激光雷达相结合，共同实现对托盘的识别。激光雷达对坐标的检测比视觉更灵敏，因此利用其计算和确定托盘上的一些几何特征点将更加准确。但是激光雷达容易被外界因素干扰。例如在仓储物流等场景中，往往会有操作人员、货物或其他机器设备等障碍物也处于操作场地中，因此有可能对激光雷达造成干扰。因此引入了视觉的检测，以帮助对托盘进行初步定位，即利用视觉图像找到视觉关键点，并用视觉关键点来约束激光点集，由此提高了整体识别准确性和精度。

技术特征：

1.一种托盘的识别方法，包括：

2.如权利要求1所述的方法，其中确定托盘的至少三个视觉关键点包括：

3.如权利要求2所述的方法，其中所述视觉关键点是所述托盘的各立柱在所述图像中最靠近地面的像素点。

4.如权利要求2所述的方法，其中确定托盘的至少三个视觉关键点还包括：

5.如权利要求4所述的方法，其中在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集包括：

6.如权利要求5所述的方法，其中在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集还包括：

7.如权利要求1所述的方法，其中在每个所述激光点集中确定激光代表点包括：

8.一种利用叉车叉起托盘的方法，包括：

9.如权利要求8所述的方法，还包括：

10.如权利要求8所述的方法，其中根据所述中点的位置和位姿，控制叉车移动至所述中点处并叉起所述托盘，包括：

11.如权利要求10所述的方法，其中建立托盘坐标系包括：

12.一种自主移动叉车，包括：

13.一种电子设备，包括：

14.一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如权利要求1-11中任一项所述的方法。

技术总结
本申请提供了一种托盘的识别方法、利用叉车叉起托盘的方法、自主移动叉车、电子设备以及非瞬时性计算机可读存储介质。托盘的识别方法包括：确定托盘的至少三个视觉关键点；在激光点云中获取分别与所述至少三个视觉关键点相对应的激光点集；在每个所述激光点集中确定激光代表点；以及对所述激光点集中的激光代表点进行直线约束过滤，并将通过所述直线约束过滤的代表点中两端的代表点确定为所述托盘的两个端点。

技术研发人员：李乐,潘金凤,程今,暴印行
受保护的技术使用者：灵动科技（北京）有限公司
技术研发日：
技术公布日：2024/1/5