一种工业托盘自动叉取的方法、终端及存储介质与流程

1.本发明涉及自动叉车技术领域，特别涉及一种工业托盘自动叉取的方法、终端及存储介质。


背景技术：

2.对于自动叉车产品而言，如何实现工业托盘的快速与准确检测是必须面对的问题，这个问题在智能仓储领域普遍存在。现存的绝大多数算法主要是基于点云处理，比如早期的pointnet，voxelinet。目前基于点云的处理方法的缺陷主要在：(1)运算成本昂贵，点云处理由于其稠密需要更大量的运算支持，在托盘检测阶段，为实现实时化的检测，必须支付更高的计算设备成本。(2)数据及价格昂贵，3d点云的标注价格是普通图像标注价格的10倍以上且标注难度高，影响产品迭代时间。(3)容易受环境影响，深度摄像头容易受到外界光，反射等因素影响，导致深度信息不稳定，对检测效果产生坏影响。


技术实现要素：

3.本发明的主要目的在于提出一种工业托盘自动叉取的方法、终端及存储介质，其旨在解决现有工业托盘自动叉取的方法采用点云处理存在运算成本昂贵、检测效果容易受环境影响的技术问题。
4.为实现上述目的，本发明提供的一种工业托盘自动叉取的方法，所述方法包括以下步骤：实时记录叉取方向的ir图像信息与深度图像信息；根据所述ir图像信息，获取待叉取的工业托盘的轮廓信息；根据所述待叉取的工业托盘的轮廓信息，结合所述深度图像信息，确定所述待叉取的工业托盘的位置信息；根据所述位置信息，导航到相应的位置，以自动叉取所述待叉取的工业托盘。
5.可选地，所述实时记录叉取方向的ir图像信息与深度图像信息的步骤之前，还包括：将所述待叉取的工业托盘置于自动叉车的正前方。
6.可选地，所述自动叉车的叉耙中间偏上位置安设有一深度摄像头，且所述深度摄像头的拍摄方向与所述自动叉车所在运动平面成预设角度的夹角。
7.可选地，所述实时记录叉取方向的ir图像信息与深度图像信息的步骤具体包括：通过所述深度摄像头进行实时拍摄，以分别得到所述ir图像信息与所述深度图像信息。
8.可选地，所述待叉取的工业托盘的轮廓信息包括工业托盘的总外形边框、工业托盘的各个支撑脚边框以及所述各个支撑脚间的相对位置关系。
9.可选地，所述根据所述待叉取的工业托盘的轮廓信息，结合所述深度图像信息，确定所述待叉取的工业托盘的位置信息的步骤具体包括：根据所述待叉取的工业托盘的轮廓信息，通过预设过滤规则过滤掉误检对象后，建立所述工业托盘的总外形边框与各个支撑脚的位置关系；根据所述工业托盘的总外形边框与各个支撑脚的位置关系，结合所述深度图像信息，确定所述待叉取的工业托盘的位置信息。
10.可选地，所述位置信息包括所述待叉取的工业托盘与所述自动叉车的距离、所述
待叉取的工业托盘与所述自动叉车的角度。
11.可选地，所述根据所述位置信息，导航到相应的位置，以自动叉取所述待叉取的工业托盘的步骤具体包括：根据所述待叉取的工业托盘与所述自动叉车的距离以及所述待叉取的工业托盘与所述自动叉车的角度，将所述自动叉车导航到相应的位置，以自动叉取所述待叉取的工业托盘。
12.此外，为实现上述目的，本发明实施例还提出一种终端，所述终端包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述的方法的步骤。
13.此外，为实现上述目的，本发明实施例还提出一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的方法的步骤。
14.本发明提供的工业托盘自动叉取的方法、终端及存储介质，其自动叉车在进行工业托盘自动叉取时，先实时记录叉取方向的ir图像信息与深度图像信息。然后，根据该ir图像信息，获取待叉取的工业托盘的轮廓信息。以及根据该待叉取的工业托盘的轮廓信息，结合该深度图像信息，确定该待叉取的工业托盘的位置信息。最后，根据该位置信息，导航到相应的位置，以自动叉取待叉取的工业托盘。这样一来，本工业托盘自动叉取的方法使用基于ir图像的一阶段目标检测方法，可针对多种的工业托盘进行快速训练，更快部署。同时，ir图像在光照不稳定的仓库等不确定环境中有更高的鲁棒性，其检测结果不容易受环境影响，且ir图像属于二维图像而非三维的点云信息，检测速度更加快，检测结果更稳定。可见，本技术方案，其可有效解决现有工业托盘自动叉取的方法采用点云处理存在运算成本昂贵、检测效果容易受环境影响的技术问题。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例一工业托盘自动叉取的方法的流程框图。
17.图2为图1所示工业托盘自动叉取的方法的步骤s130的具体流程框图。
18.图3为本发明实施例二终端的结构框图。
具体实施方式
19.下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
20.实施例一
21.如图1所示，本发明实施例一提供一种工业托盘自动叉取的方法，该方法包括以下步骤：
22.步骤s110：实时记录叉取方向的ir图像信息与深度图像信息。
23.具体地，为实现本发明实施例工业托盘自动叉取的方法，本发明实施例的自动叉车的叉耙中间偏上位置安设有一深度摄像头，且深度摄像头的拍摄方向与自动叉车所在运动平面成预设角度的夹角，该预设角度的夹角优选为小角度的锐角，即使得深度摄像头的拍摄方向略微倾斜向自动叉车所在运动平面，以便于更好地通过深度摄像头进行实时拍摄，来分别得到叉取方向的ir图像信息与深度图像信息。
24.另外，由于本发明实施例工业托盘自动叉取的方法假定深度摄像头获取图像为叉取方向的托盘正面图像，因而，在执行本方法步骤“实时记录叉取方向的ir图像信息与深度图像信息”之前，还包括：将待叉取的工业托盘置于自动叉车的正前方，以便于通过该深度摄像头进行实时拍摄时，获取得到叉取方向的托盘正面图像，并基于该图像得到相应的ir图像信息与深度图像信息。
25.步骤s120：根据该ir图像信息，获取待叉取的工业托盘的轮廓信息。
26.具体地，ir图像信息相当于一个平面二维的单色图像信息，其可用来描述相应物体的二维信息。而该叉取方向的ir图像信息为通过深度摄像头进行实时拍摄时，获取得到的叉取方向的托盘正面图像进行分析处理所得，其记录有该工业托盘的多个支撑脚以及完整的长方形插孔。因而，根据该叉取方向的ir图像信息，可获取得到待叉取的工业托盘的轮廓信息。该待叉取的工业托盘的轮廓信息具体包括工业托盘的总外形边框、工业托盘的各个支撑脚边框以及各个支撑脚间的相对位置关系。
27.步骤s130：根据该待叉取的工业托盘的轮廓信息，结合该深度图像信息，确定该待叉取的工业托盘的位置信息。
28.具体地，当通过上述方法步骤得到该待叉取的工业托盘的轮廓信息后，便可根据该待叉取的工业托盘的轮廓信息，结合该深度图像信息，确定该待叉取的工业托盘的位置信息，如图2所示，其具体过程如下：
29.步骤s131：根据该待叉取的工业托盘的轮廓信息，通过预设过滤规则过滤掉误检对象后，建立该工业托盘的总外形边框与各个支撑脚的位置关系。
30.步骤s132：根据该工业托盘的总外形边框与各个支撑脚的位置关系，结合该深度图像信息，确定该待叉取的工业托盘的位置信息。
31.由上述方法步骤可知，该待叉取的工业托盘的轮廓信息具体包括工业托盘的总外形边框、工业托盘的各个支撑脚边框以及各个支撑脚间的相对位置关系，同时，上述提到的预设过滤规则为根据人为先验知识设置所得，具体包括三个支撑脚应成一直线、总外形边框应包含支撑脚等过滤规则，通过预设过滤规则过滤掉误检对象后，可建立该工业托盘的总外形边框与各个支撑脚的位置关系。另外，深度图像信息用来描述物体的深度信息，而该叉取方向的深度图像信息为通过深度摄像头进行实时拍摄时，获取得到的叉取方向的托盘正面图像进行分析处理所得，因而，根据该工业托盘的总外形边框与各个支撑脚的位置关系，结合该深度图像信息，可确定该待叉取的工业托盘的位置信息。该位置信息包括待叉取的工业托盘与自动叉车的距离、待叉取的工业托盘与自动叉车的角度。
32.步骤s140：根据该位置信息，导航到相应的位置，以自动叉取该待叉取的工业托盘。
33.具体地，当通过上述方法步骤得到该待叉取的工业托盘的位置信息，该位置信息
包括待叉取的工业托盘与自动叉车的距离、待叉取的工业托盘与自动叉车的角度后，便可根据待叉取的工业托盘与自动叉车的距离以及待叉取的工业托盘与自动叉车的角度，将自动叉车导航到相应的位置，具体为将自动叉车移动到该待叉取的工业托盘的跟前，以自动叉取待叉取的工业托盘。
34.实施例二
35.如图3所示，本发明实施例二提出一种终端20，该终端20包括存储器21、处理器22、存储在该存储器上并可在该处理器上运行的程序以及用于实现处理器21和存储器22之间的连接通信的数据总线23，该程序被该处理器执行时，以实现上述实施例一中工业托盘自动叉取的方法的步骤，具体如上所述，此处不再赘述。
36.需要说明的是，本发明实施例的终端20实施例与方法实施例一或方法实施例二属于同一构思，其具体实现过程详细见方法实施例一，且方法实施例一中的技术特征在终端20实施例中均对应适用，这里不再赘述。
37.实施例三
38.本发明实施例三提出一种存储介质，用于计算机可读存储，该存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例一中工业托盘自动叉取的方法的具体步骤。
39.需要说明的是，上述存储介质与方法实施例一属于同一构思，其具体实现过程详细见方法实施例一，且方法实施例一中的技术特征在存储介质实施例中均对应适用，这里不再赘述。
40.本发明实施例中的工业托盘自动叉取的方法、终端及存储介质，其自动叉车在进行工业托盘自动叉取时，先实时记录叉取方向的ir图像信息与深度图像信息。然后，根据该ir图像信息，获取待叉取的工业托盘的轮廓信息。以及根据该待叉取的工业托盘的轮廓信息，结合该深度图像信息，确定该待叉取的工业托盘的位置信息。最后，根据该位置信息，导航到相应的位置，以自动叉取待叉取的工业托盘。这样一来，本工业托盘自动叉取的方法使用基于ir图像的一阶段目标检测方法，可针对多种的工业托盘进行快速训练，更快部署。同时，ir图像在光照不稳定的仓库等不确定环境中有更高的鲁棒性，其检测结果不容易受环境影响，且ir图像属于二维图像而非三维的点云信息，检测速度更加快，检测结果更稳定。可见，本技术方案，其可有效解决现有工业托盘自动叉取的方法采用点云处理存在运算成本昂贵、检测效果容易受环境影响的技术问题。
41.以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。